Метод компрессии видеоизображений, основанный на использовании априорной информации о структуре кадра тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Мироненко, Евгений Петрович

• Мироненко, Евгений Петрович
• кандидат технических наук
• 2009

Оглавление диссертации кандидат технических наук Мироненко, Евгений Петрович

1. Методы и алгоритмы компрессии видеоданных. Восприятие изображений зрительной системой человека.

1.1. Современные методы и алгоритмы компрессии видеоданных.

1.2.Компрессия видеоданных на основе использования ЗО модели.

1.3.Эффективность восприятия трехмерных объектов зрительной системой человека.

1.4. Оценка погрешности восприятия формы объекта зрительной системой.

1.5.Оценка погрешности восприятия текстуры объекта зрительной системой.

1.6.Выводы по разделу.

2. Метод компрессии видеоданных, основанный на замене изображений объектов в кадре их трехмерными моделями

2.1. Модель изображения.

2.2.Использование ЗО модели для компрессии межкадровой разности

2.3.Выводы по разделу

3. Распознавание объектов в задачах компрессии видеоизображений.

3.1.Анализ современных алгоритмов распознавания объектов на примере изображений человеческого лица.

3.2.Использование цветовой сегментации изображения для локализации лица в кадре.

3.3.Метод активных контуров.

3.4.Адаптация метода активных контуров для задачи локализации характерных элементов лица.

3.5.Исследование алгоритма распознавания лица в кадре видеоизображения

З.б.Выводы по разделу.

4. Адаптация трехмерной модели к реальному изображению и представление данных анимации.

4.1. Анализ современных методов создания трехмерных моделей реальных объектов.

4.2.Адаптация формы 3D модели к форме оригинального объекта в исследуемом алгоритме компрессии

4.3.Трекинг движения и определение формы и положения модели в новых кадрах последовательности

4.4.Алгоритм трассировки характерных элементов объекта в кадре и определение векторов анимации модели

4.5.Передача (сохранение) информации о движении на основе контрольных вершин 3D модели.

4.6.Передача (сохранение) информации о движении по методу дифференциальной кодово-импульсной модуляции

4.7.Выводы по разделу

5. Экспериментальное исследование предложенных алгоритмов в составе системы компрессии видеоизображений.

5.1.Критерии сравнения алгоритмов компрессии видеоизображений

5.2.Методика проведения экспериментов и полученные результаты

5.3.Выводы по разделу

Введение диссертации (часть автореферата) на тему «Метод компрессии видеоизображений, основанный на использовании априорной информации о структуре кадра»

Актуальность темы

В настоящее время, в связи с широким распространением цифровой техники, быстро растет объем передаваемой и хранимой информации. Особенно это касается данных, относящихся к визуальной информации, наиболее широко используемой в различных сферах человеческой деятельности. Хранение визуальной информации требует больших объёмов памяти, а для ее передачи необходимо наличие каналов с высокой пропускной способностью.

Таким образом, одной из наиболее актуальных задач в области обработки видеоданных становится разработка и совершенствование методов компрессии этих данных.

Особенностью большинства современных алгоритмов компрессии видеоданных является то, что они разработаны для компрессии произвольных изображений. Вместе с тем, если тип изображеиий, для которых разрабатывается алгоритм компрессии, заранее известен, это обстоятельство может быть использовано для увеличения его эффективности. Другими словами, знание объектов, находящиеся в кадре, и способов их движения, дают возможность получить большую степень компрессии при сохранении необходимого качества изображения.

Целью работы является разработка и исследование алгоритма компрессии видеоданных, основанного на использовании априорной информации о структуре кадра видеоизображения и параметров объектов в кадре. Алгоритм включает в себя распознавание объекта в кадре видеопоследовательности, нахождение его характерных элементов и использование полученной информации для переноса на трёхмерную модель и её дальнейшей анимации в соответствии с движением объекта в исходной видеопоследовательности. Решение этой задачи особенно интересно для компрессии видеоданных в условиях ограниченной пропускной способности коммуникационных каналов.

Задачи исследования:

1. Анализ существующих методов компрессии видеоданных. Выявление недостатков этих методов, в случае компрессии потокового видео с априорно известными объектами в кадре при условии обеспечения малых потерь в качестве и отсутствия эффекта накопления ошибок преобразования при многократной обработке.

2. Исследование особенностей визуального восприятия трехмерных объектов и определение допустимых искажений при обеспечении высокого визуального качества.

3. Разработка и исследование эффективного алгоритма для компрессии видеоданных на основе использования ЗО модели, согласованного со зрительной системой человека.

4. Экспериментальное исследование предложенных алгоритмов и оценка их эффективности.

Методы исследования. Для достижения поставленной цели в диссертационной работе использовались методы цифровой обработки сигналов, теория дискретных сигналов, теория информации, математическая статистика, компьютерное моделирование.

Научная новизна:

1. Разработан и исследован метод компрессии видеоданных, основанный на замене изображений объектов в кадре их трехмерными моделями.

2. Проведен анализ эффективности применения современных методов компрессии видеоданных при обеспечении высокого визуального качества результирующих изображений.

3. Проведено экспериментальное исследование эффективности зрительной системы человека в условиях распознавания трехмерных тестовых объектов, алфавит которых задан и ограничен.

4. Определен уровень допустимых погрешностей для основных характеристик трехмерных объектов при их наблюдении.

Практическая ценность работы определяется тем, что предложенный алгоритм компрессии для видеоизображений с заранее определенными объектами в кадре позволяет получить больший выигрыш по сжатию, чем те, которые обеспечиваются известными методами компрессии движущихся изображений.

Положения, выносимые на защиту:

1. Метод компрессии видеоданных, основанный на замене изображений объектов в кадре их трехмерными моделями.

2. Алгоритм нахождения и определения параметров объектов в кадре видеоизображения

3. Алгоритм адаптации шаблонной трехмерной модели объекта к параметрам визуального объекта в кадре видеоизображения

4. Результаты исследования восприятия трехмерных объектов наблюдателем

Внедрение результатов работы. В учебном процессе Санкт-Петербургского государственного университета аэрокосмического приборостроения.

Апробация работы. Основные положения и результаты диссертации докладывались и обсуждались на VIII, IX, X научных сессиях ГУАП (г. Санкт-Петербург 2005, 2006, 2007), IV Международной конференции "Телевидение: передача и обработка изображений" ЛЭТИ (г. Санкт-Петербург 2005), IV Межвузовской конференции молодых учёных ИТМО (г. Санкт-Петербург 2007), ЕС\ГР (Европейская конференция зрительного восприятия) (2005).

Публикации. Материалы, отражающие основное содержание и результаты диссертационной работы, опубликованы в 8 печатных работах, из них 3 в журналах, входящих в список ВАК.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Мироненко, Евгений Петрович

5.3. Выводы по разделу

На основе алгоритмов, предложенных в предыдущих разделах диссертационной работы, был программно реализован метод компрессии видеоизображений, параметры и особенности которых были оговорены во втором разделе диссертационной работы.

1. Проведенные экспериментальные исследования предложенного метода для ряда тестовых видеопоследовательностей, полученных с различных источников видеосигнала, подтверждают его эффективность. Метод позволяет получить коэффициент компрессии, значительно превосходящий тот, что дают известные методы. В исследованиях была получены значения коэффициента компрессии в диапазоне 3-350 раз в зависимости от длительности последовательности и сложности модели.

2. Предложенный метод продемонстрировал высокую зависимость величины Р8ЫЯ от ориентации объекта. Изменение положения объекта относительно начального может менять (уменьшать) значение РЗИЕ*. в диапазоне до 10 дБ. Данный факт можно объяснить наличием малого количества информации о параметрах объекта, в областях, скрытых от камеры на этапе построения трехмерной модели. Устранение данного недостатка возможно за счет уточнения параметров текстуры в областях, скрытых от камеры на начальном этапе.

Заключение

В диссертационной работе были рассмотрены современные методы и алгоритмы компрессии видеоизображений, а также проанализированы особенности визуального восприятия трехмерных объектов зрительной системой человека. Проведено сравнение эффективности работы зрительной системы реального наблюдателя с идеальным, показавшее возможность компрессии изображений на основе учета свойств зрительной системы человека. Предложен и исследован метод компрессии видеоизображений, для видеопоследовательностей с априорно известными типами объектов в кадре, основанный на замене изображений объектов их трехмерными моделями.

По итогам работы можно сформулировать следующие новые научные результаты, выносимые на защиту:

1. Проведен анализ современных методов компрессии данных «без потерь» и «с потерями информации» применительно к области сжатия видеоизображений реальных сцен с априорно известными типами объектов в кадре при условии обеспечения высокого качества результирующих изображений. На основе проведенного исследования были выявлены основные достоинства и недостатки существующих алгоритмов компрессии. Основным недостатком, характерным для большинства современных алгоритмов, является отсутствие анализа содержания изображения в кадре для дальнейшего использования свойств визуального ряда при компрессии видеоданных. Проведение подобного анализа и разделение кадра видеоизображения на отдельные объекты (информация о каждом из которых в дальнейшем кодируется наиболее эффективным образом) позволяет значительно увеличить коэффициент компрессии при сохранении визуального качества исходного изображения.

2. На основании анализа существующих методов компрессии предложен и исследован метод, который в отличие от известных, используя априорную информацию о типе изображения и характере поведения объектов в кадре, обеспечивает степень компрессии, значительно превосходящую ту, которую позволяют получить известные методы. Предложенный метод основывается на замене изображения оригинального объекта на трехмерную модель, адаптированную по своим параметрам к исходному объекту, анимация которой описывается некоторым набором функций, отражающих поведение оригинального объекта в кадре видеопоследовательности. К достоинствам предложенного метода можно отнести также возможность работы в реальном времени и в полностью автоматическом режиме. Метод может быть вписан в стандарт MPEG 4.

3. Для определения параметров трехмерных моделей, используемых в предложенном методе, в работе была проведена серия экспериментов, направленных на исследование проблемы восприятия трехмерных объектов наблюдателем. В результате экспериментальных исследований найдена необходимая точность представления полигональной сетки трехмерных моделей объектов различной формы (в частности для моделей человеческой головы, используемых в исследуемом алгоритме). Проведена оценка чувствительности зрительной системы человека к различного рода искажениям модели, затрагивающим как геометрическую форму, так и параметры текстуры.

4. Показано, что дополнительная компрессия данных о параметрах модели возможна за счет отказа от использования текстуры оригинального объекта, вместо которой может быть использована битовая карта, синтезированная по данным о статистических характеристиках текстуры исходного объекта. Построение битовой карты возможно на этапе декодирования видеоданных. В этом случае увеличение коэффициента компрессии возможно за счет того, что передача статистических характеристик текстуры потребует меньшего количества двоичных единиц кода, чем передача самой текстуры.

5. Предложен и исследован алгоритм нахождения и определения параметров лица в кадре видеоизображения, в основе которого лежит цветовая сегментация объекта и локализация основных антропометрических точек лица. Для определения параметров лица используется метод активных контуров.

6. Разработан алгоритм адаптации шаблонной трехмерной модели объекта к параметрам визуального объекта в кадре видеоизображения, основанный на методе главных компонент.

Практическую ценность работы иллюстрирует высокий коэффициент компрессии, обеспечиваемый предложенным методом. Реализованный программно, метод позволяет получить значительный выигрыш (3-350 раз) при компрессии видеоизображений, соответствующих параметрам, определенным в работе, например, для изображений видеоконференций. Для реализации алгоритма и написания программ для проведения экспериментальных исследований были использованы среды программирования C++Builder и Delphi. Представление трехмерных объектов реализовывалось средствами графической библиотеки Open GL. В качестве программ 3D моделирования были использованы программные пакеты Maya и Poser.

Помимо компрессии данных, предлагаемый метод позволяет получить дополнительные параметры видеоизображения, отсутствовавшие в оригинальной последовательности. К таким параметрам можно отнести значение альфа канала и карты глубины для изображения оригинального объекта. Данные параметры могут быть использованы при дальнейшей обработке видеоизображения, например, при маскировании объекта, замене фона оригинальной видеопоследовательности.

Подходы и методы, предложенные в данной работе, могут эффективно применяться как в задачах компрессии видеоизображений, так и в других задачах обработки видеоизображений. о

Список литературы диссертационного исследования кандидат технических наук Мироненко, Евгений Петрович, 2009 год

1. Прэтт У. Цифровая обработка изображений. М.: Мир. T.l, Т.2, 1982.

2. Красильников Н.Н. Цифровая обработка изображений М: Вузовская книга, 2001.

3. Ватолин Д., Ратуншяк А. и др. Методы сжатия данных. Устройство архиваторов, сжатие изображений и видео -М: Диалог-МИФИ, 2002.

4. Ватолин Д. Алгоритмы сжатия изображений. М.: Диалог-МГУ, 1999.

5. Salomon D. Data Compression: The Complete Reference, New York, NY, Springer-Verlag, 2000.

6. Forchheiiner R., Fahlander O., Kronander T. "Low bit-rate coding through animation" // Proc. International Picture Coding Symposium PCS'83, Mar. 1983, p. 113-114.

7. Aizawa K., Huang T. Model-based image-coding: Advanced video coding techniques for very-low bit-rate applications // Proceedings of IEEE, 83(2), February 1995, p. 259-271.

8. Aizawa K., Harashima H., and Saito T. Model-based analysis synthesis coding system for a person's face. // Signal Processing: Image Communication, Vol. 1, № 2, Oct. 1989.

9. Welsh W. J., Scarby S., Brigant E. Model-based coding of videophone images. // IEEE Colloquium on Realistic 3D Image Synthesis, London, 1990, p. 13-18.

10. Welsh W.J., Model-based coding of moving images at very low bit rates. // Proc. Int. Picture Coding Symp., Stockholm, Sweden, 1987.

11. Li H., Low Bitrate Image Sequence Coding, Ph.D. Thesis, Linlcoping, 1993

12. Li H., Roivainen P., Forchheimer R. 3D motion estimation in model-based facial image coding. // IEEE Trans. Pattern Analysis and Machine Intelligence, 15(6), June 1993, p. 545-555.

13. Pearson D. Texture mapping in model-based video coding. I I Proc. IEEE, vol. 83, no. 6, 1995, p. 829-906.

14. Pearson D., Developments in model-based video coding. // Signal Processing: Image Communication, 2(4), 1990, p. 892-906.

15. Musmann H.G., Hotter M., Ostermann J. Object-oriented analysis-synthesis coding of moving images. // Signal Processing: Image communication, 1(2), 1989, p. 117-138.

16. Hill A., Taylor С J., Cootes T.F. Object Recognition by Flexible Template Matching using Genetic Algorithms. // 2nd European Conference on Computer Vision, Santa Margherita Ligure, Italy, May 1992, p. 852-856.

17. Wiskott L. Labeled Graphs and Dynamic Link Matching for Face Recognition and Scene Analysis, Ph.D. thesis, Ruhr-Univerisyt at Bochum, 1995.

18. Turk M. A., Pentland A. P. Face Recognition Using Eigenfaces. // Proc. Of IEEE Conf. on Computer Vision and Pattern Recognition, June 1991, pp. 586-591.

19. Yang M., Kriegman D., Ahuja N. Detecting Faces in Images: A Survey. // IEEE, PARMI, vol 24, no. 1, January, 2002.

20. Cootes T.F., Edwards G.J., Taylor C.J. Active Appearance Models. // Proc. European Conference on Computer Vision 1998 (H.Burkhardt & B. Neumann Ed.s). Vol. 2, Springer, 1998 , p. 484-490.

21. Koenen R., editor, Overview of the MPEG-4 Standard, International Organisation for standartisation ISO/TEC JTC1/SC29/WG11 N4668 Coding of moving picturies and audio, 2002.

22. ISO/ffiC JTC1/SC29/WG11, Coding of Moving Pictures and Audio: MPEG-4 Video Verification Model version 18.0, JTC1/SC29AVG11 N3908, Pisa, January 2001.

23. Аврамова О.Д. Язык VRML. Практическое руководство Диалог-МИФИ, 2000.

24. Sutherland N.S. The representation of three-dimensional objects. // Nature, V. 278, 1979, p. 395-398.

25. Barlow H.B. The efficiency of detecting changes of density in random dot patterns // Vision Research, 1978, Vol. 18, p. 637-650.

26. Barlow H.B., Reeves B.C. The versatility and absolute efficiency of detecting mirror symmetry in random dot displays // Vision Research, 1979, Vol. 19, p. 783-793.

27. Barlow H.B. The absolute efficiency of perceptual decision// Philosophical Transactions of the Royal Society, London B, 1980, 290, p. 71-82.

28. Красильников H.H., Мироненко Е.П., Красильникова О.И. Коэффициент эффективности зрительной системы человека при произвольных ракурсах наблюдения трехмерных объектов //Оптический журнал. 2006. - Т. 73, № 10. - с. 63 - 68.

29. Марр Д. Зрение.-М.: Радио и связь. 1987. 400 с.

30. Красильников Н.Н., Мироненко Е.П. Исследование погрешностей восприятия формы при наблюдении 3D объектов. // Оптический журнал Том 73, № 5, 2006

31. Красильников Н.Н., Шелепин Ю.Е., Красильникова О.И. Применение принципов оптимального наблюдателя при моделировании зрительной системы человека // Оптический журнал. 1999. - Т. 66, № 9. - с. 17 -24.

32. Прэтт У.К., Фожра О.Д., Гагалович А. Применение моделей стохастических текстур для обработки изображений // ТИИЭР, 1981. Т. 69. №5. с. 54-64.

33. Красильников Н.Н., Красильникова О.И., Шелепин Ю.Е. Исследование эффективности зрительной системы человека при опознавании динамических изображений // Физиология человека, 2003, Т. 29. № 2, с. 5-10.

34. Красильников Н.Н., Шелепин Ю.Е., Красильникова О.И.

35. Красильников Н.Н., Красильникова О.И. Исследование коэффициента эффективности зрительной системы человека в пороговых условиях наблюдения динамических изображений // Автометрия 2003, Т. 39. №4, с. 21 -30.

36. Марр Д. Зрение (информационный подход к изучению представления и обработки зрительных образов). -М.: Радио и связь, 1987, 400с.

37. Красильников Н.Н., ПГелепин Ю.Е., Красильникова О.И. Фильтрация в зрительной системе человека в условиях порогового наблюдения //Оптический журнал. 1999. - Т. 66, № 1. - с. 5 - 14.

38. Красильников Н.Н. Теория передачи и восприятия изображений. -М.: Радио и связь, 1986, 246 с.

39. Burgess A., Wagner R., Jennings R., Barlow H. Efficiency of human visual signal discrimination// Science, 1981, Vol. 214, p. 93-94.

40. Yao Z. Initialization of Model Based Coding, Department of Applied Physics and Electronics Umea University 2003

41. Евсеев Г. МауаЗ: Трехмерная графика и визуализация -М.: «Десс Ком», 2001. 448 с.

42. Фокс А., Пратт М. Вычислительная геометрия. -М.: Мир, 1982

43. Heisele В., Но P., Poggio Т. Face recognition with support vector machines: global versus component-based approach. // Proc. 8th International Conference on Computer Vision, volume 2, Vancouver, 2001, p. 688-694.

44. Глазунов А. Компьютерное распознавание человеческих лиц // Открытые системы., №3, 2000.

45. Daughman J. Face and Gesture Recognition: Overview И IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 19, 1997, p. 675-676.

46. Kass M., Witkin A., Terzopoulos D., Snakes: Active Contour Models, // International Journal of Computer Vision, Vol. 1, No. 4, 1988, p. 321-331.

47. Amini A., Weymouth Т., Jain R Using Dynamic Programming for Solving Variational Problems in Vision, // IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 12, No. 9, September 1990.

48. Рабинер JI.P. Скрытые марковские модели и их применение в избранных приложениях при распознавании речи: Обзор, // Труды ИИЭР, т. 77, № 2, февраль 1989.

49. Rowley Н. A., Baluja S., Kanade Т., Neural network-based face detection, // IEEE Trans. Pattern Anal. Mach. Intell. 20, January 1998

50. Benson K. Television Engineering Handbook. McGraw-Hill, Inc., 1986

51. Телевидение: Учебник для вузов, под ред. Джаконии В.Е. -М.: Радио и связь, 2000. 640 с.

52. Маргулис Д. "Photoshop для профессионалов, классическое руководство по цветокоррекции". 4-е издание / Пер. с англ. —М.: «Интерсофтмарк», 2003.

53. Гонсалес Р., Вудс Р. Цифровая Обработка Изображений -М.: Техносфера 2005.

54. Мироненко Е.П. Метод распознавания лица в задачах компрессии видеоизображений // Сборник докладов 10-й научной сессии аспирантов ГУАП. Технические науки. СПб.: ГУАП, 2007

55. Craw I., Costen N., Kato Т., Robertson G., Akamatsu S. Automatic Face Recognition: Combining Configuration and Texture, International Workshop on Automatic Face- and Gesture-Recognition, 1995.

56. Geiger D., Gupta A., Costa L. A., Vlontzos J. Dynamic programming for detecting, tracking, and matching deformable contours, // IEEE Trans, on PAMI, vol. 17, March 1995.

57. Rao C.R. The Use and Interpretation of Principal Component Analysis in Applied Research, 1964.

58. Krasilnikov N.N., Mironenko E.P. Investigation of accuracy of 3D representation of a 3D object shape in the human visual system // ECVP European Conference on Visual Perception, Coruna, Spain 2005

59. Ascension Technology Corporation. Motion Star. // http://www.ascensiontech.com/products/motionstar.php.

60. Meta Motion. Motion Captor. // http://www.metamotion.com/captor/motioncaptor.htm.

61. Scharstein D., Szeliski R. A taxonomy and evaluation of dense two-frame // IEEE Transactions on Computers C 23, 1974, p. 84 - 87.

62. Hartley R. I., Zisserman A. Multiple View Geometry, Cambridge University Press, 2000.

63. Brand M. Morphable 3D models from video. // Proc. IEEE Conf. on Computer, 12(3), 1996, p. 364-368.

64. Torresani L., Yang D. B., Alexander E. J., Bregler C. Tracking and modeling non-rigid objects with rank constraints. // Proc. IEEE Conf. on Computer Vision and Pattern Recognition, 2001, p. 493-500.

65. Sato K., Inokuchi S. Three-dimensional surface measurement by space encoding range imaging. // Journal of Robotic System, 1985, p.27-39.

66. Huang P. S., Zhang C. P., Chiang F. P. High speed 3-d shape measurement based on digital fringe projection. // Optical Engineering, 42(1), 2003, p.163-168.

67. Hall-Holt О., Rusinkiewicz S. Stripe boundary codes for real-time structured-light range scanning of moving objects. // Proc. Int. Conf. on Computer Vision, 2001, pages 359-366.

68. Cyberware Inc., Model 15 scanner. // http://www.cyberwcire.corn/.

69. Boyer K. L., Kale A. C. Color-encoded structured light for rapid active ranging. // IEEE Trans, on Pattern Analysis and Machine Intelligence, 9(1), 1987, p. 14-28.

70. Morita H., Yajima K., Sakata S. Reconstruction of surfaces of 3d objects by m-array pattern projection method. // Proc. Int. Conf. on Computer Vision, pages 468-473, 1988.

71. Shree K. Nayar, Masahiro Watanabe, and Minori Noguchi. Real-time focus range sensor. // IEEE Transactions on Pattern Analysis and Machine Intelligence, 18(12), 1996, p. 1186-1198.

72. Nocedal J., Wright S. J. Numerical Optimization. Springer, 1999.

73. Мироненко Е.П., Красильников H.H. Оценка точности восприятия трехмерных объектов наблюдателем// Материалы 4-ой международной конференции «Телевидение: передача и обработка изображений», СПб, 2005. С. 56-57.

74. Мироненко Е.П. Влияние формы трехмерного объекта на формирование образа в коре головного мозга // Сборник докладов 8-й научной сессии аспирантов ГУАП. Технические науки. СПб.: ГУАП, 2005

75. Молодчик П., Оптические потоки // Компьютерное Обозрение №13 (232), 2000

76. Мироненко Е.П. Применение алгоритма дифференциальной кодово-импульсной модуляции при сохранении информации о движении и мимики 3D модели человеческой головы // Сборник докладов 9-й научной сессии аспирантов ГУАП. Технические науки. СПб.: ГУАП,