Разработка и исследование методов и устройств сокращения временной избыточности цифровых видеопотоков тема диссертации и автореферата по ВАК РФ 05.12.04, кандидат технических наук Шиманский, Евгений Юрьевич

• Шиманский, Евгений Юрьевич
• кандидат технических наук
• 2004

Оглавление диссертации кандидат технических наук Шиманский, Евгений Юрьевич

Введение.

1. Алгоритмы устранения избыточности в видео потоках формата МРЕС-2. Достоинства и недостатки. (Обзор литературы).

1.1 Устранение пространственной и временной избыточности в формате МРЕС-2.

1.2. Устранение временной избыточности в формате МРЕС-2 с учетом информации о векторе движения.

1.3. Основные типы искажений при цифровом кодировании. 25 Выводы и постановка задачи исследований.

2. Оценка корреляционной связи между скоростью кода в канале и интегралом модуля межкадровой разности.

2.1. Обоснование выбора тестовых сюжетов для исследования корреляционной связи и оценки эффективности 33 использования схемы компенсации движения.

2.2. Исследование взаимосвязи между интегралом модуля межкадровой разности и скоростью кода.

2.3. Место и структура блока сокращения временной избыточности цифрового видео потока.

Выводы.

3. Оценка скорости кода по ненулевым спектральным коэффициентам.

3.1. Определение зависимости скорости кода от количества ненулевых спектральных коэффициентов в макроблоке.

3.2. Аппроксимация регрессионной прямой.

Выводы.

4. Оценка эффективности использования векторов движения в формате МРЕС-2.

4.1. Визуальная оценка качества тестовой последовательности.

4.2. Верность воспроизведения дискретных изображений.

4.2.1. Парные меры качества изображения.

4.2.2. Оценка верности воспроизведения изображения для тестовой последовательности.

4.3 Оценка корреляционной связи между интегралом модуля межкадровой разности и скоростью кода.

4.3.1 Расчет коэффициента корреляции между интегралом модуля межкадровой разности, ограниченного порогом и скоростью кода для блока поэлементной разности.

4.3.2. Зависимость коэффициента корреляции от фактора квантования и размера зоны поиска. 4.4. Визуальная оценка качества тестовой последовательности из двух различных кадров, кодированной с использованием информации о векторе движения.

Выводы.

Введение диссертации (часть автореферата) на тему «Разработка и исследование методов и устройств сокращения временной избыточности цифровых видеопотоков»

Последние годы характеризуются широким развитием новых технологий вещания и телекоммуникаций, представляющих населению и другим пользователям целый ряд услуг.

Новейшие технологии, возникшие на стыке электросвязи и компьютерной техники, стали в технически передовых странах основой разработок в области создания принципиально новых цифровых телекоммуникационных систем, способных резко повысить эффективность использования каналов передачи информации.

Развитие телевизионной техники в значительной мере связано с появлением новых идей и технологий в смежных областях. К решению все большего числа задач телевидения и видеотехники многие годы привлекается цифровая техника. В настоящее время произошел своеобразный перелом во взглядах и подходах к внедрению компьютерных технологий в телевидение. Стало возможным формирование нового информационного пространства (Web TV) с многочисленными информационными узлами и цифровой телевизионной сетью, обеспечивающей интерактивный режим работы и качество изображения, соответствующее стандартам вещательного телевидения [1].

Применение специальных методов цифровой обработки видео- и аудиоинформации, сокращающих ее избыточность, позволяет резко повысить эффективность существующих ТВ сетей, создает возможность передачи либо динамических цветных изображений более высокого разрешения, либо нескольких программ телевизионного стандарта при сохранении действующих частотных планов.

Одним из важных компонентов при устранении избыточности является схема обнаружения и компенсации движения.

Актуальность темы. В современных цифровых системах вещательного телевидения, а также в компьютерных системах связи используются форматы MPEG-2 и MPEG-4. В связи с этим продолжает оставаться актуальной разработка методов и устройств сокращения избыточности цифровых видеопотоков. Основным направлением диссертационной работы является обнаружение резкой смены сюжета при использовании алгоритмов компенсации движения, разработка методов и алгоритмов обнаружения векторов движения, а также оценка эффективности их работы. Эффективность работы методов и алгоритмов оценивается по таким параметрам, как величина искажений декодированного изображения и скорость кода в канале.

Актуальность исследований связана с возникновением переходных искажений при резкой смене сюжета или быстрых перемещениях. В силу специфики кодирования в формате MPEG-2 и MPEG-4 переходные искажения могут распространяться на всю последовательность группы кадров. Гибкость семейства форматов MPEG заключается в том, что они не регламентируют алгоритм поиска векторов движения. В потоке необходимо передать данные о самом векторе и ошибку предсказания. По этому можно совершенствовать аппаратуру, с целью улучшения качества изображения и увеличения степени сжатия в соответствии с технологической базой или внедрением новых ускоренных алгоритмов определения векторов не внося корректировок в сам формат. Любой ускоренный алгоритм имеет свои недостатки. Поиск же векторов методом полного перебора практически невозможно реализовать с точки зрения аппаратных затрат.

Целью диссертационной работы является разработка и исследование алгоритмов и способов компенсации движения и построение обнаружителя смены сюжета. В силу того, что классы изображений на входе кодирующего устройства могут быть различными, ставилась задача оптимизации алгоритмов компенсации движения к резким изменениям сюжета.

Исходя из цели работы, задачами решаемыми в диссертации являются:

1. Исследование зависимости между значениями интеграла модуля межкадровой разности и скоростью кода в канале для блока поэлементной разности, полученного в соответствии с форматом МРЕС-2.

2. Разработка алгоритма для предсказания скорости кода в канале.

3. Построение обнаружителя смены сюжета. Адаптация существующих алгоритмов к ситуации, когда приходится находить не вектор движения, а вектор «подобия» с целью минимизации потерь качества изображения и достижения максимального сжатия.

4. Разработка метода для оценки эффективности работы алгоритмов компенсации движения.

5. Применение разработанных алгоритмов для решения практических задач.

Основные методы исследования. В работе использованы методы дискретной математики, корреляционного анализа, методы цифровой обработки сигналов изображения, оценка качества дискретных изображений, имитационное моделирование.

Научная новизна исследований состоит в следующем:

• предложен метод комплексного решения задачи анализа и компенсации движения в формате МРЕС-2, позволяющий обнаруживать резкую смену сюжета и определять оптимальный порог для типовых сюжетов;

• предложен метод оценки работы алгоритма компенсации движения по минимуму скорости кода в канале при ограничении на отношение сигнал/шум;

• разработана адаптивная схема компенсации движения с обнаружителем резкой смены сюжета по интегралу модуля межкадровой разности в кодирующем устройстве МРЕС-2;

• установлено, что значения интеграла модуля межкадровой разности и скорости кода в канале коррелированны между собой для ограниченного количества сюжетов;

• установлена линейная связь и получено аналитическое выражение между скоростью кода для макроблока и количеством ненулевых спектральных коэффициентов в этом макроблоке.

Практическая значимость работы. Включенные в диссертацию результаты получены автором в рамках работы ОКР «Мультиканал», проводимой в соответствии с Федеральной, целевой, комплексной программой «Создание технических средств связи, телевидения и радиовещания», и заключаются в следующем:

1. Предложен новый метод и получено аналитическое выражение для предсказания скорости кода в канале по ненулевым спектральным коэффициентам, которые могут быть использованы в инженерных расчетах.

2. Разработано программное обеспечение, позволяющее оценить корреляционную связь между интегралом модуля межкадровой разности и скоростью кода в канале.

3. Разработано программное обеспечение, позволяющее оценить эффективность работы алгоритма компенсации движения.

4. Разработан программный комплекс, позволяющий моделировать различные виды движения и оценивать качество декодированного изображения.

5. Результаты диссертационной работы используются в кодирующем устройстве МРЕв-2 в части реализации адаптивного подбора коэффициентов квантования.

На защиту выносятся следующие основные положения:

• для обнаружения резкой смены сюжета вводится порог для интеграла модуля межкадровой разности, тем самым обеспечивается уменьшение максимальной ошибки декодированного изображения;

• эффективность работы схемы компенсации движения может быть оценена по минимуму скорости кода в канале при ограничении на отношение сигнал/шум;

• для уменьшения ошибки передачи при заданной скорости передачи необходимо учитывать не только смену сюжета, но и соотношение скоростей кода в соседних кадрах;

• для уменьшения ошибки передачи в реальном времени следует воспользоваться предсказанием скорости кода в канале; в частности, скорость кода в канале может быть предсказана по количеству ненулевых спектральных коэффициентов в макроблоке.

Апробация работы. Основные положения и результаты работы докладывались и обсуждались на следующих конференциях:

• 5-ая Международная конференция «Распознавание - 2001», 23-26 октября, 2001 г., Курск.

• Международная конференция «Телевидение: передача и обработка изображений», 21-22 мая, 2002 г., Санкт-Петербург.

• 3-ая Международная конференция «Телевидение: передача и обработка изображений», 5-6 июня 2003 г., Санкт-Петербург.

Публикации. По теме диссертации опубликовано 2 статьи, 1 публикация в сборнике материалов научно-технической конференции и тезисы к 2 докладам на международных научно-технических конференциях.

Заключение диссертации по теме «Радиотехника, в том числе системы и устройства телевидения», Шиманский, Евгений Юрьевич

Выводы.

По графикам НСКО получено пороговое значение для интеграла модуля межкадровой разности, позволяющее определить резкую смену сюжета.

Рассчитан коэффициент корреляции между интегралом модуля межкадровой разности и скоростью кода в канале, при ограничении интеграла модуля межкадровой разности порогом 4000. Результаты расчета показывают, что скорость кода в канале при разработанном методе кодирования будет достигать минимума в большинстве случаев в силу коэффициента корреляции равного 0.8.

Использование комплексного подхода при анализе движения позволяет обнаружить резкую смену сюжета и повысить отношение сигнал/шум, в случае резкой смены сюжета, на 2 дБ и, в то же время, снизить скорость кода примерно в три раза по сравнению с методом полного перебора. В случае малых изменениях сюжета комплексный алгоритм работает не хуже эталонного.

Предложен метод объективной оценки эффективности работы алгоритма компенсации движения, основанный на минимизации скорости кода в канале при ограничении на отношение сигнал/шум.

Заключение.

Настоящая работа посвящена теоретическому и экспериментальному исследованию эффективности сжатия динамических изображений с использованием информации о векторах движения в формате цифрового телевидения МРЕС-2.

На основе проделанной работы были получены следующие основные результаты:

1. Разработан метод комплексного решения задачи компенсации движения в формате МРЕС-2. В основе метода лежит обнаружение смены сюжета и учет соотношения скоростей кода в канале в соседних кадрах. Применение данного метода позволило при резкой смене кадра на тестовых сюжетах повысить отношение сигнал/шум на 2 дБ и, в то же время, снизить скорость кода в канале примерно в три раза по сравнению с методом полного перебора.

2. Установлено пороговое значение для интеграла модуля межкадровой разности в блоке, равное 4000, которое используется для обнаружения смены сюжета и позволяет уменьшать переходные искажения, связанные с резкой сменой сюжета, до одного кадра.

3. Установлено, что скорость кода в канале для блока межкадровой разностц при разработанном методе кодирования будет достигать минимума в большинстве случаев в силу коэффициента корреляции равного 0.8 при ограничении интеграла модуля межкадровой разности порогом 4000.

4. Разработан и аналитически обоснован метод оценки скорости кода в канале по количеству ненулевых спектральных коэффициентов, позволивший на порядок сократить вычислительные затраты 5. Разработан метод оценки эффективности работы кодера, использующего компенсацию движения, основанный на минимизации скорости кода в канале при ограничении на отношение сигнал/шум.

Список литературы диссертационного исследования кандидат технических наук Шиманский, Евгений Юрьевич, 2004 год

1. Быков Р.Е. Теоретические основы телевидения. Санкт-Петербург: Издательство "Лань", 1998 г.

2. Цифровая обработка телевизионных и компьютерных изображений. Под. ред. Зубарева Ю.Б. Дворковича В.П. Москва: Издательство МНЦТИ, 1997 г -255 с.

3. Дворкович В.П., Дворкович А.В. и др. Телевизионные измерения как средство обеспечения высокого качества телевизионного вещания. "625" №8 1999г.

4. ISO/IEC 13818-1 Information Technology Generic coding of moving pictures and associated audio information. Part 1: Systems. Recommendation H.262. Draft International Standard, 1994.

5. ISO/IEC 13818-2 Information Technology Generic coding of moving pictures and associated audio information. Part 2: Video. Recommendation H.262. Draft International Standard, 1994.

6. ISO/IEC DIS 10918-1. Information Technology Digital Compression and Coding of Continuous-tone Still Images: Requirements and Guidelines./ Ed.l, JTS 1/SC 29,1994.

7. The JPEG Still Picture Compression Standard. / Communications of the ACM. V. 34, №4, April 1991.

8. ISO/IEC 11172-2. Information Technology Coding of Moving Pictures and Associated for Digital Storage Media at up to about 1.5 Mbit/s. Part 2: Video./ Ed.l, JTS 1/SC29, 1993.

9. MPEG: A Video Compression Standard for Multimedia Applications. Didier Le Gall. Communications of the ACM. April 1991. V.34, №4.

10. У. Прэтт. Цифровая обработка изображений, в 2 кн. : Издательство "Мир" Москва 1982.

11. Е. Накасу, К. Аеки, Р. Яджима, У. Канатсугу, К. Кубота. Статистический анализ качества изображений MPEG-2 для телевизионного вещания.: Техника кино и телевидения, 1997, № 3.

12. Э.Фёрстер Б.Рёнц Методы корреляционного и регрессионного анализа.: Москва « Финансы и статистика » 1983 г. 303 с.

13. Г.Г. Абезгауз и др. Справочник по вероятностным расчетам.: Ордена Трудового Красного Знамени Военное издательство министерства обороны СССР. Москва-1970.

14. И. Н. Бронштейн, К. А. Семендяев. Справочник по математике. Москва: «Государственное издательство технико-теоретической литературы», 1957 г.

15. В.П. Дворкович, В.В. Нечепаев.Компенсация движения с использованием преобразования Фурье. Материалы I международной конференции «Цифровая обработка сигналов и ее применение». М.: Изд. МЦ НТИ, 1998. Том 3. С.149-151.

16. JI. Френке. Теория сигналов. М: «Советское радио», 1974. 344 с.

17. А. К. Цыцулин. Телевидение и космос: Учеб. Пособие.-СПб., Изд. СПбГТУ «ЛЭТИ», 2003.- 228 с.

18. Оппенгейм Э. Применение цифровой обработки сигналов. М.: Мир, 1980. -552 с.

19. Цифровое вещание: от студии к телезрителю. Под ред. Проф. Л.С. Виленчика. Моква 2001.

20. Д. Ватолин, А. Ратушняк, М. Смирнов, В. Юкин. Методы сжатия данных. Устройство архиваторов, сжатие изображений и видео. Москва: «Диалог МИФИ», 2002 г.

21. Ричард Брайс. Справочник по цифровому телевидению. Изд. «Эра» 2001 г.

22. М. Птачек.Цифровое телевидение. Теория и техника. Москва: «Радио и связь» 1990 г.

23. М. И. Кривошеев. Основы телевизионных измерений. Москва: «Радио и связь», 1989 г.

24. Р. Гаплагер. Теория информации и надежная связь. Москва: «Советское радио», 1974 г.-720 с.

25. К. Шеннон. Работы по теории информации и кибернетике. Москва: Издательство иностранной литературы. 1963 г. -829 с.

26. Зубарев Ю.Б., Кривошеев М.И., Красносельский И.Н. Цифровое телевизионное вещание. Москва: Научно-исследовательский институт радио1. НИИР), 2001.-568 с.

27. Шиманский Е.Ю. Корреляция блоков и длина выходного кода в формате МРЕС-2. Сборник материалов 5-ой Международной конференции «Распознавание 2001» - Курск 2001, часть 1 С.159-160.

28. Шиманский Е.Ю. Оптимизация алгоритма поиска векторов движения в формате МРЕС-2. Материалы международной конференции «Телевидение: передача и обработка изображений» С. Петербург 2002. С. 13-14.

29. Шиманский Е.Ю. Устранение избыточности с использованием компенсации движения. Материалы 3-й международной конференции «Телевидение: передача и обработка изображений» С. Петербург 2003, С. 29-31.

30. Быков Р.Е., Шиманский Е.Ю. Сокращение временной избыточности цифровых сигналов в системах вещательного телевидения. Известия высших учебных заведений России. Радиоэлектроника №1 2002, С. 62-67.

31. Шиманский Е.Ю. Оценка эффективности работы алгоритмов анализа и компенсации движения в формате MPEG-2. Известия высших учебных заведений России. Радиоэлектроника №2 2002, С. 57-62.

32. О.С. Астратов, Н.В. Чернышова. Компенсация фона при выделении подвижных объектов. Материалы международной конференции «Телевидение: передача и обработка изображений» С. Петербург 2002, С.32-34.

33. Yanbin Yu, Dimitris Anastassiou. Interlaced video coding with field-based multiresolution representation. Signal Processing: Image Communication №5 1993, p.185.

34. Performance Evaluation of Cell Discarding Mechanisms for the Distribution of VBR MPEG-2 Video over ATM Networks. IEEE Transactions on Broadcasting, №2 1998, p.206.

35. T. Koga, K, Linuma, A. Hirano Motion compensated interframe coding for video conferencing, et al. Proc NTC81, New Orleans, LA.,1991, November.

36. An Efficient Protocol Arhitecture for Error-Resilient MPEG-2 Video Communications over ATM Networks. IEEE Transactions on Broadcasting, VOL. 45, №1, March 1999, p.129.

37. Wilson Wing-Fai POON, Kwok-Tung LO.Design of Multicast Delivery for Providing VCR Functionality in Interactive Video-on Demand Systems. IEEE Transactions on Broadcasting, VOL. 45, №1, March 1999, p. 141.

38. Б.М. Певзнер. Качество цветных телевизионных изображений. Москва: «Радио и связь» 1988 г.

39. Б.С. Тимофеев. Сегментация и сопровождение движущихся объектов. Материалы международной конференции «Телевидение: передача и обработка изображений» С. Петербург 2002, С. 5-8.

40. Б. С. Тимофеев. Видеокомпьютерные системы для наблюдения за движущимися объектами. Материалы 3-й международной конференции «Телевидение: передача и обработка изображений», Санкт-Петербург 2003, С. 9-13.

41. H.A. Обухова. Алгоритмы обнаружения и идентификации транспортных средств в телевизионных системах мониторинга городских магистралейМа-териалы международной конференции «Телевидение: передача и обработка изображений» С. Петербург 2002. С.48-50.

42. Ахмед Р, Pao К. Р. Ортогональные преобразования при обработке цифровых сигналов. Москва: «Связь», 1980 г.

43. Быстрые алгоритмы в цифровой обработке изображений. Под редакцией Т. С. Хуанга. Москва: «Радио и связь», 1984 г. 271 с.

44. Методы передачи изображений. Сокращение избыточности/ Под ред. У. К. Прэтта. Москва: «Радио и связь», 1983.

45. Цифровое телевидение. / Под ред. М. И. Кривошеева. Москва: «Связь», 1980.

46. С-Н. Lin, J-L. Wu. A Light weight genetic block matching algoritm for video coding. IEEE Transactions Circuit System Video Technology, March 1998, p.385-392.

47. Rob Koenen. MPEG-4 Multimedia for our time. IEEE Spectrum. February 1999, p.26-33.

48. Pascal Fleury, Sushil Bhattacharjee, Laurent Piron, Touradj Ebrahimi, Murat Kunt. MPEG-4 Video Verification Model: A Solution for Interactiv Multimedia Applications. SPIE Journal of Electronic Imaging. July 1998. Vol. 7, №3, p.502-515.

49. Красильников H. H. Теория передачи и восприятия изображений. Теория передачи изображений и ее приложения. -М.: Радио и связь, 1986. — 248 с.

50. Хромов JI. И. и др. Видеоинформатика. Передача и компьютерная обработка видеоинформации. JI. И. Хромов, А. К. Цицулин, А. Н. Куликов. М.: Радио и связь, 1991.-192 с.

51. Тимофеев Б. С. Цифровое телевидение: Учеб. Пособие \ СПбГУАП. СПб., 1998. -49 с.

52. С. В. Сай Четкость цветного изображения в системах со сжатием визуальных данных. Хабаровск: Изд-во Хабаровского государственного технического университета, 1999. - 143 с.

53. Быков Р. Е. Шнёль М. Адаптивное транскодирование видеопотоков MPEG. Известия ВУЗов России, Радиоэлектроника, 1, 2003. С. 30-32.

54. Шнёль М. Архитектура и метод транскодирования видеопотоков MPEG. Материалы 2-й Международной конференции «Телевидение и обработка изображений» С.-Петербург, 21-22 мая 2002 г. С.24-26.

55. Шнёль М. MPEG-2 Transcoding from the Production into the Emission Format. (Транскодирование формата MPEG-2 в формат передачи). Материалы международной конференции «Телевидение и обработка изображений», С.Петербург, 20-22 июня, 2000 г. С. 15-17.

56. Рабинер П., Гоулд Б. Теория и применение цифровой обработки сигналов. Пер. с англ. Под ред. Ю. Н. Александрова. М., «Мир», 848 с.

57. И. С. Гоноровский. Радиотехнические цепи и сигналы. Москва: Радио и связь, 1986.512 с.

58. Н. Г. Харатишвили. Цифровое кодирование с предсказанием непрерывных сигналов. Москва: Радио и связь, 1986. 140 с.

59. Лебедев Д. С., Цуккерман И. И. Телевидение и теория информации. Москва: Энергия, 1965. 219 с.

60. Тихонов В. И. Статистическая радиотехника. Москва: Советское радио, 1966.780 с.

61. The Programmable Logic. Data Book. Xilinx, San Jose, USA, 1998.

62. Березнев А. Г.САПР ПЛИС фирмы Xilinx. Мир ПК, 1994, №4, стр. 54.

63. Цуккерман И. И. и др. Цифровое кодирование телевизионных изображений. Москва: Радио и связь, 1981 г.

64. Черносвитов А. В. Технологии программирования на языке С++. Санкт-Петербург: Изд. СпбГТУ, 1997.- 272 с.

65. А. Я. Савельев Арифметические и логические основы цифровых автоматов. Москва: Высшая школа, 1980. 255 с.