Анализ и подавление искажений в изображениях, сжатых с использованием вейвлет-преобразования тема диссертации и автореферата по ВАК РФ 05.12.04, кандидат технических наук Зараменский, Денис Андреевич

• Зараменский, Денис Андреевич
• кандидат технических наук
• 2010

Оглавление диссертации кандидат технических наук Зараменский, Денис Андреевич

ВВЕДЕНИЕ.

1. СОВРЕМЕННЫЕ ПРОБЛЕМЫ В ОБЛАСТИ СЖАТИЯ ИЗОБРАЖЕНИЙ И ОЦЕНКИ ИХ КАЧЕСТВА.

1.1. Стандарт JPEG2000.

1.1.1. Основные характеристики стандарта JPEG2000.

1.1.2. Поддержка области интереса.

1.1.3. Стандарт Motion JPEG2000.

1.1.4. Другие алгоритмы сжатия изображений, основанные на вейвлет-преобразовании.

1.2. Оценка качества сжатых изображений.

1.2.1. Субъективные критерии качества.

1.2.2. Объективные критерии оценки качества.

1.2.3. Пиковое отношение сигнал/шум.

1.2.4. Проблемы использования ПОСШ в качестве критерия оценки качества.

1.2.5. Универсальный индекс качества.

1.2.5.1. Определение УИК для одномерных сигналов.

1.2.5.2. Применение УИК для оценки качества изображений.

1.2.6. Неэталонный алгоритм оценки качества для JPEG изображений.

1.2.6.1. Расчет НИК2000.

1.3. Применение критериев ПОСШ, УИК, НИК2000 к оценке качества n>EG2000 изображений.

1.4. Краткие выводы.

2. ОЦЕНКА УРОВНЯ РАЗМЫТИЯ И ЗВОНА В СЖАТЫХ ИЗОБРАЖЕНИЯХ И ВИДЕОПОСЛЕДОВАТЕЛЬНОСТЯХ.

2.1 Вводные замечания.

2.2 Алгоритм оценки уровня размытия.:.

2.3. Алгоритм оценки уровня звона.

2.4. Оценка корреляции между субъективными и объективными оценками.

2.5. Алгоритмы покадровой оценки звона и размытия в видеопоследовательностях.

2.6 Тестирование предложенных алгоритмов оценки искажений в видеопоследовательностях.

2.7. Краткие выводы.

3. РАЗРАБОТКА И АНАЛИЗ АЛГОРИТМА ПОДАВЛЕНИЯ ЗВОНА В ИЗОБРАЖЕНИЯХ НА ОСНОВЕ БИЛАТЕРАЛЬНОГО ФИЛЬТРА.

3.1 Вводные замечания.

3.2. Подавление артефактов звона известными сглаживающими фильтрами.

3.3. Модифицированный билатеральный фильтр.

3.4. Результаты тестирования.

3.5. Краткие выводы.

4. АНАЛИЗ ВЛИЯНИЯ ИСКАЖЕНИЙ В СЖАТЫХ ИЗОБРАЖЕНИЯХ

НА АЛГОРИТМЫ ВЫДЕЛЕНИЯ И РАСПОЗНАВАНИЯ ЛИЦ.

4.1. Вводные замечания.

4.2. Определение области интереса с использованием алгоритма детектирования лиц.

4.2.1. Тестирование алгоритма Виолы-Джонса применительно к изображениям, сжатым стандартом JPEG2000.

4.3. Программная реализация алгоритма JPEG2000 с автоматическим определением области интереса.

4.4. Создание тестовой базы изображений.

4.5. Результаты тестирования.

4.6. Краткие выводы.

Введение диссертации (часть автореферата) на тему «Анализ и подавление искажений в изображениях, сжатых с использованием вейвлет-преобразования»

Актуальность темы

Проводимые во всех технически развитых странах разработки алгоритмов и аппаратуры сокращения объема и рационального пакетирования видео-, аудио- и сопутствующей информации являются основой создания систем эффективного использования каналов связи, сохранения действующих частотных планов, высвобождения значительной части частотного ресурса для передачи потребителям дополнительных видов услуг — мобильной и стационарной видеосвязи, многопрограммного интерактивного телевидения, телевидения высокой четкости, многопрограммного звукового вещания, цифрового кино. Разработка алгоритмов и соответствующей аппаратуры цифрового сжатия различных видов информации для их передачи по каналам связи как альтернативы аналоговым системам проводится уже более 20 лет. Был получен ряд важных результатов в плане разработки алгоритмов сжатия (включая стандарты JPEG, JPEG2000, JPEG XR, MPEG-1, MPEG-2, MPEG-4, H.261, H.263, H.264/AVC для статических и динамических изображений различного разрешения) [1-40].

Проблема создания высококачественной системы цифровой передачи и хранения видеоинформации - это, главным образом, проблема быстрого и эффективного ее сжатия при сохранении качества исходной информации в смысле какой-нибудь меры или оценки [1-3, 24, 36, 40]. Этап сжатия -наиболее ресурсопотребляющая часть всей системы [22, 23]. Кодирующее устройство решает сложные задачи в реальном времени и производит большое количество операций обработки, определяющих качество цифрового преобразования изображения [16, 17, 26, 27, 29, 40]. Декодер, как правило, менее сложен и должен получать и восстанавливать данные [36, 40].

Значительный вклад в разработку теории и алгоритмов цифровой обработки изображений внесли как отечественные ученые: Ю.Б. Зубарев,

М.И. Кривошеев, Л.П. Ярославский, В.П. Дворкович, А.В. Дворкович, В.А. Сойфер, М.К. Чобану, А.С. Крылов, Ю.М. Баяковский, так и зарубежные - Р. Гонсалес, Р. Вудс, Т. Чан, А. Бовик, Ю. Неуво, Я. Астола, К. Егиазарян и др. [1-56, 66-75].

Алгоритмы сжатия занимают значительное место в теории цифровой обработки изображений [23, 39,40]. Связано это с тем, что изображения, представленные в цифровой форме, требуют для хранения довольно большого объема памяти, а при передаче их по каналам связи требуется значительное время [14, 21-23, 26, 29, 36]. Так, для хранения изображения с Full HD разрешением 1920x1080 пикселей и 24 битами на отсчет требуется 1920x1080x24=5,93 Мбайт памяти. Чтобы передать его по типовому телекоммуникационному каналу со скоростью 1 Мбит/с, потребуется около 40 секунд.

В то же время известно, что изображения содержат избыточную информацию, на которую тратятся память и полоса частот канала связи. Алгоритмы сжатия уменьшают объем избыточной информации. Их можно разделить на два класса [36, 40, 77]: алгоритмы сжатия без потерь (рис. В. 1а);

- алгоритмы сжатия с потерями (рис. В. 16). а) б)

Рис. В.1. Алгоритмы сжатия цифровых изображений: а) без потерь; б) с потерями Алгоритмы сжатия без потерь основаны на исключении избыточной статистической информации. К ним относятся: кодирование длин серий (Run-Length Encoding, RLE), метод группового кодирования (Lempel-Ziv-Welch, LZW), хаффмановское кодирование, арифметическое кодирование и др. «Сжатие без потерь» означает, что процесс обратим, т. е. информацию можно восстановить при декодировании в первоначальном виде [23, 24, 29, 40, 54].

Алгоритмы сжатия с потерями основаны на том, что в изображении содержится информация, либо слабо воспринимаемая человеческим глазом, либо ненужная для задачи дальнейшей обработки, например для выделения и распознавания объектов. В случае, когда потребителем информации на изображении является человек, мы имеем дело с психофизиологической избыточностью информации [41, 80]. Снижение такой избыточности состоит в исключении несущественных частей изображения, которые человеческий глаз не воспринимает в силу психофизиологических особенностей. При этом часть информации безвозвратно теряется, и восстановить ее при декодировании невозможно [71,72,81]. Например, глаз человека не различает цвет мелких деталей изображения [80-82], следовательно, можно хранить только яркость деталей, а цветность отбросить и таким образом 6 уменьшить общий объем информации. Этот метод традиционно применяется в телевидении [82, 161-163].

JPEG (Joint Photographic Expert Group - объединенная группа экспертов в области фотографии) - это первый международный стандарт ISO/IEC для сжатия неподвижных цифровых изображений [17, 125]. Несмотря на широкую популярность данного стандарта развивающиеся интерактивные мультимедиа приложения в проводных и беспроводных сетях, а также Интернет-приложения потребовали новых возможностей, отсутствующих в JPEG [17]. Все это послужило основой для разработки и сертификации новых стандартов — JPEG2000, принятого на рубеже веков, и JPEG XR, вышедшего в 2009 г.

Алгоритм сжатия, используемый в стандарте JPEG2000, основан на вейвлет-преобразовании изображения [12]. Стандарт JPEG2000 показывает свою эффективность в широком спектре приложений: передача изображений в сети Интернет, цифровая фотография, создание цифровых библиотек, базы данных изображений, цветное копирование, сканирование, печать, компьютерная графика, обработка медицинских изображений, мобильная связь третьего поколения (3G), приложения клиент-сервер, цифровое кино и др. [12, 34].

Отбрасывание части информации при использовании стандартов сжатия изображений JPEG и JPEG2000 делает актуальным вопрос об объективной оценке качества восстановленных изображений [40-43]. Качество столь сложного объекта, как изображение, является важным, но вместе с тем нечетким понятием. С одной стороны, качество может рассматриваться как характеристика самого изображения и определяться его собственными свойствами (статистическими, • семантическими, структурными). Соответствующие критерии являются либо субъективными, либо опираются на объективные характеристики изображения: форму и параметры распределения яркости, оценки искажения деталей и т. д.

С другой стороны - качество часто рассматривается как мера близости двух изображений: оцениваемого и эталонного. Такой подход позволяет оценивать количественные изменения значений яркости, общий уровень искажений изображений при преобразованиях (фильтрация, сжатие с потерями и т. д.). При этом оценивается качество самого средства преобразования — алгоритма или устройства, что важно при построении систем обработки изображений.

Относительно новый подход к оценке качества изображений заключается в использовании априорной информации об искажениях, проявляющихся при формировании, кодировании или передаче визуального сигнала. В случае ограниченности доступных ресурсов визуальная информация подвергается различного типа искажениям: блочность, размытие, звон и др. [29]. Если система обработки такова, что выходное изображение содержит лишь конечное число различных типов искажений, то независимая оценка каждого вида искажений позволяет судить о качестве всей системы. Преимущество такого подхода перед описанными выше состоит в том, что даже сильно коррелированные между собой искажения и искажения, зависящие от входного изображения, измеряются независимо. Это позволяет избежать ситуаций, когда разные по качеству изображения не отличаются с точки зрения меры близости их к оригиналу. Более того, независимые метрики количественной оценки искажений могут быть использованы для оптимизации параметров кодирующего устройства с целью повышения качества. Адекватное измерение и анализ искажений позволяет разрабатывать алгоритмы их подавления и улучшения качества, восстановленных изображений. Для стандарта сжатия JPEG существуют как эталонные, так и неэталонные алгоритмы количественного анализа артефактов блочности и размытия [83-87]. Разработка индекса блочности позволила формализовать и решить задачу подавления блочности (deblocking) [87]. Для стандарта сжатия JPEG2000 основными типами искажений являются размытие и звон. Задача количественной анализа данных искажений является новой. Разработка соответствующих метрик размытия и звона позволит проанализировать природу данных искажений, их вклад в общее качество изображения и разработать методы борьбы с ними. Кроме того, требуется проанализировать зависимость данных типов искажений друг от друга, что необходимо для объективной оценки качества всего изображения. Полученные метрики должны иметь низкую вычислительную сложность для работы в реальном масштабе времени, что позволит использовать их для оценки качества видеопоследовательностей, сжатых с применением стандарта JPEG2000.

Основной целью работы является улучшение характеристик систем сжатия изображений путем объективной оценки искажений, вносимых на этапе преобразования.

Для достижения указанной цели в диссертационной работе решаются следующие задачи:

- разработка алгоритмов количественной оценки искажений в изображениях, сжатых с использованием вейвлет-преобразования;

- проведение эксперимента по оценке корреляции между предложенными объективными оценками качества сжатых изображений со средними экспертными оценками;

- разработка алгоритма подавления артефактов звона в сжатых изображениях на основе билатерального фильтра;

- анализ влияния искажений в сжатых изображениях на работу алгоритмов выделения и распознавания лиц.

Методы исследования. При решении , поставленных задач использовались современные методы цифровой обработки изображений, вейвлет-анализа, теории вероятностей, математической статистики, математического анализа, линейной алгебры. Для практической реализации алгоритмов применялись современные численные методы и методы объектно-ориентированного программирования на языках С++ и Java.

Достоверность полученных научных результатов. Достоверность полученных научных результатов обусловлена применением адекватного математического аппарата, подтверждается их согласованностью с результатами проведенного компьютерного моделирования и сопоставлением полученных результатов с научными данными, известными из российской и зарубежной литературы.

Научная новизна. В рамках данной работы получены следующие новые научные результаты.

1. Разработаны эталонный и неэталонный алгоритмы оценки качества сжатых изображений, основанные на измерении уровня размытия в восстановленном изображении.

2. Разработан эталонный алгоритм оценки качества сжатых изображений, основанный на измерении уровня звона в восстановленном изображении.

3. Разработан и исследован алгоритм подавления звона в сжатых изображениях.

4. Исследовано влияние искажений звона и размытия на алгоритмы выделения и распознавания лиц на изображениях. Практическая значимость

1. Разработаны алгоритмы оценки уровня звона и размытия в изображениях, сжатых с применением вейвлет-преобразования.

2. Проведен эксперимент по оценке корреляции между объективными критериями качества сжатых изображений со средними экспертными оценками. Коэффициент корреляции Пирсона между предлагаемыми объективными оценками и средними экспертными составил 0,74.

3. Разработан алгоритм подавления артефактов звона на основе модифицированного билатерального фильтра. Применение данного алгоритма увеличивает ПОСШ восстановленного изображения на 1,5-3 дБ по сравнению с классическим билатеральным фильтром.

4. Предложена система архивирования видеоизображений на основе стандарта JPEG2000 с учетом требований систем видеонаблюдения и с возможностью идентификации личности. Вероятность верной идентификации личности по видеоархиву составила 48%. Предложенные алгоритмы количественной оценки искажений и подавления звона могут быть использованы в системах обработки и передачи визуальной информации, медицинских изображений, видеоархивирования. Разработанная система архивирования может быть использована как автономно в задачах видеонаблюдения, так и в- составе электронных комплексов обеспечения безопасности и охраны правопорядка.

Результаты работы внедрены в соответствующие разработки ЗАО «Фирма НТЦ КАМИ», г. Москва, ООО «А-ВИЖН», г. Ярославль.

Научно-исследовательская программа для архивирования изображений с возможностью идентификации личности PicLab.FDJ2K зарегистрирована в Реестре программ для ЭВМ, свидетельство № 2009616724 от 03.12.2009.

Отдельные результаты диссертационной работы внедрены в учебный процесс ЯрГУ им. П.Г. Демидова в рамках дисциплин «Цифровая обработка изображений», «Обработка и передача мультимедийной информации», «Основы телевидения и видеотехники».

Все результаты внедрения подтверждены соответствующими актами. На защиту выносятся:

1. Алгоритмы оценки уровня размытия и звона в изображениях, сжатых с применеш i ем вейвлет-преобразования.

2. Результаты сопоставления предложенных объективных оценок искажений и качества сжатых изображений со средними экспертными оценками.

3. Алгоритм подавления звона в сжатых изображениях на основе билатерального фильтра.

4. Результаты анализа работы алгоритмов выделения и распознавания лиц в условиях искажений, характерных для изображений, сжатых с использованием вейвлет-преобразования.

Апробация работы. Результаты работы обсуждались на следующих научно-технических семинарах и конференциях:

1. Десятая - двенадцатая международная конференция и выставка «Цифровая обработка сигналов и ее применение», Москва, 2008 — 2010.

2. 63 - 64-я научная сессия, посвященная Дню Радио, Москва, 2008 — 2009.

3. 15-я Международная научно-техническая конференция «Информационные средства и технологии», Москва, 2007.

4. 15-я международная научно-техническая конференция «Радиоэлектроника, электротехника и энергетика», Москва, 2009.

5. International IEEE Conference devoted to the 150-anniversary of Alexander S. Popov (EUROCON 2009), Saint Petersburg, 2009.

6. International Conference «Wavelets and Applications», Saint Petersburg, 2009.

7. 14-я Всероссийская конференция «Математические методы распознавания образов», Москва, 2009.

Публикации. По теме диссертации опубликовано 18 научных работ, из них 1 статья в журнале, рекомендованном ВАК («Успехи современной радиоэлектроники»), 2 статьи в сборнике научных трудов физического факультета ЯрГУ, 15 докладов на научных конференциях.

Структура и объем работы. Диссертация состоит из введения, четырех разделов, заключения, списка использованных источников, содержащего 208 наименований, и 4 приложений. Она изложена на 174 страницах машинописного текста, содержит 66 рисунков и 13 таблиц.

Заключение диссертации по теме «Радиотехника, в том числе системы и устройства телевидения», Зараменский, Денис Андреевич

11.Результаты работы внедрены в соответствующие разработки ЗАО «Фирма НТЦ КАМИ», г. Москва, ООО «А-ВИЖН», г. Ярославль.

12.Научно-исследовательская программа для архивирования изображений с возможностью идентификации личности PicLab.FDJ2K зарегистрирована в Реестре программ для ЭВМ, свидетельство № 2009616724 от 03.12.2009.

ЗАКЛЮЧЕНИЕ

Список литературы диссертационного исследования кандидат технических наук Зараменский, Денис Андреевич, 2010 год

1. Борисов Ю.И., Дворкович В.П., Зубарев Ю.Б. Технические проблемы и перспективы внедрения цифрового телевидения и радиовещания в России. Часть 1 // Broadcasting. Телевидение и радиовещание, 2007. №1. С. 22-27.

2. Борисов Ю.И., Дворкович В.П., Зубарев Ю.Б. Технические проблемы и перспективы внедрения цифрового телевидения и радиовещания в России. Часть 2 // Broadcasting. Телевидение и радиовещание, 2007. №2. С. 14-18.

3. Зубарев Ю.Б., Дворкович В.П., Дворкович А.В. Проблемы и перспективы внедрения информационных мультимедийных систем в России // Электросвязь,:2бо'4.' №10.' С:г1 1-16.

4. Цифровая обработка изображении/АТИИЭР, 1972. Т. 60, №7.

5. Распознавание образов и Ьоработаа^изображений // ТИИЭР, 1979. Т. 67, №10.

6. Обработка изображений^ // ТИИЭР- 1981'.' Т. 69, №5.

7. Ярославский Л.П. Введение в цифровую обработку изображений. М.: Советское радио,'1979/' ' " '

8. Yaroslavsky L. Digital Picture Processing An Introduction // Springer Verlag, 1985". :1 x w

9. Yaroslavsky L.' Eden M. Fundamentals of Digital Optics // Birkhauser,i1. Boston, 1996. • '

10. Даджион Д., Мерсеро P. Цифровая обработка многомерных сигналов // М.: Мир, 1988.

11. Чобану 1VI.K., Миронов В .Г. Состояние и перспективы развития методов цифровой обработки многомерных сигналов. Часть 1. Теория //4 t 4 !

12. Электричество, 2002. №11. С. 58-69.

13. Taubman D.S., Marcellin M.W. JPEG2000: Image Compression Fundamentals, Standards, and Practice // Norwell, MA: Kluwer, 2001.1 1 ' ' * 136 '

14. Прэтт У. Цифровая обработка изображений // М.: Мир, 1982.

15. Павлидис Т.'Алгоритмы машинной-графики и обработки изображений //М.: Радио и связь, 1986.

16. Чобану М.К. Многомерные многоскоростные системы обработки сигналов // М.: Техносфера, 2009.

17. Цифровая обработка телевизионных и компьютерных изображений /i

18. Под ред. Зубарева Ю.Б. и Дворковича В.П. // М.: 1997.

19. Шлихт Г.Ю. Цифровая обработка цветных изображений // М.: Эком, 1997.

20. Recommendation ITU-R ВТ.500-11. Methodology for the subjectiveassessment of the quality of television pictures, 2002.i

21. Wolf S., Pinson M. Video Quality Measurement Techniques // US Department of Commerce, National Telecommunication and Information Administration Report 02-392: *

22. Institute for Telecommunication Sciences official website www.its.bldrdoc.gov // Part of US Department of Commerce, Nationalv

23. Telecommunication and Information Administration. t

24. Recommendation ITU-R BT.601. Studio encoding parameters of digitaltelevision for standard 4:3 and wide screen 16:9 aspect ratios, 2007.

25. Грузман И.С., Киричук B.C., Косых В.П., Перетягин Т.П., Спектор А.А. Цифровая обработка изображений в информационных системах: Учебное пособие // Новосибирск: НГТУ, 2000.

26. Ватолин Д., Ратушняк А., Смирнов М., Юкин В. Методы сжатия данных. Устройство архиваторов, сжатие изображений и видео // М.: Диалог-МИФИ, 2002.

27. Цифровое преобразование изображений / Под редакцией Быкова Р.Е // М.: Горячая линия Телеком, 2003.

28. Абламейко С.В., Лагуновский Д.М. Обработка изображений: технология, методы, применение // Минск: Амалфея, 2000.26