Разработка новых методов анализа качества видеокодеков и оптимизация систем сжатия видеоинформации тема диссертации и автореферата по ВАК РФ 05.12.13, кандидат наук Хабибуллина, Наталья Айзиковна

• Хабибуллина, Наталья Айзиковна
• кандидат наук
• 2014

Оглавление диссертации кандидат наук Хабибуллина, Наталья Айзиковна

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ

ГЛАВА 1. ОСНОВНЫЕ МЕТОДЫ И ОПРЕДЕЛЕНИЯ

1.1. Современные методы кодирования динамических видеоизображений

1.2. Внешние методы оценки качества работы видеокодека

1.2.1. Объективные методы тестирования

1.2.2. Субъективные методы тестирования

1.2.3. Методы сравнения видеокодеков

1.3. Анализ внутренних методов оценки эффективности работы отдельных алгоритмов в видеокодеке

1.3.1. Метод полной качественной оценки

1.3.2 Метод модификации исходной видеопоследовательности: добавление шумных кадров в видеопоследовательность

1.3.3. Метод модификации исходной видеопоследовательности: удаление произвольных кадров из исходной видеопоследовательности

1.3.4. Использование синтетических видеопоследовательностей с варьируемой скоростью перемещений объектов

1.4. Методы оценки сложности видеопоследовательности

1.4.1. Пространственная сложность изображения

1.4.2. Временная сложность изображения

1.4.3. Временная сложность изображения с учетом компенсации движения

1.4.4. Метрика четкости изображения

1.4.5. Цветовые метрики

1.5. Статистические методы анализа данных применительно к задаче обработки данных видеоизображений

1.6. Передача видеопотока по нестабильным каналам связи с использованием видеокодека на основе вейвлет-преобразований

1.7. Заключение к главе 1

ГЛАВА 2. МЕТОД ВНЕШНЕГО АНАЛИЗА ЭФФЕКТИВНОСТИ РАБОТЫ ВИДЕОКОДЕКА ПУТЕМ МОДЕЛИРОВАНИЯ КАЧЕСТВА ВИДЕОКОДИРОВАНИЯ

2.1. Методика построения модели качества работы видеокодека до процесса кодирования видеопоследовательности

2.2. Новая метрика качества кодирования (ЕС>М)

2.3. Заключение к главе 2

ГЛАВА 3. МЕТОДЫ ВНУТРЕННЕГО АНАЛИЗА ЭФФЕКТИВНОСТИ ИСПОЛЬЗОВАНИЯ ОСНОВНЫХ АЛГОРИТМОВ В ВИДЕОКОДЕКЕ

3.1. Условия проведения внутреннего анализа качества работы видеокодека

3.2. Результаты тестирования и рекомендации по проведению внутреннего анализа видеокодеков

3.3. Заключение к главе 3

ГЛАВА 4. АНАЛИЗ ЭФФЕКТИВНОСТИ РАБОТЫ ВИДЕОКОДЕКА НА ОСНОВЕ ВАЙВЛЕТ ПРЕОБРАЗОВАНИЙ В УСЛОВИЯХ ПЕРЕДАЧИ

ВИДЕОПОСЛЕДОВАТЕЛЬНОСТИ ПО НЕСТАБИЛЬНЫМ КАНАЛАМ СВЯЗИ

4.1. Применение вейвлет-преобразований в процессе кодирования видео

4.2. Методика представления данных для цели дальнейшей передачи по каналу связи с

переменной пропускной способностью

4.3. Анализ устойчивости качества видеопоследовательности к потерям в зависимости от использованного вейвлет-преобразования в процессе кодирования

4.4. Исследование эффективности использования метрики ЕС)М применительно к видеокодеку на основе вейвлет-преобразования

4.5. Коэффициент сжатия видеокодеком основанном на вейвлет-преобразовании

4.6. Заключение к главе 4

ГЛАВА 5. ВЫВОДЫ

СПИСОК ЛИТЕРАТУРЫ

ПРИЛОЖЕНИЕ А. ПРИМЕРЫ РАБОТЫ Е(}М

ПРИЛОЖЕНИЕ Б. УСЛОВИЯ ПРОВЕДЕНИЯ ВНУТРЕННЕГО АНАЛИЗА

ПРИЛОЖЕНИЕ В. ПОКАЗАТЕЛИ Т-СТАТИСТИКИ

ПРИЛОЖЕНИЕ Г. ИЛЛЮСТРАЦИЯ РАБОТЫ ВИДЕОКОДЕКА НА ОСНОВЕ ВЕЙВЛЕТ-ПРЕОБРАЗОВАНИЙ

ПРИЛОЖЕНИЕ Д. ЛИСТИНГ РАСЧЕТА ХАРАКТЕРИСТИК СЛОЖНОСТИ ИСХОДНЫХ ВИДЕОПОСЛЕДОВАТЕЛЬНОСТЕЙ

Введение диссертации (часть автореферата) на тему «Разработка новых методов анализа качества видеокодеков и оптимизация систем сжатия видеоинформации»

ВВЕДЕНИЕ

Актуальность проблемы

Информация является одним из важнейших человеческих ресурсов. Она имеет самые различные формы, а способы ее передачи целиком зависят от особенностей информационного потока. В процессе своего развития человек научился передавать информацию посредством живописи и письменности. Позднее были изобретены методы хранения звуковых сообщений, затем - способы хранения и передачи визуальной статической и динамической информации. Эволюция методов хранения и передачи информации показывает, что развитие каждого следующего этапа возможно только на базе предшествующего. Уже начали развиваться технологии и стандарты хранения и передачи вкусовых и тактильных ощущений. Разработчики нового формата кино 5Э ставят своей задачей позволить зрителю погрузиться в атмосферу трехмерного фильма с добавлением тактильных и обонятельных ощущений для более точной передачи замысла режиссера. В настоящий момент идет этап активного развития оптимальных методов передачи динамических изображений, чему и посвящена настоящая работа.

В зависимости от системы формирования и передачи видеоинформации каждый из способов хранения и передачи обладает своей спецификой и накладывает ограничения на способ обработки видеопотока. Основные задачи, которые ставятся при обработке видеоинформации, - это достижение заданного размера и качество выходного файла за определенное время. Программа, с помощью которой решают поставленные задачи, называется видеокодеком. Для каждой системы обработки видеоинформации созданы специализированные видеокодеки. Универсального видеокодека, одинаково хорошо кодирующего в любых условиях, не существует, поскольку в каждой системе кодирования есть свои особенности. Например, для передачи по беспроводной сети видеопоследовательность должна быть как можно более компактной и равномерно распределенной во времени. За счет низкой временной и пространственной сложности уровень качества получаемого видеосигнала может быть средним или низким. Цифровое видео повышенной четкости не имеет таких жестких ограничений по размеру, однако передача изображения высокого качества требует применения специализированного, оптимизированного видеокодека.

Для достижения оптимального качества, скорости и размера необходимо оптимизировать и варьировать параметры и алгоритмы в видеокодеке. Способы передачи информации динамично развиваются, становятся быстрее и эффективнее, таким образом, изменяются условия использования видеоинформации и, как следствие, условия применимости видеокодеков. Поэтому характерной чертой процесса развития видеокодеков являются динамичность и адаптивность. Для того чтобы сконфигурировать видеокодек под реальные условия использования, необходимо проанализировать и оценить эффективность работы совокупности методов и алгоритмов в видеокодеке. Кроме того, анализ оптимальных условий использования позволяет оценить стоимость реализации видеокодека в виде практического решения, в котором, как правило, существуют как материальная часть компьютера, так и программная часть. Это немаловажно, учитывая широкую область использования видеоинформации. Следует учитывать, что конкурентоспособность является определяющим фактором при разработке видеокодека. Если определенные решения слишком дорогостоящи в эксплуатации и реализации, то от них отказываются, и данное направление не развивается либо развивается медленно. Подводя итог сказанного, можно заметить, что анализ видеокодеков является многомерной оптимизационной задачей и неотъемлемой частью процесса развития и использования методов хранения и передачи видеоинформации.

Анализ видеокодеков не должен проводиться в идеальных условиях, так как специфика использования видеоинформации накладывает ряд требований и ограничений на способ хранения и передачи информации и, как следствие, на способ кодирования. Поэтому первый этап анализа видеокодека - это определение основных требований и ограничений по свойствам видеоинформации на входе и выходе. Должны быть определены такие параметры, как допустимая задержка, допустимый размер использования памяти, требуемое качество и степень сжатия и т.д.

Для того чтобы подобрать оптимальные параметры работы видеокодека, необходимо проанализировать его поведение «снаружи», то есть провести внешний анализ видеокодека, основанный на оценке качества выходного видеопотока. В этом заключается второй этап анализа. Определение качества видеокодека - многомерная и во

многом открытая задача. Самый эффективный и главный показатель качества - это субъективное мнение экспертной группы, просматривающей сжатую тестируемым кодеком видеопоследовательность. Оценкой качества сжатой последовательности является усредненное мнение группы экспертов. Существует множество методик и правил показа видеопоследовательностей для сбора субъективных оценок. Основной недостаток этих методик состоит в том, что они весьма дорогостоящие и медленные, а также сложно интерпретируемые. Альтернативой субъективных методик являются объективные автоматизированные методы измерений качества видеопотока. Объективные методы строятся на основании математических моделей, приближающих результаты субъективной оценки качества и основанных на критериях и метриках, которые могут быть измерены объективно. Однако даже самые популярные методы объективной оценки качества, такие как РБИЛ и БЭШ, являются эталонными и в автоматическом режиме не могут полностью соответствовать субъективной оценке. Поэтому важно продолжать разрабатывать более совершенные методы объективной оценки. Настоящая работа посвящена разработке нового универсального, неэталонного метода оценки качества работы видеокодека.

На третьем этапе анализа необходимо изучить и проанализировать эффективность работы внутреннего устройства видеокодека. Это можно осуществить, включая и исключая отдельные методы и алгоритмы в видеокодеке и проводя предварительную оценку качества работы видеокодека в автоматическом режиме тестирования. Один из основных разделов настоящей диссертации нацелен на разработку нового методологического подхода к внутреннему анализу результатов работы видеокодеков и определению ключевых алгоритмов кодирования, имеющих наибольшее влияние на качество закодированной видеопоследовательности.

Завершающим этапом оценки оптимальности использования видеокодека будет сравнение выбранного решения с другими стандартными и нестандартными видеокодеками. Поэтому одна из глав данной работы посвящена анализу эффективности использования нестандартного подхода к кодированию в условиях передачи видеоинформации по сетям с переменной пропускной способностью.

Цель работы - разработка новых методов анализа видеокодирования, позволяющих оптимизировать работу видеокодеков, специализирующихся на передаче видеоинформации по сетям с переменной пропускной способностью.

Задачи исследования

1) Исследовать зависимость между сложностью исходной видеопоследовательности и воспринимаемым уровнем качества закодированной видеопоследовательности и разработать новый метод внешней объективной оценки качества работы видеокодеков.

2) Сформулировать условия применимости нового метода внешней оценки качества работы видеокодеков и оценить эффективность его работы по сравнению с существующими методами.

3) Верифицировать предложенный метод при помощи субъективного тестирования.

4) Предложить методы анализа основных внутренних алгоритмов видеокодека на основе анализа результатов работы видеокодека.

5) Определить ключевые алгоритмы кодирования, имеющие наибольшее влияние на качество закодированной видеопоследовательности.

6) Выявить зависимость между качеством работы нестандартного видеокодека на основе вейвлет-преобразований с уровнем потерь данных в канале связи и типом используемого вейвлет-преобразования.

7) Установить набор оптимальных параметров для кодирования видеопоследовательностей в условиях передачи видеоинформации по мобильным сетям и сетям с переменной пропускной способностью.

Научная новизна

Предложена новая двумерная параметрическая оценка качества видеокодеков без процесса кодирования, применимая к широкому классу видеокодеков. Предложенный метод верифицирован при помощи субъективного тестирования.

Определены ключевые алгоритмы при видеокодировании для целого класса стандартных видеокодеков. Проанализированы эффективные методы внутреннего анализа основных алгоритмов видеокодека. В частности, произведен детальный анализ влияния алгоритма идентификации смены сцены на качество закодированного видео.

Разработаны рекомендации по представлению видеоинформации для целей дальнейшей передачи по беспроводной сети. Проведен оригинальный анализ работы видеокодека, основанного на вейвлет-преобразовании, в условиях передачи видеопотока по нестабильному каналу связи.

Научно-практическая значимость работы

Новая двумерная параметрическая оценка качества видеокодеков без процесса кодирования (EQM) может быть применена к широкому классу видеокодеков. Автор диссертации считает, что предложенный метод обеспечивает удачный баланс между сложностью вычислений и эффективностью использования. При помощи полученной метрики могут быть улучшены алгоритмы кодирования видео, такие как алгоритм контроля количества бит, затрачиваемых на кодирование секунды видеопоследовательности (Rate Control), алгоритм принятия решения о типе макроблока (Mode Decision) и другие.

Полученная метрика качества позволяет классифицировать

видеопоследовательности по сложности, что существенно помогает структурировать тестирование видеокодеков. Посчитав EQM, можно заранее классифицировать исходные видеопоследовательности, выбрать только уникальные по сложности видеоряды (то есть убрать дублирующиеся по сложности видеопоследовательности) и обеспечить полноту покрытия разных диапазонов сложности (для хорошего покрытия необходимы как простые, так и сложные видеопоследовательности). Субъективное тестирование показало, что метрика EQM хорошо коррелирует с человеческой оценкой качества кодирования MOS.

На основе проведенного исследования внутреннего анализа видеокодеков были выделены ключевые алгоритмы кодирования, оказывающие наибольшее влияние на качество закодированной видеопоследовательности. Это такие алгоритмы, как метод

битрейт-контроля, алгоритм, определяющий смену сцены, метод разделения на типы макроблоков, метод компенсации движения и другие.

Для повышения устойчивости представления информации при передаче по проводным и беспроводным сетям было проанализировано шесть типов вейвлет-преобразований. Показано, что видеокодек на основе вейвлет-преобразования ЭаиЬесЫез кодирует с наиболее стабильным и высоким показателем качества. Выявлено, что сложность кодирования в условиях потерь существенно зависит от интенсивности движения, поэтому качество кодирования падает на последовательностях с более сложным движением.

Анализ сценариев потери данных указывает на то, что при потере больше двух уровней коэффициентов квантования качество видеопотока становится трудным для человеческого восприятия. Поэтому рекомендуется выделить основные пакеты таким образом, чтобы как минимум три уровня коэффициентов квантования передавались гарантированно. Передача четырех уровней увеличивает качество получаемого видеоряда, однако требует дополнительных 50% от размера передаваемого файла.

Положения, выносимые на защиту

- новая двухпараметрическая метрика, применимая при проведении внешнего анализа видеокодека;

- методологический подход к внутреннему анализу видеокодека;

- альтернативный метод представления видеоинформации для передачи по проводным и беспроводным сетям.

Список работ, опубликованных по теме диссертации

Статьи, опубликованные в рецензируемых журналах, рекомендованных ВАК РФ

1. Браиловский И.В., Соломещ Н.А.1 Моделирование качества для видеокодирования // Информационные технологии. - 2012. - № 1. - С. 42^18.

2. Соломещ Н.А., Браиловский И.В. Анализ и оптимизация работы вейвлетного видеокодека в условиях передачи видеопотока по нестабильному каналу связи // Информационные технологии. - 2014. - № 1. - С. 46-51.

Статьи, опубликованные в сборниках трудов конференций

3. Brailovskiy I., Solomeshch N. Regression Analysis of Correlation between Video Coding Parameters and Sequence Modification Analyzers // Proceedings of Nineteenth International Conference on Computer Graphics and Vision. - 2009. - P. 140-144.

4. Brailovskiy I., Solomeshch N. Parameterized Estimation of Video Encoding Quality // Proceedings of Seventh International Workshop on Video Processing and Quality Metrics for Consumer Electronics. Compression performance and quality applications and models. -2013.-P. 64-69.

Тезисы, опубликованные в материалах конференций

5. Соломещ Н.А. Моделирование качества для видеокодирования // Научные труды Международной молодежной научной конференции «Гагаринские чтения XXXVII». Секция информационных систем и прикладных информационных технологий в социально-экономической сфере. - Москва, Россия: МАТИ. - 2011. - № 4. - С. 107— 109.

6. Соломещ Н.А. Моделирование видеокодирования // Сборник трудов Третьей Всероссийской молодежной научной школы «Прикладные математика и физика: от фундаментальных исследований к инновациям» - Москва, Россия: МФТИ. - 2012. -С.82-84.

7. Соломещ Н.А. Передача потокового видео в условиях нестабильного канала связи // Труды пятьдесят пятой научной конференции МФТИ: Всероссийской научной конференции. Секция радиоэлектроники и прикладной информатики. - Москва, Россия: МФТИ, 2012.-№ 1.-С. 16-17.

1 H.A. Соломещ в 2013 году изменила фамилию и стала H.A. Хабибуллина.

Степень достоверности и апробация работы

Основные положения диссертационной работы докладывались и обсуждались на четырех международных научных конференциях: Международной конференции по компьютерной графике и зрению «Графикон», МГУ (Россия, Москва); Всероссийской молодежной научной школе «Прикладные математика и физика: от фундаментальных исследований к инновациям», научной конференции МФТИ «Проблемы фундаментальных и прикладных естественных и технических наук в современном информационном обществе» (Россия, Долгопрудный) и международном семинаре по видеообработке и параметрической оценке качества изображения УР(^М (США, Аризона, Скоттсдейл).

По теме диссертации опубликованы семь работ, в том числе две статьи в рецензируемых журналах, рекомендованных ВАК РФ, две статьи в сборниках трудов научных конференций на иностранном языке, трое тезисов докладов, изданных в материалах конференций. Результаты исследований по неэталонный оценке качества работы видеокодеков используются в лаборатории по компьютерной графике и зрению ВМиК МГУ.

Часть исследований нестандартного подхода к видеокодированию проводилась в рамках молодежного научно-инновационного конкурса «УМНИК». Результаты исследования были отражены в научной работе, которая в 2012 году была отмечена дипломом победителя Всероссийского молодежного конкурса научных работ по современным проблемам фундаментальных и прикладных наук, организованного Министерством образования и науки РФ.

Объем и структура диссертации

Диссертация изложена на 153 стр. машинописного текста и состоит из введения, пяти глав, списка литературы и четырех приложений. Работа содержит 35 рисунков и 29 таблиц. Список литературы включает 100 источников, в том числе 10 на русском и 90 на английском языке.

Благодарности

Автор выражает глубокую признательность своему научному руководителю Илье Владимировичу Брайловскому и научному консультанту Александру Ивановичу Галушкину за постоянную поддержку в проведении, написании и оформлении научной работы. Их консультации и критические замечания позволили мне не только существенно улучшить содержание и структуру диссертации, но, что значительно важнее, почувствовать вкус к научным исследованиям и ощутить свою причастность к развитию современных информационных технологий. Автор благодарен всем, кто помог в выполнении данной работы, - Виктору Павловичу Дворковичу за критические замечания и ценные советы, которые помогли сделать работу сильнее, коллективу кафедры «Интеллектуальные информационные системы и технологии» (ФГАНУ ЦИТиС), а также сотрудникам и руководству компании ЗАО «Интел А/О» за предоставленную мне возможность выполнить эту работу; лаборатории по компьютерной графике и зрению ВМиК МГУ за интерес и поддержку моих исследований; Министерству образования и науки РФ за финансовую поддержку (гос. контракт №9990р/16760 от 01.02.2012).

ГЛАВА 1. ОСНОВНЫЕ МЕТОДЫ И ОПРЕДЕЛЕНИЯ

Кодек - это сокращение от английского encoder/decoder (кодировщик/декодировщик) или compressor/decompressor. Кодек является звеном в цепочке программ, который получает на вход избыточный поток данных от источника и на выходе выдает преобразованный поток информации. Поток данных на входе может быть представлен как файлом, так и потоком данных от цифровой камеры, мобильного телефона или от других источников [1]. Основные задачи кодирования информации - это сжатие до заданного размера с максимальным качеством и скоростью работы. Кодеки могут как кодировать поток или сигнал данных для цели передачи, хранения или шифрования, так и декодировать - для просмотра или преобразования формата в более подходящий для дальнейшей цели использования информации. Кодеки часто используются при цифровой обработке видео и звуковых данных.

Динамические изображения могут быть представлены в аналоговой или цифровой форме. Цифровое представление получило более широкое развитие, так как в отличие от аналогового обладает большим удобством с точки зрения хранения, передачи и поиска информации, а также позволяет передавать несколько видеопотоков в одном стандартном радиоканале. Можно выделить четыре основных способа передачи и хранения цифровых динамических изображений и видеосигналов - это цифровое видео, хранящееся на Blu Ray, DVD, flash памяти и на жестких дисках. В системах видеотелефонии, конференцсвязи, или видео, воспроизводимого по запросу, передача информации может быть осуществлена через проводные и беспроводные сети. Кроме того, видеосигнал может быть доставлен с использованием спутникового вещания в режиме трансляции реального времени.

Видео высокой четкости в силу своей специфики обладает существенной избыточностью и, как следствие, большим размером, поэтому его передача без специальной обработки малоэффективна. Разрешение видео высокой четкости варьирует от 1280 х 720 до 7680 х 4320 и более пикселей на кадр с частотой от 30 кадров в секунду. Как правило, такое видео хранят на жестких дисках или Blu Ray дисках. Однако в настоящее время по проводной сети или другим высокоскоростным каналам связи передают видео с разрешением от 1280 х 720 до 1920 х 1080 пикселей на кадр. Процесс

сжатия видео, хранящегося на дисках, может производиться задолго до просмотра или передачи, поэтому он может осуществляться в несколько проходов для достижения высокого качества.

В случае передачи видео в режиме трансляции реального времени используется разрешение до 1920 х 1080, однако наиболее типичным в настоящий момент является разрешение 720 х 576 с частотой передачи 24-30 кадров в секунду. Такое видео передается по сети, в том числе беспроводной, часто с использованием спутниковой связи. Заметим, что в режиме трансляции реального времени видео должно кодироваться с очень небольшой задержкой.

В системах домашнего видео или видео, воспроизводимого по запросу, снижены требования к пространственному разрешению, а область использования часто ограничена размером экрана устройства, на котором просматривается видео и на который будет подаваться видеосигнал заданного фиксированного качества. Для передачи видео по беспроводной сети наиболее характерно разрешение от 352 х 288 до 720 х 576 (иногда вплоть до 1920 х 1080) с частотой передачи 25-30 кадров в секунду.

Отличительными особенностями видеоконференцсвязи и видеотелефонии являются сниженные требования к пространственной и временной сложности, однако предъявляются высокие требования к скорости кодирования видеосигнала, например требуется поддерживать разрешение от 176 х 144 до 1280 х 720 при 5-30 кадрах в секунду. Тем не менее, кодирование и декодирование видеопотока должно происходить без ощутимых задержек. Передача осуществляется, как правило, по беспроводной сети.

Классифицируя основные методы кодирования цифровых изображений, можно выделить шесть направлений: импульсно-кодовая модуляция, кодирование с предсказанием, кодирование с преобразованием, кодирование с интерполяцией и экстраполяцией, статистическое кодирование и другие методы кодирования.

Наиболее простой алгоритм кодирования изображений - это импульсно-кодовая модуляция, основанная на квантовании значений уровней пикселей. Дальнейшее преобразование в цифровой код может производиться как неадаптивным, так и

адаптивным методом, то есть кодирование может производиться кодом с заранее заданным числом бит или с кодом переменной длины.

Более высокую степень сжатия обеспечивает один из вариантов дифференциальной импульсно-кодовой модуляции, например кодирование с предсказанием, которое также может осуществляться адаптивным и неадаптивным методами. В этом методе кодирования используется условное замещение, при котором данные не передаются в случае достижения фиксированного уровня ошибки предсказания. Кроме алгоритмов квантования, используется алгоритм предсказания данных, который ссылается в обе стороны - как на предшествующие, так и на последующие кадры.

Наиболее популярным методом кодирования информации является кодирование с преобразованием. Оно также бывает как адаптивным, так и неадаптивным и может использовать различные методы преобразования, такие как дискретное преобразование Фурье [2], преобразование Карунена - Лоэва [3], дискретно косинусное преобразование, преобразование Хаара [4], Уолша - Адамара [4]. При квантовании с интерполяцией и экстраполяцией используют методы адаптивной интерполяции и экстраполяции, пространственной и временной субдискретизации.

Статистическое кодирование используют для сжатия без потерь, поэтому закодированные изображения могут обладать статистической и визуальной избыточностью. Статистическое кодирование может быть адаптивным и неадаптивным. Используемые в данном методе алгоритмы - это алгоритм Шеннона - Фано, Хаффмана, арифметическое кодирование, блочное и условное, словарное, статистическое и контекстное [5]. К классу остальных методов относят метод векторного квантования, метод выделения контуров, выделение последовательности одинаковых символов, битовую плоскость, фрактальное кодирование и кодирование с использованием вейвлет-преобразований [6].

Большинство кодеков для звуковых и визуальных данных используют сжатие с потерями, чтобы получать приемлемый размер сжатого файла. Кроме того, существуют кодеки, сжимающие данные без потерь (англ. Lossless codecs). Но для большинства применений используют видеокодеки с потерями информации, так как малозаметное

ухудшение качества оправдывается значительным уменьшением объема данных [7]. Почти единственное исключение - это ситуация, когда данные будут подвергаться дальнейшей обработке. В этом случае повторяющиеся потери при кодировании/декодировании окажут серьезное влияние на качество [8].

В основе алгоритма сжатия заложены особенности восприятия изображения человеком. Например, человек намного лучше воспринимает градации яркости, чем цветности; градации одних цветов воспринимаются лучше, других - хуже. Это происходит вследствие того, что визуальная информация, получаемая глазом, фильтруется, сжимается с устранением избыточности и только часть данных воспринимается человеком [9]. Наука, изучающая цветовое восприятие, называется колориметрией. Задача эффективной обработки большого количества информации решается за счет большого количества рецепторных клеток в сетчатке [10].

В 1834 году исследователем биофизической природы зрения Э. Герингом было выдвинуто предположение о трех способах передачи сигналов от биполярных клеток через ганглионарные к коленчатому телу мозга: через ахроматический канал, построенный на оппозиции белого и черного, через красно-зеленый и через сине-желтый канал.

При кодировании изображений за базовые цвета были приняты три: красный (Red), зеленый (Green) и синий (Blue) - RGB. Базовая система цветов (гамут) позволяет воссоздать насыщенные и отличные друг от друга цвета. Основная задача при выборе базовых цветов заключается в том, что область воспроизводимости должна быть как можно шире. Минимальное количество базовых цветов в гамуте равняется трем. В полиграфии трудно использовать насыщенность, поэтому используют четыре основных цвета: желтый, пурпурный, голубой и черный, этого не всегда бывает достаточно, поэтому также используют базу, состоящую из шести или семи цветов. Исходя из такого цветового разнообразия появились цвета, называемые метамерами. Это два цвета, имеющие разную физическую природу, но при определенном освещении дающие одинаковое цветовое ощущение.

Список литературы диссертационного исследования кандидат наук Хабибуллина, Наталья Айзиковна, 2014 год

СПИСОК ЛИТЕРАТУРЫ

1. Дворкович В. П., Дворкович А. В. Цифровые видеоинформационные системы: теория и практика. - Москва, Россия: Техносфера, 2012. - 1008 с.

2. Saad М., Bovik A. A natural scene statistics approach in the DCT domain // IEEE Transactions on Image Processing. - 2012. - № 21(8). - P. 3339 - 3352.

3. G. Dai, Modal wave-front reconstruction with Zernike polynomials and Karhunen-Loeve functions // Optical Society of America. - 1996. -№ 13(6).- P. 1218-1225.

4. Ахмед H., Pao K.P. Ортогональные преобразования при обработке цифровых сигналов: Пер. С анг. под ред. И.Б. Фоменко - Москва, Россия: Связь, 1980. - 125 с.

5. Sullivan G., Ohm J., Han W., Wiegand T. Overview of the high efficiency video coding (HEVC) standard // IEEE Transactions on Circuits and Systems for Video Technology. — 2012. — №22. P. 1649-1668.

6. Richardson E. H.264 and MPEG-4 video compression. - Chichester, UK: Wiley and Sons, 2003.-306 p.

7. Schwarz H., Marpe D. Wiegand T. Overview of the scalable video coding extension of the H. 264/AVC standard // IEEE Transactions on Circuits and Systems for Video Technology. -2007.-№ 17(9). P. 1103-1120.

8. Farias M., Mitra S. Perceptual contributions of blocky, blurry, noisy, and ringing synthetic artifacts to overall annoyance // Journal of Electronic Imaging. - 2012. - № 21. - P. 043013043021.

9. Демидов В. Как мы видим то, что видим. - Москва, Россия: Знание, 1987. - 240 с.

10. Годен Ж. Колориметрия при видеообработке. - Москва, Россия: Техносфера, 2008. -328 с.

11. CCITT Recommendation Н.261. Coding of moving video, Codec for audiovisual services at n x 384 kbit/s, 1988. - 29 p.

12. CCITT Recommendation T.81|ISO/IEC 10918. Digital compression and coding of continuous tone still images, 1993. - 182 p.

13. ITU-T Recommendation H.262|ISO/IEC 13818. Information technology — Generic coding of moving pictures and associated audio information, 1994. - 212 p.

14. ITU-T Recommendation H.264|ISO/IEC 14496-2. Coding of Audio-Visual Objects, Part 2: Visual, 2001.-536 p.

15. ITU-T Recommendation H.264|ISO/IEC 14496-10. Audiovisual and Multimedia Systems. Infrastructure of audiovisual services Coding of moving video. Advanced video coding for generic audiovisual services, 2005. - 356 p.

16. ITU-T H.265 / ISO/IEC 23008-2. High efficiency coding and media delivery in heterogeneous environments, Part 2. High efficiency video coding, 2013. - 317 p.

17. Xiao F. DCT-based Video Quality Evaluation // Международный информационный ресурс. [Электронный ресурс]. - Режим доступа: http://www.researchgate.net/publication/245841043 DCT-based Video Quality_Evalnation

18. CCITT Recommendation T.84 | ISO/IEC 10918-3. Digital compression and coding of continuous-tone still images, 1993. - 84 p.

19.Philip H., Zisserman A.: Feature Based Methods for Structure and Motion Estimation // ICCV Workshop on Vision Algorithms. - 1999. - P. 278-294.

20. Young-Bin K., Jaehwa P. Optimum Block Size Detection for Image Quality Measure // Proceedings of Seventh International Conference on Pattern Recognition. - 2004. - № 4. - P. 491 — 494.

21.Wiegand Т., Schwarz H., Joch A., Kossentini F., Sullivan G. J. Rate-constrained coder control and comparison of video coding standards // IEEE Transactions on Circuits and Systems for Video Technology. - 2003. -№ 13(7). - P. 688-703.

22. Huang C., Liao B. A robust scene-change detection method for video segmentation // IEEE Transactions on Circuits and Systems for Video Technology. - 2001. - № 11. - P. 1281— 1288.

23.TU-T Recommendation P.910: Subjective video quality assessment methods for multimedia applications, 1999. - 37 p.

24. Girod B. Efficiency Analysis of Multihypothesis Motion-Compensated Prediction for Video Coding // IEEE Transactions on Image Processing. - 2000. - № 9(2). - P. 173-183.

25. Ries M., Crespi C., Nemethova O., Rupp M. Content Based Video Quality Estimation for H.264/AVC Video Streaming // Proceedings of Conference: IEEE Wireless Communications and Networking. - 2007. - P. 2668-2673.

26. Gastaldo P., Rovetta S., Zunino R. Objective quality assessment of MPEG-2 video streams by using CBP neural networks // IEEE Transactions on Neural Networks. - 2002. - № 4. - P. 939-947.

27.Caviedes J., Oberti F., No-reference quality metric for degraded and enhanced video // IEEE Conference on Visual Communications and Image Processing. - 2003. - № 5150. - P. 621-627.

28. Chen J., Zhang Y., Liang L., Siwei M., Wang R., Gao W. A No-Reference Blocking Artifacts Metric Using Selective Gradient and Plainness Measures // In Proceedings of IEEE Pacific-Rim Conference International Conference on Multimedia. - 2008. - P. 894-897.

29.Dubravko C., Kukolj D., Vasiljevic P., Pokric M., Zlokolica V. Feature Selection for Neural-Network Based No-Reference Video Quality Assessment // Proceedings of the Nineteenth International Conference on Artificial Neural Networks. - 2009. - № 5769. - P. 633-642.

30. Davis A. G., Bayart D., Hands D. S. Hybrid No-Reference Video Quality Prediction // IEEE International Symposium on Broadband Multimedia Systems. - 2009. - P. 1-6.

31.Mittal A., Moorthy A. K., Bovik A. C. No-reference image quality assessment in the spatial domain// IEEE Transactions on Image Processing. - 2012. -№ 21(12). - P. 4695-4708.

32. Cleary J., Witten I. Data compression using adaptive coding and partial string matching // IEEE Transactions on Communications. - 1984. - № 32(4). - P. 396^102.

33. Society of Motion Picture and Television Engineers Standardization Background RP227: VC-1 Bitstream Transport Encodings, 2010.-31 p.

34. Specifications RealVideo // Международный информационный ресурс. [Электронный ресурс]. - Режим доступа: http://multimedia.cx/mirror/realvideo/

35. Winkler S. Digital video quality: vision models and metrics. - Chichester, UK: Wiley and Sons, 2005.-192 p.

36. Parshin A. Vatolin D. Brailovskiy I., Corriveau P. Novel Approach for Video Codecs Scoring using Specially Prepared Video Sequences // In Proceedings of the Fourth International Workshop on Video Processing and Quality Metrics for Consumer Electronics conference. - 2009. -P. 1-.

37. ITU-T Recommendation J.340: Reference algorithm for computing peak signal to noise ratio of a processed video sequence, 2010. - 28 p.

38. Hong W., Kamisetty R. Digital video image quality and perceptual coding. - Boca Raton, USA: Taylor and Francis, 2006. - 640 p.

39. MSU Video Quality Measurement Tool Documentation: CS MSU Graphics & Media Lab Video Group, 2011,- 108 p.

40. Wolf S., Pinson M. Application of the NTIA general video quality metric (VQM) to HDTV quality monitoring // In Proceedings of The Third International Workshop on Video Processing and Quality Metrics for Consumer Electronics. - 2007. - P. 351-356.

41.Hekstra A.P., Beerends J., Ledermann D., Caluwe F.E., Kohler S., Koenen R. H., Rihs S., Ehrsam M., Schlauss D. PVQM - A perceptual video quality measure // Signal Processing Image Communication. - 2002. - № 17. - P.781-798.

42. Wang Z., Bovik A., Sheikh H., Simoncelli E. Image quality assessment: From error visibility to structural similarity // IEEE Transactions on Image Processing. - 2004. - № 13(4). - P. 600-612.

43. Wang Y. Objective Video Quality Method Based on Mutual Information and Human Visual System // International Journal of Electronics and Telecommunications. - 2012. - № 58(2). -P. 147-152.

44. Blin J. New quality evaluation method suited to multimedia context: SAMVIQ // In Proceedings of the Second International Workshop on Video Processing and Quality Metrics. -2006.-P. 313-318.

45. Schay G. Concise Introduction to Linear Algebra. - Boston, USA: Springer, 2012. - 327p.

46. Brailovskiy I., Solomeshch N. Regression Analysis of Correlation between Video Coding Parameters and Sequence Modification Analyzers // Proceedings of Nineteenth International Conference on Computer Graphics and Vision. - 2009. - P. 140-144.

47. Parshin A. and Vatolin D. Methods of analysis of video codecs based on modifications of natural of natural video sequences // Proceedings of Eighteenth International Conference on Computer Graphics and Vision. - 2008. - P. 1-7.

48. Bjontegaard G. Calculation of average PSNR differences between RD-curves // Proceedings of Thirteen Video Coding Experts Group. - 2001. - P. 1-4.

49. Senzaki K., Chono K., Aoki H., Tajime J., Senda Y. BD-PSNR/Rate computation tool for five data points // Joint Call for Proposals on Video Compression Technology. - 2010. - P. 1-3.

50. Hartmann A., Lienhart R. Automatic classification of images on the Web // Storage and Retrieval for Media Databases. - 2002. - P. 31-40.

51.0ng E.P., Loke M.H., Weisi L., Zhongkang L., Yao S. Video Quality Metrics - An Analysis for Low Bit Rate Videos // IEEE International Conference on Acoustics, Speech, and Signal Processing. - 2007. - № 1. - P. 889- 92.

52. Паршин А., Ватолин Д. Методы анализа видекодеков на основе модификации естественных видеопоследовательностей // Лаборатория Компьютерной Графики и Мультимедиа. - 2008. - С. 294-301.

53. Zhang Y., Zafar S. Motion-compensated wavelet transform coding for color video compression // IEEE Transactions on Circuits and Systems for Video Technology. - 1992. - № 2(3). - P. 285-296.

54. Judd Т., Durand F. et al., A Benchmark of Computational Models of Saliency to Predict Human Fixations. // Technical Report MIT. - 2012. - 7 p.

55. Brailovskiy I., Solomeshch N. Parameterized Estimation of Video Encoding Quality // Proceedings of Seventh International Workshop on Video Processing and Quality Metrics for Consumer Electronics. Compression performance and quality applications and models. - 2013. - P. 64-69.

56. Браиловский И., Соломещ H. Моделирование качества для видеокодирования // Информационные технологии. - 2012. - № 1 - С. 42-48.

57. Crete F., Dolmiere Т., Ladret P., Nicolas M. The Blur Effect: Perception and Estimation with a New No-Reference Perceptual Blur Metric // Human Vision and Electronic Imaging XII. -2007.-№ 6492.-P. 1-11.

58. Montgomery D.C. Statistical Quality Control. - Chichester, UK: Wiley and Sons, 2012. -758 p.

59.Лемешко Б.Ю., Постовалов C.H. О зависимости предельных распределений статистик X2 Пирсона и отношения правдоподобия от способа группирования данных // Заводская лаборатория. - 1998. - № 64(5). - С. 56-63.

60.Fichet В., Piccolo D., Verde R., Vichi M. Classification and Multivariate Analysis for Complex Data Structures. - Boston, USA: Springer, 2011. - 496 p.

61. Rao K. R., Bojkovic Z. S., Milovanovic D. A. Multimedia Communication Systems: Techniques, Standards and Networks -NJ, USA: Prentice Hall, 2002. - 576 p.

62. Katz, B. , Greenberg, S. , Yarkoni, N. , Blaunstein, N. , & Giladi, R. New error-resilient scheme based on FMO and dynamic redundant slices allocation for wireless video transmission // IEEE Transactions on Broadcasting. - 2007. - № 53(1). - P. 308-319.

63. Venkatesh R. B., Perkis A. Odd Inge Hillestad: Evaluation and monitoring of video quality for UMA enabled video streaming systems // Multimedia Tools and Applications. - 2008. - № 37(2).-P. 211-231'.

64. Walls W.D. Robust analysis of film earnings // Journal of Media Economics. - 2009. - № 22(1).-P. 20-35.

65.Skupin R., Hellge C., Schierl T., Wiegand T. Packet level video quality evaluation of extensive H.264/AVC and SVC transmission simulation // Journal of Internet Services and Applications. - 2011. - № 2. - P. 129-138.

66.Ghareeb M., Ksentini A., Viho A. Scalable Video Coding (SVC) for multipath video streaming over Video Distribution Networks (VDN) // International Conference on Information Networking. - 2011. - P. 206-211.

67. ITU-T Recommendation T.800|is0/IEC 15444:2000 Information technology - JPEG 2000 image coding system. Telecommunication Standardization Sector of ITU, 2004. - 194 p.

68. Farzad E., Matthieu C. Stefan W. JPEG vs. JPEG2000: An objective comparison of image encoding quality // Society of Photo - Optical Instrumentation Engineers Applications of Digital Image Processing. - 2004. - №5558. - P. 300-308.

69.Dumic, E., Mustra, M., Grgic, S. Comparison of Dirac and H.264/AVC Coding Quality Using Objective Video Quality Measures. // Proceedings of the Sixteenth International Conference on Systems, Signals and Image Processing International Conference. - 2009. - P. 1-4.

70. Gao X., Le W., Lu X., Tao D. Wavelet - based contourlet in quality evaluation of digital images // Neurocomputing. - 2008. - № 72(3). - P.378-385.

71. Stockhammer T., Zia W. Error Resilient Coding and Decoding Strategies for Video Communications // Multimedia over IP and Wireless Networks: Compression, Networking, and

Systems / Edited by Chou P. A. - Burlington, USA: Academic Press is an imprint of Elsevier, 2007. -P. 13-58.

72.Monteiro J., Calafate C., Nunes M. Evaluation of the H. 264 scalable video coding in error prone IP networks // IEEE Transactions on Broadcasting. - 2008. - № 54(3). - P. 652-659.

73.Mieghem P. Performance Analysis of Communications Networks and Systems. - New York, USA: Cambridge University Press, 2006. - 530 p.

74. Qinghua Z. Using wavelet network in nonparametric estimation // IEEE Transactions on Neural Networks. - 1997. - № 8(2). - P. 227-236.

75.Соломещ H., Браиловский И. Анализ и оптимизация работы вейвлетного видеокодека в условиях передачи видеопотока по нестабильному каналу связи // Информационные технологии. - 2014. - № 1. - С. 46-51.

76. Ravid, S. A., Basuroy, S. Managerial Objectives, the R-Rating Puzzle, and the Production of Violent Films // Journal of Business. - 2004. - № 77(2). - P. 155-192.

77. Stanley K. Image Quality and Image Compression: A Psychophysicist's Viewpoint // Digital Images and Human Vision / Ed. Watson A.B. - Cambridge, USA: The MIT Press, 1993. -P. 73-88.

78.Narwaria M., Weisi L. Objective image quality assessment based on support vector regression // IEEE Transactions on Neural Networks. - 2010. - № 21 (3). - P. 515-519.

79. Technical Specification IPP // Международный информационный ресурс. [Электронный ресурс]. - Режим доступа: https://software.intel.com/en-us/intel-ipp

80. Technical Specification Х.264 // Международный информационный ресурс. [Электронный ресурс]. - Режим доступа: http://www.x264.nl/x264_main.php

81. Fourth annual MPEG-4 AVC/H.264 video codec comparison // Международный информационный ресурс. [Электронный ресурс]. - Режим доступа: http://compression.ru/video/codec_comparison/mpeg-4 ave h264 2007 en.html

82. Berenson M.L., Levine D.M., Krehbiel T.C. Basic Business Statistics: Concepts and Applications: 12th Edition -NJ, USA: Pearson Education, 2011.-912 p.

83.Dirac Specification Version 2.2.3 // Международный информационный ресурс. [Электронный ресурс]. - Режим доступа: http://diracvideo.org/download/specification/dirac-spec-latest.pdf

84. Чуй Ч. Введение в вэйвлеты. - Москва, Россия: Мир, 2001. -412 с.

85. Le G. D., Tabatabai A. Sub-band coding of digital images using symmetric short kernel Iters and arithmetic coding techniques // Proceedings of International Conference on Acoustics, Speech, and Signal Processing. - 1988. - P. 761-764.

86. Daubechies I., Lagarias J. Two-scale difference equations. Local regularity, infinite products of matrices and fractals // Society for Industrial and Applied Mathematics. - 1992. - P. 1031-1079.

87. Daubechies I., Lagarias J. Two-scale difference equations. Global regularity of solutions // Society for Industrial and Applied Mathematics. - 1991. - P. 1388-1410.

88. Яковлев A. H. Введение в вейвлет-преобразования. - Новосибирск, Россия: НГТУ, 2003,- 104 с.

89. Daubechies I. Ten Lectures on Wavelets. - Philadelphia, USA: Society for Industrial and Applied Mathematics, 1992. - 377 p.

90. Deslauriers G., Dubuc S. Interpolation dyadique // In Fractals: dimensions non entieres et applications / Ed. Cherbit G. - Paris, France: Masson, 1987. - P. 44-45.

91. Aruna R. Performance analysis and comparison of Dirac video codec with H.264/MPEG-4 Part 10 AVC // The University of Texas at Arlington. - 2009. - 117 p.

92. Chen Z., Wu D. Prediction of Transmission Distortion for Wireless Video Communication: Analysis // IEEE Transactions on Image Processing. - 2012. - № 21(3). - P. 1123-1137.

93. Le C. P., Viardgaudin C., Barbara D. A convolutional neural network approach for objective video quality assessment // IEEE Transactions on Neural Networks and Learning Systems. - 2006. - № 17.-P. 1316-1327.

94.Liao N., Chen Z. A packet-layer video quality assessment model with spatiotemporal complexity estimation // Journal on Image and Video Processing. — 2011. — JVfs 5. — P. 1-13.

95.Davanipoor M., Zekri M., Sheikholeslam F. Fuzzy Wavelet Neural Network With an Accelerated Hybrid Learning Algorithm // IEEE Transactions on Fuzzy Systems. - 2012. - № 20(3).-P. 463-470.

96. Duffy K. R. Feature Guided Registration Applied to Phase- and Wavelet-based Optic Flow Algorithms. - Dayton, USA: Air Force Institute of Technology, 2003. - 74 p.

97. Wang Z., Simoncelli E.P. Reduced-reference image quality assessment using a wavelet-domain natural image statistic model // Proceedings of Society of Photo - Optical Instrumentation Engineers Human Vision and Electronic Imaging. -2005. -№ 5666. - P. 149-159.

98. Wolf S., Pinson M. H. Low bandwidth reduced reference video quality monitoring system // Proceedings of International Workshop on Video Processing and Quality Metrics for Consumer Electronics. - 2005. - P. 207-211.

99. Kugarajah T., Zhang Q. Multidimensional wavelet frames // IEEE Transactions on Neural Networks and Learning Systems. - 1995. - .№ 6. - P. 1552-1556.

100. Guraya F., Imran A., Yubing T., Cheikh F. A non-reference perceptual quality metric based on visual attention model for videos // Information Sciences Signal Processing and their Applications (ISSPA), 10th International Conference. - 2010. - P. 361-364.