Модели и алгоритмы нереференсных методов компьютерной оценки качества растровых изображений тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат наук Аль-Аскари Моханад Абдулсалам Юнус

• Аль-Аскари Моханад Абдулсалам Юнус
• кандидат наук
• 2019

Оглавление диссертации кандидат наук Аль-Аскари Моханад Абдулсалам Юнус

СПИСОК ПРИНЯТЫХ СОКРАЩЕНИЙ

ВВЕДЕНИЕ

1 ОБЗОР И СРАВНИТЕЛЬНЫЙ АНАЛИЗ МОДЕЛЕЙ И МЕТОДОВ ОЦЕНКИ КАЧЕСТВА ЦИФРОВЫХ ИЗОБРАЖЕНИЙ

1.1 Виды и характеристика артефактов растровых изображений

1.2 Классификация критериев оценки качества изображений

1.4 Анализ неэталонных методов оценки качества изображений

1.5 Выбор направления исследований по разработке числовых метрик оценки качества растровых изображений

1.6 Выводы по первому разделу

2 ИССЛЕДОВАНИЕ И РАЗРАБОТКА МЕТОДОВ ОЦЕНКИ БЛОКИНГ АРТЕФАКТОВ НА РАСТРОВЫХ ИЗОБРАЖЕНИЯХ

2.1 Постановка задачи

2.2 Анализ существующих алгоритмов оценки артефактов на растровых изображениях

2.3 Разработка вероятностных метрик оценки качества растровых изображений с артефактами блокинга

2.3.1 Модифицированный алгоритм NPBM

2.3.2 Разработка нереференсного алгоритма, основанного на свойствах изображения с артефактами блокинга

2.3.3 Разработка алгоритма оценки артефактов на изображениях на основе коэффициента вариации

2.3.4 Разработка алгоритма оценки артефактов блокинга на основе коэффициентов асимметрии и эксцесса в цветовом пространстве CIE L*a*b*

2.4 Выводы по второму разделу

3 ИССЛЕДОВАНИЕ И РАЗРАБОТКА МЕТОДОВ ОЦЕНКИ АРТЕФАКТОВ СТРОБ-ЭФФЕКТОВ НА РАСТРОВЫХ ИЗОБРАЖЕНИЯХ

3.1 Постановка задачи

3.2 Разработка алгоритмов нереференсной оценки качества изображений со строб-эффектами на основе контурного анализа

3.2.1 Алгоритм покрытия с детектированием контуров отдельных каналов модели RGB

3.2.2 Алгоритм нереференсной оценки качества изображений со строб-эффектами с параметрической оптимизацией параметров методов детектирования контуров

3.2.3 Алгоритм нереференсной оценки качества изображений со строб-эффектами

с двойной оптимизацией параметров методов детектирования контуров

3.2.4 Разработка алгоритма нереференсной оценки качества изображений со строб-эффектами на основе бинаризации изображений и настройкой параметров

методов детектирования контуров

3.3 Выводы по третьему разделу

4 РАЗРАБОТКА МОДЕЛЕЙ, АЛГОРИТМОВ И МЕТОДИКИ ПРМЕНЕНИЯ КОМПЬЮТЕРНОЙ ОЦЕНКИ КАЧЕСТВА РАСТРОВЫХ ИЗОБРАЖЕНИЙ

4.1 Алгоритм нереференсной оценки качества группы изображений

4.2 Разработка методики классификации артефактов изображений

4.3 Определение корректирующего параметра на основе

аппроксимации нормальным законом распределения пикселей изображения

4.4 Оценка качества изображений с артефактами блокинга с учетом корректирующих коэффициентов

4.5 Оценка качества изображений с артефактами строб-эффектов с учетом корректирующих коэффициентов

4.6 Разработка алгоритма метрики классификации

4.7 Выводы по четвертому разделу

ЗАКЛЮЧЕНИЕ

СПИСОК ЛИТЕРАТУРЫ

Приложение А

Приложение Б

Приложение В

Приложение Г

Приложение Д

Приложение Е

Приложение Ж

Приложение З

Приложение И

Приложение К

Приложение Л

СПИСОК ПРИНЯТЫХ СОКРАЩЕНИЙ

RGB - Red, Green, Blue - красное, зеленое, синее, цветовая модель изображения NBG - Neigh Bour Gradient - среднее значение градиента в двух соседних блоках относительно границы

LBM, LPBM - a Local Blockiness Metric - локальная блочная метрика; a Local Perceptual Blockiness Metric - локальная субъективная блочная метрика NPBM - No-reference Perceptual Blockiness Metric - нереференсная (безэталонная) субъективная блочная метрика, вычисляется среднее значение LPBM LBEM - a Local Block-Edge Metric- Локальная метрика блочности на границе NBEM - No-reference Block-Edge Metric - нереференсная метрика блочности на границе

IQI - Image Quality Index - индекс качества изображения

BRISQUE - Blind/Referenceless Image Spatial Quality Evaluator - слепой (безрезервный, неэталонный) оценщик качества изображения

NIQE - Naturalness Image Quality Evaluator - естественный оценщик качества изображения (нереференсная оценка качества изображения)

IL-NIQE (ILNIQE) - Integrated Local NIQE - интегрированный локальный NIQE

NSS - natural scene statistics - статистика естественных сцен

ROI - Region Of Interest, область интересов на изображении

LIVE - Laboratory for Image & Video Engineering, база изображений, собранная в

лаборатории обработки изображений и видеоданных университета г. Остин, штат

Техас, США

VQEG - Video Quality Experts Group, группа экспертов по качеству видео

TID2008 - Tampere Image Database, база изображений, собранная в университете

г. Тампере, Финляндия

TID2013 - обновленная версия TID2008

MATLAB - MATrix LABoratory (матричная лаборатория)

OpenCV - Open Source Computer Vision - библиотека компьютерного зрения с открытым исходным кодом

Введение диссертации (часть автореферата) на тему «Модели и алгоритмы нереференсных методов компьютерной оценки качества растровых изображений»

ВВЕДЕНИЕ

Цифровая обработка изображений в настоящее время продолжает развиваться. Во многих производственных и научно-прикладных сферах существуют разнообразные задачи цифровой обработки изображений. Многие вопросы имеют вполне законченное решение. Это относится к проблемам фильтрации, сегментации, морфологической обработке изображений, распознаванию объектов на изображениях, оценке качества изображений в различных отраслях производства, строительных материалах, выявления археологических объектов, финансовой сфере, обработке мультимедийной информации, в медицине, анализа характерных точек рельефа местности, оценке цифрового телевизионного сигнала [1, 7, 9, 10, 13, 15-20, 22, 25, 27-29, 33, 41-43, 48, 50, 91].

Развитие цифровой индустрии обработки изображений происходит в различных направлениях - фильтрация, сжатие, восстановление, хранение изображений, морфологическая обработка, преобразование изображений и цветовых пространств. Это связано с появлением новых способов и технических средств получения, передачи и воспроизводства растровых изображений. Продажи растровых изображений (РИ) из коммерческих коллекций составляют значимую часть финансовых доходов медийного интернет-бизнеса, в связи с этим к качеству этих изображений предъявляются высокие требования. Алгоритмы оценки и обеспечения качества изображений, хранящихся в растровых графических форматах, получают всё большее распространение. Причем перед применением алгоритмов обеспечения качества (улучшения) изображений, которые ориентированы на ликвидацию недоработок (артефактов) в технических средствах и технологиях, работающих с изображениями, эти артефакты необходимо идентифицировать и оценить количественно на основе разработанных метрик. Идентификация осуществляется как визуально (субъективная оценка), так и пользуясь описанием технических характеристик оборудования, методов и технологий (объективная оценка).

Существуют различные методы и приемы оценки изменения изображений относительно контрольного образца, когда образец находится при неблагоприят-

ных факторах пребывания образца в течение определенного периода времени [27, 28, 37]. Часто возникает необходимость отфильтровать изображение с целью улучшения его качества [23, 24, 31, 33, 39, 47, 51]. Имеются методы преобразования цветных изображений, например, преобразование их в полутоновые (grayscale) изображения [23, 24, 38, 54-56]. Особое место занимают вопросы оценки качества изображений - качества растровых изображений. Здесь в первую очередь следует отметить объективные методы или метрики оценки качества изображений. В этом направлении выделяются несколько подходов и решений [8, 35, 40, 63, 65, 69, 82, 86, 89, 93]. На современном этапе решаются задачи безэталонной (нереференсной, no-reference) оценки качества изображений [26, 36, 52, 53, 62, 64, 66-68, 70-74, 76, 80, 81, 90, 100, 105, 107].

Когда объем коллекции превышает десять и более тысяч изображений ре-ференсная оценка становится неприменима из-за высокой трудоемкости процесса. В связи с этим заметное место занимают исследования, посвященные нереференсной, безэталонной оценки качества РИ. Они базируются на идентификации определенных артефактов по характерным признакам ((No-reference Block-Edge Metric (NBPM) - нереференсная метрика блочности на границе)) или базируются на машинных методах обучения, когда нейронная модель или машина опорных векторов обучается на заранее размеченной группой экспертов коллекции изображений (NIQE, BRISQUE, IL-NIQE). Алгоритмы нереференсной оценки качества изображений NIQE, BRISQUE реализованы в последних версиях системы компьютерной математики MATLAB. Тем не менее, как отмечено в публикациях A. Bovik, Старовойтова В. В., Монича Ю. И. не существует универсальных алгоритмов и методов безэталонной оценки качества изображений. В большом количестве научных публикаций приводятся различные подходы к оценке качества изображений с искажениями различного типа, но ориентированные на определенный вид артефактов. Среди искажений или артефактов на изображениях определяющими являются следующие: артефакты блокинга (blocking artifacts), артефакты сжатия (compression artifact) (не определяются тестом на артефакты), артефак-

ты размытости (blur), артефакты поврежденной\загрязненной магнитной головки (unclean tape head problem), строб-эффекты (strobe), артефакты рассыпания изображения (compression artifacts).

Задачи, возникающие в информационных процессах передачи и приема изображений, связаны с необходимостью оценки качества изображений без какого-либо сравнения с контрольным образцом. Задачи подобного типа относятся к задачам определения метрики восприятия изображения без ссылки на образцовое качественное изображение (A no-reference perceptual metric of quality). Необходимо с помощью компьютера выполнить классификацию изображений, в первую очередь, разделить их на «хорошие», с малым уровнем искажений, и с некоторыми артефактами без визуального контроля. Получить числовые метрики оценки качества изображений на основе разработанных алгоритмов. Этим вопросам большое внимание уделяется как в России, так и за рубежом. Однако это крайне сложно сделать в общем случае. Поскольку не существует универсальных безэталонных методов оценки качества изображений, поэтому в русле современных тенденций по определению нереференсных методов оценки качества изображений требуется разработка дополнительных и совершенствование существующих безэталонных методов цифровой обработки изображений с целью выработки числовых метрик, позволяющих в автоматизированном режиме сделать заключение о качестве исследуемых изображений.

Разработка и экспериментальное обоснование новых методов компьютерного зрения, цифровой обработки сигналов, машинного обучения позволяет решить определенные задачи оценки качества, встречающиеся на телевидении, в оптике, офтальмологии, интернет-медиа. При этом тот или иной алгоритм дает положительные результаты в рамках определенных ограничений, а достоверность методов оценки существенно зависит от вида артефактов. Этот факт определяет актуальность темы диссертационного исследования, посвященного разработке моделей и алгоритмов нереференсной оценки качества РИ, смягчающих ограничения применимости и повышающих достоверность оценки.

Объектом исследования диссертационной работы являются коллекции РИ различного формата с искажениями, возникающими при их получении, передаче, хранении и воспроизведении.

Предметом исследования являются информационно-структурные модели идентификации и алгоритмы оценки артефактов блокинга и строб-эффектов.

Цель настоящей работы - повышение достоверности нереференсной оценки качества РИ на основе информационно-структурных моделей идентификации и алгоритмов определения метрик артефактов блокинга и строб-эффектов.

Для достижения поставленной цели сформулированы и решены следующие задачи.

1. Провести сравнительный анализ существующих моделей, алгоритмов и метрик субъективной и объективной оценки качества РИ по данным отечественных и зарубежных публикаций.

2. Разработать комплексы алгоритмов нереференсной оценки артефактов блокинга и строб-эффектов на РИ и исследовать их характеристики.

3. Разработать информационно-структурную модель коррекции результирующих метрик алгоритмов нереференсной оценки качества РИ с целью повышения их достоверности по критерию соответствия восприятию человеческого глаза - соответствия субъективным референсным метрикам.

4. Разработать методику идентификации РИ по типам артефактов, обеспечивающую эффективное применение разработанных алгоритмов для РИ с наличием одновременно артефактов блокинга и строб-эффекта.

5. Выполнить программную реализацию разработанных алгоритмов и экспериментальную оценку их эффективности.

Научная новизна основных научных результатов.

1. Разработан комплекс алгоритмов оценки метрик артефактов блокинга РИ, отличающийся тем, что операции алгоритма выполняются до вычисления значений блока ЫБРЫ метрики, метрики определяются на основе расчета коэффициентов вариации по геометрическим размерам полутонового изображения, а также по

отдельным каналам цветности модели RGB на основе параметров асимметрии и эксцесса вероятностного нормального распределения, что позволяет точнее оценить качество РИ как при малом уровне искажений, наличии шумов в изображении.

2. Создан комплекс модифицированных алгоритмов оценки артефакта строб-эффектов РИ на основе детекторов контуров Canny и Prewitt, отличающийся включением программных модулей бинаризации изображений и автоматизации подбора уровня порога чувствительности детекторов, что дает возможность повысить точность метрик и скорость обработки.

3. Разработана информационно-структурная модель коррекции нереференс-ных метрик оценки артефактов блокинга и строб-эффектов, отличающаяся тем, что корректирующий коэффициент рассчитывается через площади кривых, образуемых разностью эмпирической и теоретической функций нормального распределения для цветного и полутонового изображений соответственно, что обеспечивает максимальную корреляцию с экспертными референсными метриками -метриками восприятия человеческого глаза, особенно при малом видимом уровне искажений.

4. Разработана методика идентификации РИ по типам артефактов, отличающаяся тем, что метрика классификации изображений вычисляется как среднее геометрическое от двух отношений - среднего геометрического к среднему арифметических значений координат максимумов приведенных функций распределений и площадей под кривыми графиков трех вероятностных распределений, а граница классификации определяется в виде стандартного отклонения полунормального приведенного распределения, что позволяет эффективно применять разработанные комплексы алгоритмов для РИ со смешанными артефактами блокинга и строб-эффектов.

Методы исследования. В процессе решения поставленных задач использованы методы цифровой обработки изображений, методы теории вероятностей и математической статистики, численные методы и методы оптимизации, методы

математического моделирования, методы программирования на языках высокого уровня Win32 API C++, C#, MATLAB, OpenCV.

Практическая значимость основных научных результатов. Применение созданных методик, алгоритмов и программных комплексов идентификации РИ по типам артефактов, оценки метрик артефактов блокинга и строб-эффектов РИ обеспечивает более точную оценку качества РИ при малом уровне искажений и наличии шумов в изображении, повышение точности метрик и скорости обработки, дает возможность оценить качество видеопотоков.

Использование информационно-структурной модели коррекции нерефе-ренсных метрик оценки артефактов блокинга и строб-эффектов позволяет достичь максимальной корреляции с экспертными референсными метриками - метриками восприятия человеческого глаза, особенно при малом видимом уровне искажений.

Соответствие паспорту специальности. Содержание диссертации соответствует паспорту специальности ВАК 05.13.17 - теоретические основы информатики (технические науки) по областям исследований:

п.1. «Исследование, в том числе с помощью средств вычислительной техники, информационных процессов, информационных потребностей коллективных и индивидуальных пользователей»;

п.2. «Исследование информационных структур, разработка и анализ моделей информационных процессов и структур»;

п. 5. «Разработка и исследование моделей и алгоритмов анализа данных, обнаружения закономерностей в данных и их извлечениях разработка и исследование методов и алгоритмов анализа текста, устной речи и изображений»;

п. 7. «Разработка методов распознавания образов, фильтрации, распознавания и синтеза изображений, решающих правил. Моделирование формирования эмпирического знания».

Достоверность научных результатов обосновывается корректностью применения математического аппарата, адекватностью использованных тестовых

коллекций изображений выборкам, экспериментальными исследованиями и результатами опытной эксплуатации и апробации разработанных программных продуктов.

Основные положения, выносимые на защиту.

1. Комплекс алгоритмов оценки метрик артефактов блокинга РИ.

2. Комплекс модифицированных алгоритмов оценки артефакта строб эффектов РИ на основе детекторов контуров РИ Canny и Prewitt.

3. Информационно-структурная модель коррекции нереференсных метрик оценки артефактов блокинга и строб-эффектов для обеспечения максимальной корреляции с экспертными референсными метриками.

4. Методика идентификации РИ по типам артефактов для применения разработанных алгоритмов для РИ со смешанными артефактами блокинга и строб-эффекта.

Реализация и внедрение. Результаты работы использованы в учебном процессе Национального исследовательского Мордовского государственного университета им. Н. П.Огарёва при подготовке студентов по направлениям подготовки 09.03.01 «Информатика и вычислительная техника», 11.04.02 «Инфокоммуника-ционные технологии и системы связи».

Результаты работы внедрены и использованы при выполнении НИОКР «Исследование и оптимизация технологий изготовления светоделительных пластин для одноканальных и многоканальных безочковых индикаторов псевдообъемного изображения с узким зрачком» (госконтракт №8009р/8265) ООО «Ви-део3», г. Пенза. Внедрение результатов работы подтверждается соответствующими актами.

Апробация результатов исследований. Основные результаты диссертационной работы доложены и получили положительную оценку:

- на XLVII «Огаревских чтениях» ФГБОУ ВО «Национальный исследовательский Мордовский государственный университет им. Н. П. Огарёва»,

секция «Автоматизированные системы обработки информации и управления» 12 декабря 2018 года, г. Саранск;

- на Всероссийской научной конференции «Актуальные проблемы и достижения в естественных и математических науках», г. Самара, НН: ИЦРОН, 2018.;

- на Всероссийской научной конференции «Информационные технологии. Проблемы и решения» г. Уфа: УГНТУ, 2018;

- на Всероссийской научной конференции «Евразийский союз ученых (ЕСУ)». № 4 (49) 2018. г. Москва;

- на научной конференции «Фундаментальные и прикладные разработки в области технических и физико-математических наук», 2018, круглый стол №4 - вопросы теории и практики, г. Казань;

- на Международной научно-практической конференции «Перспективы развития современных математических и естественных наук». - г. Воронеж. -2018. №5.

Публикации. По теме диссертации опубликовано 16 научных работ, в том числе 5 статей в изданиях рекомендованных ВАК Минобрнауки РФ, получены 2 свидетельства программ для ЭВМ. Принято положительное решение о публикации статьи «The Classification With Respect To Strobe Artifacts» в индексируемом в базе Scopus журнале «An International Journal of Advanced Computer Technology», что подтверждено соответствующими документами.

Личный вклад автора. Основные результаты, выносимые на защиту, получены автором лично. Во всех работах, выполненных в соавторстве, автор непосредственно участвовал в постановке задач, выборе методов их решения, анализе результатов. Автор осуществил программную реализацию алгоритмов.

Структура и объем работы. Диссертация изложена на 163 страницах текста и состоит из введения, четырех глав, заключения, списка литературы из 121 наименования, 10 приложений, содержит 91 рисунок, 69 таблиц.

1 ОБЗОР И СРАВНИТЕЛЬНЫЙ АНАЛИЗ МОДЕЛЕЙ И МЕТОДОВ ОЦЕНКИ КАЧЕСТВА ЦИФРОВЫХ ИЗОБРАЖЕНИЙ

Цифровая обработка изображений важная и распространенная область исследований. Много внимания уделяется улучшению качества, например, растровых изображений. Оценка качества изображений неотъемлемая часть процессов, в фильтрации и восстановления изображений, очистка их от таких дефектов как, например, гауссовский шум или вкраплений типа соли и перца (salt and pepper) [1, 8, 11, 14, 15, 18-20, 27, 33, 35, 54, 57, 64]. Для исследований в данной работе существенное значение имеют такие разделы цифровой обработки изображений как сегментация изображений, детектирование границ, преобразованиия цветовых пространств, морфологическая обработка изображений [17, 24, 25, 32, 41, 62, 64, 65].

К настоящему времени сформировалась классификация методов и алгоритмов оценки качества изображений [2-7, 9, 26, 37-39, 42-47, 52, 59, 66-70, 7289, 91-94, 99-101, 104-113, 115-120]: субъективные и объективные критерии качества.

Субъективные критерии качества изображений формируются группой экспертов, которых должно быть не менее 15 человек [40].

В зависимости от метода исследования, субъективная оценка качества может принимать дискретные значенияот 1 до 5 (1 плохое качество), и непрерывные от 0 до 100. Популярной является метрика DMOS (difference mean opinion score) принимает значения от 0 до 100, чем меньше значение, тем лучше качество данного изображения. Она формируется, как отмечено в [9, 37, 40] в следующем виде:

DMOSij =

DMOSj = DMOS^j,

где г^ - оценка 1-го эксперта для /-го изображения, г1ге^ - оценка качества, которую выставил 1-й эксперт эталонному изображению, ^ - среднее по всем изображениям значение оценок, которую выставляет 1-й эксперт, а - среднее квадрати-ческое отклонение (стандартное отклонение).

С помощью метрики ЭМОБ оценка производится по шкале качества, согласно которой наблюдатель должен оценить результирующее качество изображения, изменяющееся от «очень плохого» до «очень хорошего». Результатом экспертных оценок является линейное отображение значения, определенного по шкале качества в диапазоне оценок от 1 до 100 - чем большее значение, тем хуже качество тестируемого изображения.

Для субъективных критериев качества характерны такие недостатки, как дороговизна и низкая скорость работы и зависимость результатов от точности выполнения экспериментальных условий и эмоционального состояния экспертов. Однако субъективные критерии качества имеют определенную ценность, так как по ним часто тестируют методы и алгоритмы субъективных критериев качества изображений.

Объективные критерии качества изображений характеризуются тем, что оценка изображений осуществляется автоматически без участия экспертов. При этом для установления степени соответствия между объективными и субъективными оценками используются коэффициенты ранговой корреляции Спирмена, Кендалла, Пирсона, величину стандартного отклонения. Для высоких значений коэффициентов корреляции с малой величиной стандартного отклонения алгоритм объективного критерия качества будет хорошим.

Алгоритмы объективной оценки качества разделяют, как правило, на две группы.

В первую группу входят эталонные алгоритмы, которые работают относительно оригинала, результаты сравнивают с изображением оригинала по различным показателям [9, 29, 37, 40, 43, 47, 49, 54, 71, 73, 84, 93, 95, 100, 104-106, 108, 115, 116, 119].

Во второй группе собраны неэталонные (безэталонные, нереференсные, no-reference) алгоритмы и методы, которые напрямую работают с искаженными изображениями [4-7, 21, 31, 38, 46, 52, 59, 60, 63, 66-68, 72, 74, 76-78, 80-83, 85, 87, 91, 101, 113, 118]. Сейчас они интенсивно развиваются и находят свое применение в практической деятельности. Некоторые результаты отражены в следующих работах: [16, 23, 38, 44, 45, 51, 53, 57, 81, 114, 121]. Обычно они подвергаются субъективной экспертизе, т. е. сопоставляются в каких-либо корреляционных отношениях с субъективными оценками экспертов, выполненными по таким базам тестовых изображений как LIVE, TID2008/2013 [90, 95, 96].

1.1 Виды и характеристика артефактов растровых изображений

Актуальность оценки качества растровых изображений связана с экспоненциальным ростом количества изображений компьютерного формата, в первуюо-чередь - растровых изображений, хранимых как на отдельных компьютерах, так и в специализированных системах хранения данных. Проблема оценки качества изображений является начальным этапомв задаче оценки качества видеоизображений, таккак кадр видео-потока есть не что иное, как растровое изображение. Оценка качества изображения и видео - это оценка количества и величины артефактов - объектов, искажающих восприятие. Для растровых изображений выделяют следующие артефакты:

1. артефакты блокинга (blocking artifacts);

2. артефакты сжатия (compression artifact) (не определяются тестом на артефакты);

3. артефакты размытости (blur);

4. артефакты поврежденной\загрязненной магнитной головки \ unclean tape head problem;

5. строб-эффект (strobe);

6. артефакт рассыпания изображения (compression artifacts).

Количественная оценка влияния артефактов на восприятие является достаточно затруднительной. С точки зрения универсального подхода нереференсной оценки качества изображений вид артефакта не должен быть препятствием. Однако многие неэталонные методы ориентированы на оценку качества изображений с конкретными видами артефактов, например, артефактов блокинга [67, 86, 88, 89, 94, 98]. Определенные наработки в постановке общей оценке неэталонных методов даны в [43 59, 90, 92, 103]. Хотя, следуя [59], крайне затруднительно получить универсальный алгоритм оценки всех типов артефактов на изображениях. В связи с этим актуальными были и остаются неэталонные методы оценки качества изображений с конкретными видами артефактов. При этом, конечно, остаются задачи автоматизированной классификации качества изображений по тем или иным типам артефактов.

1.2 Классификация критериев оценки качества изображений

Оценка качества изображений осуществляется в основном по двум критериям: субъективные и объективные.

Субъективные критерии оценки качества изображения основываются на экспертной оценке группой лиц не менее 15 человек [9, 37, 43, 93, 103].

Оценки могут быть абсолютные и сравнительные. Сравнительные оценки связаны с оценкой изображения относительно какого-то эталонного, предполагаемого неискаженного изображения. Степень соответствия или нет качественному изображению, определяется экспертами. Как правило, такая субъективная оценка требует немало затрат, а также может зависить от ряда факторов, действующих на экспертов во время оценки, например, расстояние до изображения, характеристики дисплея и освещение, при котором осуществляется оценка. Могут быть незаметные мелкие искажающие детали. Однако оценка экспертов всегда признается наиболее точной.

При объективной оценке каждый эксперт из экспертной группы определяет качество изображения по заранее подготовленной шкале.

Объективные критерии качества изображений осуществляются автоматически (например, программным путем) без участия экспертов. При этом объективные критерии качества делятся на эталонные и неэталонные критерии. Различные эталонные критерии используют сравнительную оценку качества, когда всем известно каким должно быть изображение, когда известны его характеристики. Неэталонные (безэталонные, нереференсные) критерии качества изображений оперируют только с тестируемым изображением, на котором, возможно, могут быть раразличные артефакты, искажения, ухудшающие изображение по различным параметрам, такие как яркость, контрастность, резкость, преобладающий тон. Неэталонные алгоритмы делятся в свою очередь на алгоритмы с учетом априорной информации, которые могут характеризоваться тестируемые изображения, и без учета априорной информации [43, 59].

1.3 Анализ эталонных методов оценки качества изображений

Эталонные методы оценки качества изображений связаны со сравнением контрольного образца и какого-либо тестового, на котором могут быть различные виды искажений [9, 43, 47, 50, 54, 61, 93, 104-110]. Среди существующих методов эталонной оценки качества изображений следует отметить UQI (Universal Quality Index - универсальный индекс качества), SSIM (Structural Similarity Index for measuring image quality, индекс структурного сходства для измерения качества изображения), MSE (Mean-Square Error) определяет среднеквадратичное отклонение оригинального и оцениваемого изображений, PSNR (Peak Signal-To-Noise Ratio) - называется мерой отношения сигнала к шуму. Метрика UQI используется для определения подобности восстановленного изображения оригиналу в зависимости от вида и степени искажения эталонного изображения. Универсальность данного критерия заключается в том, что он не только отражает некоторую схо-

жесть обработанного изображения по отношению к оригиналу, но и должным образом учитывает различные виды искажений [40, 111]. Значения метрики от SSIM лежат в отрезке [-1; 1]. Для идентичных изображений величина метрики SSIM равна 1. Метрика SSIM дает достаточно адекватную для человеческого восприятия оценку качества изображений и имеет заметные преимущества по сравнению с МББ и РБМК. При этом следует отметить, что в МЛТЬЛБ имеются функции, реализуюшие алгоритмы МББ и РБМК, 8Б1М.

В классическом варианте 8Б1М определяет степень сходства двух изображений по трем составляющим - яркости , контрастности , структуре

где .х - матрица значений пикселей оригинального (эталонного) изображения; у - матрица значений пикселей оцениваемого изображения.

Среднее арифметическое значение для участка оригинального изображения

5 (х,у) :

¿=1

Дисперсия участка оригинального изображения ( Оу - д ля о ц е н и в а е мо г о )

размром М пикселей (окна); ох, оу - стандартные отклонения:

м

¿=1

Корреляционный момент участков сравниваемых изображений:

1 М

°х,у = ~ Vy)

i=1

Приведенные формулы алгоритма SSIM показывают всесторонний аспект оценки качества сравниваемых изображений: учитывается яркость, контрастность, структура изображений, соответственно, вычисляются средние значения пикселей, дисперсии и стандартные отклонения, корреляционные моменты.

Список литературы диссертационного исследования кандидат наук Аль-Аскари Моханад Абдулсалам Юнус, 2019 год

/ / / /

/ / / / // ¡члнр.^ау

.■у ---и

0 50 100 150 200

Уровень яркости, рх

250

300

Рисунок 4.22 - Функции распределения для полутонового изображения

img168.bmp

к

1,00 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 о

■Ш

ц 1

т // н /1

и р

г ™ [ИфлдЪ

✓ у у. ---р . НПрМ.И'О

о

50

100

150

200

250

300

Уровень яркости, рх

Рисунок 4.23 - Функции распределения для полноцветного изображения

img168.bmp

Как видно из рисунков 4.20 - 4.23, для изображения img138.bmp с высоким уровнем искажений наблюдается также заметное различие между эмпирической и

теоретической функциями распределния, а для изображения с меньшими искажениями (img168.bmp) это различие визуально несущественное. Это обстоятельство принимается для определения поправочного коэффициента.

В таблицах 4.11 - 4.12 приводятся числовые метрики, скорректированные с помощью поправочных коэффициентов для тестовых изображений.

Таблица 4.11 - Результаты обработки изображений 1-й группы с применением поправочных коэффициентов

Метрика, параметры Strobe1.jpg Strobe2.jpg Strobe3.jpg Strobe4.jpg

Размеры, рх 450 х 300 300 х 200 300 х217 281 х 300

ResultMetrics 0,836 699 0,568 584 0,704 884 0,793 611

Поправочный коэффициент 1,330 701 1,173 374 1,394 212 1,548 466

Метрика 1,113 396 0,667 162 0,982 758 1,228 880

В таблице 4.11 результирующая метрика обозначена как «Метрика». Видно, что для изображений с заметными искажениями типа строб-эффектов значение метрик возросло. Следует отметить, что минимальная метрика может быть равной нулю, а максимальная больше единицы и стремиться к V257. При этом метрика остается безразмерной. Величина 257 определяется тем, что при формировании функций распределений добавляется нуль в начало массивов экспериментальной и теоретической функций распределения.

Таблица 4.12 - Результаты обработки изображений 2-й группы с применением поправочных коэффициентов

Метрика, параметры Strobe5.tif Strobe6.jpg Strobe7.jpg Strobe8.jpg Strobe9.jpg Strobe10.jpg

Размеры, рх 450 х 300 680 х 437 594 х 537 450 х 300 420 х 450 420 х 450

ResultMetrics 0,494 108 0,663 507 0,610 706 0,727 835 0,812 357 0,718 080

Поправочный коэффициент 1,409 334 1,824 276 1,315 391 1,358 463 1,453 815 1,507 117

Метрика 0.696 363 1.210 420 0.803 317 0.988 737 1.181 017 1.082 231

В таблицах 4.13 - 4.14 приводятся результаты оценки качества изображений, которые визуально не обладают заметными искажениями.

Таблица 4.13 - Результаты обработки изображений 3-й группы с применением поправочных коэффициентов

Метрика, параметры Уфа^^ Нижний Новгород ^^ Татарстан^^ lena.jpg

Размеры, рх 400 х 501 340 х 445 500 х 500 512 х 512

ResultMetrics 0,000 108 0,011 316 0,088 357 0,470 524

Поправочный коэффициент 1,429 880 1,765 569 1,510 383 0,114 333

Метрика 0,000 154 0,019 979 0,133 453 0,053 796

Таблица 4.14 - Результаты обработки изображений 4-й группы с применением поправочных коэффициентов

Метрика, параметры Герб_РФ.jpg Мордовия.bmp Iraq.bmp Самара^^

Размеры, рх 302 х 359 302 х 334 354 х 488 200 х 339

ResultMetrics 0,086 848 0,021 467 0,013 266 0,006 243

Поправочный коэффициент 1,595 797 1,594 533 1,550 559 1,297 474

Метрика 0,138 592 0,034 230 0,020 570 0,008 100

В таблицах 4.15-4.16 даны результаты обработки гербов государств и городов, которые имеют определенные графические особенности, поэтому в этом случае особенно полезно пользоваться комплексным определением их числовых метрик.

Таблица 4.15 - Результаты обработки изображений 5-й группы с применением поправочных коэффициентов

Метрика, параметры Пенза.jpg Ульяновск.р^ Саранск.р^ Саратов.р^ Пакистанjpg (Герб) Пакистанjpg (Эмблема правительства)

Размеры, px 495 х 581 545 х 680 120 х 132 150 х 191 618 х 709 214 х 227

ResultMetrics 0,173 955 0,036 757 0,019 000 0,066 073 0,004 988 0,001 349

Поправочный коэффициент 1,292 380 1,404 196 1,794 528 1,556 113 1,554 711 1,291 006

Метрика 0,224 816 0,051 614 0,034 096 0,102 817 0,007 755 0,001 742

Таблица 4.16 - Результаты обработки изображений 6-й группы с применением поправочных коэффициентов

Метрика, параметры img1 img89 img107 img138 img154 img168 I04 05 1 I04 07 03 I04 10 4

Размеры, px 480 х 720 480 х 720 480 х 720 480 х 720 480 х 720 480 х 720 512 х 384 512 х 384 512 х 384

ResultMetrics 0,808 811 0,807 489 0,815 446 0,768 421 0,789 139 0,784 571 0,822 009 0,099 899 0,633 688

Поправочный коэффициент 0,069 885 0,057 305 0,060 346 1,482 499 1,478 594 0,057 878 0,063 368 1,498 173 1,389 634

Метрика 0,056 524 0,046 273 0,049 209 1,139 183 1,166 816 0,045 409 0,052 089 0,149 666 0,880 594

По результатам таблице 4.16 можно сделать заключение, что поправочные коэффициенты внесли улучшение оценок качества изображений. Если сравнивать изображения только по значениям поправочных коэффициентов, то кочество изображений будет совпадать с субъективной оценкой их качества.

В таблице 4.17 приведены результаты обработки изображений 7-й тестовой группы, взятой из международной базы pristine, в которой присутствуют изображения с различным уровнем искажений по субъективной оценке.

Таблица 4.17 - Результаты обработки изображений 7-й группы с поправочными коэффициентами

Метрика, параметры 02.bmp 03.jpg 05.bmp 09.jpg 13jpg 23.jpg

Размеры, px 967 х 681 638 х 451 989 х 734 2304 х 1728 800 х 600 1221х 1080

ResultMetrics 0,483 931 0,482 317 0,393 265 0,184 613 0,469 703 0,418 631

Поправочный коэффициент 1,223 292 1,251 721 1,592 226 1,126 417 0,079 681 0,065 358

Метрика 0,591 989 0,603 726 0,626 167 0,207 951 0,037 426 0,027 361

4.4 Оценка качества изображений с артефактами блокинга с учетом корректирующих коэффициентов

В данном разделе будут рассмотрены результаты оценки качества изображений с помощью предложенных алгоритмов из 2-й части данной работы.

Сначала рассмотрим работу алгоритма NPBM по разработанной программе Win32 API C++. Отметим, что программа осуществляет обработку изображений типа .bmp. Результаты сведены в таблице 4.18, в которой строка метрики алгоритма NPBM обозначена как ResultNPBM.

Таблица 4.18 - Результаты обработки изображений 6-й группы по алгоритму МРВМ с применением поправочных коэффициентов

Метрика, параметры img1 img89 img107 img138 img154 img168 I04 05 1 I04 07 03 I04 10 4

Размеры, px 480 х 720 480 х 720 480 х 720 480 х 720 480 х 720 480 х 720 512 х 384 512 х 384 512 х 384

ResultNPBM 0,825 474 0,795 882 0,573 549 2,707 007 2,536 939 0,526 568 0,508 221 0,588 859 2,972 193

Поправочный коэффициент 0,069 885 0,057 305 0,060 346 1,482 499 1,478 594 0,057 878 0,063 368 1,498 173 1,389 634

Метрика 0,057 688 0,045 608 0,045 608 4,013 135 3,751 103 0,030 477 0,032 205 0,882 213 4,130 260

Перемножение метрики ЯевикМРВМ на поправочный коэффициент позволило более отчетливо определить изображения с высоким уровнем искажений, искажений типа артефактов блокинга. Однако метод МРВМ для изображения

I04_07_03.bmp, которое по субъективной оценке не относится к изображениям с высоким качеством, дает не полностью адекватный результат.

В таблице 4.19 включены результаты оценки качества растровых изображений с помощью предложенного модифицированного алгоритма №ВМ, рассмотренного во 2-й главе диссертации, с учетом вычисленных поправочных коэффициентов для тестовых изображений.

Таблица 4.19 - Результаты обработки изображений на основе модифицированного алгоритма №ВМ с применением поправочных коэффициентов

№п/п Имя файла Метрика Значение Результирующая

изображения модифицированного поправочного метрика

алгоритма №ВМ коэффициента

1 img1.bmp 0,411 701 0,069 885 0,028 772

2 img89.bmp 0,275 513 0,057 305 0,015 788

3 img107.bmp 0,201 479 0,060 346 0,012 158

4 img138.bmp 0,887 693 1,482 499 1,316 004

5 img154.bmp 0,865 191 1,478 594 1,279 266

6 img168.bmp 0,100 822 0,057 878 0,005 835

8 lena.jpg 0,039 737 0,114 333 0,004 543

9 BlackGray.bmp 0,010 567 0,000 013 0,000 000

10 Orange.bmp 0,000 000 0,000 000 0,000 000

11 Black.jpg 0,000 000 0,000 000 0,000 000

В таблице 4.19 включены изображения Orange.bmp, Black.jpg с числом уникальных пикселей, равных 1 и 3 по полноцветным изображениям. Для полутоновых изображений их будет 1. Изображения img138.bmp, img154.bmp с высоким уровнем искажений имеют метрики больше единицы, что свидетельствует о повышенном уровне искажений, в данном случае искажений типа артефактов бло-кинга. При этом они приблизились к метрикам известного алгоритма №ВМ.

В таблице 4.20 сведены результаты обработки изображений с искажениями типа блокинга и изображений без видимых искажений по предложенному алгоритму, который описан в пункте 2.3.2 данной диссертации. В табл. 4.20 имя этого алгоритма определено как Combi.

Таблица 4.20 - Результаты обработки изображений на основе алгоритма Combi с применением поправочных коэффициентов

№п/п Имя файла изображения Метрика алгоритма Combi Значение поправочного коэффициента Результирующая метрика

1 img1.bmp 0,411 701 0,069 885 0,039 571

2 img89.bmp 0,275 513 0,057 305 0,022 951

3 img107.bmp 0,201 479 0,060 346 0,016 930

4 img138.bmp 0,887 693 1,482 499 2,828 392

5 img154.bmp 0,865 191 1,478 594 2,781 917

6 img168.bmp 0,100 822 0,057 878 0,008 094

7 I04_17_1.bmp 0,000 000 0,076 504 0,000 000

8 I04_07_3.bmp 0,801 992 1,498 173 1,201 523

9 I04_07_4.bmp 0,755 697 1,469 440 1,110 451

10 81.bmp 0,382 200 0,069 530 0,026 574

11 80.jpg 0,959 512 0,089 259 0,085 645

12 02.bmp 0,404 254 1,223 292 0,494 521

13 09.jpg 0,178 923 1,126 417 0,201 542

14 13jpg 0,210 892 0,079 681 0,016 804

15 23.jpg 0,296 484 0,065 358 0,019 378

16 lena.jpg 0,000 000 0,114 333 0,000 000

17 Kazem_street.j pg. Маска = 3 0,146 822 1,09 8840 0,161 334

18 Kazem_street.j pg. Маска = 5 0,000 000 1,098 840 0,000 000

В таблице 4.20 изображения с 1 по 16 были обработаны алгоритмом Combi с маской, равной 5 (Маска = 5) без фильтрации и по полутоновому изображению. Изображение Kazem_street.jpg показано на рисунке 4.24.

Рисунок 4.24 - Kazem_street.jpg (Багдад)

В таблице 4.21 сведены результаты обработки изображений, обработанные алгоритмом на основе коэффициента вариации Куаг и поправочного коэффициента. Результирующая метрика указана в последней строке таблицы. Таблица 4.21 - Результаты обработки изображений на основе алгоритма Куаг с применением поправочных коэффициентов

Метрика, параметры 49.bmp img168.bmp img138.bmp 25.jpg 10.jpg I04_07_3.bmp lena.jpg

Размеры, px 321х 481 480 х 720 480 х 720 321х 481 3072 х 2304 512 х 384 512 х 512

Kvar, % 0,507 261 1,378 542 10,171 822 7,944 124 4,129 173 2,117 634 2,586 107

Поправочный коэффициент 0,099 636 0,057 878 1,482 499 1,098 469 1,118 210 1,498 173 0,114 333

Метрика 0,050 541 0,079 787 15,079 716 8,726 374 4,617 283 3,172 582 0,295 677

Как видно из таблицы 4.21, совместное применение алгоритма на основе коэффициента вариации Kvar с поправочными коэффициентами позволило определить изображения (img138.bmp, I04_07_3.bmp) с высоким уровнем искажений, которые определяются также на основе субъективной визуальной оценки.

Относительно изображений 10.jpg, 25.jpg возникают вопросы относительно полученных метрик для них. У остальных изображений, которые визуально не имеют заметных искажений, метрики меньше единицы. Однако оценка качества некоторых изображений без видимых искажений не дало подтверждающих результатов.

В таблиц 4.22 - 4.23 приводятся результаты исследований оценки качества изображений по алгоритму из 2.3.4 на основе асимметрии и эксцесса в цветовом пространстве L*a*b (CIE 1976 L*a*b*) с применением поправочных коэффициентов.

Таблица 4.22 - Результаты обработки изображений на основе асимметрии и эксцесса с преобразованием цветовых пространств и применением поправочных коэффициентов

№п/п Имя файла Метрика алгоритма Значение Результирующая

изображения с преобразованием поправочного метрика, отн. ед.

цветовых про- коэффициента,

странств, отн. ед.

отн. ед.

1 img1.bmp 0,184 774 0,069 885 0,012 913

2 img89.bmp 0,015 982 0,057 305 0,000 916

3 img107.bmp 0,046 002 0,060 346 0,002 776

4 img138.bmp 0,590 098 1,482 499 0,874 820

5 img154.bmp 0,496 193 1,478 594 0,733 668

6 img168.bmp 0,000 000 0,057 878 0,000 000

Метрики из таблиц 2.22 и 2.23 преобразованы относительно максимального значения, равного 1,000 000: из единицы вычитаются метрики в относительных единицах. В этом случае изображение без искажений будет определяться метрикой, равной нулю.

Как видно, поправочные коэффициенты усилили значения метрик для изображений с повышенным уровнем искажений. Соответственно, для изображений с низким уровнем искажений числовые метрики стали почти на один порядок меньше. Предельное значение, равное нулю, соотвествует изображению без искажений.

Для изображений img1.bmp, img89.bmp, img107.bmp, img138.bmp, img.bmp, img.bmp во второй главе проводилась ранговая корреляционная оценка с метриками экспертов, которые определили числовые метрики для данных изображений. Здесь также будет выполняться оценка ранговой корреляции для метрик, полученных с учетом поправочных коэффициентов.

Таблица 4.23 - Результаты обработки изображений на основе асимметрии и эксцесса с преобразованием цветовых пространств и с применением поправочных коэффициентов

№п/п Имя файла Метрика алгоритма с пре- Значение Результирующая

изображения образованием цветовых поправочного метрика, отн. ед.

пространств, коэффициента,

отн. ед. отн. ед.

1 I04_05_1.bmp 0,101 166 0,063 368 0,006 411

2 I04_07_1.bmp 0,184 233 1,557 832 0,287 004

3 I04_07_2.bmp 0,265 000 1,510 877 0,400 382

4 I04_07_3.bmp 0,295 293 1,498 173 0,442 400

5 I04_07_4.bmp 0,319 805 1,469 440 0,469 934

6 I04_10_1.bmp 0,000 000 0,077 708 0,000 000

7 I04_10_3.bmp 0,118 857 0,085 050 0,010 109

8 I04_10_4.bmp 0,625 101 1,389 634 0,868 662

В таблице 4.24 сведены результаты линейной ранговой корреляции по Пирсону, Кендаллу и Спирмена оценки качества изображений на основе метрик экспертов и алгоритма МРВМ с поправочными коэффициентами.

Таблица 4.24 - Результаты ранговой корреляции экспертов и алгоритма МРВМ с поправочными коэффициентами

Изображения Метрика экспертов Метрика ОТВМ с поправочными коэффициентами Тип рангового критерия

Пирсон Кендалл Спирмен

img 1.bmp 0,326 300 0,057 688 ИИо = = -0,583 004 Руа1 = = 0,224 574 ИИо = = -0,966 092 Руа1 = = 0,005 556 ИИо = = -0,985 611 Руа1 = = 0,005 556

Img89.bmp 0,453 130 0,045 608

img107.bmp 0,601 020 0,045 608

img138.bmp 0,157 710 4,013 135

img154.bmp 0,162 250 3,751 103

img168.bmp 1,470 300 0,030 477

В таблице 4.24 и в последующих таблицах приняты следующие обозначения:

КЬо - коэффициент линейной корреляционной связи;

Руа1 - вероятность ошибки корреляционной связи.

В таблице 4.25 сведены результаты линейной ранговой корреляции по Пирсону, Кендаллу и Спирмена оценки качества изображений на основе метрик экспертов и модифицированного алгоритма №ВМ с поправочными коэффициентами.

Таблица 4.25 - Результаты ранговой корреляции экспертов и модифицированного алгоритма №ВМ с поправочными коэффициентами

Изображения Метрика экспертов Метрика модифицированного алгоритма NPBM с поправочными коэффициентами Тип ранговой корреляции

Пирсон Кендалл Спирмен

img 1.bmp 0,326 300 0,028 772 Rho = = -0,587 472 Pval = = 0,220 167 Rho = = -1,000 000 Pval = = 0,002 778 Rho = = -1,000 000 Pval = = 0,002 778

Img89.bmp 0,453 130 0,015 788

img107.bmp 0,601 020 0,012 158

img138.bmp 0,157 710 1,316 004

img154.bmp 0,162 250 1,279 266

img168.bmp 1,470 300 0,005 835

В таблице 4.26 сведены результаты линейной ранговой корреляции по Пирсону, Кендаллу и Спирмена оценки качества изображений на основе метрик экспертов и алгоритма Combi с поправочными коэффициентами.

Таблица 4.26 - Результаты ранговой корреляции экспертов и алгоритма Combi с поправочными коэффициентами

Изображения Метрика экспертов Метрика алгоритма Combi с поправочными коэффициентами Тип ранговой корреляции

Пирсон Кендалл Спирмен

img 1.bmp 0,326 300 0,039 571 Rho = = -0,584 882 Pval = = 0,222 718 Rho = = -1,000 000 Pval = = 0,002 778 Rho = = -1,000 000 Pval = = 0,002 778

Img89.bmp 0,453 130 0,022 951

img107.bmp 0,601 020 0,016 930

img138.bmp 0,157 710 2,828 392

img154.bmp 0,162 250 2,781 917

img168.bmp 1,470 300 0,008 094

В таблице 4.27 сведены результаты линейной ранговой корреляции по Пирсону, Кендаллу и Спирмена оценки качества изображений на основе метрик экспертов и алгоритма коэффициеннта вариации с поправочными коэффициентами.

Таблица 4.27 - Результаты ранговой корреляции экспертов и алгоритма коэффициента вариации с поправочными коэффициентами

Изображения Метрика экспертов Метрика алгоритма Kvar с поправочными коэффициентами, % Тип ранговой корреляции

Пирсон Кендалл Спирмен

img 1.bmp 0,326 300 0,306 303 Rho = = -0,571 590 Pval = = 0,235 989 Rho = = -1,000 000 Pval = = 0,002 778 Rho = = -1,000 000 Pval = = 0,002 778

img89.bmp 0,453 130 0,169 758

img107.bmp 0,601 020 0,146 137

img138.bmp 0,157 710 15,079 716

img154.bmp 0,162 250 10,141 537

img168.bmp 1,470 300 0,079 787

В таблице 4.28 сведены результаты линейной ранговой корреляции по Пирсону, Кендаллу и Спирмена оценки качества изображений на основе метрик экспертов и алгоритма на основе асимметрии и эксцесса в цветовом пространстве L*a*b (CIE 1976 L*a*b*) с применением поправочных коэффициентов.

Таблица 4.28 - Результаты ранговой корреляции экспертов и алгоритма с преобразованием цветовых пространств и с поправочными коэффициентами

Изображения Метрика экспертов Метрика алгоритма с преобразованием цветовых пространств и с поправочными коэффициентами Тип ранговой корреляции

Пирсон Кендалл Спирмен

img 1.bmp 0,326 300 0,012 913 Rho = = -0,582 426 Pval = = 0,225 147 Rho = = -0,866 667 Pval = = 0,016 667 Rho = = -0,942 857 Pval = = 0,016 667

img89.bmp 0,453 130 0,000 916

img107.bmp 0,601 020 0,002 776

img138.bmp 0,157 710 0,874 820

img154.bmp 0,162 250 0,733 668

img168.bmp 1,470 300 0,000 000

Обозначим рассмотренные алгоритмы с метриками и поправочными коэффициентами в следующем виде:

NPBM с поправочными коэффициентами - Meth1;

Модифицированный NPBM с поправочными коэффициентами - Meth2;

Combi с поправочными коэффициентами - Meth3;

Kvar с поправочными коэффициентами - Meth4;

Алгоритм с преобразование цветовых пространств и поправочными коэффициентами - Meth5.

Рассмотрим и построим зависимости значений ранговых корреляций от типа метода. Соответствующая диаграмма показана на рисунке 4.25.

Рисунок 4.25 - Зависимости ранговых коэффициентов корреляции от метрик методов

По результатам сопоставления изменения коэффициентов ранговой корреляции в зависимости от рассмотренных алгоритмов можно заключить, что с учетом корреляции Пирсона, Кендалла и Спирмена наиболее предпочтительными являются следующие алгоритмы с учетом поправочных коэффициентов:

• Meth2, модифицированный алгоритм NPBM с поправочными коэффициентами;

• Meth3, алгоритм Combi с поправочными коэффициентами.

Во всех рассмотренных случаях отрицательные значения коэффициентов корреляции указывают на то, что они дают противоположные значения относительно метрик экспертов. У них, чем лучшим качеством обладает изображение, тем большее значение метрики оно имеет, и наоборот. В то же время у предлагаемых алгоритмов меньшее значение метрики имеют изображения с меньшими искажениями, т. е. обладающие лучшим качеством или меньшими искажениями.

4.5 Оценка качества изображений с артефактами строб-эффектов с учетом

корректирующих коэффициентов

В данном разделе будут рассмотрены результаты оценки качества изображений с помощью предложенных алгоритмов из 3-й части данной работы для тестовых групп изображений, которые обрабатывались алгоритмами, описанными в 3-й главе с учетом корректирующих (поправочных) коэффициентов. Присвоим краткие имена предложенным алгоритмам из 3-й главы:

Алгоритм1 - алгоритм покрытия с детектированием контуров отдельных каналов модели RGB;

Алгоритм2 - алгоритм нереференсной оценки качества растровых изображений;

Алгоритм3 - алгоритм нереференсной оценки качества изображений со строб-эффектами с оптимизацией параметров методов детектирования контуров;

Алгоритм4 - алгоритм нереференсной оценки качества изображений со строб-эффектами с настройкой параметров методов детектирования контуров.

В таблице 4.29 приведены результаты обработки изображений 1-й и 2-й групп с помощью алгоритмов «Алгоритм1», «Алгоритм2», «АлгоритмЗ», «Алго-ритм4» с поправочными коэффициентами.

Таблица 4.29 - Сравнительные результаты обработки изображений со строб-

эффектами и с поправочными коэффициентами

Имена изображений Поправочные коэффициенты Алгоритм1 Алгоритм2 АлгоритмЗ Алгоритм4

Strobe1.jpg 1,330 701 8,649 556 6,603 560 0,866 337 1,322 600

Strobe2.jpg 1,173 374 9,386 992 9,505 917 0,592 007 0,863 441

Strobe3.jpg 1,394 212 46,008 996 9,922 837 0,658 333 0,930 519

Strobe4.jpg 1,548 466 20,130 058 4,971 140 1,175 053 0,646 732

В таблице 4.30 приведены результаты обработки алгоритмом «Алгоритм4» изображений с артефактами строб-эффектов и изображений без видимых искажений с учетом поправочных коэффициентов. Данные по обработке этих изображений взяты из таблицы 3.8. В таблице 4.30 значения поправочного коэффициента обозначены через Кр.

Таблица 4.30 - Результаты обработки тестовых изображений

№ п/п Имена Kp Метрика Результирующая метрика

1 Strobe5.tif 1,409 334 0,453 899 0,639 695

2 Strobe6.jpg 1,824 276 0,873 117 1,592 806

3 Strobe8.jpg 1,358 463 0,533 607 0,724 885

4 Strobe9.jpg 1,453 815 0,894 912 1,301 036

5 Strobe10.jpg 1,507 117 0,592 178 0,892 482

6 Strobe11.jpg 1,505 818 0,565 733 0,851 891

7 Poccra.jpg 1,595 797 0,255 619 0,407 916

8 Мордовия.bmp 1,594 533 0,003 424 0,005 460

9 Iraq.bmp 1,550 559 0,014 248 0,022 092

10 TaTapcraH.png 1,510 383 0,004 684 0,007 075

11 MocKBa.png 1,690 707 0,119 029 0,201 243

12 Нижний Новгород.png 1,765 569 0,019 566 0,034 545

13 Уфа.png 1,429 880 0,126 040 0,180 222

14 neH3a.jpg 1,292 380 0,004 033 0,005 212

15 Пакистан .jpg 1,554 711 0,002 383 0,003 705

16 Tp03Hbffl.png 1,376 556 0,172 135 0,236 953

По результатам таблице 4.30 видно, что изображения с результирующими метриками превышают значение 0,5 можно относить к группе изображений с существенными искажениями. Соответственно, все изображения (из табл. 4.30), которые имеют результирующие метрики менее 0,5 можно считать достаточно качественными изображениями с малылыми искажениями. В данном рассмотренном случае учет поправочного коэффициента в целом не исказил визуальные оценки качества изображений.

4.6 Разработка алгоритма метрики классификации

Как показали исследования, проведенные в диссертационной работе, неэталонная оценка качества растровых изображений зависит от типа искажений, от типа артефактов. Были разработаны и рассмотрены методы и алгоритмы для случаев, связанных с искажениями изображений в виде артефактов блокинга и строб-эффектов. При этом в этих двух группах алгоритмов осуществляется также выявление изображений, которые не имеют заметных искажений. Поэтому важно определить некоторые условия, по которым можно было бы классифицировать изображения с целью дальнейшего выбора соответствующего алгоритма для его окончательной неэталонной оценки качества. В связи с этим в данном пункте диссертационной работы рассматриваются условия, по которым можно бы принять решение о выборе группы алгоритмов и методов, которые следует использовать для количественной оценки качества рассматриваемого растрового изображения. Здесь предлагается использовать термин «Метрика классификации», который будет лежать в основе предлагаемого алгоритма по выделению алгоритмов для окончательного принятия решения о качестве рассматриваемых изображений. В качетсве тестовых изображений будут использоваться те, которые представлены в 1-й части данной диссертационной работы.

В основе разрабатываемого алгоритма для определения метрики классификации лежат статистические показатели таких вероятностных распределений слу-

чайной величины, как «Нормальное распределение» (Normal), «Полунормальное распределение» (Half Normal), «Гамма распределение» (Gamma) и «Распределение Вейбулла» (Weibull) [36]. Они относятся к непрерывным законам распределения случайных величин. Если изображение сцены не имеет искажений, то «Нормальное распределение», «Гамма распределение» и «Распределение Вейбулла» имеют примерно одинаковую площадь, заключенную под кривой функции плотности вероятностей (probability density function - pdf).

Применение вероятностного распределения Вейбулла рассмотрено, например в [58]. Некоторые положения этой работы использованы для определения метрики классификации в системе MATLAB, в первую очередь функции fitdist (Fit probability distribution object to data), pdf (Probability density function for Gaussian mixture distribution).

В основе предлагаемого алгоритма классификации изображений лежит подход в определениии статистических показателей изображения, представленного моделью RGB, для статистического анализа вида и характеристик распределений Normal, Half Normal, Gamma, Weibull. В результате проведенных экспериментов было подмечено смещение максимума статистических кривых функций плотности, а также изменение численного размера площади, заключенной под этими кривыми. Особую роль играет полунормальное распределение функции плотности вероятностей, у которой максимум кривой всегда приходится в начале декартовой системе координат. Но это распределение имеет такой информационный показатель как стандартное отклонение, которое меняется от вида рассматриваемого изображения. Еще одним условием предлагаемого алгоритма является то, что расчетные функции плотности перечисленных выше вероятностных распределений приводятся к относительным единицам в результате приведения экспериментальных значений к максимуму данного распределения. В силу этого все распределения будут расположены в закрытом интервале [0; 1]. Это дает основание анализировать изображения различных размеров и различной цветовой палитры. В связи с этим были введены такие показатели как координаты максиму-

мов расчетных функций плотности и площади, заключенные под графиком кривой этих функций. В качестве числовой меры приняты значения среднего арифметического и среднего геометрического значений от приведенных функций плотности. Для оперирования с полностью безразмерными величинами используются коэффициенты отношения среднего геометрического к среднему арифметическому. Как известно, среднее арифметическое не менее среднего геометрического. В результате числовая метрика не выходит за величину, равную единице.

Представление о характере вероятностных распределений пикселей растрового изображения lena.jpg отражено на рисунках 4.26 - 4.29.

Рисунок 4.26 - График распределения Normal изображения lena.jpg

Рисунок 4.27 - График распределения Half Normal изображения lena.jpg

Рисунок 4.28 - График распределения Gamma Рисунок 4.29 - График распределения Weibull изображения lena.jpg изображения lena.jpg

На графиках рисунках 4.26 - 4.29 графики функций плотности приведены к их максимальным значениям, которые получаются в результате обработки естественного изображения цветовой модели RGB. При этом матрицы трех составляющих Red, Green, Blue объединены в единый одномерный массив, по которому построены диаграммы функций плотности.

На рисунках 4.30 - 4.33 показаны приведенные функции плотности изображения Strobe1,jpg искажениями типа строб-эффектов.

Рисунок 4.30 - График распределения Normal изображения Strobe1.jpg

Рисунок 4.31 - График распределения Half Normal изображения Strobe1.jpg

Рисунок 4.32 - График распределения Gamma Рисунок 4.33 - График распределения Weibull изображения Strobe1.jpg изображения Strobe1.jpg

Алгоритм классификации изображений заключается в следующем.

1. Преобразование трехмерной цветовой модели изображения в одномерный массив вещественного типа.

2. Замена нулевых значений в одномерном массиве предыдущего шага на конечную малую величину типа системной eps.

3. Определение минимального и максимального значения одномерного массива.

4. Установление вероятностного распределения к экспериментальным данным

- данным одномерного массива цветовой модели RGB (например, с помощью функции fitdist системы MATLAB).

5. Определение массива значений функции плотности pdf.

6. Преобразование к приведенным значениям функции плотности, полученной на предыдущем шаге.

7. Определение координаты максимального значения приведенной функции плотности.

8. Определение площади, заключенной под графиком приведенной функции плотности.

9. Вычисление среднего арифметического и среднего геометрического значений координат максимумов трех вероятностных распределений.

10. Вычисление среднего арифметического и среднего геометрического значений площадей, охватываемых вероятностными распределениями - нормального, гамма и распределения Вейбулла.

11. Определение отношений среднего геометрического к среднему арифметических значений координат максимумов приведенных функций распределений и площадей под кривыми графиков трех вероятностных распределений

- нормального, гамма и распределения Вейбулла.

12. Определение границы классификации в виде стандартного отклонения полунормального приведенного распределения (Half Normal).

13. Вычисление условной метрики классификации изображений в виде среднего геометрического от двух отношений - среднего геометрического к среднему арифметических значений координат максимумов приведенных функций распределений и площадей под кривыми графиков трех вероятностных распределений.

14. Если условная метрика классификации меньше границы классификации, то оценку качества данного изображения следует определять с помощью методов оценки строб-эффектов. В противном случае - методами оценки артефактов блокинга.

Разработанные методы оценки качества с артефактами блокингак и строб-эффектов позволяют выделять изображения без видимых искажений. Поэтому приведенный алгоритм классификации изображений только указывает, с какими методами следует дальше работать.

Приведем результаты тестирования ряда изображений, которые рассматривались в предыдущих главах данной диссертационной работы. В таблице 4.31 приведены результаты обработки группы изображений с наличием арте типа строб-эффектов.

Таблица 4.31 - Результаты оценки классификации изображении с артефактами типа строб-эффектов

№ п/п Имя файла Метрика классификации Граница классификации

1 Strobe1.jpg 0,213 296 0,344 685

2 Strobe2.jpg 0,230 236 0,339 903

3 Strobe3.jpg 0,159 851 0.354 278

4 Strobe4.jpg 0,257 898 0,325 406

5 Strobe5.jpg 0,172 257 0,353 715

6 Strobe6.jpg 0,631 871 0,234 366

7 Strobe7.jpg 0,225 120 0,332 890

8 Strobe8.jpg 0,234 607 0,333 685

9 Strobe9.jpg 0,293 333 0,328 585

10 Strobe10.jpg 0,205 334 0,348 779

11 Strobe11.jpg 0,234 608 0,333 685

12 Strobe12.jpg 0,250 992 0,329 673

Результаты, показанные в таблице 4.31, позволяют сделать вывод, что только к одному изображению - Strobe6.jpg следует применять методы оценки бло-кинг артефактов. Остальные - методами оценки качества изображений с наличием строб-эффектов. В таблице 4.32 приведены результаты группы изображений, среди которых имеются артефакты блокинга.

Таблица 4.32 - Результаты оценки классификации изображений

с блокинг артефактами

№ п/п Имя файла Метрика классификации Граница классификации

1 img1.bmp 0,660 614 0,321 259

2 img89.bmp 0,660 119 0,320 872

3 img107.bmp 0,659 684 0,321 036

4 img138.bmp 0,661 442 0,318 401

5 img154.bmp 0,661 447 0,318 355

6 img168.bmp 0,659 109 0,320 850

Как видно из табл. 4.32, все изображения имеют метрику классификации больше соответствующей границы классификации. Поэтому дальнейшая обработка этих изображений следует осуществлять методами оценки качества изображений с артефактами блокинга.

В качестве тестовых изображений использовались из базы международных тестовых изображений, в частности, база pristine, в которой было 90 изображений различного формата и размеров с нумерацией типа 01.jpg, 02.bmp и т. д. Полученные результаты показали, что 62 изображения следует анализировать методами оценки качества изображений с блокинг артефактами, а 28 изображений - методами оценки строб-эффектов. К первой группе относятся следующие 62 изображения: 05.bmp, 30.jpg, 06.jpg, 54.bmp, 12.jpg, 10.jpg, 28.jpg, 26.jpg, 81.bmp, 41.jpg, 59.bmp, 37.jpg, 16.jpg, 49.bmp, 74.bmp, 66.bmp, 44.jpg, 29.bmp, 42.jpg, 61.bmp, 72.bmp, 17.JPG, 56.bmp, 58.bmp, 33.JPG, 71.bmp, 73.bmp, 67.bmp, 86.jpg,

22.JPG, 39.jpg, 69.bmp, 48.bmp, 55.bmp, 60.bmp, 50.bmp, 75.bmp, 11.jpg, 76.bmp, 43.jpg, 46.bmp, 03.jpg, 24.jpg, 27.jpg, 90.bmp, 19.jpg, 52.bmp, 47.bmp, 57.bmp, 85.jpg, 88.bmp, 70.bmp, 63.bmp, 32.jpg, 36.jpg, 51.bmp, 64.bmp, 34.jpg, 65.bmp, 62.bmp, 08.jpg, 68.bmp.

Вторую группу из 28 изображений следует обрабатывать методами оценки строб-эффектов: 18.jpg, 07.jpg, 31.jpg, 15.jpg, 04.bmp, 20.jpg, 84.jpg, 89.bmp, 82.bmp, 09.jpg, 21.jpg, 83.bmp, 35.jpg, 40.jpg, 38.JPG, 14.jpg, 87.jpg, 01.jpg, 78.jpg, 02.bmp, 23.jpg, 77.JPG, 80.jpg, 79.jpg, 25.jpg, 53.bmp, 13.jpg, 45.jpg.

В таблице 4.33 приведены результаты классификации изображений типа

104.

Таблица 4.33 - Результаты оценки классификации изображений типа 104

Изображения для дальнейшей обработки методами оценки артефактов блокинга

№ п/п Имя файла Метрика классификации Граница классификации

1 I04_07_1.bmp 0,641 404 0,326 365 977

2 1_I04_10_1.bmp 0,665 713 0,333 560

3 I04_10_3.bmp 0,665 992 0,333 326

4 I04_05_1.bmp 0,667 654 0,333 202

5 Ю4 10 4.bmp 0,667 830 0,331 567

«ш Ш/////////Ш У//////////////Л

Изображения для дальнейшей обработки методами оценки строб-эффектов

6 I04_07_4.bmp 0,129 073 0,310 100

7 I04_07_3.bmp 0,129 719 0,331 275

8 I04_07_2.bmp 0,257 813 0,333 089

Анализ изображений из таблицы 4.33 был произведен ранее и результаты были сведены в таблицы 2.6 и 4.23. В частности, методом №ВМ была получена нереференсная оценка качества изображения I04_07_4.bmp величиной 0,507 779, хотя это изображение имеет очевидные искажения. Поэтому для такого изображения не следует применять методы оценки, направленные на выявление артефактов блокинга. В таблице 4.33 изображения I04_07_4.bmp, I04_07_3.bmp,

I04_07_2.bmp имеют такие искажения, которые могут не определяться программами оценки артефактов блокинга.

В следующей таблице (таблица 4.34) приведены результаты классификации изображений, среди которых есть заметные или нет искажения различного типа.

Таблица 4.34 - Результаты оценки классификации изображений с различным уровнем искажений

Изображения для дальнейшей обработки методами оценки артефактов блокинга

№ п/п

Имя файла

Метрика классификации

Граница классификации

Саранск.рп§

0,582 783

0,152 874

2

Пакистан. рп§

0,602 915

0,161 406

Strobe6.jpg

0,631 871

0,234 366

4

lena.jpg

0,636 253

0,265 681

5

Пенза.jpg

0,646 192

0,271 665

6

img168.bmp

0,659 109

0,320 850

7

img138.jpg

0,661 442

0,318 401

2

Изображения для дальнейшей обработки методами оценки строб-эффектов

8 Strobe1.jpg 0,213 296 0,344 685

9 Strobe2.jpg 0,230 236 0,339 903

10 Strobe7.jpg 0,225 120 0,332 890

11 Strobe9.jpg 0,293 333 0,328 585

12 Strobe11.jpg 0,205 334 0,348 779

13 21Ж 0,129 991 0,324 079

1

3

Отметим некоторые результаты из таблицы 4.34. Это для изображений 1е-na.jpg и 21.jpg. Оценка их качества методом шде дало следующие результаты: 1ena.jpg = 3,303 077; 21.jpg = 3,981 85 (см. таблицу 3.8).

В тоже время картинка 21.jpg достаточно сложна для оценки ее качества, которое визуально может трактоваться как картинка с элементами строб-эффектов. Там же в таблицу 3.8 приводится оценка качества этих изображений на основе предложенного алгоритма нереференсной оценки качества изображений со строб-эффектами с двойной оптимизацией параметров методов детектирования контуров. Этот алгоритм дает более адекватные результаты.

4.7 Выводы по четвертому разделу

1. На основе существующего алгоритма SSIM предложено оценивать качество группы изображений одного размера с различной степенью искажений с помощью преобразования цветовой модели RGB в цветовые модели CIE 1976 L*a*b* и CIE 1931 XYZ. Оценка каждого изображения осуществляется независимо от остальных изображений группы. Рассчет значений ранговой корреляции экспертной оценки и алгоритма с преобразованием цветовых пространств и поправочными коэффициентами по критерию Спирмена позволил получить высокое значение коэффициента линейной корреляционной связи (-0,943) при близкой к нулю вероятности отсутствия корреляционной связи (0,017). Для критерия Пирсона коэффициент линейной корреляционной связи равен -0,582, а вероятность отсутствия корреляционной связи 0,225.

2. Разработана информационно-структурная модель коррекции нереференс-ных метрик оценки артефактов блокинга и строб-эффектов, отличающаяся тем, что корректирующий коэффициент рассчитывается через площади кривых, образуемых разницей эмпирической и теоретической функций распределения нормального закона, для цветного и полутонового изображения, соответственно, что позволяет обеспечивать максимальную корреляцию с экспертными референсными метриками - метриками восприятия человеческого глаза, особенно при малом видимом уровне искажений.

3. Разработанные методики, модели и алгоритмы целесообразно применять для потока изображений, когда они имеют одинаковые геометрические размеры, графический формат, но некоторые из изображений могут иметь искажения, различные артефакты, в том числе комплексы артефактов.

ЗАКЛЮЧЕНИЕ

В диссертационной работе проведены исследования растровых изображений с различным уровнем искажений, среди которых основное внимание было сосредоточено на артефактах блокинга и строб-эффектов.