Методы моделирования цветных подводных изображений на основе RGB-D изображений надводных сцен тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат наук Шепелев Денис Александрович

• Шепелев Денис Александрович
• кандидат наук
• 2020

Оглавление диссертации кандидат наук Шепелев Денис Александрович

Введение

Глава 1. Модели и методы моделирования подводных

изображений

1.1 Задача улучшения подводных изображений

1.2 Оценка качества алгоритмов улучшения подводных изображений и аугментационное моделирование

1.3 Обобщенная модель формирования оптического подводного изображения

1.4 Модель подводного изображения в аугментационных

алгоритмах моделирования

1.5 Модель формирования цветных изображений

1.6 Модель Яне дробового шума на изображении

Выводы

Глава 2. Моделирование подводных изображений с помощью

спектральных моделей

2.1 Моделирование параметров пропускания

2.2 Поканальное моделирование подводных изображений в калибровочных координатах

2.3 Алгоритм поканального моделирования подводных изображений

в калибровочных координатах

2.4 Оценка точности алгоритмов моделирования подводных изображений

2.4.1 Ошибка цветопередачи алгоритмов моделирования

2.4.2 Функции цветового различия

2.5 Калибровка сенсора на основе линейных спектральных моделей

2.5.1 Линейные спектральные модели

2.5.2 Спектрозональная калибровка

2.6 Метод подбора параметров спектрозональной модели

Стр.

2.7 Моделирование подводных изображений с помощью

спектральных моделей

2.7.1 Нелинейные спектральные модели

2.7.2 Метод моделирования подводных изображений с

помощью функции спектрального отображения

Выводы

Глава 3. Моделирование шума подводных изображений

3.1 Моделирование подводного изображения на основе незашумленного наземного изображения

3.2 Моделирования подводного изображения без добавления шума

на основе зашумленного наземного изображения

3.3 Моделирования подводного изображения с добавлением гомоскедастичного шума на основе зашумленного наземного изображения

3.4 Предлагаемый метод моделирования подводного изображения с добавлением шума на основе зашумленного наземного

изображения

3.4.1 Модификация метода для различающихся входных и

выходных параметров шума

Выводы

Глава 4. Программный комплекс и результаты экспериментов

4.1 Программный комплекс

4.1.1 Модуль для работы со спектральными данными

4.1.2 Программа спектрального расчета наземных изображений

4.1.3 Программа спектрального расчета подводных изображений

4.1.4 Программа аугментационного моделирования набора подводных изображений с идеалами

4.1.5 Программа измерения точности алгоритмов аугментационного моделирования

4.1.6 Программа калибровки цифровой камеры

4.2 Точность цветопередачи алгоритма поканального моделирования со спектрозональной калибровкой

Стр.

4.2.1 Уточнение постановки задачи моделирования

4.2.2 Набор данных

4.2.3 Расчет изображений прямых компонент подводных изображений

4.2.4 Результаты

4.3 Точность моделирования отношения сигнал/шум предложенного

поканального метода моделирования с добавлением шума

4.3.1 Набор подводных изображений

4.3.2 Оценка параметров дробового шума на изображении

4.3.3 Оценка карты пропускания и изображения компоненты обратного рассеяния

4.3.4 Результаты моделирования подводных изображений .... 109 Выводы

Заключение

Список сокращений и условных обозначений

Список рисунков

Список таблиц

Введение диссертации (часть автореферата) на тему «Методы моделирования цветных подводных изображений на основе RGB-D изображений надводных сцен»

Введение

Алгоритмы анализа и улучшения подводных изображений используются при автоматическом обследовании подводных объектов [1], в системах предотвращения утопления [2], для исследования подводных археологических артефактов [3; 4]. Распространение смартфонов, работоспособных под водой, сделало эти алгоритмы востребованными и в вычислительной фотографии [5].

Понятие улучшения изображений может трактоваться весьма широко, и в работах по этой теме зачастую решаются несхожие задачи, но есть специфическая постановка, характерная именно для подводных изображений. Из-за существенного поглощения и рассеяния в воде нельзя считать, что интенсивность зарегистрированного изображения пропорциональна яркости объектов сцены, то есть нарушается один из фундаментальных законов классической обработки изображений. В случае цветных изображений под водой искажается не только яркость, но и цветность объектов, что затрудняет интерпретацию изображений. Проблемы цветопередачи при подводной съемке ещё в 60-х годах систематизировал А. Рогов [6], а в 70-х годах В. Максимов уже исследовал вопрос, как в этих условиях могут эффективно функционировать биологические зрительные системы [7]. В данной работе под улучшением подводных изображений понимается построение изображения с такими цветовыми характеристиками, как если бы после отражения от объекта свет не поглощался и не рассеивался в среде.

При разработке подобных алгоритмов важно иметь измеримые критерии точности их работы, позволяющие проводить их ранжирование и оптимизацию параметров. Критерии задаются на множестве пар изображений: для каждого входного изображения задано идеальное целевое изображение, с которым и сравнивается результат работы алгоритма. Важным требованием к такому набору данных является его разнообразие и большие размеры. Для формирования таких пар физическими средствами необходимо подготовить набор сцен, каждая из которых снимается как минимум дважды: один раз в воде с заданными свойствами, а второй - в идеальной среде (на воздухе, или в чистой воде, как в общедоступном наборе данных, подготовленном А. Дуарте с соавт. [8]). Ясно, что такой подход даже в лабораторных условиях является весьма трудоёмким. Поэтому обычно проверочные данные получают с помощью моделирования.

Методами машинной графики можно реализовать визуализацию необходимых изображений по описанию сцены. Такая визуализация требует формального задания геометрии всех предметов сцены, параметров их окраски, источников света и т.п. и строится расчетом многократных отражений и рассеяния света, то есть весьма сложна системно и вычислительно [9; 10]. При этом используемые модели могут оказаться переупрощенными, а результаты -далёкими от фотореалистичности.

В работах специалистов по моделированию подводных изображений -С. Анвара, П. Косман, И. Пенга и др. - получил широкое распространение другой, аугментационный, подход [11—18]. Под аугментационными здесь понимаются методы моделирования, основанные на преобразовании натурных данных, а не на полном расчете модели по известным ее параметрам. При моделировании подводных изображений важным параметром является расстояние между сенсором и объектом, поэтому в качестве натурных изображений используются т.н. RGB-D изображения, несущие в себе информацию как о цвете («RGB»), так и о дальности («D» - depth). Именно этот подход исследуется в работе.

Большинство упомянутых авторов в качестве численного метода используют т.н. поканальный метод моделирования, в котором значения пикселей изображения численно преобразуются независимо в различных каналах согласно узкополосной аппроксимации классической спектральной модели формирования подводных изображений МакГлеймери - Яффе [19; 20]. Однако несколько лет назад в работах Д. Аккайнак и Т. Трейбич было показано [21; 22], что поканальный численный метод неконстистентен - значения параметров, обеспечивающие приемлемую точность при его использовании, зависят от параметров сенсора, причем предлагаемый авторами метод их определения требует знания спектральных характеристик объектов сцены, что неприемлемо для целей ауг-ментационного моделирования.

Поканальные методы широко используются и при обработке надводных изображений, где для преодоления указанных трудностей используется, в частности, метод спектральных моделей [23—28], в котором сначала по отклику камеры оценивается спектр падающего на неё излучения, а дальнейшее моделирование ведется с точным учетом законов линейной оптики для всего видимого диапазона. В работах же по обработке подводных изображений такая модификация поканального метода до сих пор не получила распространения.

Качество цветопередачи подводных изображений страдает в том числе по причине низкой освещенности, что приводит к нехарактерно низким для надводных изображений соотношениям сигнал/шум. Известно, что ослабление света в воде существенно зависит от длины волны [29]. В результате, на цветной подводной фотографии отношение сигнал/шум в красном канале может быть значительно меньше, чем в других каналах, из-за чего алгоритмы восстановления могут порождать заметные цветностные артефакты. Ч. Ли с соавт. в своей работе 2020 г., посвященной наборам данных и методикам для тестирования алгоритмов улучшения подводных изображений, прямо указывают на проблему шумности подводных изображений, как на существенную [30]. При этом данную проблему невозможно исследовать существующими аугментационными методами, так как в них не производится моделирования шума.

Итак, использование наборов данных, полученных текущими реализациями аугментационного подхода, для тестирования алгоритмов улучшения подводных изображений, может приводить к неверной оценке обеспечиваемой ими точности цветопередачи, включая шумовые характеристики. Поэтому актуальна разработка новых методов аугментационного моделирования, решающих указанные проблемы.

Целью данной работы является разработка методов аугментационного моделирования подводных изображений, позволяющих оценивать алгоритмы улучшения подводных изображений по параметрам точности цветопередачи и уровня шума.

Для достижения этой цели поставлены и решены следующие задачи:

1. Разработать методы аугментационного моделирования цветных подводных изображений, пригодных для сенсоров с различными характеристиками, но не требующих знания спектральной яркости наблюдаемых объектов.

2. Разработать методы аугментационного моделирования цветных подводных изображений, приближенных к натурным по характерным соотношениям сигнал/шум.

3. Разработать алгоритм моделирования подводных изображений на основе наземных КОБ-Б изображений и исследовать его точностные характеристики.

4. Разработать комплекс программ, реализующий разработанные методы и алгоритмы и позволяющий исследовать точностные характеристики цветопередачи алгоритмов моделирования подводных изображений.

Научная новизна:

1. Расширена область применения спектрозональной цветовой модели, ранее использовавшейся в задачах цветовой константности.

2. Предложен метод поиска параметров спектрозональной цветовой модели, обеспечивающий наименьшую среднюю ошибку цветопередачи алгоритма аугментационного моделирования подводных изображений.

3. Впервые показано, что при поканальном аугментационном моделировании подводных изображений без добавления шума отношение сигнал/шум на имитации может оказаться существенно завышенным.

4. Предложен метод аугментационного моделирования подводных изображений, согласованный с классической моделью дробового шума.

Практическая значимость. Разработанный комплекс программ предназначен для исследования точностных свойств алгоритмов аугментационного моделирования подводных изображений. Разработанные методы моделирования, в свою очередь, предназначены для получения наборов данных для тестирования алгоритмов улучшения цветных подводных изображений. Основные результаты работы использовались в ИППИ РАН при выполнении НИОКР по созданию новых алгоритмов улучшения подводных фотографий, метод ауг-ментационного моделирования шума - для обучения нейросетей в продукте «Cyclops» компании ООО «Визиллект Сервис», а метод оптимального подбора параметров спектрозональной модели - в продукте «Smart IDReader» компании ООО «Смарт Энджинс Сервис», что подтверждается соответствующими актами. Предложенные в диссертационном исследовании методы аугментацион-ного моделирования были использованы ИППИ РАН при выполнении проектов РНФ «Цифровые технологии и их применения» (№14-50-00150) и «Система мониторинга сельскохозяйственных показателей в видимом, инфракрасном и гиперспектральном режимах съемки» (№20-61-47089).

Методология и методы исследования. Результаты, полученные в диссертационной работе, относятся к цифровой обработке изображений, цветовой теории и теории вероятности. В работе используются методы компьютерного моделирования, линейной алгебры и непрерывной оптимизации. Все результаты обосновываются формально-дедуктивно или вычислительным экспериментом.

Работа подготовлена в соответствии с паспортом специальности 05.13.18 -«Математическое моделирование, численные методы и комплексы программ», технические науки. Решаемые в работе задачи соответствуют пп. 1, 5 и 8 («Разработка новых математических методов моделирования объектов и явлений», «Комплексные исследования научных и технических проблем с применением современной технологии математического моделирования и вычислительного эксперимента» и «Разработка систем компьютерного и имитационного моделирования» соответственно).

Основные положения, выносимые на защиту:

1. При поканальном аугментационном моделировании подводных изображений без явной цветовой калибровки ошибка моделирования существенно зависит от используемой системы цветовых координат.

2. При поканальном аугментационном моделировании подводных изображений без учета шума отношение сигнал/шум на имитации будет завышенным, если ослабление света в воде не равно нулю.

3. Разработанный алгоритм аугментационного моделирования подводных изображений в калибровочных координатах позволяет существенно (более, чем на 20%) снизить среднюю ошибку цветопередачи при использовании общедоступных наборов спектральных данных.

4. Разработанный метод аугментационного моделирования подводных изображений с добавлением шума позволяет получать изображения с параметрами шума, согласующимися с классической моделью дробового шума на изображении.

5. Разработанный комплекс программ реализует предложенные в работе методы и алгоритмы моделирования подводных изображений и позволяет тестировать алгоритмы моделирования цветных подводных фотографий, а также алгоритмы их улучшения в части цветопередачи.

Достоверность изложенных в работе аналитических результатов обеспечена использованием формально-дедуктивных правил вывода из хорошо известных теорем аналитической геометрии и теории вероятности. Достоверность полученных численных результатов подтверждена посредством воспроизводимых вычислительных экспериментов на большом множестве общедоступных спектральных данных и на самостоятельно собранном наборе натуральных подводных изображений. Результаты находятся в соответствии с результатами, полученными другими авторами.

Апробация работы. Основные результаты работы докладывались на VI Международной конференции «Информационные технологии и нанотехно-логии» (Самара, 2020); совместном научном семинаре Лабораторий №2 и №11 ИППИ РАН; семинаре Московского центра исследований и разработок Хуавэй. Текст доклада на Международной конференции по имитационному моделированию (344h International ECMS Conference on Modelling and Simulation - Берлин, 2020) представлен в соответствующем сборнике.

Личный вклад. Все основные результаты диссертации получены и обоснованы автором самостоятельно. Постановка задач и формализация результатов проводились совместно с научным руководителем.

Публикации. Основные результаты по теме диссертации изложены в 8 печатных работах, 3 из которых изданы в журналах, индексируемых RSCI; 1 — в журнале, индексируемом Scopus и WoS; 1 — в журнале, рекомендованном ВАК; 3 — в тезисах докладов.

Объем и структура работы. Диссертация состоит из введения, четырех глав и заключения. Полный объём диссертации составляет 138 страниц, включая 49 рисунков и 1 таблицу. Список литературы содержит 123 наименования.

Глава 1. Модели и методы моделирования подводных изображений

Влияние свойств водной среды на процесс формирования подводных изображений (ПИ) начало исследоваться еще до появления методов цифровой обработки изображенй, в связи с проведением фото- и видеосъемки под водой (например, [6]). Уже тогда было ясно, что условия наблюдения в воде тем отличаются от наблюдений в воздухе, что показатель ослабления света в воде в сотни раз превышает показатель ослабления в воздухе. Ослабление света водой приводит к уменьшению наблюдаемой яркости объекта. Эти потери предлагалось компенсировать применением светосильной техники. Хорошие результаты можно получить, снимая предметы под водой на близком расстоянии или пользуясь источниками искусственного света, увеличивая освещенность. Однако чрезвычайно трудно получить натуральные цветные снимки из-за цветностных искажений, вызванных тем, что ослабление света значительно отличается в разных диапазонах видимого спектра [29; 31; 32].

Наибольшие же затруднения при подводном фотографировании вызывает не ослабление света, а его рассеяние. Рассеяние света водой зависит не только от молекулярного состава среды, но и от состава присутствующих в ней взвешенных частиц [29], что влияет на видимость объектов. Рассеяние создает между камерой и предметом своеобразную «световую дымку», вуалирующую рассматриваемый объект и затрудняющую восприятие его образа. Эта дымка вызывает очень большие трудности при работе под водой, особенно с искусственными источниками света. Увеличение мощности источника света хотя и улучшает освещенность поверхности объекта, но одновременно с этим приводит к повышению интенсивности дымки. Дымка вызывает «засвечивание» светочувствительного слоя матрицы, «разбеливание» изображения и уменьшение его контраста.

На рис. 1.1 показана подводная фотография, снятая в бассейне. Как видно из иллюстрации, с увеличением расстояния до объектов их цвета искажаются все сильнее, а контраст уменьшается, из-за чего падает различимость деталей объектов на изображении.

На рис. 1.2 показана одна и та же цветовая мишень, сфотографированная на воздухе при солнечном освещении (рис. 1.2а) и под водой (рис. 1.2б). Снимок сделан в Средиземном море вблизи Майорки на глубине 5 м с близкого

Рисунок 1.1 — Подводное изображение, демонстрирующее как с увеличением расстояния до объектов съемки искажаются цвета объектов и ухудшается

контраст

расстояния [33]. При сравнении изображений цветовой мишени хорошо видно изменение цветопередачи: под водой значительно ослаблена яркость красных и оранжевых тонов. Обращает на себя внимание также ослабление водой видимой насыщенности остальных цветов, а также изменение их цветового тона.

Как уже было сказано выше, коэффициент ослабления света в водной среде значительно отличается в разных диапазонах длин волн [29; 31; 32], из-за чего характерные значения яркости в разных каналах ПИ могут значительно отличаться. Это, помимо прочего, приводит к тому, что уровень шума на ПИ может значительно варьироваться между его каналами, что иллюстрируется на рис. 1.3. Так, на рис. 1.3а-1.3в представлены соответственно: надводное изображение (НИ) цветовой мишени и его автоконтрастированные изображения зеленого и красного каналов. На рис. 1.3г-1.3е - ПИ той же цветовой мишени, снятой в бассейне, и его автоконтрастированные изображения зеленого и крас-

Рисунок 1.2

а)

Отличия в цветопередаче надводных (а) и подводных ( фотографий (изображения взяты из [33])

ного каналов. Как видно из рис. 1.3д и 1.3е, уровень шума в красном канале ПИ (рис. 1.3е) больше, чем в зеленом канале (рис. 1.3д), так как ослабление света водной средой в длинноволновом диапазоне сильнее, чем в средневолновом диапазоне. При этом в НИ такого эффекта не наблюдается (см. рис. 1.3б и 1.3в).

а)

г)

д)

в)

е)

Рисунок 1.3 — Изображение цветовой мишени, снятой на воздухе и в воде: а) -НИ цветовой мишени; б) - зеленый канал НИ; в) - красный канал НИ; г) -ПИ цветовой мишени; д) - зеленый канал ПИ; е) - красный канал ПИ

Резюмируя, скажем, что явления ослабления и рассеяния света в воде напрямую влияют на качество получаемых ПИ в части цветопередачи. Так, ослабление света приводит к цветовым искажениям на подводной фотографии, а рассеяние вносит основной вклад в потерю контраста. Кроме того, из-за ослабления и рассеяния уровень шума ПИ в разных каналах значительно отличается, чего обычно не наблюдается в НИ. Для решения различных прикладных задач, связанных с вычислительной подводной фотографией, желательно компенсировать указанные искажения ПИ [34]. Так возникает задача улучшения подводных изображений.

1.1 Задача улучшения подводных изображений

В литературе предлагается огромное множество различных методов улучшения качества ПИ, при этом формулировки задачи «улучшение ПИ» значительно варьируются от одной работы к другой. Кроме того, авторы могут пытаться решить сразу несколько проблем в одной работе, не отделяя одни задачи от других, что создает трудности при определении вкладываемого авторами конкретной работы смысла в понятие «улучшение ПИ».

Одной из наиболее часто встречающихся постановок задач улучшения ПИ является задача получения изображения, в котором яркость каждого пикселя пропорциональна яркости соответствующего объекта подводной сцены (1а) [14; 35—37]. Алгоритмы, решающие данную задачу, нивелируют те цветовые искажения, которые возникают в результате прохождения света от объектов сцены сквозь толщу воды до камеры. В современной литературе часто подводную яркость восстанавливают, используя ту или иную модель формирования ПИ (некоторые из них будут рассмотрены в разделе 1.3).

Следующая постановка, неявно представленная в [8], может быть сформулирована следующим образом: получение изображения, снятого в прозрачной (не мутной) и не окрашенной воде (2а). В работе [8] собран набор изображений различных сцен, снятых в водах различной степени мутности и окраски: от прозрачной (см. рис. 1.4а) воды до очень мутной и «окрашенной» (см. рис. 1.4б). Изображения, полученные в прозрачной воде, затем используются в качестве референсных для сравнения эффективности различных алгоритмов. Из фор-

а) б)

Рисунок 1.4 — ПИ в синей окрашенной воде (а) и референсное ПИ в прозрачной воде (б) одной и той же сцены из работы [8]

мулировки данной задачи следует, что решая её, мы избавляемся от мутности, которая связана с рассеянием, и от окраски среды, которая связана с ослаблением, но при этом мы не обязаны нивелировать эффекты ослабления света в воде полностью.

Другая постановка формулируется таким образом: получение изображения сцены таким, как если бы камера и сцена находились не в воде, а на воздухе (3а) [5; 38; 39].

Показательным примером работы, в которой определить постановку задачи оказывается непросто, является работа Л. Чао с соавт. [40]. Во введении авторы пишут, что их метод способен восстановить «высококачественное изображение без воды (или в чистой воде)» (ориг. на англ. "hi-quality water-free (or in pure water) image"), т.е. может показаться, что авторы собираются решать задачи 1а и 2а. Однако в итоге в работе предлагается метод восстановления подводной яркости (т.е. решается задача 1a), а в заключении авторы пишут, что им удалось получить изображение, которое «выглядит так, как будто снято в прозрачной среде» (ориг. на англ. "look like taken in crystal medium").

В других работах предлагается восстанавливать изображение без цветовых искажений водной среды, и таким образом, будто бы сцена освещена белым источником [5; 41; 42], что соответствует решению задачи автоматического баланса белого для НИ. Таким образом, каждая из рассмотренных первые три формулировки могут быть дополнены следующим требованием: вид подводной сцены должен соответствовать белому освещению (см. 1б, 2б, 3б). В работе

а) Подводное изображение б) Улучшенное изображение

Рисунок 1.5 — Результаты решения задачи улучшения подводных

изображений 3б из работы [5]

[42] предлагается метод улучшения ПИ, использующий на одном из этапов метод цветовой компенсации, названный подводным балансом белого. Для оценки результатов работы алгоритма авторы используют улучшенные предложенным методом ПИ цветовой мишени, цвета которой сравниваются с оригинальными «надводными» цветами мишени, что позволяет отнести задачу, решаемую в [42], к третьей постановке с тем условием, что освещение сцены было белым (3б). В работе [5] после восстановления изображения, координаты цветов проходят дополнительную обработку, которая включает в себя баланс белого [43] (см. рис. 1.5).

Как уже было сказано в предыдущем разделе, с увеличением расстояния до объекта в воде в результате ослабления и рассеяния света происходит потеря яркости и контраста, а, значит, ухудшаются его видимость и разборчивость. Поэтому можно выделить следующую постановку задачи улучшения ПИ, а именно повышение разборчивости деталей (4). К работам, которые решают задачу улучшения ПИ в данной формулировке, относятся [39; 44; 45]. Заметим, что в результате такого улучшения разборчивость деталей на изображении должна повысится (см. рис. 1.6), в то время как цветовые искажения могут оказаться не исправленными (см. рис. 1.6в и 1.6г).

Последней в списке постановок является задача получения наиболее визуально предпочтительной подводной фотографии (5). В работах [38; 46] при сравнении алгоритмов используются психофизические эксперименты, в которых ранжирование разных алгоритмов происходит в соответствии с

в) г)

Рисунок 1.6 — Иллюстрация решения задачи улучшения подводных изображений 4 из работы [39]: а), в) - подводные изображения; б), г) -соответствующие результаты их улучшения

субъективным выбором испытуемых, выбирающих наиболее визуально предпочтительные изображения. В работах [12; 47] упоминается, что обработанная фотография может, а, возможно, и должна, отвечать эстетическим запросам пользователя.

Ниже приведен список формулировок постановок задач улучения ПИ, выделенных в результате аналитического обзора литературы в данном разделе: 1а. Получить изображение, в котором яркость каждого пикселя пропорциональна яркости соответствующего объекта подводной сцены [14; 35—37].

1б. Получить такое изображение, что яркость каждого его пикселя пропорциональна яркости соответствующего объекта сцены, находящейся под белым светом, не искаженным водой. 2а. Получить изображение, снятое в прозрачной (не мутной) и не окрашенной воде [8].

2б. Получить изображение, снятое в прозрачной (не мутной) и не окрашенной воде, под белым светом.

за. Получить изображение сцены так, как если бы камера и сцена находились не в воде, а на воздухе [5; 38; 39].

зб. Получить изображение сцены так, как если бы камера и сцена находились не в воде, а на воздухе, под белым светом [5; 41; 42].

4. Повысить разборчивость деталей подводного изображения [39; 44; 45].

5. Получить наиболее визуально предпочтительную подводную фотографию [12; 38; 46; 47].

В зависимости от постановки задачи качество результата улучшения может оцениваться различным образом. Далее приводится обзор существующих подходов к оценке качества алгоритмов улучшения ПИ.

1.2 Оценка качества алгоритмов улучшения подводных изображений и аугментационное моделирование

При разработке алгоритмов обработки изображений, в том числе подводных, требуются формальные критерии, оценивающие качество их результата. Это нужно и для ранжирования алгоритмов, и для оптимизации алгоритмов по их параметрам, и для определения того, была ли задача решена с должным качеством.

Иногда эти формальные критерии опираются на психофизические эксперименты, как, например, в работах [38; 46; 48]. В работе [48] был проведен следующий эксперимент. Испытуемым предъявлялись наборы ПИ, снятых разными камерами и обработанными их соответствующими программными обеспечениями (ПО). Внутри каждого предъявляемого набора изображения отличались только устройствами, которыми они были сняты, при этом сцена и условия съемки (освещение, вода и т.д.) были одинаковыми (см. рис. 1.7). Внутри одного набора ПИ испытуемые выбирали те изображения, которые были по их мнению наиболее предпочтительными. В результате такого эксперимента удалось выяснить, какая камера (и её ПО) выдает наиболее предпочтительные ПИ.

Подобные эксперименты используются при разработке и сравнении алгоритмов, решающих задачу 5 - получения наиболее визуально предпочтительных ПИ [38; 46]. Однако такой подход является слишком трудоемким

Рисунок 1.7 — Пример наборов предъявляемых ПИ, используемых в психофизических экспериментах, из работы [48]. В каждой строке представлены результаты съемки одной из нескольких камер. В левом столбце - фотографии разных камер в чистой воде; в среднем столбце - в синей окрашенной воде; в правом столбце - в зеленой окрашенной воде

Список литературы диссертационного исследования кандидат наук Шепелев Денис Александрович, 2020 год

// \ ч

\

1 \

\

1 V \

Ч \

11 11 \ S

1 \ Ч N

11 к

1 \ N - -

1 \

1 \ 1

\

\

0 20 40 60 80 100 120 140 160 180 200 220 240 260 280 300 320 340

р, м

Рисунок 3.9 — Графики зависимости отношения сигнал/шум (SNR) от расстояния (р) (от 0 до 350 метров) для красного (кривые красного цвета), зеленого (кривые зеленого цвета) и синего (кривые синего цвета) каналов. Сплошные линии обозначают графики SNRfw для сигнала, смоделированного с помощью поканального метода с добавлением гомоскедастичного шума (3.7); пунктирные линии - графики теоретических оценок SNRfn

Результаты расчета имитаций ПИ на расстояниях 1, 3 и 7 метров согласно (3.7) представлены на рис. 3.10. Аналогично рис. 3.3 на рис. 3.10 в левом столбце представлены рассчитанные имитации ПИ, в центральном и правом столбцах -их соответствующие автоконтрастированные изображения красного и зеленого каналов. При расчете использовались те же параметры и карты глубин, что и для расчета рис. 3.3. В качестве стандартного отклонения добавочного шума было выбрано значение аш = 0.02. В качестве среднего значения сигнала в каждом пикселе НИ с(х) использовалось изображение с шумом, представленное на рис. 1.17б. Как видно из рис. 3.10 на имитациях ПИ уровень шума в каналах хотя и меняется с расстоянием до объекта, всё же уровень шума на полученных ПИ заметно отличается от теоретического (см. рис. 3.3).

Результаты работы гипотетического алгоритма улучшения ПИ (3.4) на имитациях, представленных на рис. 3.11а, 3.11в и 3.11д (это те же изображения, что и 3.10а, 3.10г и 3.10ж), представлены на рис. 3.11б, 3.11г и 3.11е. Как видно из рисунков, с расстоянием уровень шума на восстановленных изображениях увеличивается, но не так значительно, как ожидается (см. рис. 3.4). Т.е. в данном случае выбранное стандартное отклонение добавочного шума аш для дальних расстояний оказывается недостаточным. Но если бы мы выбрали большое аш, могло оказаться, что для малых расстояний уровень шума на восстановленных изображениях был бы большим, по сравнению с ожидаемыми результатами восстановления из рис. 3.4. Данная проблема связана с тем, что параметр добавочного шума аш не зависит от параметров моделирования и параметров модели Яне дробового шума.

Таким образом, полученные графики и рисунки показывают, что точность поканального метода моделирования с добавлением гомоскедастичного шума может быть не достаточной. Параметры шума нужно задавать отдельно для каждого пикселя, они должны определятся через параметры поканального метода моделирования и параметры модели Яне дробового шума.

Рисунок 3.10 — Результаты расчета имитаций ПИ поканальным методом с добавлением гомоскедастичного шума (3.7): а), г), ж) - имитации ПИ на расстоянии 1, 3, 7 метров соответственно; б), д), и) - соответствующие красные каналы ПИ а), г), ж); в), е), к) - соответствующие зеленые каналы

ПИ а), г), ж)

Рисунок 3.11 — Результаты расчета имитаций ПИ поканальным методом с добавлением гомоскедастичного шума (3.7) и результаты их улучшения гипотетическим алгоритмом (3.4): а), в), д) - имитации ПИ на расстоянии 1, 3, 7 метров соответственно; б), г), е) - результаты улучшения ПИ а), в), д)

соответственно

3.4 Предлагаемый метод моделирования подводного изображения с добавлением шума на основе зашумленного наземного

изображения

В работе предлагается поканальный метод моделирования с добавлением гетероскедастичного шума, позволяющего получать ПИ с параметрами шума, согласующимися с моделью Яне.

Так как в результате поканального моделирования без добавления шума (2.1) уровень шума на имитации ПИ оказывается заниженным, необходимо дополнительно добавлять шум на ПИ. Будем добавлять шум так, чтобы итоговая дисперсия сигнала ПИ стала равна ожидаемой теоретической оценке (3.2). Мы предлагаем поканальный метод моделирования, который вычисляет имитацию ПИ по НИ с(х) следующим образом [116; 121]:

/£(ж) = г(х) с(х) + Ь(х) + е(х), (3.9)

где е(ж) - реализация случайной величины, распределенной согласно нормальному закону с нулевым математическим ожиданием и среднеквадратичным отклонением 0"е(ж) равным:

а£(ж) = (ж) - ^(ж). (3.10)

В качестве оценки среднего значения с(х) в каждом пикселе, необходимого для вычисления (ж) и Б2(ж), будем использовать с(ж). Из вышесказанного ясно, что среднее и дисперсия сигнала, рассчитанного по формулам (3.9 и 3.10), стремятся к теоретическим оценкам (3.1 и 3.2).

Результаты расчета имитаций ПИ на расстояниях 1, 3 и 7 метров предлагаемым методом (3.10) представлены на рис. 3.12. Аналогично рис. 3.3 на рис. 3.12 в левом столбце представлены рассчитанные имитации ПИ, в центральном и правом столбцах - их соответствующие автоконтрастированные изображения красного и зеленого каналов. При расчете использовались те же параметры и карты дальностей, что и для расчета рис. 3.3. В качестве среднего значения сигнала в каждом пикселе НИ с(ж) использовалось изображение с шумом, представленное на рис. 1.17б. Как видно из рис. 3.12 результаты моделирования предлагаемым методом хорошо соотносятся с ожидаемыми теоретическими результатами на рис. 3.3 и натуральными данными 3.1.

Рисунок 3.12 — Результаты расчета имитаций ПИ предлагаемым поканальным методом моделирования с добавлением шума (3.9): а), г), ж) - имитации ПИ

на расстоянии 1, 3, 7 метров соответственно; б), д), и) - соответствующие красные каналы ПИ а), г), ж); в), е), к) - соответствующие зеленые каналы

ПИ а), г), ж)

д) е)

Рисунок 3.13 — Результаты расчета имитаций ПИ предлагаемым поканальным методом моделирования с добавлением шума (3.9) и результаты их улучшения гипотетическим алгоритмом (3.4): а), в), д) - имитации ПИ на расстоянии 1, 3, 7 метров соответственно; б), г), е) - результаты улучшения ПИ а), в), д)

соответственно

Результаты работы гипотетического алгоритма улучшения (3.4) на имитациях ПИ 3.13а, 3.13в и 3.13д (это те же изображения, что и 3.12а, 3.12г и 3.12ж), изображены на рис. 3.13б, 3.13г и 3.13е. Из рис. 3.13б, 3.13г и 3.13е видно, что уровень шума на улучшенных изображениях растет вместе с расстоянием, что хорошо соотносится с теоретическими результатами на рис. 3.3, так и с результатами других исследователей на натуральных ПИ (см. рис. 1.12).

3.4.1 Модификация метода для различающихся входных и

выходных параметров шума

Рассмотрим модификацию предложенного метода для случая, когда параметры модели Яне для входного НИ отличаются от параметров выходного ПИ. Пусть gin, Gin - параметры модели Яне дробового шума входного НИ с(х), а g0ut, ®out - параметры модели Яне дробового шума выходного ПИ. Согласно (3.5) дисперсия сигнала S2in(x) вычисленного поканальным методом без добавления шума равна:

S%n(x) = gmt2(x)c(x)+t2(x) a2n. (3.11)

А согласно (3.2) теоретическая дисперсия сигнала выходного ПИ S2^out(x) должна быть равна:

SUout{x) = gout t(x)c(x) + gout b(x) + G20Ut. (3.12)

Тогда будем моделировать ПИ следующим образом:

ft(x) с(х) + Ь(х), если S2f out(x) < S2fm(x)

, ) = i v у v у \ j, UoutK ; f,vn\ ) (3.13)

(t(x) c(x) + b(x) + £ш,out(x), иначе,

где ¿т, оиг(х) - реализация случайной величины, распределенной согласно нормальному закону с нулевым математическим ожиданием и среднеквадратичным отклонением а£. Ах) равным:

¿гп.оШ V / 1

Ое- ^

И = \jS\,mJx) — Sf,in(x). (3.14)

То есть будем добавлять шум только тогда, когда теоретическая оценка дисперсии (3.12) оказывается больше дисперсии при моделировании без шума (3.11).

Выводы

Итак, в данной главе представлены следующие результаты:

— показано, что отношение сигнал/шум на имитациях ПИ, полученных поканальным методом моделирования без добавления шума, может оказаться существенно завышенным;

— показано, что использование имитаций ПИ, полученных поканальным методом моделирования без добавления шума, для тестирования/ранжирования алгоритмов улучшения ПИ, не обеспечивающих достаточный уровень шумоподавления, может приводить к ошибочным выводам о качестве их работы;

— предложен поканальный метод моделирования ПИ с добавлением шума, позволяющий получать имитации ПИ, дисперсия сигнала которых согласуется с моделью Яне.

Глава 4. Программный комплекс и результаты экспериментов

4.1 Программный комплекс

В результате диссертационной работы был создан программный комплекс UWSim на языке Python 3.51, состоящий из следующих компонент:

— модуль для работы со спектральными данными;

— программа спектрального расчета НИ;

— программа спектрального расчета ПИ;

— программа калибровки цифровой камеры;

— программа аугментационного моделирования набора ПИ с идеалами;

— программа измерения точности алгоритмов аугментационного моделирования.

Общая длина кода разработанного программного комплекса составляет чуть менее 3000 строк. На рис. 4.1 представлена упрощенная схема разработанного программного комплекса. Опишем далее основные компоненты разработанного

Рисунок 4.1 — Схема разработанного комплекса программ ШБш программного комплекса.

^^рБ^/тем .python.org/

4.1.1 Модуль для работы со спектральными данными

Существует большое количество общедоступных источников спектральных данных [29; 31; 54; 71; 112]; это и базы компонент вектор-функций чувствительности камер [71], и коэффициенты отражений [54; 112], и спектральное распределение интенсивности источников освещения [54; 112], и показатели ослабления и рассеяния воды [29; 31] и т.д. Использование этих баз данных, однако, затруднительно. Во-первых, формат хранения спектральных данных у каждой базы свой. Во-вторых, характеристики измерительных приборов, которые использовались для сбора этих данных, отличаются, что влияет, в частности на диапазон и частоту дискретизации измерений. Модуль для работы со спектральными данными разработан с целью решить обе описанные проблемы.

Для решения первой проблемы произведена унификация формата данных, использующихся в диссертации. Все спектральные данные были приведены к следующему виду. Данные из различных источников были преобразованы в формат csv файлов, в которых есть обязательный столбец под названием wavelength, содержащий значения длин волн (в нм), которые были заданы в исходном источнике данных, и в остальных столбцах - значения спектральных функций на этих длинах волн. Пример одного из таких csv файлов, которых содержит компоненты вектор-функции цветового соответствия стандартного наблюдателя CIE, представлен на рис. 4.2.

Для решения второй проблемы был запрограммирован специальный класс описания спектральных функций. Этот класс приводит спектральные функции к одной и той же дискретизации, при необходимости линейно интерполируя и экстраполируя данные. В численных экспериментах использовалась интерполяционная сетка длин волн, заданная на отрезке от 350 до 780 нм с шагом в 1 нм. Численное интегрирование проводилось методом трапеций. В программе аугментационного моделирования набора ПИ с идеалами количество интерполяционных узлов в сетке уменьшается до 25 узлов, так как такое количество узлов уменьшает время расчетов и количество используемой памяти, а согласно [10] позволяет достигать адекватной точности моделирования.

Основной функцией в данном модуле является функция загрузки спектральных данных. Эта функция на вход принимает путь до csv файла описанного выше формата со спектральными данными. На выходе эта функция

возвращает словарь спектральных функций, в котором каждому строковому ключу, содержащему название спектральной функции считанной из входного csv, соответствует экземпляр спектральной функции.

В текущей версии модуль позволяет работать со следующими базами данных:

— показатели вертикального ослабления вод по Ерлову [31];

— набор различных спектров окрасок по Кринову [89];

— спектральные вектор-функции чувствительности:

- стандартного наблюдателя по CIE;

- Камеры Canon 500D [71];

- Камеры Nikon D90 [71].

1 wavelerjgt h,X,Y,Z

2 365. ее, е. ее,е ее, е. ее

3 370. ее, е. ее,е 0е,0. е0

4 375. ее, е. ее,е 0е,0. е0

5 3SG. ее, е. е0,е 0е,0. е0

б 335. ее, е. е0,е 0е,0. 00

7 39В. ее, е. е0,е 0е,0. 01

8 395. ее, е. ei.e 0е,0. 03

9 4 ее. ее, е. е2,е 0е,0. 09

10 405. ее, е. е4,е 0е,0. 20

11 41 в. ее, е. ез,е 01,0. 39

12 415. ее, е. 14,е 01,0. 66

13 42е. ее, е. 02,0. 97

14 425. ее, е. 2б,е 03,1. 2S

15 43©. ее, е. 31,е e4,i. 55

Рисунок 4.2 — Пример csv файла со спектральными данными

4.1.2 Программа спектрального расчета наземных изображений

В программе спектрального расчета НИ последние вычисляются согласно модели (1.9), используя спектральные данные, описанные в пункте 4.1.1. На входе этой программы задаются следующие аргументы:

— Карта спектральных коэффициентов отражения, которая представляет собой двумерный массив (numpy.ndarray2) размера (w,h) экземпляров спектральных функций.

— Источник - экземпляр спектральной функции.

— Вектор-функция чувствительности сенсора - массив размера (п) экземпляров спектральных функций.

— Параметры шума модели Яне - кортеж (д, а) с параметрами модели Яне.

В результате работы программа возвращает НИ в естественной СКЦ сенсора в виде трехмерного массива с размерами (w,h,n).

4.1.3 Программа спектрального расчета подводных изображений

В программе спектрального расчета ПИ последние вычисляются согласно модели (1.17), используя спектральные данные, описанные в пункте 4.1.1. На входе этой программы задаются следующие аргументы:

— Карта спектральных коэффициентов отражения размера (w,h).

— Карта дальности размера (w,h).

— Поза камеры - кортеж, состоящий из глубины погружения камеры, угла крена (roll) и угла тангажа (pitch).

— Источник - экземпляр спектральной функции.

— Вектор-функция чувствительности сенсора размера (п).

— Показатель ослабления - экземпляр спектральной функции.

— Показатель рассеяния - экземпляр спектральной функции.

— Показатель диффузного ослабления - экземпляр спектральной функции.

— Параметры шума модели Яне (д, а).

— Флаг отладки - необязательный аргумент типа bool, по умолчанию присваивается False.

В результате программа возвращает ПИ в естественной СКЦ сенсора в виде трехмерного массива с размерами (w, h,n). Если флаг отладки был равен True - программа также возвращает отладочные данные, которые могут содержать

2https://numpy.org/

результаты вычисления карты пропускания, изображение компоненты обратного рассеяния и т.д.

4.1.4 Программа аугментационного моделирования набора подводных изображений с идеалами

Программа аугментационного моделирования набора ПИ с идеалами вычисляет имитации ПИ на основе наземных RGB-D изображений. На вход этой программы подаются следующие аргументы:

— Путь директории с набором наземных RGB-D изображений - эта директория должна содержать tiff контейнеры с RGB-D изображениями.

— Путь директории, в которую должны быть сохранены результаты.

— Параметры освещения - путь до csv файла со спектральным распределением интенсивности источника освещения.

— Набор параметров воды - список путей до csv файлов, в каждом из которых заданы показатель ослабления, показатель рассеяния, показатель диффузного ослабления.

— Набор поз камеры - список поз камер;

— Параметры шума модели Яне для ПИ (gout, Gout) - необязательный аргумент, если не задан, то по умолчанию предполагается, что выходные ПИ будут генерироваться бузе шума и gout = Gout = 0.

— Вектор-функция чувствительности сенсора - необязательный аргумент, если не задан, то используется вектор-функция цветового соответствия стандартного наблюдателя CIE.

— Параметры шума модели Яне НИ (g{n, &in) - необязательный аргумент, если не задан, то по умолчанию предполагается, что входные НИ не содержат шум и д,т = &in = 0.

— Преобразование в естественную СКЦ сенсора - необязательный аргумент, представляет собой объект функции, преобразующей цвета из СКЦ входных изображений в естественную СКЦ сенсора.

— Параметры калибровки камеры - необязательный аргумент, путь до csv файла c калибровочной матрицей сенсора. Если не задан, то калибровочная матрица полагается равной единичной.

— Преобразование в выходную СКЦ - необязательный аргумент, представляет собой объект функции, преобразующей цвета из естественной СКЦ сенсора в выходную СКЦ сенсора. Если не задан, то полагается, что CIE XYZ - это естественная СКЦ сенсора, а sRGB - выходная СКЦ, преобразование в которую задается согласно [67].

— Флаг отладки - необязательный аргумент типа bool, по умолчанию присваивается False.

В результате работы программа в выходной директории создает две директории: ideal - директория, в которую сохраняются наземные RGB изображения в формате tiff; uw - директория, в которую сохраняются ПИ в формате tiff. Также в выходную директорию сохраняется csv файл, каждая строка которого содержит название НИ и название соответствующего ему ПИ. Если флаг отладки был равен True - программа также сохраняет отладочные данные в отдельную папку, которые содержат результаты вычисления карт пропускания, изображения компонент обратного рассеяния и т.д. Полученный программой набор данных может быть использован для исследования точностных характеристик алгоритмов улучшения ПИ.

В качестве набора НИ с картами глубин может быть использован набор данных из [113; 114]. Используя его, был подготовлен набор наземных RGB-D изображений, который подавался на вход разработанной программе моделирования ПИ. Характеристики камеры, на которую был снят этот набор данных, не были доступны, поэтому при расчетах в качестве значений необязательных аргументов программы использовались значения этих аргументов по умолчанию. Например, в качестве вектор функции-чувствительности сенсора использовалась вектор-функция цветового соответствия стандартного наблюдателя CIE, а параметры шума модели Яне входных НИ полагались g¡n = a¿n = 0. Так как обычно уровень наблюдаемой яркости под водой существенно меньше, чем на воздухе, то согласно модели Яне уровень шума на ПИ будет значительно выше, чем на НИ, и поэтому параметрами последнего, если они неизвестны, можно пренебречь. В качестве калибровочной матрицы использовалась спектро-зональная матрица для стандартного наблюдателя CIE, вычисленная на основе параметров спектрозональной модели, полученные в разделе 4.2.3.

Примеры имитаций ПИ, рассчитанных разработанной программой на основе этих наземных RGB-D изображений для типа воды «1C» представлены на рис. 4.3.

Входное НИ

Карта дальности

Имитация ПИ

Рисунок 4.3 — Результаты имитации ПИ (слева направо): надводное изображение в вЯСБ; его карта дальности; имитация ПИ

4.1.5 Программа измерения точности алгоритмов аугментационного моделирования

Программа измерения точности алгоритмов аугментационного моделирования по набору спектральных данных оценивает точность цветопередачи алгоритмов аугментационного моделирования ПИ. На вход программы подаются следующие аргументы.

— Набор параметров камер - это словарь размера га, в котором каждому строковому ключу (название камеры, например, "сатега_1") соответствует один набор параметров камеры. Параметры камеры представляют собой ]боп, содержащий путь до сбу файла с цвето-корректирующей матрицей сенсора камеры и путь до сбу файла с компонентами вектор-функции чувствительности сенсора.

— Набор параметров окрасок объектов - список путей до сбу файлов со спектральными коэффициентами отражения.

— Параметры освещения - путь до сбу файла со спектральным распределением интенсивности источника освещения.

— Набор параметров воды - список путей до сбу файлов, в каждом из которых задан показатель ослабления.

— Набор дальностей - список неотрицательных чисел, представляющие собой набор расстояний от камеры до объекта съемки.

— Набор исследуемых аугментационных алгоритмов с параметрами для каждой камеры - список, состоящий из словарей следующего формата.

— Ключу "а^_пате" соответствует название алгоритма.

— Ключу "а^_оЪ^' соответствует объект функции, которая им-плементирует алгоритм.

— Ключу "сатега_1" соответствуют параметры (набор аргументов) алгоритма для камеры с названием "сатега_1". Название ключа должно соответствовать ключу из набора параметров камер.

— Ключу "сатега_т" соответствуют параметры (набор аргументов) алгоритма для камеры с названием "сатега_т". Название ключа должно соответствовать ключу из набора параметров камер.

Каждая функция, имплементирующая исследуемый алгоритм, должна иметь следующий интерфейс входных аргументов: вектор-функция чувствительности камеры; параметры воды; набор дальностей; параметры алгоритма.

— Путь директории, в которую должны быть сохранены результаты. В своей работе программа использует данные и объекты рассмотренных ранее программ и работает следующим образом. Для каждой камеры по входным параметрам рассчитываются НИ, с помощью программы спектрального расчета НИ, и идеальные ожидаемые ПИ, с помощью программы спектрального расчета ПИ. Затем вычисляются соответствующие ответы для каждого алгоритма. Используя полученные ответы, для каждой камеры и алгоритма вычисляются средние значения ошибок для каждого типа воды и значения ошибок, усредненных по всем типам воды. Полученные данные для каждой камеры сохраняются в выходной директории в соответствующие сбу файлы.

4.1.6 Программа калибровки цифровой камеры

Программа калибровки цифровой камеры по набору спектральных данных вычисляет параметры спектрозональной модели, которые для АПМ со спектро-зональной калибровочной матрицей сенсора камеры доставляют минимальное среднее значение ошибки цветопередачи. На вход этой программы подаются следующие аргументы:

— Параметры камеры - это уест, который содержит путь до сбу файла с цветокорректирующей матрицей сенсора и путь до сбу файла с компонентами вектор-функции чувствительности сенсора.

— Набор параметров окрасок объектов - набор путей до сбу файлов со спектральными коэффициентами отражения.

— Параметры освещения - путь до сбу файла со спектральным распределением интенсивности источника освещения.

— Набор параметров воды - список путей до сбу файлов, в которых заданы показатели ослабления.

— Набор дальностей - список неотрицательных чисел, представляющие собой набор расстояний от камеры до объекта съемки.

— Путь директории, в которую должны быть сохранены результаты. В своей работе программа использует данные и объекты рассмотренных ранее программ. Найденная калибровочная матрица сохраняется в выходной директории в сбу файл, который может быть использован программой аугмен-тационного моделирования ПИ.

4.2 Точность цветопередачи алгоритма поканального моделирования со спектрозональной калибровкой

В этом разделе описаны проведенные численные эксперименты по сравнению точности цветопередачи предложенного АПМ с тривиальной калибровкой (ТК) и спектрозональной калибровкой (СЗК) на общедоступных наборах спектральных данных для трех сенсоров, 10 типов вод Ерлова [32], 350 окрасок Кринова [112]. В эксперименте использовался разработанный программный

комплекс. При вычислениях вместо непрерывных функций использовались дискретные множества их значений, заданные на интерполяционной сетке длин волн от 350 нм до 780 нм с шагом в 1 нм; значения интегралов оценивались методом трапеций.

4.2.1 Уточнение постановки задачи моделирования

Возвращаясь к задаче улучшения ПИ, часто результаты обработки ПИ должны быть показаны человеку, как, например, при визуализации подводных археологических артефактов [4; 39] или в вычислительной фотографии [5]. В таких случаях, качество улучшения ПИ должно оцениваться с помощью метрик, связанных с восприятием человеком цветовых различий. Так, например, в работе [42] для оценки качества улучшения используется метрика С1ЕЭЕ2000 [98; 99].

В первой главе мы показали, что тестирование и настройка параметров алгоритма улучшения ПИ может производится на имитационном наборе ПИ. Поэтому возникает вопрос: как в таком случае выбрать метрику оценки точности имитации ПИ? Эти метрики также должны быть связаны с цветовым восприятием человека и должны вычисляться в соответствующем цветовом пространстве, или же эти метрики могут быть выбраны произвольно и, например, вычисляться в цветовом пространстве сенсора, как в работах [122; 21]? Ответа на этот вопрос в литературе нет, и, чтобы понять какой из рассмотренных вариантов лучше, нужно каждый исследовать на практике.

Рисунок 4.4 — Схема процесса съемки и обработки ПИ для его показа

человеку с помощью дисплея

Рассмотрим задачу моделирования ПИ с целью показать изображение человеку с помощью дисплея (см. рис. 4.4). Как изложено в разделе 1.5, в этом случае целевое цветовое пространство за редкими исключениями не совпадает с исходным цветовым пространством сенсора, поэтому перед визуализацией

цвета изображения из исходного цветового пространства должны быть отображены в целевое [122]. В качестве целевых цветовых пространств в таких случаях обычно выбирают или цветовое пространство стандартного наблюдателя CIE, или цветовое пространство, из которого дисплей будет визуализировать цвета изображения. Последние цветовые пространства, например, широко используемое sRGB [67], обычно некоторым известным образом связаны с пространством стандартного наблюдателя CIE.

Итак, так как ПИ моделируется с целью показать его человеку с помощью дисплея, в качестве функции цветового различия, которая определяет введенную ошибку цветопередачи (2.10), будем использовать рассмотренную в пункте 2.4.2 CIEDE2000, алгоритм вычисления которой подробно описан в работе [99]. В [99] CIEDE2000 вычисляется на основе цветовых векторов, заданных в СКЦ стандартного наблюдателя CIE. Для перехода в СКЦ стандартного наблюдателя CIE из естественной СКЦ сенсора будем использовать цветокор-ректирующие матрицы, описанные в разделе 1.5.

4.2.2 Набор данных

В качестве показателей ослабления {вто(Л)}ТО=1 использовались показатели вертикального диффузного ослабления 10 типов вод Ерлова [32], которые проиллюстрированы на рис. 2.1. Для каждого типа воды моделировались изображения прямых компонент окрасок Кринова {ФП(Л)}3501, взятых из [112] (см. рис. 4.5), при расстояниях от камеры до объектов, варьирующихся от 1 до 10 метров {р&(х) = к}\0=1. Набор функций спектральных пропусканий вычислялся как

{Тток(Л) = ехР(-МЛ) Р^)}ТОТг

Множество спектральных яркостей моделировалось как

{Сп(Л) = 5Ъбв(Л)Фп (Л)}35=0Ь

где Sdg5(А) - спектр стандартного источника CIE D653 (см. рис. 4.6). НИ каждого образца окраски были рассчитаны как

350

{сп = J "сп(Л) х(А)^л}

п=1

где х(Л) - вектор-функция чувствительности исследуемого сенсора.

Численные эксперименты были проведены для следующих сенсоров: Canon 500D и Nikon D90, вектор-функции чувствительности которых были взяты из [71], кроме того, в качестве вектор-функции чувствительности сенсора была использована вектор-функция цветового соответствия стандартного наблюдателя CIE. Для каждого сенсора вектор-функция чувствительности Хо(Л) была преобразована так, чтобы соответствующий отклик сенсора на эквиэнер-гетический спектр Е(Л) = 1 был равен е =(11 1)т:

х(Л) = А-1 Хо(Л),

А

= diag

Хо(Л) d\

(4.1)

Полученные вектор-функции чувствительности сенсоров представлены на рис. 4.7.

Цветокорректирующие матрицы М0 камер Canon 500D и Nikon D90 для источника CIE D65 были взяты из исходного кода открытой библиотеки LibRaw4, цветокорректирующая матрица М0 для стандартного наблюдателя CIE полагалась единичной. Для каждого сенсора конечная цветокорректирующая матрица М была вычислена как:

М = М0 А. (4.2)

В результате использовались следующие цветокорректирующие матрицы: — для стандартного наблюдателя CIE:

/116.40 0.00 0.00 \ 0.00 116.65 0.00 0.00 0.00 116.60

- для Canon 500D:

/10.86 5.02 у 0.67

-1.74 7.67 -4.34

2.26 -1.65 14.84

3https://law.resource.org/pub/us/cfr/ibr/003/cie.15.2004.tables.xls

4https://github.com/LibRaw/LibRaw/blob/master/src/tables/colordata.cpp

оо

- для Nikon D90:

/7.24 1.08 0.43 \

3.68 6.35 -1.38 \0.89 -1.90 9.81 /

к

V

Ч А

350 400 450 500 550 600 650 700 750

X, нм

Рисунок 4.5 — Графики 10 спектральных коэффициентов отражения из базы

Кринова (всего содержит 350) [112]

X, нм

Рисунок 4.6 — Спектральное распределение интенсивности источника С1Е Э65

г<

350

400

450

500

550 600

А, нм

650

700

750

а) Стандартный наблюдатель С1Е

0

350 400 450 500 550 600 650 700 750

А, нм

г<

350

400

450

500

R

G

В

550 600

А, нм

650

700

750

б) Сапой 500Э

в) №оп Э90

X

Y

Z

R

G

В

Рисунок 4.7 — Графики компонент вектор-функций чувствительностей сенсоров, используемых в экспериментах

4.2.3 Расчет изображений прямых компонент подводных

изображений

Для каждого сенсора с помощью АПМ с тривиальной и спектрозональной калибровками (см. раздел 2.3) моделировались соответствующие изображения dnmk = dE(сп,Ттк(Л)) и dnmk = dL(cn,Tmk(Л)). Референсные изображения прямых компонент dnmk = d(Cn(X),Tmk(Л)) были рассчитаны согласно (1.17), а именно:

а(Сп(Л),Ттк(Л)) = У Сп(Л) Ттк(Л) х(Л) dX. (4.3)

Координаты белой точки, необходимые для преобразования координат из СКЦ стандартного наблюдателя CIE в CIE LAB [98], в которой будет вычисляться функция цветового различия CIEDE2000, для каждого сенсора вычислялись как:

w' = М 5Ъбб(Л) х(ЛЩ. (4.4)

J о

Для каждого сенсора х(Л) c цветокорректирующей матрицей М параметры спектрозональной модели были предварительно подобраны так, чтобы они минимизировали среднее значение ошибки цветопередачи АПМ со спектрозональной калибровочной матрицей по всем спектральным яркостям и пропусканиям. Границы видимого диапазона Л* и Л**, внутри которого выполнялся поиск параметров, были выбраны равными 350 нм и 800 нм соответственно, так чтобы полностью включать в себя диапазоны видимости исследуемых сенсоров. Стоит заметить, что ещё большее расширение выбранных границ не повлияет на результат работы предложенного алгоритма. В результате оптимизации для каждого сенсора были получены следующие параметры спектрозональной модели: Canon 500D - [Ав = [350,494), Дс = [494, 568), Дд = [568,800]}; Nikon D90 - {Дв = [350,498), Дс = [498,571), Дд = [571,800]}; стандартный наблюдатель CIE - {Д^ = [350,488), Ду = [488, 560), Дх = [560,800]} (длины волн указаны в нм).

Таблица 1 — Средние значения ошибок цветопередачи (2.10) АПМ с тривиальной калибровкой (столбцы «ТК») и АПМ со спектрозональной калибровкой (столбцы «СЗК») для камер Canon 500D, Nikon D90 и стандартного наблюдателя CIE (столбец «CIE XYZ»). В строке «Все» содержатся средние ошибки цветопередачи по всем типам вод Ерлова, для всех 350 окрасок Кринова и для всех расстояний от 1 до 10 метров. В остальных строках - средние значения ошибки цветопередачи для каждого типа воды в отдельности. Для каждого сенсора жирным выделены наименьшие средние ошибки в строке.

Canon 500D Nikon D90 CIE XYZ

СЗК ТК СЗК ТК СЗК ТК

Все 1.18 1.47 0.80 1.16 1.16 1.82

I 1.15 1.64 0.66 1.42 1.16 2.39

IA 1.14 1.64 0.66 1.42 1.16 2.38

IB 1.13 1.63 0.66 1.40 1.15 2.35

II 1.10 1.59 0.65 1.34 1.12 2.25

III 1.07 1.48 0.66 1.19 1.11 1.86

1С 1.44 1.60 1.04 1.18 1.48 1.36

3C 1.48 1.49 1.11 1.04 1.49 1.34

5С 1.20 1.18 0.92 0.77 1.10 1.48

7С 1.06 1.18 0.82 0.87 0.93 1.45

9С 1.05 1.26 0.85 0.96 0.93 1.35

4.2.4 Результаты

Для каждого сенсора по всем Сп(Л) и Tmk(Л) были подсчитаны соответствующие значения ошибки цветопередачи (2.10) АПМ с ТК Hnmk и АПМ со СЗК £nm k. Используя полученные значения ошибок цветопередачи, для каждой калибровки были подсчитаны средние значения их ошибок по всем окраскам, типам воды и расстояниям, кроме того, для каждого типа воды отдельно были посчитаны средние значения ошибки по всем окраскам и расстояниям (см. таблицу 1).

Как видно из таблицы 1, точность АПМ со СЗК в среднем выше, чем с ТК. Для всех океанических типов вод (см. строки «I», «IA», «IB», «II», «III»)

ошибка моделирования для СЗК (столбцы «СЗК») меньше, чем для ТК (столбцы «ТК»). Так для Canon 500D ошибка АПМ со СЗК оказывается меньше на 27%-30% относительно ошибки с ТК; для Nikon D90 - на 45%-54%; для стандартного наблюдателя CIE - на 40%-51%. На прибрежных типах вод в ряде случаев ошибка АПМ с ТК меньше, чем со СЗК, но величина относительной разницы между ошибками меньше, чем для океанических типов вод: для Canon 500D ошибка алгоритма со СЗК оказывается не более чем на 1% больше относительно ошибки с ТК; для Nikon D90 - не более 19% (такая существенная разница только на одном типе воды «5С»); для стандартного наблюдателя CIE - не более 11%. В любом случае из строки «Все» можно получить, что для камер Canon 500D и Nikon D90 средняя ошибка цветопередачи АПМ со СЗК оказывается меньше, чем с ТК, на 19% и 31% соответственно, а для стандартного наблюдателя CIE - на 36%. Усредненная по всем данным ошибка цветопередачи АПМ со СЗК оказывается на 29% меньше относительно АПМ с ТК.

Результаты опубликованы в работе [117].

4.3 Точность моделирования отношения сигнал/шум предложенного поканального метода моделирования с добавлением

шума

В данном разделе исследуется точность моделирования отношения сигнал/шум поканального метода моделирования без добавления шума и предложенного поканального метода моделирования с добавлением шума.

4.3.1 Набор подводных изображений

Для экспериментов был собран набор ПИ цветовой мишени DGK Color Tools WDKK, снятых в аквариуме, наполненном окрашенной водой [123]. В воде разводилась краска в различных пропорциях, что в итоге позволило получить 5 различных типов воды. Для каждого типа воды производились съемки на 3 расстояниях (30, 40 и 50 см). В итоге было отобрано 15 ПИ (см. рис. 4.8), по

1 на каждые тип воды и расстояние, и одно НИ цветовой мишени (см. рис. 4.9). На каждом изображении были размечены положения 18 цветовых областей на мишени.

Рисунок 4.8 — Набор собранных ПИ. В каждой строке расположены ПИ снятые в одном типе воды; в левом столбце - ПИ, на которых цветовая мишень находилась на расстоянии 30 см; в центральном столбце - ПИ, на которых цветовая мишень находилась на расстоянии 40 см; в правом столбце - ПИ, на которых цветовая мишень находилась на расстоянии 50 см

Собранные изображения были обработаны следующим образом. Для каждого изображения значения сигналов пикселей в каждом канале были линеаризованы и приведены к значениям от 0 до 100 по известным из метаданных DNG контейнера значениям уровней белого и черного. Таким образом, в результате линеаризации были получены 15 ПИ W0 = {^о} и одно НИ с. Так как значения ISO и время выдержки были различны при съемке каждого изображения, значения яркостей на ПИ оказались сравнимы со значениями яркостей на

Рисунок 4.9 — НИ, на основе которого моделировались ПИ

НИ. Для того, чтобы компенсировать разницу в ISO и времени выдержки, линеаризованные значения сигналов ПИ были дополнительно отмасштабированы. Для каждого изображения было оценено значение усиления сигнала 6 как:

е = 6ISO те, (4.5)

где 6/so и те - соответствующие значения ISO и времени выдержки из метаданных. Значение сигнала в каждом пикселе и канале ПИ w было от-масштабировано как:

w = wo ес/е, (4.6)

где 6С - значение усиления сигнала для НИ, w0 - линеаризованный сигнал ПИ. Сигнал НИ с отмасштабирован не был. Таким образом, в результате обработки изображений были получены множество ПИ W = {эд} и НИ с.

4.3.2 Оценка параметров дробового шума на изображении

Для каждого изображения были вычислены параметры модели Яне дробового шума. Так, на каждой цветовой области мишени и канале изображения были рассчитаны выборочные средние и дисперсии сигнала, с помощью которых были вычислены параметры дробового шума Яне, используя алгоритм Bounded-Variable Least-Squares (BVLS) [115] с ограничениями на значения параметров линейной модели (1.22) д, а2 ^ 0. Результаты расчетов параметров для одного из ПИ проиллюстрированы на рис. 4.10. Итак, согласно расчетам

параметры модели Яне шума на собранных изображениях лежат в следующих диапазонах: д е [0.10,0.25], а2 е [0.00,0.23].

а)

1.5 1.4 1.3 1.2 1.1 1

0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0

1

• :у /т

1/

1'/

ф

0123456789 10 11

Рисунок 4.10 — Иллюстрация результатов расчетов параметров модели Яне для натурального ПИ цветовой мишени в естественной СКЦ сенсора. а) -натуральное ПИ; б) - график зависимости дисперсии сигнала от его среднего для, синие точки на графике - значения среднего и дисперсии для каждого канала и каждой области (патча) цветовой мишени

4.3.3 Оценка карты пропускания и изображения компоненты

обратного рассеяния

Параметры рассеяния для каждого ПИ были вычислены следующим образом. Для используемой цветовой мишени было известно, что коэффициенты отражения нескольких её серых областей отличаются друг от друга в константное число раз, поэтому для соответствующих им усредненных откликов

д1 камеры верно:

91 = а 9*, (4.7)

где I - индекс серой области; д^ - усредненный цвет серой области с максимальной яркостью; а - соответствующий коэффициент пропорциональности. Из выражений (1.6 и 4.7) следует, что [117; 22]

ад/ = а/ б,* + Ъ, (4.8)

где ад/ - усредненный отклик сенсора под водой в серой области I; Ь - усредненное изображение компоненты обратного рассеяния (параметры обратного рассеяния); б,* - усредненное изображение прямой компоненты серой области с максимальной яркостью. Используя значения а/ и соответствующие натуральные усредненные значения сигналов ад/ с помощью алгоритма БУЬБ [115] были вычислены й* и Ь с ограничениями й*, Ь ^ 0. Результаты расчетов параметров для одного из ПИ проиллюстрированы на рис. 4.11.

Полученная оценка Ь была использована для вычисления параметров вектора пропускания для всех цветовых областей ПИ следующим образом:

и = (ад - Ь) 0 с*, (4.9)

где ¿ € 1,18 - индекс цветовой области; с^ - усредненный цвет ¿-ой цветовой области над водой; ад - усредненный цвет ¿-ой цветовой области под водой; 0 - обозначает поканальное деление. Рассчитанные параметры пропускания и обратного рассеяния лежат в следующих диапазонах: £ € [0.02,0.80], Ь € [0.00,0.35].

оооооооооооооооо

Рисунок 4.11 — Иллюстрация результатов расчетов параметров модели (4.8) для натурального ПИ цветовой мишени в естественной СКЦ сенсора. а) -натуральное ПИ; б) - графики зависимости усредненного сигнала сенсора в серой области от коэффициента пропорциональности, определенного в (4.7),

для каждого канала

4.3.4 Результаты моделирования подводных изображений

Используя полученные значения параметров пропускания ^ и рассеяния Ь, по каждому пикселю цветовой области НИ были рассчитаны соответствующие имитации пикселей цветовых областей ПИ с помощью поканального метода моделирования без добавления шума (2.1) и предложенного поканального метода моделирования с добавлением шума (3.13 и 3.14). Для каждой цветовой области % и канала у реального ПИ ад^ и их имитаций и , полученных соответственно без добавления шума и с добавлением шума, были вычислены соответствующие оценки среднего и дисперсии сигнала: (Ш^, .), (/,5'? .)

ъу .у у ъу

и (/ец). На рис. 4.12 проиллюстрированы результаты этих расчетов для

одного из ПИ. Как видно из этого рисунка, распределение дисперсии шума имитации ПИ, полученной предложенным методом, практически совпадает с распределением дисперсии шума натурального ПИ, в отличии от имитации ПИ, полученной методом без добавления шума. На основе полученных значений

1.6

1.5

0123456789 10 11

б)

Рисунок 4.12 — Иллюстрация результатов расчетов параметров модели (4.8) для натурального ПИ цветовой мишени в естественной СКЦ сенсора. На рис. а) изображено натуральное ПИ. На рис. б) изображены: красные точки -значения среднего и дисперсии сигнала имитации ПИ, полученной поканальным методом моделирования без добавления шума; зеленые точки -значения среднего и дисперсии сигнала имитации ПИ, полученной предложенным поканальным методом моделирования с добавления шума; синие точки - значения среднего и дисперсии сигнала натурального ПИ; синяя линия - график зависимости дисперсии сигнала натурального ПИ от

его среднего

среднего и дисперсии были рассчитаны соответствующие оценки отношений сигнал/шум: БИЯ^, БЫЩ^ и .

Абсолютная ошибка моделирования отношения сигнал/шум метода т € {/, ft} на цветовой области % и канале у ПИ п) вычислялась как:

Ещт,гз = \SNEw,, - ВЫЯт1з \. (4.10)

На рис. 4.13 представлены точные диаграммы значений ошибок от параметров пропускания (£) и обратного рассеяния (Ь). Как видно из рисунков 4.13а и 4.13б разброс значений ошибки поканального метода без добавления шума существенно больше, чем разброс ошибки предложенного метода с добавлением шума. Ясно, что среднее значение ошибки предложенного метода с добавлением шума также меньше, чем у метода без добавления шума. Так же из рис. 4.13а видно, что значение ошибки метода моделирования без добавления шума существенно растёт вместе с уменьшением пропускания.

са

9

8.5 8

7.5 7

6.5 6

5.5 5

4.5 4

3.5 3

2.5 2

1.5 1

0.5 0

«в - — - - - - — - - - — - - - - -

•

•

•

• »_

«V }

• 1 >»_ ••

•_ • • • #

т 1 • > • • 1 •

.4

" *| м 1 I, У V •• •

Г • . 1* 1>

Г • •• (* • иР

— шшшлу^т

ш> А.

Га! 1

— * янтк

Ш

са

9

8.5 8

7.5 7

6.5 6

5.5 5

4.5 4

3.5 3

2.5 2

1.5 1

0.5 0