Разработка и исследование алгоритмов установления пиксельных соответствий на стереопарах для решения задачи восстановления рельефа тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат наук Чумаченко, Александр Викторович

• Чумаченко, Александр Викторович
• кандидат наук
• 2014

Оглавление диссертации кандидат наук Чумаченко, Александр Викторович

Оглавление

Введение

Глава 1 Модель формирования стереопары, восстановление рельефа по стереопаре, точность установления стереосоответствий, метод оценки верхней и нижней границы диспаритета

1.1 Модель формирования стереопары и ее особенности

1.2 Восстановление рельефа по стерепаре фотоснимков

1.3 Подходы оценки точности стереосоответствий

1.4 Выбор стереопар для диссертационного исследования

1.5 Анализ стереопар из набора 1 и набора 2

1.6 Метод оценки границ значений диспаритетов стереопары

1.6.1. Снижение вычислительной сложности и увеличение точности

1.6.2. Необходимые элементы математической статистики и теории вероятностей

1.6.3. Трехэтапный метод оценки границ диспаритета пикселов стереопар

1.6.4. Экспериментальная проверка метода оценки границ диспаритета пикселов, анализ его эффективности и выводы

Глава 2 Анализ и исследование функций сравнения опорных областей

2.1 Математическое описание и анализ функций сравнения опорных областей

2.2 Схема сопоставления пикселов и опорных окон

2.3 Анализ модели сопоставления опорных областей, метод скользящего окна

2.4 Оптимизация вычисления значений целевых функций SAD и SSD

2.5 Оптимизация SAD и SSD для прямоугольных опорных областей

2.6 Анализ функции ZSAD

2.7 Анализ функции Census

2.8 Выводы

Глава 3 Разработка и исследование метода пространственно-цветовой сегментации изображения и статистического уточнения стереосоответствия стереопары

3.1 Анализ высокоточных алгоритмов поиска стереосоответствий

3.2 Существующие подходы сегментации изображений

3.2.1. Метод k-средних (метод главных точек)

3.2.2. Метод сдвига среднего (mean-shift)

3.2.3. Методы сегментации по гистограмме

3.2.4. Методы разрастания областей

3.3 Разработка нового метода сегментации изображения стереопары

3.4 Метод слияния малых сегментов

3.5 Критерии эффективности методов уточнения стереосоответствий

3.6 Разработка метода уточнения стереосоответствия в пределах выделенных сегментов изображения

3.7 Экспериментальная проверка эффективности многокритериального метода уточнения стереосоотвествия стереопар

Глава 4 Комплексный алгоритм поиска стереосоответствий

4.1 Метод локализации оценок границ диспаритета стереопар

4.2 Разработка комплексного алгоритма установления стереосоответствий

4.3 Экспериментальная проверка эффективности комплексных алгоритмов установления стереосоответствий, выводы

4.4 Сравнение с контроллером компьютерного зрения Microsoft Kinect

Заключение

Список сокращений и условных обозначений

98

Словарь терминов

Список литературы

Список иллюстративного материала

Приложение А - Изображения стереопар

Приложение Б - Стереосоответствия стереопар и их эталоны

Приложение В - Результаты экспериментов комплексного алгоритма идентификации пикселов

Приложение Г - Акты внедрения

Введение диссертации (часть автореферата) на тему «Разработка и исследование алгоритмов установления пиксельных соответствий на стереопарах для решения задачи восстановления рельефа»

Введение

Построение автоматизированных систем фотограмметрической обработки изображений - актуальное направление исследований теоретической и прикладной информатики. Их результаты находят применение во многих научных, технических, промышленных областях, производственных технологиях. Фотограмметрия, как научно-техническая дисциплина, занимается определением формы, размеров, положения и типов объектов в пространстве по их изображениям. Стерео фотограмметрия - раздел фотограмметрии, изучающий методы измерения объемных форм по стереопаре фотоснимков. В связи с развитием средств цифровой вычислительной техники, большую актуальность на данный момент имеет цифровая стереофотограмметрия.

Идентификация точек смежных снимков - один из основных процессов цифровой стереофотограмметрии и машинного зрения, точность которого в значительной степени определяет качество последующих этапов. Идея автоматизации этого процесса была сформулирована профессором А.С. Скиридовым в 1924 году и базировалась на сравнении фотографических плотностей соответственных зон смежных снимков. До практической реализации эта идея была доведена лишь в середине 1980-х годов при создании цифровых фотограмметирических систем (Назаров А.С. Фотограмметрия: учеб. пособие. Мн., 2006. С. 8-15).

Рассмотрим пример системы, состоящей из одной или двух камер и некоторой точки трехмерного пространства М. Некоторая точка пространства М формирует на изображениях проекции «7/ и т2 как показано на рисунке 1. Если известны внутренние и внешние характеристики стереосистемы, то можно восстановить положение точки М в трехмерном пространстве [16].

Определение соответствия (анг. - correspondence) между проекциями mi и т2 для всех пикселов изображений стереопары является ключевой задачей стереофотограмметрии, а также одной из наиболее изучаемых задач в области машинного зрения. Величина d=x2-xi является параллаксом проекции точки М на

изображениях стереопары. Данную величину также называют диспаритетом (анг. - disparity). Упорядоченную совокупность величин параллакса для всех пикселов стереопары называют картой диспаритетов (анг. - disparity map), стереосоответствием (анг. - stereocorrespondance) или картой глубины (анг. - depth map). В известной литературе задача нахождения стереосоответствий может называться по-разному, например «установление пиксельных соответствий на стереопарах», «отождествление соответственных пикселов изображений стереопар», «идентификация пикселов стереопар» и др.

Рисунок 1 - Модель формирования изображений стереопары

Задача идентификации пикселов стереопар активно изучается с середины 70х годов прошлого века. Для её решения разработано и адаптировано множество подходов, методов и алгоритмов. Среди них находят применение алгоритм распространения доверия (анг. - belief propagation) [17, 18], динамическое программирование [19, 20], билатеральная фильтрация (анг. - bilateral filtering) [21, 22], алгоритмы из теории графов [23], методы цифровой обработки сигналов [24]. Многие из существующих подходов имеют высокую точность и быстродействие. Однако~~до~стижетптепзысокойггочности~одновременно~с-высокой скоростью обработки стереопар - нетривиальная алгоритмическая и техническая задача. Реализация высокоточных трудоемких алгоритмов на специализированных вычислителях, таких как GPU (анг. - Graphics Processing

Unit), позволяет достичь высокой производительности порядка 10 кадров в секунду и более [1, 25, 26, 27]. В то же время, применение специализированных вычислителей не всегда возможно, так как конечные системы могут иметь ограничения энергопотребления и массо-габаритных характеристик.

Энергопотребление современного видеоадаптера с поддержкой параллельных вычислений CUD А (например, GeForce GTX 760) достигает уровня 200Вт [2]. Такая величина потребляемой мощности является значительной и несет дополнительную габаритную нагрузку на систему охлаждения. Это накладывает ограничения на применимость систем стереозрения, основанных на таких вычислителях. Современные универсальные процессоры могут иметь энергопотребление от 20 до 35 Вт и производительность около 100 GIPS (анг. -Giga Istructions per Second, рус. - миллиардов инструкций в секунду) [3]. Кроме того, такие процессоры выпускаются отечественными предприятиями1 [4], что расширяет их применимость в специализированных государственно-значимых областях.

Особое место занимают алгоритмы на основе оценки взаимной корреляции. Их можно назвать классическими, так как история их исследования в области компьютерного зрения берет свое начало в 70х годах XX века [28, 29]. Наиболее часто корреляционно-подобный подход применяется вместе с жадной стратегией выбора значения диспаритета. Из возможных значений диспаритета выбирается такое, которое соответствует локально-экстремальному значению корреляционной функции (анг. - Winner Takes All, WTA). Жадные корреляционно-экстремальные алгоритмы (далее «корреляционно-экстремальные алгоритмы») обладают сравнительно низкой вычислительной сложностью: минимальная доказанная оценка сложности составляет ö(N-dmax), здесь и далее N - число пикселов изображения стереопары, dmax - максимальное значение диспаритета [5]. Заметим, что данная оценка сложности справедлива для алгоритмов, устанавливающих так называемые «плотные» (анг. - dense)

' Универсальный четырехядерный микропроцессор Эльбрус-4С с частотой 800МГц. пиковой производительностью 107 GIPS выпускается ЗАО «МС1ДТ» г. Москва с 2014 года.

стереосоответствия, или стереосоответствия для всех пикселов стереопары. Альтернативой «плотным» являются «разреженные» (анг. - sparse) стереосоответствия, включающие оценку парралакса только части от всех пикселов изображения. Такой подход применяют, как правило, для сокращения вычислительной сложности основного этапа поиска пиксельных соответствий совместно с различными методами аппроксимации [30, 31].

Оценка вычислительной сложности сверху, составляющая 0(N-dmax), теоретически позволяет использовать корреляционно-экстремальные алгоритмы с «плотным» результатом в высокопроизводительных системах стереозрения (системах реального времени, анг. - real-time systems). Вопросы, связанные с практическим применением таких алгоритмов, рассматриваются в рамках данного диссертационного исследования. Основной недостаток корреляционно-экстремальных алгоритмов в «чистом виде» — сравнительно низкая точность установления пиксельных соответствий, особенно в областях перепадов глубины (на границах объектов). Как правило, это проявляется в «утолщении» объектов на переднем плане, размытием границ (анг. - foreground fattening). Степень утолщения зависит от формы и размера опорного окна, а также от вида применяемой функции сравнения опорных областей. Точность работы моделей, реализующих корреляционно-подобные методы без дополнительной обработки полученных результатов, составляет около 15-20% неправильно найденных соответствий на стереопару в среднем [32, с. 1589].

Алгоритмы установления пиксельных соответствий с «разреженным» результатом, как правило, используются для последующей аппроксимации в «плотный» результат. В этом случае подмножество пикселов, для которого находятся стереосоответствия, по сути, является «каркасом» карты диспаритетов, её начальным приближением. Для такого подхода основная сложность заключаются в методе выбора пикселов для «каркаса» и выборе метода аппроксимации полученного стереосоответствия в первом приближении. Методы построения «каркаса» пикселов могут базироваться на различных подходах, таких

как применение граничных фильтров или выделение так называемых «точек интереса» на изображении. Рассмотрим примеры реализации такого подхода.

Метод, предлагаемый авторами в работе [30] заключается в выделении границ объектов фильтром Канни [33], нахождении для граничных пикселов соответствий и последующей аппроксимацией диспаритетов остальных пикселов с помощью метода «Compressed sensing» [34]. Авторам удается достичь высокой итоговой точности - порядка 6,5% неверно найденных соответствий (на стереопарах «Tsukuba, Venus, Teddy, Cone»). Проанализируем полученные авторами результаты. Множество "граничных" пикселов составляет около 5% от всех пикселов стереопары. Поиск пиксельных соответстий пикселов "каркаса" производится методом из работы К.-И. Юна [35]. Програмная модель реализована в среде Matlab. Обработка стереопары Tsukuba с разрешением 384x288 занимает около 60 сек., что отчасти объясняется применением среды Matlab. Однако и базовый метод поиска пиксельных соответствий [35] затрачивает на аналогичную стереопару 60 сек. Соответственно поиск пиксельных соответствий для 5% от всей стереопары составит около 3 сек. Также необходимо учесть дополнительные временные затраты на граничный фильтр и аппроксимацию стереосоответствия. Таким образом, рассмотренный подход будет затрачивать как минимум 3 секунды на стереопару разрешения 384x288, что затрудняет его применение в высокопроизводительных системах стереозрения с процессорами общего назначения.

Метод, предложенный в работе [31] также основан на поиске стерео соответствий для пожмножества пикселов стереопары с последующей аппроксимацией диспаритетов нерасмотренных пикселов. Данный метод отличается от метода из [30], тем, что число пикселов в «каркасе» не зависит от содержания изображения. Итоговый уровень точности заметно хуже, чем в работе [30], и составляет 13,98% неверно найденных соответствий на тех же стереопарах. Временные затраты модели на обработку стереопар в работе не указаны.

Таким образом, методы, связанные с преобразованием «разреженного» стереосоответствия в «плотное», могут быть как вычислительно сложными, так и

неточными. Иными словами они не имеют каких-либо явных преимуществ по сравнению с методами и алгоритмами, ориентированными на получение изначально «плотного» стересоответствия.

Рассмотрим основные понятия, которыми оперируют при разработке и исследовании корреляционно-экстремальных алгоритмов установления пиксельных соответствий на стереопарах.

Опорные окна (анг. - support regions) являются одним из наиболее важных понятий в корреляционных подходах. Опорное окно - это некоторое множество пикселов, сопутствующих пикселу р и участвующих в поиске его соответствия. Самый распространенный вариант формы опорного окна - прямоугольный, или в частном случае - квадратный. Такая форма позволяет реализовать вычисление целевой функции за 0(1) для некоторого значения диспаритета d и любого размера опорного окна [5]. Накладные расходы составляют O(N-d) памяти для вспомогательных интегральных массивов и O(N-d) операций на их предварительное вычисление.

Прямоугольная форма опорного окна усиливает размытие границ и, таким образом, снижает точность стереосоответствий. Для компенсации этого эффекта в различных вариантах применяются опорные окна адаптивной формы [25, с. 469], а также композиция нескольких прямоугольных опорных окон [36]. В общем случае адаптивность заключается построении опорного окна так, чтобы оно включало в себя пикселы похожего цвета, и не включало границу предметов, на которой располагается так называемый перепад высот (анг. - depth discontinuity). Недостатком такого подхода является увеличение вычислительной сложности расчета корреляционной функции для опорного окна произвольной формы. К таким окнам неприменимы в полной мере оптимизации, аналогичные оптимизациям для прямоугольных окон. Для оптимизации окон адаптивной формы можно применить следующий подход: опорное окно разделить на линии пикселов (в частном случае прямоугольники высотой в один пиксел) и вычислять значение целевой функции для линий по отдельности [5]. В таком случае сложность вычисления корреляционной целевой функции для заданного

адаптивного окна составит О(к), где к - размер опорного окна вдоль одного из измерений (высота или ширина). Помимо увеличения сложности вычисления целевой функции, само по себе формирование адаптивного опорного окна требует дополнительных вычислений.

Альтернативой адаптивным окнам может служить уточнение стереосоответствия на основе сегментации базового изображения стереопары, то есть разбиения исходного множества пикселов на непересекающиеся подмножества (сегменты, кластеры). Подмножество должно формироваться в соответствии с некоторым критерием, определяющим меру принадлежности пикселов к нему. Большая часть существующих методов сегментации оперирует расстоянием в цветовом пространстве, таком как RGB, CMYK, XYZ, YCbCr и др. Основой для таких подходов является предположение о том, что близкорасположенные пикселы похожего цвета принадлежат одному предмету и равноудалены от точки съемки. Современные наиболее высокоточные методы установления пиксельных соответствий стереопар в том или ином виде включают в вычисления дополнительную цветовую и/или пространственную информацию для повышения точности [25, 37, 38]. Основным недостатком этих методов является высокая вычислительная сложность, в том числе в части сегментации изображения. Поэтому актуальной является задача разработки быстродействующих методов сегментации базового изображения стереопары, и последующего увеличения точности имеющегося пиксельного соответствия.

Целевые функции (анг. - cost functions) в корреляционных и корреляционно-подобных подходах предназначены для получения численной оценки сходства пиксела и его опорной области на базовом изображении с некоторой областью на втором изображении стереопары. Наиболее часто используются следующие функции:

• сумма абсолютных разностей (анг. - sum of absolute differences, SAD);

• сумма квадратов разностей (анг. - sum of squared differences, SSD);

• нормализованная взаимная корреляция (анг. - normalized cross correlation, NCC);

• ранговая оценка (анг. - Rank);

• Census (анг. - Census).

SAD является одной из наиболее применяемых в высокопроизводительных системах целевых функций по причине простоты вычисления и в большинстве случаев приемлемом качестве результата. В ряде случаев функция SSD может быть более точной чем SAD, так как более чувствительна к большим различиям отдельных пикселов (разница возводится в квадрат).

Для SAD и SSD применимы оптимизации опорных окон прямоугольной формы с помощью так называемых скользящих окон или интегральных массивов, как показано в работе автора данного исследования [5]. Основной недостаток этих функций - снижение точности на изображениях с шумом или с разными уровнями яркости изображений стереопары. Для устранения этого недостатка возможно применения модификаций этих функций, а именно ZSAD и ZSSD. Эти функции являются более устойчивыми к разным уровням яркости и шума. Недостатком этих функций является сложность оптимизации методом интегральных массивов напрямую, так как значение целевой функции зависит от средней интенсивности в пределах заданного опорного окна. Применение метода скользящего окна для целевых функций ZSAD и ZSSD также мало изучено на данный момент.

Функция NCC отличается от SAD и SSD, как правило, более высокой точностью в условиях шума или разной яркости изображений стереопары. При расчете значения функции вычисляется статистический корреляционный коэффициент, отражающий меру связи базового опорного фрагмента и фрагмента-кандидата как случайных величин. К NCC применимы оптимизации методами интегральных массивов и скользящих окон, что в итоге снижает сложность основного шага установления соответствий до O(n d), как показано в работах [38] и [39] соответственно. Недостатки функции (по сравнению с SAD и

SSD) - большее число операций для вычисления, большие затраты памяти на интегральные массивы (необходимо несколько массивов для среднего значения цветовой интенсивности, дисперисии и взаимной корреляции).

Ранговая оценка. Данная целевая функция оперирует не значениями интенсивности пикселов, а их порядковыми величинами в условном упорядоченном списке. То есть множество интенсивностей пикселов в пределах некоторого опорного окна S={132, 128, 110, 127, 128} будет преобразовано в S/={4, 2, 0, 1, 2}. После преобразования интенсивности пикселов в ранги применяются корреляционно-подобные методы (обычно SAD), и вычисляется оценка соответствия базового опорного фрагмента и фрагмента-кандидата. Данная целевая функция улучшает качество поиска соответствий на границах объектов [40], устойчива для случая разной яркости изображений стереопары и уступает по точности только методу Census [32]. Недостатком ранговой оценки является сложность оптимизации ее вычисления — к ней неприменимы методы наподобие интегральных массивов или скользящего окна.

Целевая функция Census аналогично ранговой оценке не оперирует значениями интенсивностей пикселов. Вместо этого пикселам в опорном окне ставятся в соответствие 0 или 1. Соответствующее значение зависит от отношения цветовой интенсивности пиксела по сравнению с центральным пикселом опорного окна. Далее для битовых векторов, соответствующих двум опорным областям, вычисляется расстояние Хемминга [40]. Согласно исследованию, проведенному в работе [32], функция Census является наиболее точной из 15 рассмотренных. Недостатки, аналогично ранговой оценке, состоят в сложности оптимизации ее вычисления без использования специфичной аппаратной реализации или векторных операций.

На данный момент существует множество корреляционно-подобных функций сравнения опорных областей, имеющих различную вычислительную сложность и границы применимости. Выбор подходящей функции во многом зависит от требований к конечной системе. Часто в выборе определенной целевой функции лежит некоторый компромисс между энерго-потреблением, массой,

габаритами, производительностью и точностью получаемых соответствий. В то же время актуальным остается вопрос разработки и исследования оптимизаций для функций сравнения опорных областей, которые могут повысить качество и/или быстродействие конечной системы стереозрения.

Важным свойством автоматизированных систем стереозрения является способность адаптироваться к изменяющимся условиям окружающей среды. Изменение расстояния до объектов на изображении приводит к изменению верхней и нижней границ диспаритета пикселов стереопары. Насколько известно автору, эта задача не рассмотрена в наиболее актуальных работах по исследуемой тематике. В большинстве работ для каждой отдельно взятой эталонной стереопары авторы используют заранее определенные границы диспаритета пикселов. Наличие точной предварительной оценки может повысить как адаптивность, так и производительность существующих систем стереозрения. Сложность данной задачи заключается в том, что оценка границ диспаритета является первым шагом обработки стереопары, и до её вычисления невозможно применение каких-либо оптимизаций вычисления целевых функций. В то же время метод оценки границ диспаритета должен эффективным, чтобы занимать малую долю времени работы модели в целом, чтобы его применение было целосообразым.

Таким образом, на данный момент не решены или не в полной мере исследованы следующие проблемы математического и алгоритмического характера:

1. Метод точной оценки верхней и нижней границы диспаритета стереопары.

2. Оптимизация вычисления целевых функций подобия.

3. Эффективная сегментация изображения с последующим уточнением

стерео соответствия.

Настоящее диссертационное исследование направлено на решение указанных выше задач. Основное предположение, лежащее в основе данного исследования, заключается в том, что существующие корреляционно-экстремальные методы и алгоритмы установления пиксельных соответствий с

жадной стратегией выбора не достаточно эффективны. Они могут быть оптимизированы и при своей базовой высокой производительности обеспечить точность, сопоставимую с точностью более вычислительно-сложных методов. Разработанные в данной исследовании методы и алгоритмы одновременно направлены на увеличение точности и снижение вычислительной сложности установления пиксельных соответствий на стереопарах.

Цель работы и задачи исследования. Целью диссертационной работы является разработка и исследование методов и алгоритмов нахождения пиксельных соответствий стереопар для решения задачи восстановления рельефа, обеспечивающих высокую производительность моделей на универсальных вычислителях, таких как современные процессоры общего назначения. Детальное рассмотрение данного направления приводит к следущим задачам, решаемым в диссертационной работе:

1. Разработка и исследование метода оценки границ значений диспаритета стереопары.

2. Исследование функций сравнения опорных окон с целью сравнительной оценки их точности и оптимизации вычисления.

3. Исследование, анализ и выявление ключевых принципов существующих высокоточных методов установления пиксельных соответствий с целью их адаптации и применения в разрабатываемом подходе.

4. Разработка и исследование нового комплексного алгоритма установления пиксельных соответствий, ориентированного на программную реализацию для процессора общего назначения.

Научная новизна проведенных исследований заключается в разработке новых методов и алгоритмов, которые в совокупности с существующими образуют новый комплексный алгоритм установления пиксельных соответствий стереопар (далее по тексту «комплексный алгоритм»), ориентированный на универсальные вычислители. В процессе работы над диссертацией были получены новые научные результаты:

1. Разработан новый статистический метод оценки границ диспаритетов стереопар, позволяющий исключить границы диспаритетов из параметров модели восстановления рельефа. Известные автору подходы и алгоритмы идентификации пикселов стереопар рассматривают границы диспаритетов как заданный параметр стереопары, что не может быть гарантировано в условиях динамически изменяющейся внешней среды. Предложенный статистический метод обеспечивает высокую точность определения границ диспаритетов: в среднем 98% и не менее 94%.

2. Выявлено и сформулировано свойство контекстной зависимости функций сравнения опорных областей. Установлено, что оптимизация методом интегральных массивов или методом скользящего окна может применяться только для контекстно-независимых функций.

3. Разработан метод многокритериальной сегментации изображений стереопары, отличающийся от известных тем, что учитывает не только сходство пикселов формируемого сегмента по цвету, но и их взаимную удаленность в координатах изображения. Кроме того, разработан новый метод слияния малых сегментов, повышающий эффективность последующей статистической аппроксимации карты диспаритетов. Программная модель методов сегментации-аппроксимации затрачивает на обработку в среднем в 10 раз меньше времени аналогов в части сегментации изображения.

4. Разработан и исследован быстродействующий комплексный алгоритм поиска пиксельных соответствий на стереопарах, отличающийся от существующих тем, что изначально ориентирован на универсальный вычислитель и не задействует векторные инструкции (типа SIMD, анг. - Single Instruction Multiple Data) или средства многопоточных вычислений. Время работы программной модели алгоритма в среднем в 2 раза меньше аналогов, сопоставимых по точности.

Теоретическая значимость результатов, полученных в диссертации, заключается в том, что разработанные методы и алгоритмы представляют собой

новые подходы к решению задачи установления пиксельных соответствий на стереопарах.

Практическая значимость диссертационного исследования заключается в том, что разработанные методы и комплексный алгоритм могут быть использованы для построения быстродействующих систем стереозрения на базе процессоров общего назначения, без применения специализированных вычислителей. Все полученные результаты доведены до практической программной реализации, их эффективность подтверждена экспериментально.

Методы исследования опираются на теоретические основы информатики, методы прикладной информатики, методы оптимизации, методы цифровой обработки изображений, теорию сложности вычислений, теорию математической статистики, теорию графов, теорию множеств, объектно-ориентированное программирование и другие.

Основные положения и результаты, выносимые на защиту:

1. Комплексный алгоритм установления пиксельных соответствий стереопар.

2. Приложение неравенств математической статистики к вычислению границ значений диспаритетов стереопар.

3. Статистический метод оценки границ значений диспаритетов стереопар.

4. Метод оптимизации контекстно-независимых функций сравнения опорных окон с помощью интегральных массивов.

5. Многокритериальный метод сегментации базового изображения стереопары и статистического уточнения стереосоответствий.

6. Приложение структуры данных «Система непересекающихся множеств» в методе слияния малых сегментов метода сегментации изображения. Реализация и внедрение результатов работы. Результаты

диссертационного исследования использовались при выполнении г/б НИР №12252 «Разработка теории и принципов построения интеллектуальных высокопроизводительных реконфигурируемых многопроцессорных

вычислительных систем на основе аппаратных мультипрограммных средств и специализированных трансляторов алгоритмов в аппаратные программы», а

Список литературы диссертационного исследования кандидат наук Чумаченко, Александр Викторович, 2014 год

Список литературы

1 Котюжанский, J1.A. Вычисление карты глубины стереоизображения на графическом процессоре в реальном времени / J1.A. Котюжанский // Фундаментальные исследования. - 2012. - №6-2. - С. 444-449.

2 Видеокарта GeForce GTX 760 [Электронный ресурс] : информация, характеристики, спецификации / — Официальный сайт компании Nvidia — Электрон, дан. — Санта Клара, Калифорния, 2014. — Режим доступа http://www.nvidia.ru/object/geforce-gtx-760-ru.html#pdpContent=2, свободный.

— Загл. с экрана. — Яз. рус.

3 Intel® Core™ i5-2430M Processor (3M Cache, up to 3.00 GHz) [Электронный ресурс]: информация, характеристики, спецификации // — Официальный сайт корпорации Intel — Электрон, дан. — Санта Клара, Калифорния, США 2014. — Режим доступа http://ark.intel.com/RU/products/53450/Intel-Core-i5-2430M-Processor-3M-Cache-up-to-3_00-GHz, свободный. — Загл. с экрана.

— Яз. рус.

4 Микропроцессор Эльбрус-4С [Электронный ресурс] : информация, характеристики, внешний вид // — Официальный сайт ЗАО «МСЦТ» — Электрон. дан. — Москва, РФ, 2014. — Режим доступа http://www.mcst.ru/mikroprocessor-elbrus4s, свободный. — Загл. с экрана. — Яз. рус.

5 Чумаченко, A.B. Оптимизация вычисления SAD для задачи восстановления рельефа по изображениям стереопар в высокопроизводительных системах стереозрения / A.B. Чумаченко // Известия ЮФУ технические науки. 2013. -№3 (140).-С. 89-96.

6 Кукарин, А. Основы стереозрения [Электронный ресурс]: статья / А. Кукарин // — Электрон, дан. — Москва, РФ, 2011. - Режим доступа http://habrahabr.ru/post/130300/, свободный. — Загл. с экрана. — Яз. рус.

7 Фотоматрица [Электронный ресурс]: статья // — Сайт электронной свободной энциклопедии Wikipedia ® — Электрон, дан. — США, 2014. —

Режим доступа

https://ru. wikipedia.org/wiki/%D0%A4%D0%BE%D 1 %82%D0%BE%D0%BC %D0%B0%D 1 %82%D 1 %80%D0%B8%D 1 %86%D0%B0 свободный. — Загл. с экрана. — Яз. рус.

8 Гузик, В.Ф. Статистический метод оптимизации локальных алгоритмов установления пиксельных соответствий на стереопарах / В.Ф. Гузик, А.В.Чумаченко // Известия высших учебных заведений. Северо-Кавказский регион. Серия: Технические науки. 2011. - № 4. - С. 20-25.

9 Высочанский, Д. Ф. Обоснование правила трех сигм для одномодальных распределений / Д. Ф. Высочанский, Ю. И. Петунин // Теория вероятностей и мат. статистика. - 1979, вып. 21. - С. 23-35.

10 Аргутин, A.B. Анализ быстродействия и вычислительной сложности алгоритмов 3D-реконструкции с точки зрения их применимости на процессорах с низким энергопотреблением / A.B. Аргутин // Вестник Южно-Уральского государственного университета. Серия: Компьютерные технологии, управление, радиоэлектроника. - 2012. - №16. - С. 213-215.

11 Ализар, А. Выглядит похоже. Как работает перцептивный хэш [Электронный ресурс]: статья / А. Ализар — Электрон, дан. — Минск, Беларусь, 2011. - Режим доступа http://habrahabr.ru/post/120562/, свободный. — Загл. с экрана. — Яз. рус.

12 Чумаченко, A.B. Алгоритм многокритериальной сегментации изображений для решения задачи совмещения стереопар / А.В.Чумаченко // Материалы III Всероссийской научной конференции молодых ученых, аспирантов и студентов «Современные технологии, естествознание, педагогика». Том 1. -Элиста, 2014-С. 57-62.

13 Кристофидес, Н. Теория графов. Алгоритмический подход / Н. Кристофидес; пер. с англ. - М.: Мир, 1978. - 432 с.

14 Кормен, Т.Х. Алгоритмы: построение и анализ, 2-е издание / Т.Х. Кормен, Ч.И. Лейзерсон, Р.Л. Ривест, К. Штайн; пер. с анг. - М.: издательский дом «Вильяме», 2005. - 1296 с.

15 Гузик, В.Ф. Метод оценки диспаритета стереопар / В.Ф.Гузик, А.В.Чумаченко // Известия ЮФУ. Технические науки, 2014. - №5 (154). - С. 229-234.

16 Kim, Н. 3D Reconstruction of Stereo Images for Interaction between Real and Virtual Worlds // H. Kim, S.-J. Yang, K. Sohn // Proceedings of the 2nd IEEE/ACM International Symposium on Mixed and Augmented Reality. - 2003. - 169 p.

17 Stereo matching with color-weighted correlation, hierarchical belief propagation, and occlusion handling / Q. Yang, L. Wang, R. Yang, H. Stewenius, D. Nister // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2008. -Vol. 31.- P. 492-504.

18 Banno, A. Disparity map refinement and 3d surface smoothing via directed anisotropic diffusion / A. Banno, K. Ikeuchi // In 3-D Digital Imaging and Modeling.-2009.-P. 1870-1877.

19 Hirschmuller, H. Accurate and efficient stereo processing by semi-global matching and mutual information / H. Hirschmuller //. In IEEE Computer Society Conference on Computer Vision and Pattern Recognition- 2005- IIP. 807-814.

20 Deng, Y. A fast line segment based dense stereo algorithm using tree dynamic programming / Y. Deng, X. Lin // In ECCV.- 2006.- Vol. III.- P. 201-212.

21 Yoon, K. J. Adaptive support-weight approach for correspondence search / K. J. Yoon, I. S. Kweon // IEEE Transactions on Pattern Analysis and Machine Intelligence.- 2006.- Vol. 28.- P. 650-656.

22 Mattoccia, S. Accurate and efficient cost aggregation strategy for stereo correspondence based on approximated joint bilateral filtering / S. Mattoccia, S. Giardino, and A. Gambini // In ACCV09 - 2009, II,- P. 371-380.

23 Kolmogorov, V. Multi-camera scene reconstruction via graph cuts / V. Kolmogorov, R. Zabih // In European Conference on Computer Vision. -2002.-III. - P. 82-96.

24 Stereo Correspondence Estimation Based on Wavelets and Multiwavelets Analysis [Электронный ресурс]: статья в формате pdf / A. Bhatti, S. Nahavandi. - Электрон, дан. (1 файл 761758 байт). - Intelligent Systems Research Lab., Deakin University, Australia, 1997. — Режим доступа: www.intechopen.com/download/pdf/5764, свободный. — Загл. с экрана. — Яз. анг.

25 On building an accurate stereo matching system on graphics hardware / X. Mei, X. Sun, M. Zhou, S. Jiao, H. Wang, X. Zhang // Computer Vision Workshops, 2011 IEEE International Conference on Stereo Vision- 6-13 Nov. 2011-P. 467-474.

26 Zhang, K. Real-Time Accurate Stereo with Bitwise Fast Voting on CUDA / Ke Zhang, Jiangbo Lu, Gauthier Lafruit, Rudy Lauwereins, Luc Van Gool // IEEE Transactions on circuits and Systems for Video Technology - 28.03.2011 -Vol. 21, issue 7,-P. 867-878.

27 Kowalczuk, J. Real-Time Stereo Matching on CUDA Using an Iterative Refinement Method for Adaptive Support-Weight Correspondences / J. Kowalczuk, E. T. Psota, L.C. Perez // IEEE Transactions on Circuits and Systems for Video Technology.- 06.06.2012.- Vol. 23, issue: 1.- P. 94-104.

28 Nishihara, H.K. PRISM, a Practical Real-Time Imaging Stereo Matcher. Technical Report / H.K. Nishihara // A.I. Memo 780, MIT, Cambridge, MA.-1984.-31 p.

29 Tyler, C. W. Binocular cross-correlation in time and space / C. W. Tyler, B. Julesz //Vision Research-18,- 1978,-P. 101-105.

30 Hawe, S. Dense disparity maps from sparse disparity measurements / S. Hawe, M. Kleinsteuber, K. Diepold // 2011 IEEE International Conference on Computer Vision (ICCV).- Nov. 2011,-P. 2126-2133.

31 Liu, L.-K. Sharp disparity reconstruction using sparse disparity measurement and color information / L.-K. Liu, Z. Lee, T. Nguyen //. 2013 IEEE 11th IVMSP Workshop.-June 2013,-P. 1-4.

32 Hirschmuller, H. Evaluation of Stereo Matching Costs on Images with Radiometric Differences / H. Hirschmuller, D. Scharstein //. Pattern Analysis and Machine Intelligence.- Vol. 31.- 2009.- P. 1582-1599.

33 Canny, J. A Computational Approach to Edge Detection / J. Canny // IEEE Transactions on Pattern Analysis and Machine Intelligence - Vol. PAMI-8, NO. 6,-Nov. 1986,- P. 679-698.

34 Candes, E. J. Robust uncertainty principles: exact signal reconstruction from highly incomplete frequency information / E. J. Candes, J. Romberg, T. Tao // IEEE Transactions on Information Theory. - № 52(2).- 2006.- P. 489-509.

35 Yoon, K.-J. Adaptive support-weight approach for correspondence search / Kuk-Jin Yoon, In So Kweon // IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 28, Feb. 2006, P. 650-656.

36 Hirschmuller, H. Real-Time Correlation-Based Stereo Vision with Reduced Border Errors / Hirschmuller H., Peter R. Innocent, Garibaldi J. // International Journal of Computer Vision.- Apr. 2002,- Vol. 47, issue 1-3.- P. 229-246.

37 Wang, Z. A region based stereo matching algorithm using cooperative optimization / Z.Wang, Z. Zheng //. Computer Vision and Pattern Recognition-2008.-P. 1-8.

38 Tsai, D.-M. Fast normalized cross correlation for defect detection / D.-M. Tsai,

C.-T. Lin //. Pattern Recognition Letters archive - Vol.24, issue 15 - Nov. 2003-P. 2625-2631.

39 Einecke, N. A two-stage correlation method for stereoscopic depth estimation / N. Einecke, J. Eggert // Digital Image Computing: Techniques and Applications (DICTA).- Sydney, NSW.- 2010,- P. 227-234.

40 Zabih, R. Non-parametric Local Transforms for Computing Visual Correspondence / R. Zabih, J. Woodfill // In Proceedings of European Conference on Computer Vision - Stockholm, Sweden-May 1994-P. 151-158.

41 Scharstein, D. High-accuracy stereo depth maps using structured light /

D. Scharstein, R. Szeliski // IEEE Computer Society Conference on Computer

Vision and Pattern Recognition (CVPR).- Madison, WI.- Vol. l.-June 2003.- P. 195-202.

URL: http://www.cs.middlebury.edu/~schar/papers/structlight/structlight.pdf

42 Scharstein, D. Learning conditional random fields for stereo / D. Scharstein,

C. Pal // In IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2007) .- Minneapolis, MN- June 2007,-URL: http://vision.middlebury.edu/stereo/data (дата обращения 2014.08.01)

43 Gribbon, К. Т. A Real-time FPGA Implementation of a Barrel Distortion Correction Algorithm with Bilinear Interpolation / К. T. Gribbon, С. T. Johnston,

D. G. Bailey // Proceedings of Image and Vision Computing New Zealand Conference.-2003.-P. 408-413.

44 Park, J. Lens distortion correction using ideal image coordinates / J. Park, S. C. Byun, B. U. Lee // IEEE Trans. Consumer Electron.- Vol. 55,- 2009,-P. 987-991.

45 Szeliski, R. Computer Vision: Algorithms and Applications / R. Szeliski // Springer.- 2010.- 832 p.

46 Faugeras, O. The Geometry of Multiple Images / O. Faugeras, Q.-T. Luong // The MIT press.- London.- 2001.- 659 p.

47 Hartley, R. Multiple View Geometry in Computer Vision. Second Edition / R. Hartley, A. Zisserman // Cambridge University Press - March 2004,- 670 p.

48 Loop, C. Computing rectifying homographies for stereo vision / C. Loop, Z. Zhang // IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'99).- Fort Collins.- P. 125-131.

49 Middlebury Stereo Vision Page [Электронный ресурс] / Middlebury College; D. Scharstein, R. Szeliski — Электрон, дан. — Middlebury, USA, 2014. — Режим доступа http://vision.middlebury.edu/stereo/, свободный. — Загл. с экрана. — Яз. ант.

50 Rusinkiewicz, S. Real-time 3D model acquisition / S. Rusinkiewicz, O. HallHolt, M. Levoy // ACM Transactions on Graphics. - 2002. - Vol. 21, № 3. - P. 438-446.

51 Sharstein, D. A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms / D. Sharstein, R. Szeliski // International Journal of Computer Vision.- Vol.47, 1/3.- 2002.- P. 7-42.

52 Hirschmuller, H. Evaluation of cost functions for stereo matching / H. Hirschmuller, D. Scharstein // In IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2007).- Minneapolis, MN-June 2007.

53 Hirschmuller, H. Stereo Vision in Structured Environments by Consistent SemiGlobal Matching/ H. Hirschmuller // In IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2006).- New York, NY, USA.- 2006,- P. 2386-2393.

54 Klaus, A. Segment-based stereo matching using belief propagation and a self-adapting dissimilarity measure / A. Klaus, M. Sormann, K. Karner // In International Conference on Pattern Recognition (ICPR 2006).- P. 15-18.

55 Comaniciu, D. Mean shift: A robust approach toward feature space analysis / D. Comaniciu, P. Meer // IEEE Pattern Analysis and Machine Intelligence - 24(5), May 2002,- P. 603-619.

56 Steinhaus, H. Sur la division des corps matériels en parties. Bull, Acad, Polon. / H. Steinhaus // Sci.- Cl. Ill Vol IV.- 1956.- P. 801—804.

57 Lloyd, S.P. Least Squares Quantization in PCM / S.P. Lloyd // IEEE Transactions on information theory.- Vol. IT-28, No. 2,- March 1982.- P. 129-137.

58 Shapiro, L.G. Computer Vision / Linda G. Shapiro, George C. Stockman // Prentice-Hall, New Jersey, ISBN 0-13-030796-3, 2001,- 608 p.

59 SLIC Superpixels Compared to State-of-the-Art Superpixel Methods / R. Achanta, A. Shaji, K. Smith, A. Lucchi, P. Fua, S. Susstrunk. // IEEE Transactions on pattern analysis and machine intelligence - Vol. 34, No. 11 .-2012,-P. 2274-2281.

60 Fua, P. A parralel stereo algorithm that produces dense depth maps and preserves image features / P. Fua // Machine Vision and Applications - NO. 6, 1993-P. 35-49.

61 Coordinate spaces (Microsoft Kinect SDK) [Электронный ресурс]: information, characteristics, specifications / — Official site of Microsoft™ Corporation — Электрон, дан. — Redmond, Washington, USA, 2014. — Режим доступа http://msdn.microsoft.com/en-us/library/hh973078.aspx, свободный. — Загл. с экрана. — Яз. ант.

62 Andersen, M.R. Kinect Depth Sensor Evaluation for Computer Vision Applications [Электронный ресурс]: технический отчет / M.R. Andersen и др.

— Электрон, дан. — Орхусский университет, Орхус, Дания, 2012. — Режим доступа http://eng.au.dk/fileadmin/DJF/ENG/PDF-filer/Tekniske_rapporter/Technical_Report_ECE-TR-6-samlet.pdf, свободный.

— Загл. с экрана. — Яз. анг.

63 Woodfill, J. I. The tyzx deepsea g2 vision system, a taskable, embedded stereo camera / J. I. Woodfill // Proc. IEEE Comput. Soc. Workshop Embed. Computer Vision, Conf. Comput. Vision Pattern Recognition - 2006 - 126 p.

64 Tomasi, M. Real-Time Architecture for a Robust Multi-Scale Stereo Engine on FPGA / M. Tomasi // IEEE Transaction On Very Large Scale Integration(VLSI) System.- Vol. 20(12).- 2012,- P. 2208-2219.

65 Ambrosch, K. Hardware implementation of an SAD based stereo vision algorithm / K. Ambrosch // IEEE Conference on Computer Vision and Pattern Recognition - Minneapolis, MN- June 2007- P. 1-6.

66 Fisher, R.B. A Comparison of Algorithms for Subpixel Peak Detection / R.B. Fisher, D.K. Naidu // Image Technology, Advances in Image Processign, Multimedia and Machine Vision - Springer-Verlag - 1996 - P. 385-404.

67 Bailey, D.G. Sub-pixel estimation of local extrema / D.G. Bailey // Image and Vision Computing.-New Zealand.- 2003,- P. 408-413.

68 Shimizu, M. Precise sub-pixel estimation on area-based matching / M. Shimizu, M. Okutomi // Eighth IEEE International Conference on Computer Vision, ICCV 2001.- Vancouver, Canada.- 2001,-P. 90-97.

Haller, I. Design of Interpolation Functions for Subpixel-Accuracy Stereo-Vision Systems / I. Haller, S. Nedevschi // IEEE Transactions on Image Processing-Vol. 21, issue: 2,- Feb. 2012.-P. 889-898.

Список иллюстративного материала

Рисунок 1 - Пространственная модель формирования изображений стереопары, с.4.

Рисунок 1.1 - Эпиполярная геометрия: а - эпиполярный отрезок, соответствующий одному лучу; б - соответствующие эпиполярные линии и эпиполярная плоскость, с. 22.

Рисунок 1.2 - Диаграмма модели восстановления рельефа в общем случае, с 24. Рисунок 1.3 - Экспериментальный стенд, а - цифровая камера и проектор на специальной фиксирующей конструкции, б - установление стереосоответствия с помощью активной подсветки сложной сцены (предположительно стереопара 2003_Cones), с. 26.

Рисунок 1.4 - Базовое изображение стереопары 2005_Art с выделенными экспериментальными областями, с. 30.

Рисунок 1.5 - Участки изображения для формирования серий sj..s7, с. 37. Рисунок 2.1 - Средний уровень ошибок для стереопар Tsukuba, Venus, Teddy, Cones:

a - стандартная «жадная» стратегия, б - SGM-метод, в - GC-метод, с. 43. Рисунок 2.2 - Средний уровень ошибок для стереопар Art, Books, Dolls, Laundry, Reindeer, Moebius: a - стандартная «жадная» стратегия, б - SGM-метод, в - GC-метод, с. 44.

Рисунок 2.3 - Сопоставление двух опорных окон вдоль эпиполярных линий, с. 45. Рисунок 2.4 - Сопоставление областей Р[И Р2 и их общее подмножество, с. 46. Рисунок 2.5 - Опорная область R, вспомогательные области для вычисления S(R,d), с. 50.

Рисунок 3.1 - Панхроматическое изображение «blocks» и его гисторамма, с. 60. Рисунок 3.2 - Изображения сегментированные SLIC-SP-алгоритмом на области размером 64, 256 и 1024 пикселов, с. 61. Рисунок 3.3 - График функции F(x) при А=20, с. 63.

Рисунок 3.4 - а - базовое изображение стереопары 2005_Moebius; б - фрагмент визуализированного стереосоответствия с выделенными границами сегментов изображения, с. 67.

Рисунок 3.5 - а - базовое изображение стереопары 2005_Art; б - фрагмент R визуализированного стереосоответствия с выделенными границами сегментов, с. 67.

Рисунок 3.6 - Сегментация изображения стереопары 2005_Art, черным цветом отмечены пикселы малых сегментов (с числом пикселов не более 209), с. 68. Рисунок 3.7 - Схема направлений поиска наиболее подходящего сегмента для слияния, с. 69.

Рисунок 3.8 - Сегментация стереопары 2005_Art: а - распределение числа сегментов в зависимости от размера, б - доля пикселов в зависимости от размера включающих их сегментов, с. 71.

Рисунок 3.9 - Сегментация стереопары 2005_Art после одной процедуры слияния малых сегментов: а - распределение числа сегментов в зависимости от размера, б - доля пикселов в зависимости от размера включающих их сегментов, с. 71. Рисунок 4.1 - Выбор верхней и нижней границы диспаритета фрагмента, с. 80. Рисунок 4.2 - Схема комплексного алгоритма установления стереосоответствий, с. 85.

Рисунок 4.3 - Контроллер Microsoft Kinect, с. 90.

Рисунок 4.4 - Зависимость разрешения по глубине от расстояния програмной модели КАУС и контроллера Microsoft Kinect, с. 91.

Рисунок 4.5 - Фрагмент карты глубины с прямоугольным объектом, с. 92. Рисунок 4.6 - Фрагмент карты глубины с прямоугольным объектом, с. 92. Рисунок 4.7 - Значение глубины пиксела в зависимости от времени. Стабилизация значения глубины занимает около 30 секунд после подачи питания на контроллер, с. 93.

Таблица 1.1 - Оценка эффективности алгоритма-1 и алгоритма-2, с. 39. Таблица 3.1 - Эффективность различных подходов по уточнению стереосоответствий, с. 75.

Таблица 4.1 - Оценка эффективности алгоритма локализции границ диспаритета, с. 83.

Таблица 4.2 - Варианты «Комплексного алгоритма установления соответствий» (КАУС), с. 86.

Таблица 4.3 - Детализированные показатели эффективности алгоритмов КАУС-1.1 и КАУС-1.3 для стереопар из набора-1 и набора-2, с. 87.

Таблица 4.4 - Усреднённые результаты алгоритмов КАУС-1.1-2.4 для стереопар из набора-1 и набора-2, с. 87.

Приложение А Изображения стереопар

Рисунок А.1 - Изображение стереопары 2001_ТзикиЬа

Рисунок А.2 - Изображение стереопары 2001_Уепш

Рисунок А.4 - Изображение стерепары 2003_Cones

Рисунок А.7 - Изображение стерепары 2005_Dolls

Приложение Б Стереосоответствия стереопар и их эталоны

Рисунок Б.1 - Черно-белая интерпретация глубины для стереопары 2001_Т5икиЬа. а - после основного шага установления соответствия, б - итоговое стереосоответствие после применения алгоритма МКСУ-1-МФ, в - итоговое стереосоответствие, красным цветом отмечены некорректные участки, г - эталон стереосоответствия

в г

Рисунок Б.2 - Черно-белая интерпретация глубины для стереопары 2001 Venus, а - после основного шага установления соответствия, б - итоговое стереосоответствие после применения алгоритма МКСУ-1-МФ, в - итоговое стереосоответствие, красным цветом отмечены некорректные участки, г - эталон стереосоответствия

Рисунок Б.З - Черно-белая интерпретация глубины для стереопары 2003_Тес1с1у. а - после основного шага установления соответствия, б - итоговое стерео соответствие после применения алгоритма МКСУ-1-МФ, в - итоговое стереосоответствие, красным цветом отмечены некорректные участки, г - эталон стереосоответствия

в г

Рисунок Б.4 - Черно-белая интерпретация глубины для стереопары 2003_Сопе8. а - после основного шага установления соответствия, б - итоговое стереосоответствие после применения алгоритма МКСУ-1-МФ, в - итоговое стереосоответствие, красным цветом отмечены некорректные участки, г - эталон стереосоответствия

в г

Рисунок Б.5 - Черно-белая интерпретация глубины для стереопары 2005_Аг1. а -после основного шага установления соответствия, б - итоговое стереосоответствие после применения алгоритма МКСУ-1-МФ, в - итоговое стереосоответствие, красным цветом отмечены некорректные участки, г - эталон стереосоответствия

Рисунок Б.6 - Черно-белая интерпретация глубины для стереопары 2005_Воокз. а - после основного шага установления соответствия, б - итоговое стереосоответствие после применения алгоритма МКСУ-1-МФ, в - итоговое стереосоответствие, красным цветом отмечены некорректные участки, г - эталон стереосоответствия

в г

Рисунок Б.7 - Черно-белая интерпретация глубины для стереопары 2005_0о118. а - после основного шага установления соответствия, 6 - итоговое стереосоответствие после применения алгоритма МКСУ-1-МФ, в - итоговое стереосоответствие, красным цветом отмечены некорректные участки, г - эталон стереосоответствия

Ш* У

ш

■

■к,

в г

Рисунок Б.8 - Черно-белая интерпретация глубины для стереопары 2005_Ьаипс1гу. а - после основного шага установления соответствия, б - итоговое стереосоответствие после применения алгоритма МКСУ-1-МФ, в - итоговое стереосоответствие, красным цветом отмечены некорректные участки, г - эталон стереосоответствия

Рисунок Б.9 - Черно-белая интерпретация глубины для стереопары 2005_МоеЬш5. а - после основного шага установления соответствия, б - итоговое стереосоответствие после применения алгоритма МКСУ-1-МФ, в - итоговое стереосоответствие, красным цветом отмечены некорректные участки, г - эталон стереосоответствия

Рисунок Б. 10 - Черно-белая интерпретация глубины для стереопары 2005_11етс1еег. а - после основного шага установления соответствия, б - итоговое стереосоответствие после применения алгоритма МКСУ-1-МФ, в - итоговое стереосоответствие, красным цветом отмечены некорректные участки, г - эталон стереосоответствия