Модели и алгоритмы интерактивной трехмерной визуализации для сопоставления изображений по ключевым точкам при масштабируемости и вращении объектов тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат наук Медведева Диана Евгеньевна

• Медведева Диана Евгеньевна
• кандидат наук
• 2020

Оглавление диссертации кандидат наук Медведева Диана Евгеньевна

Введение

Глава 1. Анализ методов обработки пространственной информации и

постановка задачи

1.1. Модель формирования изображения

1.1.1. Съемка коллекции изображений

1.1.2. Проекционные модели камеры

1.2. Модель формирования разноракурсных изображений

1.3. Понятие фундаментальной матрицы

1.4. Методы построения трехмерной структуры по набору MVS изображений

1.5. Блочное уравнивание

1.6. Многоракурсное стерео

1.7. Методы сопоставления изображений без калибровки

1.8. Выводы по первой главе

Глава 2. Теоретическая часть. Описание модели и разработка алгоритма

сопоставления изображения при известных параметрах съемки

2.1. Методы поиска соответствующих точек на изображении

2.2. Модель сопоставления изображений с эпиполярными ограничениями

2.3. Сопоставление изображений с соответствующими точками на эпиполярных прямых

2.4. Определение соответствующих точек на эпиполярных линия с помощью весовых критериев

2.5. Применение прореживающей маски при сопоставлении разноракурсных изображений

2.6. Выводы по второй главе

Глава 3. Методика проектирования моделей и алгоритмов сопоставления изображений при условии не определенных параметров фиксации изображений

3.1. Методы согласованности разноракурсных изображений

3.1.1. Определение согласованности

3.1.2. Нормализованная взаимная корреляция

3.1.2 Сумма квадратов разностей (Sum of Squared Différences)

3.1.3.Сумма абсолютной разности (Sum of Absolute Différences)

3.1.4. Определение численности (Census)

3.1.5. Определение порядка (Rank)

3.1.6. Взаимный обмен информацией (Mutual Information)

3.1.7.Интервальное сравнение

3.1.8. Нормализация согласованности

3.1.9. Фильтрация параметров согласованности

3.1.10. Представление понятия согласованности

3.1.11. Часто используемые варианты

3.2. Оценка видимости в современных алгоритмах

3.2.1.Способы оценки видимости

3.2.2.Оценка видимости с помощью кластеризации

3.2.3. Мелкомасштабная оценка видимости

3.3. Способы восстановления трехмерных сцен при незаданных параметрах фиксации разноракурсных сцен

3.4. Определение фундаментальной матрицы

3.5. Алгоритмы согласованной идентификации

3.6. Формирование множества последовательных оценок

3.7. Сравнение модификации алгоритма и метода RANSAC

3.8. Задача автокалибровки при согласованной идентификации

3.9. Исследования оперативности алгоритма восстановления 3 D-сцен с сохранением качества сопоставления

3.9.1.Постановка задачи для увеличения оперативности алгоритма

3.9.2.Последовательность выполнения шагов сопоставления

3.9.3. Параллельные алгоритмы составления карт диспарантности

3.10. Выводы по третьей главе

Глава 4. Экспериментальное исследование разработанных методов

4.1. Реконструкция 30-сцен, построенных на базе алгоритмов MVS

4.1.1.30-представления и приложения

4.1.2.Оценка точности MVS алгоритмов

4.1.3. Реконструкция сцены по Карте Глубины

4.1.4. Устойчивые методы согласованности при вычислении карт глубины

4.2. Информационная технология формирования трехмерной модели

4.2.1. Технические требования к системе

4.2.2. Формирование сцен по разноракурсным изображениям

4.2.3. Описание цифровой модели по разноракурсным изображениям с учетом эпиполярных ограничений и весовых коэффициентов штрафа

4.2.4 Построение трехмерной модели местности

4.3. Оперативность работы алгоритма

4.4. Сравнительный анализ исследований времени реализации алгоритма

на CPU и GPU при различном числе уровней пирамиды

4.5. Частные случаи использования MVS алгоритмов

4.5.1. Отсутствие видимой текстуры объекта

4.5.2. Объекты с тонкой структурой

4.5.3. Отражающие поверхности (non-Lambertian)

4.6. Выводы по четвертой главе

Общие выводы и заключение

Список литературы

Введение диссертации (часть автореферата) на тему «Модели и алгоритмы интерактивной трехмерной визуализации для сопоставления изображений по ключевым точкам при масштабируемости и вращении объектов»

Введение

Идет процесс глобализации информационных процессов, переход к стандартам нового поколения. За последние годы бурное развитие интернет-технологий привело к широкому внедрению веб-решений практически во все сферы деятельности. Для решения проблемы дефицита наглядности и достижения максимально реалистичной визуализации с 2000 года начали появляться информационно-коммуникационные технологии (ИКТ) создания интерфейсов трёхмерной интерактивной визуализации. Технологии позволяют производить сопоставление изображений с целью поиска, идентификации и анализа изображений, воссоздания трехмерной сцены, панорамной съемки, 3D печати, архивации музейных ценностей, контроля качества при автоматизации процессов и так далее.

В процессе съемки сцены с разных точек обзора, происходит изменение ракурса, а именно, точки изображения подвергаются проективным преобразованиям, поэтому нахождение и анализ точечных характеристик изображения являются основополагающими задачами компьютерного зрения. Они применяются при 3D реконструкция объектов изображений по разноракурсным снимкам, индексации изображений в базах данных и других. Реконструкция 3D-цифровых моделей сцен применяется в различных системах, например, в мобильных роботах, автомобилях, беспилотных летательных аппаратах, в системах ДЗЗ (дистанционного зондирования Земли), при построении ЦММ (цифровых моделей местности), для нахождения координат формы и размеров 3D-объектов на поверхности Земли и так далее.

Существует ряд устройств для 3D визуализации, таких как инструменты Computer Aided Design (CAD) [1], активные [2,4,5] и пассивные методы [3,7,10]. Также, в компьютерном зрении существует ряд признаков, которые необходимо учитывать при постановки задачи сопоставления изображений. К таким особенностям относятся текстура, расфокусировка, затенение, угловые соответствия и так далее. Для данной группы параметров при воссоздании

трехмерных моделей вводят понятие разноракурсного стереозрение (Multi-view stereo - MVS), которое подразумевает сопоставление изображений с учетом вышеприведенных характеристик при наличии двух и более изображений.

Далее будут рассмотрены методы пассивного сопоставления, позволяющие быстро и точно собирать 3D контент, а также обладающие привилегиями по стоимости и оперативности по сравнению с альтернативными подходами.

Значимый вклад в развитие теории и разработку методов для решения задачи реконструкции трёхмерных моделей по разноракурсным изображениям внесли следующие отечественные и зарубежные ученые: Ю.В. Визильтер, Г.Л. Гиммельфарб, И.С. Грузман, O.A. Гомозов, С.Ю. Желтов, B.C. Киричук, А.Е. Кузнецов, К. Лонг Хиггинс, A.A. Лукьяница, Ж. Маллон, П. Монассе, М. Поллефейсом, Р. Хартли, Э. Циссерман, Д. Форсайт, Ж. Понс.

Создание трёхмерной сцены из двух и более изображений относится к одним из наиболее сложных задач компьютерной обработки изображений (Рис.1). В качестве исходных данных всегда будет выступать набор изображений, отснятых зачастую под разным углом, на разном фокусном расстоянии, а также при различном направлении попадания освещающего луча. Если провести сопоставление изображения без предварительной обработки изображений, полученная реконструкция сцены будет сильно отличаться от идеальной, а также обладать рядом пространственных визуальных дефектов. Следовательно, для получения максимально правдоподобной и качественной 3D модели, необходимо принять во внимание ряд факторов, которые возникают в процессе съемки.

Основной сложностью при решении задач стереозрения является определение соответствующих точек на разных видах сцены. Актуальность исследования заключается в том, сейчас нет универсальных методик сопоставления точечных характеристик, инвариантных к различным проективным преобразованиям, таким как изменение масштаба, освещенности сцены или поворота изображения. Поэтому для нахождения соответствующих точек на видах сцен производят ректификацию разноракурсных изображений. А именно, выравнивание эпиполярных линий путём проективного преобразования с

использованием заданной или вычисленной по тестовым точкам фундаментальной матрицы, которая связывает соответствующие точки двух изображений.

Рис. 1. Трехмерная реконструкция сцены/объекта

Для выравнивания эпиполярных прямых рассматривают проективную и полярную ректификацию. При проективной ректификации соответствующие эпиполярные линии находятся на параллельных горизонтальных прямых, что является преимуществом. Однако, в случае, когда эпиполюсы находятся на изображениях или рядом с изображением, проективная ректификация не подходит. Если эпиполюсы находятся на изображении, либо один эпиполюс находится на изображении, а другой - в бесконечности альтернативой является использование полярной ректификации.

Недостаток проективной и полярной ректификации заключатся в необходимости осуществлять явное преобразование изображений, что приводит к искажению его формы и объектов на нем. После ряда модификаций при сопоставлении фрагментов изображений на интерполированном (измененном) изображении наблюдаются ошибки при поиске соответствующих точек.

В связи с этим, разработка метода реконструкции цифровых моделей 3D-сцен необходимо рассматривать таким образом, чтобы ректификация в явном виде не выполнялась. При этом нахождение соответствующих точек нужно будет происходить на исходных изображениях с учетом эпиполярных ограничений, обеспечивающих близкое расположение относительно эпиполярных линий.

Правильное расположение эпиполярных линий зависит от точности знания фундаментальной матрицы, которая чаще всего изначально неизвестна и будет вычисляться в процессе сопоставления по изображениям. Задание фундаментальной матрицы влияет на разрешение полученной модели, а также на стоимость реализации технологии. В связи с этим задача по повышению надёжности определения тестовых точек и точности идентификации параметров фундаментальной матрицы будет актуальной.

Обзор литературы по данной тематике показал, что на данный момент не описана универсальная методика для сопоставления трехмерных разноракурсных изображений при приемлемой стоимости оптимизации алгоритма. Поэтому, в диссертационном исследовании является также важным провести обзор имеющихся предложений по оптимизации алгоритма сопоставления разноракурсных изображений и их сравнение с предложенной реализацией технологии.

Объектом исследования является интерактивная трёхмерная визуализация

Предметом исследования являются модели и алгоритмы интерактивной трехмерной визуализации для сопоставления разноракурсных изображений по ключевым точкам с учетом эпиполярных ограничений.

Целью работы является повышения эффективности восстановления трехмерной модели сцены или рельефа местности.

В соответствии с поставленной целью в диссертационной работе решаются следующие задачи:

1. Разработка алгоритма сопоставления разноракурсных изображений, основанного на использовании эпиполярных ограничений, без выравнивания изображений вдоль эпиполярных прямых при известных / неизвестных параметрах камеры

2. Разработка алгоритма для вычисления фундаментальной матрицы по N числу соответствующих точек (Ы <16), обеспечивающего повышение точности и надежности задания эпиполярных ограничений

3. Создание алгоритма для реконструкции трёхмерных моделей сцен и рельефа местности, позволяющего снизить число ошибок сопоставления с учетом эпиполярных ограничений. Проведение экспериментального исследования для подтверждения результатов работы предложенного алгоритма.

Научная новизна:

1. Выявлены новые ограничения существующих моделей и алгоритмов формирования разноракурсных изображений для создания 3D моделей сцены и рельефа при масштабируемости и вращении объектов, и предложен новый алгоритм сопоставления разноракурсных изображений, который позволяет учитывать эпиполярные ограничения без ректификации.

2. Обоснован и разработан новый алгоритм выборочной фильтрации для исключения найденных на изображении неверных соответствующих точек, который, в отличие от существующих, позволил увеличить качество сопоставления 3D-сцен.

3. Предложен инновационный подход к автоматизации алгоритма сопоставления разноракурсных изображений на основе разработанной математической модели, что позволяет формировать карты диспарантности (высот) и реконструировать трёхмерные цифровые модели сцены и рельеф местности.

Практическая значимость:

1. Рекомендации по оптимизации алгоритма сопоставления изображений для повышения качества работы с пространственно-распределенной информацией.

2. Уменьшение числа ошибок сопоставлений и повышение точности и надежности задания эпиполярных ограничений путем вычисления параметров фундаментальной матрицы методом согласованной идентификации

3. Разработка программного комплекса, реализующего вычислительный алгоритм построения трёхмерных цифровых моделей сцен по разноракурсным изображениям (на базе библиотеки POV-Rey).

Методы исследования. В диссертационной работе используются методы обработки изображений, распознавания образов и математического моделирования, основы регрессионного анализа и математической статистики. Результаты исследований подтверждены реализацией основных алгоритмов в виде комплексов программ и проведением вычислительных экспериментов на тестовых и натурных изображениях.

Основные положения и результаты, выносимые на защиту:

1. Алгоритм сопоставления разноракурсных изображений, который позволяет учитывать эпиполярные ограничения, без выравнивания изображений вдоль эпиполярных прямых

2. Алгоритма для вычисления фундаментальной матрицы по N числу соответствующих точек (Ы <16), обеспечивающего повышение точности и надежности задания эпиполярных ограничений

3. Алгоритм выборочной фильтрации для исключения найденных на изображении неверных соответствующих точек и увеличения качества сопоставления 3D-сцен.

4. Алгоритм, реализующий информационную технологию построения трёхмерных цифровых моделей сцен по разноракурсным изображениям (на базе библиотеки РОУ^еу).

Соответствие паспорту специальности. Результаты исследования соответствуют пунктам:

1 - «Модели, методы и алгоритмы проектирования и анализа программ и программных систем, их эквивалентные преобразования, верификации и тестирования»,

7 - «Человеко-машинные интерфейсы; модели, методы, алгоритмы и программные средства машинной графики, визуализации, обработки изображений, систем виртуальной реальности, мультимедийного общения» паспорта научной

специальности 05.13.11 - Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей.

Достоверность полученных результатов обеспечивается проведением вычислительных экспериментов и компьютерных расчётов. Достоверность полученных в работе выводов и рекомендаций подтверждена корректностью постановки задачи, воспроизводимостью результатов, систематическими экспериментальными исследованиями.

Апробация работы. Основные результаты, связанные с разработкой моделей и алгоритмов поиска соответствий на разноракурсных изображениях в задачах реконструкции трёхмерных цифровых моделей сцен, докладывались на следующих конференциях: Международная конференция студентов и аспирантов SEE-2016 (март 2016), Конференция студентов и аспирантов «Микроэлектроника и информатика -2016» - Национальный Исследовательский Университет МИЭТ, Минобрнауки России (апрель 2016), 2017 Internet Technologies and Applications (ITA).

Внедрение результатов работы. Разработанные автором методы и алгоритмы были использованы в научно-производственной деятельности ООО «ДжиИ Рус Инфра» в рамках проекта получения трехмерных моделей турбин для нефти-газовой промышленности «DaVini Lab» Италия, Флоренция. Теоретические результаты внедрены в учебный процесс МГТУ им. Н.Э. Баумана.

Публикации и личный вклад автора. Основные результаты изложены в 6 статьях, 3 из которых изданы в журналах, рекомендованных ВАК, а одна — в издании, индексируемом международной системой научного цитирования Scopus. Все основные результаты получены автором лично.

Объем и структура работы

Диссертационная работа включает введение, четыре главы (обзор литературы, теоретическая часть, методика проектирования, экспериментальная часть), заключение, список литературы, приложение.

Диссертация состоит из 161 страниц, включая 62 рисунка и 4 таблицы. В список литературы входит 112 публикации.

В первой главе содержит систематический обзор предметной области и основные определения, используемые в работе. Приведено описание методов отслеживания точечных особенностей изображений, калибровки камеры и реконструкции трехмерных объектов, рассмотрены геометрические свойства модели перспективного проектирования. Введены понятия эпиполярной геометрией и эпиполярных ограничений. Рассмотрено влияние ректификации на качество формирование трехмерной модели.

Во второй главе рассматривается математическая реализация алгоритма сопоставления изображений и задание эпиполярных ограничений. В качестве достоверного способа формирования изображения трехмерной сцены в компьютерном зрении использован принцип построения модели сцены в камере обскура. Описано формирование трехмерной модели без учета ректификации.

В третьей главе описана методика реализации теоретического решения. Для количественной оценки качества реконструкции использовалось число пикселей, которым не было найдено соответствие в процессе сопоставления изображений.

В четвёртой главе проводится экспериментальная оценка разработанных алгоритмов и методов на 700 тестовых разноракурсных изображениях. Описана реализация алгоритма автоматического сопоставления точек на паре разноракурсных изображений.

Глава 1. Анализ методов обработки пространственной информации и

постановка задачи

1.1. Модель формирования изображения

Для детального описания методов отслеживания точечных особенностей, калибровки камеры и реконструкции трехмерных объектов необходимо ввести модель перспективного проектирования и описать геометрические свойства этого преобразования. Точки нескольких изображений, полученных с помощью перспективной проекции, находятся в особых отношениях друг с другом, которые описываются эпиполярной геометрией. Модели этих отношений должны быть подробно рассмотрены, т.к. практически все методы трехмерной реконструкции требуют оценки соответствующих моделей и опираются на их свойства. Эти модели не включают в себя геометрические искажения, сдвиг или расфокусировку, связанные с характеристиками оптических приборов. Предполагается, что аппаратура представляет собой точку. Необходимо отметить, что модель не учитывает, что камера получает изображение в виде набора дискретных отчетов (пикселов). Таким образом, данная модель может быть использована как первое приближение для преобразования трехмерных сцен в двухмерное изображение.

Стоит отметить, что MVS (разноракурсные) снимки можно разделить на три основные категории:

1) снимки, сделанные в лаборатории (идеальные условия),

2) снимки, сделанные на улице (при составлении панорамных сцен),

3) крупномасштабная съемка сцен с использованием подвижных объектов, например, автомобилей, самолетов, дронов и так далее.

В первом случае, условия съемки (освещение, параметры камеры) находятся под полным контролем: используют удаленный контроль для осуществления снимков, поворотный стол для объектов, специальные маркировки. В случае составления панорамных съемок, объекты уменьшают и далее накладывают на масштабные панорамы города. Однако, здесь требуется мощное программное

обеспечение, которое позволит осуществить сопоставление. Процесс реконструкции может быть описан в общем виде следующим образом (Рис. 1.1):

1) съемка коллекции изображений,

2) сбор параметров камеры для каждого снимка,

3) воссоздание трехмерной сцены по снимкам с учетом параметров камеры,

Рис. 1.1. Пример сопоставления разноракурсных изображении и преобразование в

трехмерную модель объекта

В диссертационном исследовании будут подробно рассмотрены первые три пункта процесса реконструкции, а именно съемка коллекции изображений, сбор параметров камеры для каждого снимка, воссоздание трехмерной сцены по снимкам с учетом параметров камеры. В том числе описаны MVS алгоритмы, использование базы знаний об изображении для улучшения качества воссоздания трёхмерной модели сцены.

1.1.1. Съемка коллекции изображений

Разделяют три основные категории MVS изображений (Рис. 1.2):

- отснятые в лабораторных условиях,

- уличная съемка небольших сцен,

- съемка широкомасштабных сцен при помощи специальных устройств и комплексов.

Рис. 1.2. Примеры съемки MVS изображений различных категорий

Алгоритмы сопоставления разноракурсных изображений изначально работали только для первой категории изображений (отснятых в лабораторных условиях), так как для данной группы можно легко контролировать освещенность, калибровку камеры, применять специальные устройства для вращения объекта и так далее. MVS алгоритмы прошли серьезный путь, который позволяет нам сейчас пользоваться мощными программными средствами для решения поставленной задачи.

Рассмотрим, что изменилось в аппаратной технике, имеющей отношение к MVS изображениям. Две основные сферы прошли ряд значительных изменений -это цифровые камеры и вычислительные мощности. Цифровая фотография стала основным течением, улучшилось разрешение и качество съемки за счет модификации цифровых датчиков изображения. В камерах, телефонах стали использовать датчики геолокации GPS, позволяющих собирать информацию о пара метках камеры для дальнейшего сопоставления изображений при помощи средств компьютерного зрения.

Еще одним немаловажным улучшением в аппаратной технике стало увеличение вычислительных мощностей. А именно, появились недорогие компьютерные кластера [12] и графические процессоры GPU, за счет которых стало возможным обрабатывать сотни и тысячи изображений при возникновении задачи сопоставления разноракурсных изображений.

Ряд изменений также прошел в сфере SfM (Structure-from-Motion, построение 3D структуры по набору изображений) алгоритмах. Ученые разрабатывали

алгоритмы сопоставления изображений на протяжении десятилетий, однако сравнительно недавно появились унифицированные алгоритмы, позволяющие решать данную задачу в перспективе промышленных приложений. На сегодняшний день имеется возможность оценить параметры камеры для миллиона изображений. Стоит отметить два основных алгоритма, которые преодолели существенные преобразования - это алгоритм SfM и VSLAM (Visual Simultaneous Localization and Mapping, метод одновременной локализации и построения карты). Оба подхода основаны на соответствующих точках, также предполагают, что сцена неподвижна. SfM алгоритм используют для составления моделей для неупорядоченного набора изображений в режиме offline, в то время как VSLAM применяют для определения локации камеры из видео потока. В диссертационном исследование будут рассмотрены алгоритмы SfM, так как в основном набор изображений не упорядочен, и параметры камеры известны или могут быть вычислены. Под параметрами камеры понимают набор характеристик, описывающих конфигурацию камеры: местоположение камеры, ее ориентация, фокальное расстояние, пиксельный размер датчиков. Существует множество вариантов задания параметров конфигурации камеры. Далее будут рассмотрены наиболее известные проекционные модели камеры, применяющихся при сопоставлении разноракурсных изображений.

1.1.2. Проекционные модели камеры

Ранее говорилось, что для корректной постановки задачи сопоставления разноракурсных изображений необходимо определить дополнительные параметры. В частности, для реализации MVS алгоритмов необходимо, чтобы каждое входное изображение имело соответствующую модель камеры, которая полностью описывает то, как спроектировать трехмерную точку в двухмерную пиксель для определенной фотографии.

Качество камеры влияет на математическое описание изображения. Еще одним важным параметром является эффект дисторсии, который характеризует искажения, возникающие при удалении камеры от центра изображения. Если

камера обладает высоким разрешением, эти искажения можно не рассматривать. Однако, если влияние значительно, следует компенсировать данные искажения преобразованием координат.

Модель перспективной проекции соответствует идеальной камере-обскуре. Эта модель довольно точно соответствует процессу построения изображения в большинстве современных фото и видеокамер. Однако, из-за ограничений современной оптики и неидеальных условий съемки реальный процесс несколько отличается от модели камеры-обскуры. Такие отличия называются искажениями и моделируются отдельно. На Рис. 1.3 представлены часто встречающиеся отклонения от модели камеры обскура, встречающиеся при фотосъемки с объектива «рыбий глаз» - радиальные искажения (Рис. 1.3, а), исправленная версия того же изображения после устранения радиального искажения (Рис. 1.3, б), эффект построчного переноса, вызванный быстро движущимся объектом на сцене (Рис. 1.3, в).

Рис. 1.3. а) снимок с объектива «рыбий глаз», б) исправленное изображение Модель простейшей камеры-обскуры удобна тем, что она полностью описывается центром проекции и положением плоскости изображения. Поэтому проекция любой точки сцены на изображении может быть найдена как пересечение луча, соединяющего центр проекции и точку сцены с плоскостью изображения. Модель камеры обскура в большинстве случаев может быть рассмотрена как

достоверный способ формирования изображения трехмерной сцены в компьютерном зрении.

На Рис. 1.4, а) представлена трехмерная ортогональная система координат ОХУ2 с началом в точке О, где расположена камера. Направление съемки камеры представлено главной оптической осью 2, которая пересекается с плоскостью изображения в точке (0,0,-/), где / - фокусное расстояние камеры (/>0).

а)

б)

Рис. 1.4. а) Система координат камеры обскура и модель формирования изображения, б) Связь координат

Точка С - главная точка или центр изображения, точка пересечения главной оптической оси с плоскостью изображения.

Линия проекции точки М(Х,У,2) на камеру - это прямая, проходящая через начало координат и точку М(Х,У,2).

т(х,у) - проекция точки М(Х,У,2) на плоскость изображения камеры. Координаты точки т(х,у) определяются пересечением проекции и плоскости изображения (2 >0, точка пересечения нормально определена).

Рассмотрим двумерную систему координат с началом в точке С и осями х,у, которые параллельны осям X, У соответственно. При этом, предполагается, что аппаратура камеры обскура бесконечно мала и представлена точкой. На Рис. 1.4 б) показана связь координат точки М(Х, У,2) и ее проекции т(х,у). Из Рис. 1.4 б) видно, что треугольник с вершиной в точке т(х,у) подобен треугольнику с вершиной в точке М(Х, У,2). Таким образом,

-1 = 1=>х = и (1.1)

/ г г

-Н=>^ (1.2)

ей© (13)

Камера обскура описывает преобразования координат из трехмерных в двумерные, которые подразумевают поворот изображения на 180 градусов. Реальная камера работает по аналогичному методу, полученное изображение повернуто на 180 градусов, общий размер изображения зависит от расстояния между плоскостью изображения и фокусом /, на относительные размеры влияет расстояние до фокуса.

Для построения нормального изображения применяют следующие способы:

- на реальных камерах систему координат плоскости изображения поворачивают на 180 градусов;

- плоскость изображения размещают таким образом, чтобы она пересекала ось 2 не в точке -/, а в точке /

Для упрощения теоретических исследований сформируем виртуальную плоскость изображения. Предположим, что М - четырехмерный вектор - точка в трехмерных однородных координатах, а т - трехмерный вектор - точка на

плоскости изображения. Таким образом, будем рассматривать не двумерный вектор (х,у), а проектный элемент (х,у,1).

Обозначим символом ~ равенство с точностью до масштаба. Для однородных координат изображения будет иметь место следующее выражение:

Используем однородные координаты точки в трехмерном пространстве:

/Хч /1 0 0 0\

(у) = (0 1 0 0)(?) (1.5)

ч/ \0 0 1/f 0/Vz/

/Х\ /1 0 0 0^ 0 10 0 ,0 0 1// 0,

Если т ~ К, где К - матрица камеры 3х4, то все точки пространства могут быть представлены в системе координат, связанной с камерой (1.6).

// 0 0 0\ ^ = (0 / 0 0) (1.6) 0010

Предположим, что координаты точек пространства не связаны с системой координат (глобальные координаты), а координатные оси камеры перпендикулярны глобальным координатам. В данном случае между системами существует единственный вариант преобразования - поворот и сдвиг 4х4. Рассмотрим матрицы (1.7).

с

Ш и (0|1) (1.7)

где R - матрица поворота 3х3, E - единичная матрица 3х3, t - вектор сдвига 3х1. Тогда, после последующих преобразований матрица будет представлять следующее выражение:

(011) (18)

Координаты точки М в системе координат ОХУ7 и М в системе координат ОХУ^ может быть представлена в следующем виде (9):

М

= (011)

М

(1.9)

Если фокусное расстояние f=1, матрица камеры будет представлена следующим выражением (1.10):

Список литературы диссертационного исследования кандидат наук Медведева Диана Евгеньевна, 2020 год

Список литературы

1. Резник, А.Л. Эффективные по быстродействию методы цифровой обработки динамических последовательностей изображений / под ред. А.Л. Резник, В.М. Ефимов, А.В. Торгов // Вестник Новосибирского государственного университета. Серия: Физика. 2008. Т. 3, № 3. С. 95-103.

2. Baillard C. 3-D reconstruction of urban scenes from aerial stereo imagery: a focusing strategy / C. Baillard, H. Maitre // Computer Vision and Image Understanding. 2009. Vol. 76, Issue 3. P. 244-258.

3. Hartley R.I. Theory and Practice of Projective Rectification / R.I. Hartley // International Journal of Computer Vision. 1999. Vol. 35. P. 115-127.

4. Фурсов В.А. Реконструкция 3D-сцен на пучках эпиполярных плоскостей стереоизображений / В.А. Фурсов, Е.В. Гошин, С.А. Бибиков // Мехатроника, автоматизация, управление. 2013. Т. 9, № 150. С. 19-24.

5. Фурсов В.А. Информационная технология реконструкции цифровой модели местности по стереоизображениям / В.А. Фурсов, Е.В. Гошин // Компьютерная оптика. 2014. Т. 38, № 2. С. 335-342.

6. Lowe D.G. Object recognition from local scale-invariant features/ D.G. Lowe //Computer Vision, 2009. The Proceedings of the Seventh IEEE International Conference on. Ieee, 2009. Vol. 2. P. 1150-1157.

7. Bay, H. Speeded-up robust features (SURF) / H. Bay, A. Ess, T. Tuytelaars, L. Van Gool //Computer Vision and Image Understanding. 2008. Vol. 110. P. 346-359.

8. Коломиец Э.И. Компьютерная оптика. 2012. Т. 36, № 1. С. 131-135.

9. Фурсов В.А. Решение задачи автокалибровки камеры с использованием метода согласованной идентификации / В.А. Фурсов, Е.В. Гошин // Компьютерная оптика. 2012. Т. 36, № 4. С. 605-610.

10. Harris C. A combined corner and edge detector / C. Harris, M. Stephens // Alvey Vision Conference. 2008. Vol. 15. - P. 50.

11. Tao M. SimpleFlow: A Non-iterative, Sublinear Optical Flow Algorithm / M. Tao, J. Bai, P. Kohli, S. Paris // Computer Graphics Forum. 2012. Vol. 31, Issue 2. P. 345-353.

12. Форсайт, Д. Компьютерное зрение. Современный подход / Д. Форсайт, Ж. Понс. М.: Издательский дом «Вильямс», 2004. 928 с.

13. Грузман, И.С. Цифровая обработка изображений в информационных системах: учеб. пособие / И.С. Грузман, В.С. Киричук, В.П. Косых [и др.]. Новосибирск: Изд-во НГТУ, 2002. 352 с.

14. Котов А.П., Фурсов В.А., Гошин Е.В. Технология оперативной реконструкции трехмерных сцен по разноракурсным изображениям // Компьютерная оптика. 2015. Т. 39, № 4. С. 600-605.

15. Hartley R.I. Theory and Practice of Projective Rectification // International Journal of Computer Vision. 1999. Vol. 35. P. 115-127.

16. Фурсов В.А., Гошин Е.В. Метод согласованной идентификации в задаче определения соответственных точек на изображениях // Компьютерная оптика. 2012. Т. 36 №1. С. 131-135.

17. Image matching principles in photometrical transformations / Suprun D. (Medvedeva D.), Cunningham S. // 2017 Internet Technologies and Applications (ITA), UK. 2017. P. 234-239.

18. Форсайт Д., Понс Ж. Компьютерное зрение. Современный подход / М.: Издательский дом "Вильямс", 2004. 928 с.

19. Грузман И.С. Цифровая обработка изображений в информационных системах: Учебное пособие / И.С. Грузман, В.С. Киричук, В.П. Косых и др. // Новосибирск: Изд-во НГТУ, 2002. 352c.

20. Adams A., Baek J., Davis M. Fast highdimensional filtering using the permutohedral lattice. In Eurographics, 2010.

21. Adato Y., Vasilyev Y., Ben-Shahar O., T Zickler Toward a theory of shape from specular flow. In IEEE International Conference on Computer Vision, 2007.

22. Агарвал С., Фурукава Я., Снейвли Н. Строим Рим за день. Сообщения ACM, 54 (10), 2011. С. 105-112.

23. Агарвал С., Снейвли Н., Саймон Я., Зейтц С. М. Строим Рим за день. В IEEE Международная конференция по компьютерному зрению, 2009. С. 112-126.

24. Алахи А., Ортиз Р., Вандергейнст П. Быстрая сетчатка ключевая точка. На конференции IEEE по компьютерному зрению и распознаванию образов, 2012. С. 510-517.

25. Супрун Д. Е. (Медведева Д.Е.) Автоматизированная информационная система «Музеи-экспозиции» // Сборник трудов №9 молодых учёных, аспирантов и студентов «Информатика и системы управления в XXI веке». М.: Изд-во МГТУ им. Баумана. 2012. № 9. С. 142-148.

26. Супрун Д.Е. (Медведева Д.Е.), Матвеев В.А. Алгоритм создания виртуального мини-музея // Вестник МГТУ им. Н.Э. Баумана. М.: Изд-во МГТУ им. Баумана. 2013. № 4[93]. С. 67-78.

27. Супрун Д.Е. (Медведева Д.Е.) Алгоритм сопоставления изображений по ключевым точкам при масштабируемости и вращении объектов» // Вестник МГТУ им. Н.Э. Баумана. Серия: Приборостроение. М.: Изд-во МГТУ им. Баумана, 2016. № 5[110]. С. 86-98.

28. Олдрин Н., Кригман Д. На пути к восстановлению поверхностей с произвольной изотропной отражательной способностью: многослойный фотометрический стерео подход. В Международной конференции IEEE по компьютерному зрению. 2007. С. 249-252.

29. Олдрин Н., Кригман Д. Фотометрическое стерео с непараметрическим и пространственно-изменяющимся отражением // Конференция IEEE по компьютерному зрению и распознаванию образов. 2008. С. 156-159.

30. Аллиес П., Коэн-Штайнер Д., Тонг И. Вариационная реконструкция неориентированных точечных множеств на основе Вороного / Симпозиум по обработке геометрии. 2007. Т 7. С. 39-48.

31. Apple. Apple maps. URL: http://www.apple.com/ios/maps (дата обр. 07.08.2018).

32. Autodesk. 123d catch. URL: http://www.123dapp.com/catch (дата обр. 10.05.2016).

33. Baillard C., Schmid C., Zisserman A., Fitzgibbon A. Automatic line matching and 3D reconstruction of buildings from multiple views // ISPRS Conference on Automatic Extraction of GIS Objects from Digital Imagery, 2011. P. 69-80.

34. Бейкер С., Шарстейн Д., Льюис Д, Рот С. База данных и методология оценки оптического потока // Международный журнал Computer Vision, 92 (1). 2011. С. 1-31.

35. Барнс К., Шехтман Э., Финкельштейн А. Patchmatch: рандомизированный алгоритм соответствия для структурного редактирования изображений / Транзакции ACM на графике. 2009. 28 (3). С. 24.

36. Баумгарт Б. Геометрическое моделирование для компьютерного зрения. Докторская диссертация, Стэнфордский университет, 1974.

37. Бэй Г., Эсс А., Туйтелаарс Т., Ван Гул Л. Ускоренные надежные функции // Computer Vision and Image Understanding. 2008. 110 (3). С. 346-359.

38. Билер Т., Хан Ф., Брэдли Д., Биккель Б. Высококачественный пассивный захват лица с использованием анкерных рам. Транзакции ACM на графике. 2011. С. 1-75.

39. Берчфилд С., Томази С. Multiway Cut для стерео и движения с наклонными поверхностями // Международная конференция IEEE по компьютерному зрению. 2015. С. 147 - 159.

40. Супрун Д.Е. (Медведева Д.Е.) Автоматизированная система французского импрессионизма начала XX века // Сборник трудов №7 молодых учёных, аспирантов и студентов «Информатика и система управления в XXI веке». М.: Изд-во МГТУ им. Баумана. 2009. № 7. С. 112-119.

41. Супрун Д.Е. (Медведева Д.Е.) Облачные вычисления в бизнесе // Молодёжный Научно-Технический Вестник. М.: Изд-во МГТУ им. Баумана, 2013. С. 1-9.

42. Супрун Д.Е. (Медведева Д.Е.) Обзор постреляционных СУБД. AllegroGraph // Молодёжный Научно-Технический Вестник. Изд-во М.: МГТУ им. Баумана. 2014. С. 1-10.

43. Берчфилд С., Томази К. Мера разности пикселей, нечувствительная к выборке изображения / Труды IEEE по анализу образов и машинному интеллекту. 2008. С. 401-406.

44. Блейер М., Риман К., Ротер К. Patchmatch соответствие стерео-стерео с наклонными окнами поддержки // Британская конференция машинного зрения, 2014. Т. 11. С. 1-11.

45. Бойков Ю., Колмогоров В. Экспериментальное сравнение алгоритмов mincut / max-flow для минимизации энергии в зрении / Труды IEEE по анализу образов и машинному интеллекту, 2014. Т. 26 (9). С. 1124-1137.

46. Бойков Ю., Векслер О., Забих Р. Быстрая приблизительная минимизация энергии с помощью разрезов графиков / Труды IEEE по анализу образов и машинному интеллекту. 2011. Т. 23 (11). С. 1222-1239.

47. Брэдли Д., Гейдрих В., Папа Т., Шеффер А. Пассивный захват лица с высоким разрешением / ACM Транзакции на графике. 2010. 29 (4). 41 с.

48. Кэмпбелл Д., Вогиацис Д., Эрнандес К. Автоматическая сегментация 3D-объектов в нескольких видах с использованием объемных графиков // Британской конференции по машинному зрению, 2017. Т. 1. С. 530-539.

49. Кэмпбелл Д., Вогиацис Д., Эрнандес К. Использование нескольких гипотез для улучшения карт глубины для многовидового стерео // 10-я Европейская конференция по компьютерному зрению, 2008. Т. 5302 LNCS. С. 766-779.

50. Кэмпбелл Д., Вогиацис Д., Эрнандес К. Автоматическая сегментация 3D-объектов в нескольких видах с использованием объемных графиков // Image and Vision Computing, 2010. Т. 28 (1). С. 14-25.

51. Д Кэмпбелл Д., Вогиацис Д., Эрнандес К. Автоматическая сегментация объекта по калиброванным изображениям // In Visual Media Production (CVMP), 2011 С. 126-137.

52. Debevec P. E., Taylor C. J., Malik J. Modeling and rendering architecture from photographs: A hybrid geometry- and image-based approach. In Proceedings of the 23rd Annual Conference on Computer Graphics and Interactive Techniques, New York: ACM SIGGRAPH, 2009. P. 11-20.

53. Delaunoy A., Prados E. Gradient flows for optimizing triangular mesh-based surfaces: Applications to 3d reconstruction problems dealing with visibility. International Journal of Computer Vision. 2011. 95(2). P. 100-123.

54. Delaunoy A., Prados E. Minimizing the multi-view stereo reprojection error for triangular surface meshes // British Machine Vision Conference, 2008. P. 60-73.

55. Drummond T., Rosten E. Machine learning for high-speed corner detection // European Conference on Computer Vision, 2009. P. 430- 443.

56. Faugeras O.D., Keriven R. Variational principles, surface evolution, pdes, level-set methods, and the stereo problem // IEEE Transactions on Image Processing, 2017. Vol. 7(3). P. 336-344.

57. Felzenszwalb F., Huttenlocher D. Efficient graphbased image segmentation // International Journal of Computer Vision, 2004. Vol. 59(2). P. 167-181.

58. Ferrari V., Tuytelaars T., Gool L. Simultaneous object recognition and segmentation by image exploration // European Conference on Computer Vision, 2004. P. 206-215.

59. Fischler M. A, Bolles R. Random sample consensus: a paradigm for model fitting with application to image analysis and automated cartography / Commun. Assoc. Comp. P. 381-395.

60. Фитцгиббон А., Циссерман А. Автоматическое восстановление камеры для закрытых или открытых последовательностей изображений // Европейская конференция по компьютерному зрению, Фрайбург, Германия, 2008. Т. 1. С. 311-326.

61. Форссен К. Компьютерное зрение на поворотные камеры. URL: http://www.cvl.isy.liu.se/education/tutorials/rolling-shuttertutorial, 2012.

62. Фурманн С., Гуселе М. Слияние карт глубины с несколькими масштабами. ACM Транзакции на графике, 2011. Т. 30 (6). С. 135-148.

63. Фурманн С., Гуселе М. Реконструкция поверхности плавающей шкалы. Транзакции ACM на графике, 2014. Т. 33 (4). 46 с.

64. Furukawa Y., Curless B., Seitz S., Szeliski R. Manhattan-world stereo // IEEE Conference on Computer Vision and Pattern Recognition, 2009. Р. 255-268.

65. Furukawa Y., Curless B., Seitz S., Szeliski R. Reconstructing building interiors from images // IEEE International Conference on Computer Vision, 2009. P. 1120.

66. Furukawa Y. Carved visual hulls for imagebased modeling // International Journal of Computer Vision, 2008. Vol. 81(1). P. 53- 67.

67. Furukawa Y., Ponce J. Dense 3d motion capture from synchronized video streams. // IEEE Conference on Computer Vision and Pattern Recognition, 2008. P. 59-68.

68. Furukawa Y., Ponce J. Accurate camera calibration from multi-view stereo and bundle adjustment. International Journal of Computer Vision, 2009. Vol. 84(3). P. 257-268.

69. Furukawa Y., Ponce J. Dense 3d motion capture for human faces // IEEE Conference on Computer Vision and Pattern Recognition, 2009. P. 1674-1681.

70. Фурукава Я., Понсе Ж. Точный, плотный и надежный стереоскопический обзор Multiview / Труды IEEE по анализу образов и машинному интеллекту, 2010. Т. 32 (8). Р. 1362-1376.

71. Гэллап Д., Фрам Я., Поллефейс М. Кусочно-плоская и непланарная стереосистема для реконструкции городской сцены // Конференция IEEE по компьютерному зрению и распознаванию образов, 2010. Р. 162-176.

72. Гаргалло П., Прадос Э., Штурм П. Минимизация ошибки репроекции при реконструкции поверхности по изображениям // Международная конференция IEEE по компьютерному зрению, 2007. С. 1-8.

73. Goesele M., Snavely N., Curless B., Hoppe H. Multiview стерео для коллекций фотографий сообщества // Международная конференция IEEE по компьютерному зрению, 2007. С. 1-8.

74. Геселе М., Керлесс Б., Зейтц С. Мульти-просмотр стерео // Конференция IEEE по компьютерному зрению и распознаванию образов, 2006. С. 24022409.

75. Google. Карты Гугл. URL: http://www.google.com/maps/views/u70/streetview.

76. Гоф Б. Справочное руководство по научной библиотеке GNU - третье издание. Сетевая Теория ООО, 3-е издание, 2009. С. 61-88.

77. Гросс М., Пфистер Х. Точечная графика // Morgan Kaufmann Publishers Inc., Сан-Франциско, Калифорния, США, 2007. С. 115-128.

78. Gupta S., Girshick R. Learning rich features from rgb-d images for obj ect detection and segmentation // European Conference on Computer Vision, Springer, 2014. P. 345- 360.

79. Habbecke M., Kobbelt L. A surface-growing approach to multi-view stereo reconstruction // IEEE Conference on Computer Vision and Pattern Recognition, 2007. P. 58-67.

80. Харихаран Б., Арбелаес П., Гиршик Р., Малик Д. Одновременное обнаружение и сегментация // Европейская конференция по компьютерному зрению, Springer, 2014. С. 297-312.

81. Эрнандес С., Вогиацис Г., Бростов Г. Дж., Стенгер Б. Нежесткая фотометрическая стереосистема с цветными огнями // Международная конференция IEEE по компьютерному зрению, 2007 г. С. 26-34.

82. Эрнандес К. Stereo и Silhouette Fusion для 3D моделирования объектов из некалиброванных изображений при круговом движении / Докторская диссертация, Telecom Paris, Paris, France, 2004. С. 59-78.

83. Эрнандес К., Шмитт Ф. Силуэт и стерео фьюжн для 3D моделирования объектов // Computer Vision and Image Understanding, 2004. Т. 96 (3). С. 367392.

84. Hernandez C., Vogiatzis G. Probabilistic visibility for multi-view stereo // IEEE Conference on Computer Vision and Pattern Recognition, 2007. Р. 147-158.

85. Hernandez C., Vogiatzis G., Cipolla R. Multiview photometric stereo // IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008. Vol. 30(3). P. 548-554.

86. Image matching principles in photometrical transformations / Suprun D., Cunningham S. // 2017 Internet Technologies and Applications (ITA), UK. 2017. P. 234-239.

87. Hertzmann A., Seitz S. Example-based photometric stereo: Shape reconstruction with general, varying brdfs // IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005. Vol. 27(8). P. 1254-1264.

88. Hiep, V.H., Keriven R., Labatut P., Pons J.-P. Towards highresolution large-scale multi-view stereo // IEEE Conference on Computer Vision and Pattern Recognition, 2009. P. 1430-1437.

89. Hirschmuller H. Accurate and efficient stereo processing by semiglobal matching and mutual information // IEEE Conference on Computer Vision and Pattern Recognition, IEEE Conference on Computer Vision and Pattern Recognition, Washington, DC, USA: IEEE Computer Society, 2005. P. 807-814,

90. Scharstein D., Hirschmuller H. Evaluation of stereo matching costs on images with radiometric differences // IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009. Vol. 31(9). P.1582-1599.

91. HirschmAijller H. Evaluation of cost functions for stereo matching // IEEE Conference on Computer Vision and Pattern Recognition, 2007. P. 58-67.

92. Хорнунг А., Коббелт Л. Иерархическая объемная многофакторная стереовосстановление поверхностей многообразий на основе вложения двойных графов // Конференция IEEE по компьютерному зрению и распознаванию образов, 2006. Т. 1, С. 503-510.

93. Хорнунг А., Коббелт Л. Надежная реконструкция водонепроницаемых трехмерных моделей из неравномерно выбранных облаков точек без нормальной информации // Симпозиум по обработке геометрии, Citeseer, 2006. С. 41-50.

94. Хорнунг А., Коббелт Л. Интерактивный точный рендеринг с точным отображением точек изображения из изображений с выборкой с учетом

силуэта // Форум компьютерной графики, Wiley Online Library, 2009. Т. 28. С. 2090-2103.

95. Хосни А., Риман С., Блейер М., Ротер С. Быстрая фильтрация по объему для визуальной корреспонденции и не только // IEEE Труды по анализу образов и машинному интеллекту, 2013. Т. 35 (2). С. 504-511.

96. Ху С., Мордохай П. Количественная оценка мер доверия для стереозрения // Труды IEEE по анализу образов и машинному интеллекту, 2012. Т. 34 (11). С. 2121-2133.

97. Икеата С., Айзава К. Фотометрическое стерео с использованием ограниченной двухмерной регрессии для общих изотропных поверхностей // Конференция IEEE по компьютерному зрению и распознаванию образов, 2014. С. 59-68.

98. Google Inc. Google maps. URL: http://maps.google.com (дата обр. 04.11.2018).

99. Jancosek M., Pajdla T. Multi-view reconstruction preserving weakly-supported surfaces // IEEE Conference on Computer Vision and Pattern Recognition, 2011. P. 129-145.

100. Jarvis. R.A. A perspective on range finding techniques for computer vision. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013. Vol. 5(2). P.122-139.

101. Ji D., Dunn E., Frahm J. 3d reconstruction of dynamic textures in crowd sourced data // European Conference on Computer Vision, 2014. P.39-45.

102. Jin H., Soatto S., Yezzi A. Multi-view stereo beyond lambert // IEEE Conference on Computer Vision and Pattern Recognition, 2003. Vol. 1, P. 165-171.

103. Jorg H. Kappes, Andres B., Hamprecht F. A comparative study of modern inference techniques for discrete energy minimization problem // IEEE Conference on Computer Vision and Pattern Recognition, 2013. P. 236-248.

104. Kazhdan M., Bolitho M., Hoppe H. Poisson surface reconstruction // Symp. Geom. Proc., 2006. P. 475-489.

105. Kazhdan M., Hoppe H. Screened poison surface reconstruction. ACM Transactions on Graphics, 2013. Vol. 32(3). P. 29-36.

106. Changil K., Zimmer H., Pritch Y., Sorkine-Hornung A., Gross M. Scene reconstruction from high spatioangular resolution light fields // ACM SIGGRAPH, 2013. P. 48-57.

107. Hertzmann A., Seitz S. Example-based photometric stereo: Shape reconstruction with general, varying brdfs // IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015. Vol. 29(7). P. 154-164.

108. Kim J., Kolmogorov V., Zabih R. Visual correspondence using energy minimization and mutual information // IEEE International Conference on Computer Vision, 2003. Vol. 2. P.1033-1040.

109. Kolev K., Cremers D. Integration of multiview stereo and silhouettes via convex functionals on convex domains // European Conference on Computer Vision, 2008. P. 78-85.

110. Kolmogorov V., Zabih R. Computing visual correspondence with occlusions using graph cuts // IEEE International Conference on Computer Vision, 2001. Vol. 2. P. 508-515.

111. Kolmogorov V., Zabih R. Multi-camera scene reconstruction via graph cuts // European Conference on Computer Vision, Copenhagen, Denmark, 2002. Vol. III. P. 82-96.

112. Kolmogorov V., Zabih R. What energy functions can be minimized via graph cuts // IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004. Vol. 26(2). P. 147-159.