Алгоритмы построения трехмерных моделей объектов с регулярной структурой по фотографиям при взаимодействии с пользователем для виртуальных сред тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат физико-математических наук Якубенко, Антон Анатольевич

• Якубенко, Антон Анатольевич
• кандидат физико-математических наук
• 2012

Оглавление диссертации кандидат физико-математических наук Якубенко, Антон Анатольевич

Оглавление

Введение

Объект исследования и актуальность темы

Цель работы

Научная новизна работы

Практическая значимость и реализация

Результаты, выносимые на защиту

Апробация работы

Публикации

Структура и объем работы

Глава 1. Создание трехмерных моделей объектов реального мира

1.1 Обзор существующих подходов

1.1.1 Системы трехмерного моделирования общего назначения

1.1.2 Фотограмметрические системы

1.1.3 Структура из движения

1.1.4 Лазерное сканирование

1.1.5 Выводы

1.2 Предложенный алгоритм

1.2.1 Входные данные

1.2.2 Выходные данные

1.2.3 Схема предложенного алгоритма

1.3 Методология тестирования и сравнения

Глава 2. Получение ректифицированных текстур объектов и

построение их трехмерных моделей по фотографиям

2.1 Постановка задачи

2.2 Обзор существующих алгоритмов получения ректифицированных текстур из фотографий

2.2.1 Ректификация с помощью выделения четырехугольника

2.2.2 Использование точек схода

2.3 Предложенный алгоритм

2.3.1 Схема алгоритма

2.3.2 Коррекция угла наклона и крена камеры

2.3.3 Определение горизонта и точек схода

2.3.4 Трехмерное моделирование с помощью задания линии контура объекта и его вертикальных границ

2.4 Эксперименты и сравнение

2.4.1 Тестирование алгоритма исправления угла наклона и крена камеры

2.4.2 Тестирование алгоритмов определения горизонта и точек схода

2.4.3 Сравнение алгоритма получения ректифицированных текстур объекта и построения его трехмерной модели по фотографиям с

аналогами

2.5 Заключение

Глава 3. Определение регулярной структуры объектов по их текстуре

3.1 Постановка задачи

3.2 Обзор существующих алгоритмов

3.2.1 Автокорреляция

3.2.2 Группировка локальных фрагментов

3.2.3 Детекторы окон

3.2.4 Поиск сложных фасадных элементов

3.2.5 Общая семантическая сегментация, сегментация стен

3.2.6 Определение глобальной структуры фасада

3.2.7 Выводы

3.3 Предложенный алгоритм

3.3.1 Предложенная модель регулярной структуры объекта

3.3.2 Схема предложенного алгоритма

3.3.3 Поиск прямоугольников

3.3.4 Вычисление кандидатов размеров и центров ячеек решеток

3.3.5 Жадный выбор лучших решеток

3.3.6 Поиск дополнительных решеток

3.3.7 Расширение решеток

3.4 Эксперименты и сравнение

3.4.1 База изображений

3.4.2 Алгоритмы для сравнения

3.4.3 Оценка нахождения размеров ячеек решеток

3.4.4 Оценка доли верно найденных похожих элементов

3.5 Заключение

Глава 4. Восстановление текстуры объектов с учетом их регулярной

структурой

4.1 Постановка задачи

4.2 Обзор существующих алгоритмов сегментации

4.3 Обзор существующих алгоритмов восстановления изображений

4.3.1 Алгоритмы восстановления текстуры

4.3.2 Общие алгоритмы синтеза текстуры

4.4 Предложенный алгоритм

4.4.1 Схема алгоритма

4.4.2 Нахождение чистых ячеек

4.4.3 Сегментация объектов переднего плана

4.4.4 Восстановление текстуры

4.5 Эксперименты и сравнение

4.5.1 Тестирование алгоритма поиска чистой ячейки

4.5.2 Тестирование алгоритма сегментации и восстановления

изображения

4.6 Заключение

Глава 5. Программная система построения трехмерных моделей объектов с регулярной структурой по фотографиям при взаимодействии с пользователем

5.1 Организация программной системы

5.2 Модули программной системы

5.2.1 Главный модуль

5.2.2 Модуль подготовки текстур

5.2.3 Модуль сшивки текстур

5.2.4 Модуль задания регулярной структуры объекта и моделирования его элементов

5.2.5 Модуль редактирования текстуры

5.2.6 Модуль экспорта

5.2.7 Модуль визуализации трехмерной модели

5.3 Эксперименты и сравнение

5.4 Заключение

Основные результаты работы

Литература

Введение диссертации (часть автореферата) на тему «Алгоритмы построения трехмерных моделей объектов с регулярной структурой по фотографиям при взаимодействии с пользователем для виртуальных сред»

Введение

Объект исследования и актуальность темы

Виртуальная реальность - это компьютерная модель мира, передаваемая человеку через его ощущения, в первую очередь, через зрение. Для практических целей особенно значимо создание систем виртуальной реальности, моделирующих действительный, а не фантастический, мир. Основным содержанием систем виртуальной реальности являются трехмерные модели объектов реального мира.

Для создания качественных трехмерных моделей существует ряд способов, но они требуют значительных затрат времени на ручную работу. Чтобы сократить это время можно учитывать специфику класса объектов. Одним из таких классов объектов являются объекты с регулярной структурой (рис. 1). Такие объекты могут быть представлены одной плоскостью или несколькими смежными плоскостями, на которых с некоторой регулярностью расположены повторяющиеся элементы.

Рис. 1. Объекты реального мира с регулярной структурой.

» * * 4г ф 4» й., „ -

' а * * • «> • • •

Для практики среди них наиболее значимы здания, на фасадах которых, например, повторяются окна. Они используются для трехмерных геоинформационных систем, например, для картографических веб-сервисов (рис. 2) и мобильных навигационных систем. Трехмерные карты являются естественной эволюцией традиционных двухмерных карт. Фотореалистичные трехмерные карты повышают качество визуального восприятия картографической информации, допуская выбор произвольной точки зрения и предоставляя возможность наглядно и достоверно отобразить внешний вид и другие параметры территорий.

Рис. 2. Трехмерный картографический веб-сервис.

Такими сервисами пользуются сотни миллионов человек. В мире миллионы зданий и нужны эффективные инструменты для создания их трехмерных моделей. Для создания реалистичных моделей обычно используются фотографии. Так как полностью автоматические алгоритмы решения данной задачи часто не дают желаемого результата, то можно использовать взаимодействие с пользователем.

Цель работы

Целью работы является разработка алгоритмов и программной системы, позволяющих по фотографиям при взаимодействии с пользователем построить трехмерные модели объектов с регулярной структурой за меньшее время по сравнению с существующими аналогами.

Для достижения поставленной цели в работе предложен следующий алгоритм:

1. Из фотографий создаются прямоугольные текстуры плоскостей объекта, упрощающие дальнейший анализ, и строится трехмерная модель объекта.

2. По текстуре объекта определяется его регулярная структура, которая может быть в том числе использована для клонирования трехмерных моделей регулярных элементов объекта.

3. На текстурах объекта определяются посторонние объекты (например, в случае зданий, фасад могут загораживать деревья и провода), и текстура под ними восстанавливается с учетом регулярной структуры объекта.

Исходя из предложенной схемы алгоритма, возникают следующие задачи:

1. Предложить модель регулярной структуры объекта и алгоритм ее вычисления по его изображению.

2. Разработать алгоритм восстановления текстуры объекта с учетом его структуры.

3. Разработать алгоритм ректификации текстур и построения трехмерной модели части объекта, видимой на одной фотографии.

Научная новизна работы

Разработаны новые алгоритмы и программная система, позволяющие построить трехмерные модели объектов с регулярной структурой по фотографиям при меньшем объеме взаимодействия с пользователем и, соответственно, при меньших затратах времени, чем в существующих аналогах.

Предложена новая модель регулярной структуры объекта и разработан новый автоматический алгоритм ее определения по изображению. Алгоритм позволяет точнее определять регулярную структуру большего числа объектов, чем существующие автоматические алгоритмы.

Разработан новый алгоритм восстановления частей текстуры объекта, невидимых или загороженных объектами переднего плана, с учетом регулярной структуры объекты. Алгоритм требует от пользователя задания единственного простого параметра, после чего работает полностью автоматически. Предложенный алгоритм требует минимального взаимодействия с пользователем в отличие от существующих ручных и автоматизированных методов, не использующих информацию о регулярной структуре объектов.

Разработан новый автоматизированный алгоритм получения текстур плоскостей объекта и построения трехмерной модели объекта по фотографии. Предложенный алгоритм позволяет извлечь из фотографии текстуры всех видимых на ней плоскостей объекта и построить их трехмерную модель при меньшем взаимодействии с пользователем по сравнению с существующими ручными методами и в более контролируемой манере, чем в случае полностью автоматических существующих алгоритмов.

Практическая значимость и реализация

Разработаны и доведены до практической реализации методы и алгоритмы построения трехмерных моделей объектов с регулярной структурой. Программные реализации описываемых в диссертации методов и алгоритмов удовлетворяют всем требованиям и ограничениям, сформулированным при постановке задач.

На основе предложенных алгоритмов и методов разработана система построения трехмерных моделей объектов с регулярной структурой по фотографиям, требующая существенно меньшего объема взаимодействия с пользователем, чем существующие аналоги. Система разрабатывалась в лаборатории компьютерной графики и мультимедиа (ЛКГиМ) кафедры автоматизации систем и вычислительных комплексов (АСВК) факультета вычислительной математики и кибернетики (ВМК) Московского государственного университета имени М. В. Ломоносова в рамках проектов с компаниями Samsung Advanced Institute of Technology и ООО «Медиа Софт Интегро». Система используется для создания трехмерных моделей зданий города Москвы и других городов мира. Некоторые из разработанных алгоритмов защищены патентами России, США и Южной Кореи [14-17].

Результаты, выносимые на защиту

В результате работы разработаны новые алгоритмы и программная система, позволяющие по фотографиям при взаимодействии с пользователем построить трехмерные модели объектов с регулярной структурой, в частности, зданий за меньшее время по сравнению с существующими аналогами. На защиту выносятся следующие основные результаты:

1. Предложена новая модель регулярной структуры объекта и разработан новый алгоритм ее вычисления по его изображению.

2. Разработан новый алгоритм восстановления текстуры объекта, учитывающий его структуру.

3. Разработан новый алгоритм ректификации текстур и построения трехмерной модели части объекта, видимой на одной фотографии.

Апробация работы

Основные результаты работы докладывались и обсуждались на:

• 20-ой международной конференции по компьютерной графике и машинному зрению GraphiCon 2010, Россия, Санкт-Петербург, 2010;

• 19-ой международной конференции по компьютерной графике и машинному зрению GraphiCon 2009, Россия, Москва, 2009;

• 10-ой международной конференции по компьютерному зрению European Conference on Computer Vision (ECCV) 2008, France, Marseille, 2008;

• 7-ой международной конференции в области математической кибернетики и теоретической информатики Интеллектуализация обработки информации (ИОИ) 2008, Украина, Алушта, 2008;

• 18-ой международной конференции по компьютерной графике и машинному зрению GraphiCon 2008, Россия, Москва, 2008;

• 15-ой международной научной конференции студентов, аспирантов и молодых учёных «Ломоносов-2008», Россия, Москва, 2008;

• 14-ой международной научной конференции студентов, аспирантов и молодых учёных «Ломоносов-2007», Россия, Москва, 2007;

• семинаре по компьютерной графике и машинному зрению Ю. М. Баяковского (факультет ВМК МГУ);

• семинаре аспирантов кафедры АСВК факультета ВМК МГУ под руководством Л. Н. Королева.

Публикации

По результатам работы автором опубликовано 11 научных работ [3-13], из них 3 статьи в рецензируемых журналах [3-5], 2 из которых включены в список ВАК [3, 4], 5 статей [6-10] и 3 тезисные публикации [11-13] в сборниках трудов международных научных конференций. Автор диссертационной работы является соавтором 4 патентов [14-17] в России, США и Южной Корее.

Структура и объем работы

Диссертация состоит из введения и пяти глав.

В первой главе приводится обзор существующих подходов к получению трехмерных моделей объектов, описывается схема предложенного алгоритма построения трехмерных моделей объектов с регулярной структурой по фотографиям при взаимодействии с пользователем, задается методология сравнения с аналогами.

Вторая глава посвящена задаче получения ректифицированных текстур плоскостей объекта и построения его простой трехмерной модели по фотографиям. Для плоских объектов ректифицированное изображение компенсирует проективные искажения. В данной главе приводится обзор существующих методов решения данных задач, и описываются предложенные новые алгоритмы.

Третья глава посвящена задаче извлечения информации о регулярной структуре объекта из его ректифицированной текстуры. В ней приводится обзор существующих постановок задачи и алгоритмов ее решения.

Описывается предложенные новая модель регулярной структуры объекта и алгоритм ее вычисления по изображению объекта.

Четвертая глава посвящена задаче определения областей посторонних объектов на текстуре объекта и восстановлению этих частей текстуры. В ней приводится обзор существующих алгоритмов сегментации объектов, восстановления и синтеза текстуры в контексте их применимости для решения поставленной задачи. Описывается предложенный новый алгоритм восстановления текстуры объектов, учитывающий их регулярную структуру.

В пятой главе описываются детали реализации всей программной системы и приводятся результаты сравнения с аналогами.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Якубенко, Антон Анатольевич

Основные результаты работы

В результате работы разработаны новые алгоритмы и программная система, позволяющие по фотографиям при взаимодействии с пользователем построить трехмерные модели объектов с регулярной структурой, в частности, зданий за меньшее время по сравнению с существующими аналогами. В том числе:

1. Предложена новая модель регулярной структуры объекта и разработан новый автоматический алгоритм ее вычисления по изображению объекта. Алгоритм позволяет верно определять регулярную структуру большего числа объектов, чем современные алгоритмы.

2. Разработан новый алгоритм восстановления текстуры объекта, учитывающий его структуру. Выделение областей посторонних объектов регулируется единственным параметром. За счет автоматического восстановления текстуры требуется минимальное взаимодействие с пользователем по сравнению с аналогами.

3. Разработан новый алгоритм ректификации текстур и построения трехмерной модели части объекта, видимой на одной фотографии. Автоматизированный алгоритм требует меньшего объема взаимодействий с пользователем по сравнению с существующими ручными и автоматизированными средствами.

5.4 Заключение

В данной главе описана программная система, включающая в себя все предложенные алгоритмы и дополнительные технические возможности для эффективного создания фотореалистичных трехмерных моделей объектов с регулярной структурой по фотографиям при взаимодействии с пользователем. Проведенное сравнение с одной из наиболее эффективных на сегодняшний день комбинацией трехмерного редактора Google SketchUp [28] и фоторедактора Adobe Photoshop [21] показало, что с помощью предложенной системы можно создавать модели схожего качества, затрачивая в среднем в 2.1 раза меньше времени.

В отличие от большинства существующих подходов для решения поставленной задачи предложенный подход позволяет работать исключительно с изображениями, а не с трехмерными данными, служащими в рамках системы исключительно для визуализации. Система предполагает легко параллелизуемую обработку в последовательном наборе модулей, что также повышает эффективность. Ключевые трудозатратные задачи автоматизированы за счет предложенных алгоритмов. Для остальных задач предложены удобные ручные инструменты.

Список литературы диссертационного исследования кандидат физико-математических наук Якубенко, Антон Анатольевич, 2012 год

Литература

[1] Minwoo Park, Robert Т. Collins, Yanxi Liu. Deformed Lattice Discovery Via Efficient Mean-Shift Belief Propagation. // Proc. of the 10th European Conference on Computer Vision, 2008, vol. 2, pp. 474 - 485.

[2] S. Wenzel, M. Drauschke, W. Forstner. Detection of Repeated Structures in Facade Images. // Pattern Recognition and Image Analysis, 2008, vol. 18, No. 3, pp. 406-411.

[3] А. Якубенко, В. Кононов, И. Мизин, В. Конушин, А. Конушин. Восстановление структуры и текстуры фасадов городских зданий. // «Программирование», 2011, №5, стр. 61-75.

[4] А. Якубенко, И. Мизин, А. Конушин. Поиск регулярных решеток на текстуре фасадов зданий. // Программные продукты и системы, 2010, №4, стр. 208 -213.

[5] А. Якубенко. Построение трехмерных моделей зданий по фотографиям для систем виртуальной реальности. // Программные системы и инструменты, 2012.

[6] A. Yakubenko, I. Mizin, A. Konushin. Automatic Extraction of Regular Grids from Rectified Facade Image. // в трудах конференции Графикон 2010, стр. 100-106.

[7] В. Кононов, В. Конушин, А. Якубенко, А. Конушин. Очищение текстур фасадов зданий с использованием их структуры // в трудах конференции Графикон 2009, стр. 283-286.

[8] О. Barinova , V. Konushin, A. Yakubenko, К. Lee, Н. Lim, А. Konushin.Fast Automatic Single-View 3-d Reconstruction of Urban Scenes. // In Proc. of European Conference on Computer Vision, 2008 (II). Pp. 100-113

[9] О. Баринова, В. Конушин, А. Якубенко, А. Конушин. Быстрый метод семантической сегментации изображений для автоматической

трехмерной реконструкции городских сцен по одной фотографии. // в трудах конференции Интеллектуализация обработки информации 2008, стр. 22-24.

О. Баринова, В. Конушин, А. Соболев, А. Кузьмишкина, А. Якубенко, А. Конушин. Быстрая автоматическая трехмерная реконструкция городских сцен по одному изображению. // в трудах конференции Графикон 2008, стр. 234-242.

И. Мизин, А. Якубенко. Автоматизированный поиск повторяющихся элементов на ректифицированных изображениях фасадов городских зданий // тезисы конференции «Ломоносов» 2009, стр. 54. А. Богданов, А. Якубенко. Трехмерная реконструкция городских зданий по одному изображению на основе метода автоматической ректификации // тезисы конференции «Ломоносов» 2008, стр. 55-56. А. Якубенко, А. Конушин. Трехмерная реконструкция городских зданий по изображениям // тезисы конференции «Ломоносов» 2007, стр. 49.

METHOD FOR DETERMINING GROUND LINE, 2008132273, RU, 17.07.2008, ChaeSunhyuck, Kim Dokyoon, Lee KeeChang, Lim Hwasup, Konushin Anton, Barinova Olga, Konushin Vadim, Yakubenko Anton. IMAGE PROCESSING METHOD, 2008129149, RU, 17.07.2008,Lim Hwasup, Lee KeeChang, Barinova Olga, Konushin Anton, Konushin Vadim, Yakubenko Anton.

METHOD FOR DETERMINING GROUND LINE, 1911.1137, US, Chaesunhyuck, Kim Dokyoon, Lee KeeChang, Lim Hwasup, Konushin Anton, Barinova Olga, KonushinVadim, Yakubenko Anton. METHOD FOR DETERMINING GROUND LINE, 10-2008-0105977, 28.10.2008, ChaeSunhyuck, Kim Dokyoon, Lee KeeChang, Lim Hwasup, Konushin Anton, Barinova Olga, Konus hinVadim, Yakubenko Anton. Autodesk http://autodesk.com.

[ 19] Autodesk 3ds Max http://usa.autodesk.com/3ds-max/.

[20] Autodesk AutoCAD http://usa.autodesk.com/autocad-products/.

[21] Adobe Photoshop http://www.adobe.com/ru/products/photoshopfamily.html.

[22] P. Debevec, C. Taylor, J. Malik. Modeling and Rendering Architecture from Photographs: A Hybrid Geometry - and Image-Based Approach. // In Proc. Siggraph'96, pp.11-20, ACM Press, New York, 1996.

[23] Canoma http://www.metacreations.com/products/canoma/.

[24] Autodesk ImageModeler http://usa.autodesk.com/adsk/servlet/pc/index?id=l 1390028&siteID-12311 2.

[25] Eos Systems PhotoModeler http://www.photomodeler.com.

[26] Autodesk 123d http://www.123dapp.com.

[27] Microsoft Photosynth http://photosynth.net.

[28] Google SketchUp http://sketchup.google.com.

[29] Connelly Barnes, Eli Shechtman, Adam Finkelstein, Dan B. Goldman. PatchMatch: A Randomized Correspondence Algorithm for Structural Image Editing // Acm Trans. Graphics, vol. 28, pp. 1-11, 2009.

[30] eTRIMS Image Database http://www.ipb.uni-bonn.de/proiects/etrims db/ [31 ] Facade Data Base Vienna

http://info.tuwien.ac.at/ingeo/research/FdbV/index.htm

[32] ZuBuD Image Database http://www.vision.ee.ethz.ch/showroom/zubud/index.en.html

[33] http://cgtextures.com

[34] Google SketchUp Match Photo http://support.google.com/sketchup/bin/answer.py?hl=en&answer=94919

[35] Choi S., Kim T., Yu W. Performance evaluation of RANSAC family // The British Machine Vision Conference. 2009.

[36] Hsin-Chih Lin, Ling-Ling Wang, Shi-Nine Yang. Extracting periodicity of a regular texture based on autocorrelation functions. // Pattern Recognition Letters, 1997, vol. 18, pp. 433 - 443.

[37] Frederik Schaffalitzky, Andrew Zisserman. Geometric Grouping of Repeated Elements within Images. // In Proc. of BMVC, 1998, pp. 13 - 22.

[38] P. Muller, G. Zeng, P. Wonka, L. V. Gool. Image-based Procedural Modeling of Facades. // Proceedings of ACM SIGGRAPH'07, ACM Transactions on Graphics, 2007, vol. 26, No. 3, pp. 1 - 9.

[39] Zhuowen Tu, Xiangrong Chen, Alan L. Yuille, Song-Chun Zhu. Image Parsing - Unifying Segmentation, Detection, and Recognition. // 2005.

[40] Nora Ripperda, Claus Brenner. Reconstruction of Facade Structures Using a Formal Grammar and RjMCMC. // in Pattern Recognition, 2006, pp. 750 -759.

[41] Julien Ricard, Jerome Roy an, Olivier Aubault. Visualization of Real Cities Based on Procedural Modeling. // IEEE Virtual Reality Workshop on Virtual Cityscapes: Key Research Issues in Modeling Large-Scale Immersive Urban Environments, 2008.

[42] Haider Ali, Christin Seifert, Nitin Jindal, Lucas Paletta, Gerhard Paar. Window Detection in Facades. // International Conference on Image Analysis and Processing (ICIAP), 2007, pp. 837-842.

[43] Tomas Werner, Andrew Zisserman. Model Selection for Automated Architectural Reconstruction from Multiple Views. // BMVC, 2002.

[44] Luc Van Gool, Gang Zeng, Filip Van den Borre, Pascal Muller. Towards Mass-Produced Buildings Models. // Photogrammetric Image Analysis (PIA), 2007.

[45] Floraine Grabler. Parsing Images of Architectural Scenes. // In ICCV, 2007, pp. 44-57.

[46] Junwei Han, Stephen J. McKenna, Ruixuan Wang. Regular Texture Analysis as Statistical Model Selection. // European Conference on Computer Vision, 2008.

[47] Khalid Djado, Richard Egli, Francois Deschenes. Extraction of a Representative Tile from a Near-Periodic Texture. // 2005.

[48] Yanxi Liu, Robert T. Collins. A Computational Model for Repeated Pattern Perceptionusing Frieze and Wallpaper Groups. // 1998.

[49] James Hays, Marius Leordeanu, Alexei A. Efros, Yanxi Liu. Discovering Texture Regularity as a Higher-Order Correspondence Problem. // European Conference on Computer Vision, 2006, Vol. 2, pp. 522 - 535.

[50] T. Korah, C. Rasmussen. Analysis of Building Textures for Reconstructing Partially Occluded Facades. // Proc. of the 10th European Conference on Computer Vision (ECCV), 2008, Part I, pp. 359-372.

[51] Thomas Leung, Jitendra Malik. Detecting, localizing and grouping repeated scene elements from an image. // In Proc. of European Conference on Computer Vision (ECCV), 1996, pp. 546 - 555.

[52] Andreas Turina, Tinne Tuytelaars, Theo Moons, Luc Van Gool. Grouping via the Matching of Repeated Patterns. // In Proc. of CAPR, 2001, pp. 250 -259.

[53] G. Schindler, P. Krishnamurthy, R. Lublinerman, Y. Liu, F. Dellaert. Detecting and Matching Repeated Patterns for Automatic Geo-tagging in Urban Environments. // Proceedings of CVPR, 2008, pp. 1 - 7.

[54] Bjorn Johansson, Fredrik Kahl. Detecting Windows in City Scenes. // ICPR, 2002.

[55] Jan Sochman. Evaluation of the AdaBoost IPM.

[56] CityGML http://www.citygmlwiki.org/index.php/Main Page

[57] Susanne Wenzel, Wolfgang Forstner. Semi-Supervised Incremental Learning of Hierarchical Appearance Models. // 21st Congress of the

International Society for Photogrammetry and Remote Sensing (ISPRS), 2008.

[58] Helmut Mayer, Sergiy Reznik. Implicit Shape Models, Model Selection, and Plane Sweeping For 3D Facade Interpretation. // Photogrammetric Image Analysis (PIA), 2007.

[59] Helmut Mayer, Sergiy Reznik. MCMC Linked with Implicit Shape Models and Plane Sweeping for 3D Building Façade Interpretation in Image Sequences. // ISPRS, 2005.

[60] Jan Cech, Radim Sara. Windowpane Detection based on Maximum Aposteriori Probability Labeling. // In International Workshop on Combinatorial Image Analysis (IWCIA), 2008, pp. 3-11.

[61] Filip Korc, Wolfgang Forstner. Finding Optimal Non-Overlapping Subset of Extracted Image Objects. // 2008.

[62] A. R. Dick, P. H. S. Torr, S. J. Ruffle, R. Cipolla. Combining Single View Recognition and Multiple View Stereo For Architectural Scenes. // ICCV, 2001.

[63] A. R. Dick, P. H. S. Torr, R. Cipolla. Modelling and Interpretation of Architecture from Several Images. // 2004.

[64] R. G. Laycock, A. M. Day. Towards the Automatic Integration of Ground Level Images into a Virtual Urban Environment. // WSCG, 2004.

[65] Jianxiong Xiao, Tian Fang, Ping Tan, Peng Zhao, Eyal Ofek, Long Quan. Image-based Facade Modeling // 2008.

[66] Geert Caenen, Luc Van Gool. Maximum Response Filters for Texture Analysis. // CVPR, 2004.

[67] Feng Han, Song-Chun Zhu. Bottom-Up - Top-Down Image Parsing with Attribute Grammar. // PAMI, 2008.

[68] P. Wonka, M. Wimmer, F. Sillion, W. Ribarsky. Instant architecture. // ACM Transaction on Graphics, 2003, 22(3), pp. 669-677.

[69] Panagiotis Koutsourakis, Loic Simon, Olivier Teboul. Single View Reconstruction Using Shape Grammars for Urban Environments. // ICCV, 2009.

[70] Olivier Teboul, Loic Simon, PanagiotisKoutsourakis, Nikos Par agios. Segmentation of Building Facades Using Procedural Shape Priors. // CVPR, 2010.

[71] Efros, Leung. Texture Synthesis by Non-parametric Sampling // 1999

[72] Bertalmio, Sapiro, Caselles, Ballester. Image Inpainting // 2000

[73] Bertalmio, Vese, Sapiro, Osher. Simultaneous Structure and Texture Image Inpainting // 2003

[74] Criminisi, Perez, Toyama. Region Filling and Object Removal by Exemplar-Based Inpainting // 2004

[75] Levin, Zomet, Weiss.Learning How to Inpaint from Global Image Statistics // 2003

[76] Drori, Cohen-Or, Yeshurun. Fragment-Based Image Completion // 2003

[77] Borikar, Biswas, Pattanaik. Fast Algorithm for Completion of Images with Natural Scenes // 2004

[78] Perez, Gangnet, Blake. PatchWorks: Example-Based Region Tiling for Image Editing // 2004.

[79] Zhang, Xiao, Shah. Region Completion in a Single Image // 2004.

[80] Wilczkowiak, Brostow, Tordoff, Cippola. Hole Filling Through Photomontage // 2005.

[81] Sun, Yuan, Jia, Shum. Image Completion with Structure Propagation //

2005.

[82] Komodakis, Tziritas. Image Completion Using Global Optimization //

2006.

[83] Shen, Jin, Zhou, Wang. Gradient based image completion by solving the Poisson equation // 2006.

[84] Pavic, Schonefeld, Kobbelt. Interactive image completion with perspective correction // 2006.

[85] Hays, Efros. Scene Completion Using Millions of Photographs // 2007.

[86] Lee, Seo. Image In-painting by Band Matching, Seamless Cloning and Area Sub-division // 2007.

[87] Ho, Goecke. Automatic Parametrisation for an Image Completion Method Based on Markov Random Fields // 2007.

[88] Ho, Goecke. Quaternion Potential Functions for a Colour Image Completion Method Using Markov Random Fields // 2007.

[89] Wexler, Shechtman, Irani. Space-Time Video Completion // 2004.

[90] Kawai, Sato, Yokoya. Image Inpainting Considering Brightness Change and Spatial Locality of Textures // 2008.

[91] Heeger, Bergen. Pyramid-Based Texture Analysis/Synthesis // 1995.

[92] Efros, Leung. Texture Synthesis by Non-parametric Sampling // 1999.

[93] Wei, Levoy. Fast Texture Synthesis using Tree-structured Vector Quantization // 2000.

[94] Ashikhmin. Synthesizing Natural Textures // 2001.

[95] Efros, Freeman. Image Quilting for Texture Synthesis and Transfer // 2001.

[96] Kwatra et al. Graphcut Textures: Image and Video Synthesis Using Graph Cuts//2003.

[97] Kwatra et al. Texture Optimization for Example-based Synthesis // 2005.

[98] Ramanarayanan, Bala. Constrained Texture Synthesis via Energy Minimization // 2007.

[99] Lefebvre, Hoppe. Parallel Controllable Texture Synthesis // 2005.

[100] Lefebvre, Hoppe. Appearance-Space Texture Synthesis // 2006.

[101] Han, Zhou, Wei, Gong, Bao, Zhang, Guo. Fast Example-based Surface Texture Synthesis via Discrete Optimization // 2006.

[102] Charles Han, Eric Risser, Ravi Ramamoorthi, EitanGrinspun. Multiscale Texture Synthesis // 2008.

[103] Junyu Dong, YuanxuDuan, Guimei Sun, Lin Qi. Texture Synthesis by Support Vector Machines // 2008.

[104] Fei Wu, Changshui Zhang, Jingrui He. An evolutionary system for near-regular texture synthesis // 2006.

[105] F. Alegre, F. Dallaert. A probabilistic approach to the semantic interpretation of building facades. // International Workshop on Vision Techniques Applied to the Rehabilitation of City Centers, 2004.

[106] Y. Boykov, V. Kolmogorov. An Experimental Comparison of Min-Cut/Max-Flow Algorithms for Energy Minimization in Computer Vision. // In Third International Workshop on Energy Minimization Methods in Computer Vision and Pattern Recognition, 2001.