Разработка методов автоматизации фотограмметрических процессов на основе алгоритмов анализа и обработки изображений тема диссертации и автореферата по ВАК РФ 25.00.34, доктор технических наук Блохинов, Юрий Борисович

• Блохинов, Юрий Борисович
• доктор технических наук
• 2011

Оглавление диссертации доктор технических наук Блохинов, Юрий Борисович

Введение.

Глава 1. Анализ технологий современной цифровой фотограмметрии и их применений в современной авиации

1.1 Введение.

1.2 Примеры применения цифровой фотограмметрии в авиационных системах.

1.3 Типы данных и модели объектов.

1.4 Технология создания ЗБ моделей. Цифровые фотограмметрические системы и их эволюция.

1.5 Перспективные тенденции развития ЦФС.

1.6 Выводы по первой главе.

Глава 2. Алгоритмы внутреннего ориентирования, автоматическое измерение элементов разметки снимка

2.1 Необходимость коррекции искажений на этапе внутреннего ориентирования для снимков с впечатанной сеткой крестов.

2.2 Поиск положения крестов с пиксельной точностью.

2.3 Область поиска.

2.4 Определение положения эталонной сетки.

2.5 Преобразование исходного изображения с целью устранения дисторсий

2.6 Определение координат крестов с субпиксельной точностью.

2.7 Выводы по второй главе.

Глава 3. Алгоритмы взаимного ориентирования, особенности разных подходов для различных случаев съемки

3.1 Введение.

3.2 Особенности изображений и алгоритмы их выделения.

3.3 Характерные точки.

3.3.1 Операторы интереса аэрокосмических снимков.

3.3.2 Операторы интереса наземных снимков.

3.4 Отбор соответствующих точек на основе дескрипторов.

3.4.1 Дескрипторы съемки аэрокосмических снимков.

3.4.2 Дескрипторы наземных снимков.

3.5 Отбор соответствующих точек на основе пространственных отношений

3.5.1 Метрическая фильтрация.

3.5.2 Топологическая фильтрация. точек.

3.7 Общие требования к методу выделения контуров.

3.8 Использование линейных особенностей изображения (контура).

3.8.1 Общая характеристика метода.

3.8.2 Выделение контуров.

3.8.3 Сегментация изображений.

3.8.4 Сопоставление контуров и областей.

3.9 Отождествление контуров.

3.9.1 Форма представления.

3.9.2 Отождествление контуров методом динамического программирования.

3.10 Координатная привязка контуров.

3.11 Выводы по третьей главе.

Глава 4. Методы автоматизации внешнего ориентирования для сцен специального вида.

4.1 Постановка задачи, определение эталонного описания.

4.1.1 Кодированные метки.

4.1.2 Узлы специального вида.

4.2 Решение задачи внешнего ориентирования в случае кодированных меток.

4.2.1 Описание меток.

4.2.2 Сегментация меток.

4.2.3 Поиск меток.

4.2.4 Выделение внешней границы сегмента.

4.2.5 Поиск координат центра маркированной точки.

4.2.6 Идентификация меток.

4.2.7 Результаты экспериментальных исследований.

4.3 Решение задачи измерения параметров относительного положения при сближении космических аппаратов.

4.3.1 Формирование эталонных изображений узлов станции на основе ее трехмерной цифровой модели.

4.3.2 Описание метода.

4.3.3 Семантический анализ и сборка сцены.

4.3.4 Результаты численного эксперимента по обнаружению узлов МКС

4.3.5 Результаты численного эксперимента по исследованию устойчивости метода поиска узлов станции.

4.4 Выводы по четвертой главе.

Глава 5. Автоматизация построения цифровых моделей рельефа и ортофото по результатам аэрокосмической съемки.

5.1 Общие понятия и термины.

5.2 Обзор методов построения ЦМР.

5.3 Способы дискретного представления поверхностей.

5.4 Проблемы, возникающие при стереоотождествлении.

5.4.1 Область поиска.

5.4.2 Уникальность эталона.

5.4.3 Начальные приближения.

5.4.4 Геометрические искажения образов.

5.4.5 Яркостные различия образов.

5.4.6 Ложные отождествления.

5.5 Выбор метода решения задачи стереоотождествления.

5.6 Корреляционное стереоотождествление с использованием пирамиды стереопар.

5.7 Представление результатов стереоотождествления.

5.8 Иерархическая стратегия построения ЦМР.

5.9 Получение ЦМР на регулярной сетке.

5.10 Результаты применения иерархической стратегии для создания ЦМР

5.11 Алгоритмы автоматической постобработки цифровых моделей рельефа

5.11.1 Фильтрация выбросов.

5.11.2 Сглаживание ЦМР.

5.11.3 Восполнение значений высот.

5.11.4 Метод ортофотокоррекции ЦМР.

5.12 Выводы по пятой главе.

Глава 6. Методы формирования цифровой модели поверхности и текстурного покрытия для типовых объектов по результатам наземной съемки.

6.1 Введение.

6.2 Особенности обработки данных наземной съемки.

6.2.1 Пространство аэрофотосъемки.

6.2.2 Пространство наземной съемки.

6.3 Автоматизированное построение ЦМП объекта.

6.3.1 Исходные данные для построения ЦМП.

6.3.2 Построение основных контуров объекта.

6.3.3 Формирование семантической пространственной модели объекта

6.3.4 Построение TIN поверхности объекта.

6.4 Создание текстурного покрытия объекта.

6.4.1 Определение видимости полигонов для различных точек съемки

6.4.2 Получение текстур по набору снимков.

6.4.3 Автоматическая постобработка текстур.

6.4.4 Результаты построения ЦМП и текстур здания по эскпериментальным данным.

6.5 Автоматическое построение ЦМП объекта.

6.5.1 Постановка задачи.

6.5.2 Построение геометрической модели объекта.

6.5.3 Поиск элементов фасада по цифровому эталону.

6.5.4 Результаты построения ЦМП и текстур здания по эскпериментальным данным.

6.6 Выводы по шестой главе.

Глава 7. Автоматизация построения цифровых моделей поверхности для уникальных объектов по результатам наземной съемки.

7.1 Введение.

7.2 Особенности наземной съемки, усложняющие обработку данных.

7.3 Исходные данные для построения ЦМП.

7.4 Построение и проверка ЦМП.

7.5 Иерархическая стратегия построения ЦМП.

7.6 Вероятностная релаксация ЦМП.

7.7 Выводы по седьмой главе.

Введение диссертации (часть автореферата) на тему «Разработка методов автоматизации фотограмметрических процессов на основе алгоритмов анализа и обработки изображений»

Актуальность проблемы. В течение последнего десятилетия потребность в трехмерных цифровых моделях местности (ЦММ) с точки зрения различных технических приложений возросла многократно и для этого есть ряд причин. Прежде всего, значительно расширилась функциональность и техническая база применения ставших уже традиционными географических информационных систем (ГИС) и систем виртуальной реальности. Но, видимо, качественные перемены в использовании ЦММ связаны с разработкой и реализацией нового поколения машин, беспилотных летательных аппаратов и наземных автономных роботов с элементами искусственного интеллекта, системы управления которых используют для ориентирования в окружающей среде алгоритмы распознавания на основе цифровых моделей реальных объектов. Еще одним классом систем, связанным с использованием ЦММ, являются быстро развивающиеся и чрезвычайно перспективные экспертные системы, предназначенные для обеспечения ситуационной осведомленности главным образом в чрезвычайных ситуациях и на поле боя. В то же время существенно изменились требования как к качеству моделей, так и к производительности технологий, применяемых для их производства. Этим объясняется возросшая актуальность разработки специальных алгоритмов и цифровых фотограмметрических систем для обработки данных различных видов съемки: космической, авиационной, наземной. Разнообразие объектов, цифровые модели которых востребованы в различных информационных системах, чрезвычайно велико, от рельефа земной поверхности до зданий городской застройки и отдельных объектов - элементов сцены. Наряду с различными типами серийных домов сюда входят уникальные исторические здания, а также неповторимые произведения искусства, такие, как барельефы и скульптуры. Многочисленные примеры применений такого рода моделей включают в себя детальное документирование, сохранение и воспроизведение материальных предметов культурного наследия, а также использование в образовательном процессе и виртуальном туризме. Автоматизированное построение цифровых моделей таких объектов на основе снимков и опорных данных является задачей и наукоемкой, и весьма актуальной. При этом предъявляются достаточно высокие требования к качеству цифровой модели. Понятие «качество» в данном случае включает в себя две составляющие: метрическую точность предлагаемых моделей архитектурных сооружений и фотографические свойства их текстур.

Основным средством создания ЦММ на основе данных дистанционного зондирования являются цифровые фотограмметрические станции (ЦФС). История их развития начинается с 80-х годов от простых аналогов аналитического плоттера. Современные ЦФС представляют собой гибкий и мощный инструмент, созданный на основе качественно новых технологий и алгоритмов. Развитие ЦФС связано с преодолением многих принципиальных трудностей, особенно в начальный его период. Главным разочарованием цифровой фотограмметрии этого периода являлась неудача в попытках автоматизации съемки отдельных классов объектов при огромных затратах на исследования в этой области. Появилось множество научных работ посвященных поиску искусственных и естественных объектов на цифровых изображениях, включая здания, дороги, мосты, и при этом очень малая их доля была признана пригодной для технологического использования. Однако необходимо отметить, что небывалый всплеск исследовательской активности этого периода привел к успеху в решении многих задач, которые можно было бы назвать вспомогательными: выделение краев, сегментирование областей, снейки, оконтуривание прямоугольников, связывание и утончение границ, обнаружение выбросов и др. В результате коммерческие ЦФС получили автоматизированные инструменты для измерения зданий, съемки контуров, измерения площадей и решения других полезных задач.

Серьезный анализ и правильная оценка результатов этого периода подготовили успехи следующего десятилетия, на протяжении которого были достигнуты большие успехи в области автоматизации основных фотограмметрических процессов: всех видов ориентирования, построении ЦМР, построении ортофото, съемке контуров. Как и ранее наибольшие трудности представляют такие задачи как анализ тонких особенностей рельефа в местах сильных перепадов и съемка контуров искусственных объектов, таких как дороги, здания, мосты и пр. Задачи этого типа по-прежнему являются вызовом для разработчиков алгоритмов и программ. Между тем сегодня в наиболее сложных проектах для достижения высочайшего качества моделей активно привлекаются материалы различных видов съемки: космической, авиационной, наземной. Как результат такого комплексного подхода возникли задачи разработки алгоритмов для автоматического анализа стереопар снимков, сделанных с широкого базиса, сложность которых заметно превышает аналогичные задачи случая плановой съемки. И, наконец, перспективные экспертные системы обеспечения ситуационной осведомленности являются постоянным источником новых сложных задач, в том числе задач экспресс обработки поступающих данных.

Значительный вклад в разработку методов и алгоритмов цифровой фотограмметрии внесли работы Журкина И.Г., Пяткина В.В., Гиммельфарба Г.Л., Гука А.П., Злобина В.К., Киреитова В.Р., Тюфлина Ю.С., Погорелова В.В., Желтова С.Ю., Чекалина В.Ф., Михайлова А.П., Чибуничева А.Г., а также У.Хелавы, Ф.Аккермана, Р.Харалика, Е.Дэвиса, Д.Триндера, Т.Шенка, А.Грюна, Р.Неватиа, Е.Дикманнса, В.Ферстнера и многих других отечественных и зарубежных ученых. Несмотря на уже достигнутый прогресс проблема автоматизации процессов цифровой фотограмметрии не теряет своей актуальности по причине чрезвычайно динамичного развития этой области информационных технологий и высокой сложности возникающих здесь научных и прикладных задач.

Цель работы состоит в разработке математических методов и алгоритмов, позволяющих осуществлять автоматизацию процессов в цифровых фотограмметрических системах. Практической целью работы является разработка принципов построения цифровых фотограмметрических систем и их реализация на основе созданной алгоритмической базы.

Для достижения цели исследований решаются следующие задачи:

- анализ существующих методов и алгоритмов цифровой фотограмметрии, связанных с обработкой изображений, исследования важнейших свойств этих методов с точки зрения разработки новых и модификации существующих алгоритмов, повышающих их эффективность;

- разработка автоматического метода измерений элементов разметки снимков с регулярным их расположением;

- разработка методов поиска и измерений информативных точек снимков, обеспечивающих их попарное соответствие;

- разработка метода, обеспечивающего автоматическое внешнее ориентирования снимков для опорной информации, представленной в виде цифровых эталонных описаний;

- разработка принципов построения эффективных методов стереоотождествления для произвольно выбранных или информативных точек изображений стереопары;

- разработка методов автоматизированного и автоматического построения моделей типовых зданий;

- создание программных комплексов для обработки произвольного числа стереопар снимков различной геометрии съемки.

Методы исследования: теоретические на основе методов компьютерного зрения, обработки изображений, цифровой фотограмметрии, математической статистики и теории вероятности, оптимизации, линейной алгебры.

Экспериментальные исследования проводились с использованием методов статистического моделирования на реальных цифровых изображениях, полученных различными камерами. Достоверность полученных результатов подтверждена на значительном объеме натурных данных, обработанных в реальных проектах.

Научная новизна диссертационной работы состоит в следующем:

1. Разработаны оригинальные процедуры контроля и отбраковки соответствующих точек изображений на основе пространственных метрических, топологических и стохастических фильтров.

2. Предложен способ выбора и измерения соответственных точек стереопары на основе выделения, описания и сопоставления контуров стереопары, в котором для устойчивого выделения контуров применяется стратегия комбинированного использования характеристик краев и областей изображения. Этот способ существенно повышает надежность отождествления соответственных точек, особенно при обработке малоконтрастных изображений.

3. Предложен оригинальный метод кодирования маркированных точек, который позволяет надежно сегментировать их на цифровом изображении, вычислять координаты центров с субпиксельной точностью и с высокой степенью достоверности определять уникальный номер, закодированный в структуре по принципу баркода. Симметричная структура круговых меток обеспечивает масштабно-угловую инвариантность алгоритмов распознавания, декодирования и определения координат центров этих меток.

4. Предложен новый автоматический метод внешнего ориентирования снимков, основанный на применении в качестве опорной информации трехмерных цифровых моделей деталей объекта съемки.

5. Разработаны новые иерархические методы стереоотождествления смешанного типа для произвольно выбранных и информативных точек изображений стереопары, благодаря которым достигается сочетание устойчивости алгоритмов с высокой скоростью генерации точек модели. Применение нерегулярных пирамид сеток позволяет строить оптимальное дискретное представление моделируемой поверхности с учетом ее локальной кривизны.

6. Разработана оригинальная методика контроля и отбраковки неверно отождествленных точек для регулярных и нерегулярных моделей поверхности.

7. Предложен оригинальный способ формального описания языкового типа для модели поверхности тела, ограниченной полигонами. Созданное формальное описание объекта может быть прочитано и интерпретировано автоматически при последующей алгоритмической обработке ЦМП объекта в процессе формирования его законченной модели.

8. Разработаны алгоритмы создания оптимизированного текстурного покрытия объекта наземной съемки с использованием полного набора снимков. Все операции полностью автоматизированы.

9. Создана новая методика автоматического формирования цифровых моделей типовых зданий на основе данных наземной фотосъемки, плана фундамента и некоторых дополнительных ограничений на форму здания. Составной частью методики является оригинальный метод поиска элементов фасада на основе комплексного цифрового эталона. Предложена масштабно-инвариантная модификация метода.

На защиту выносятся:

1. Методика выделения, признакового описания и отбраковки соответствующих точек изображений на основе комбинированного использования пространственных метрических, топологических и стохастических фильтров.

2. Метод автоматического внешнего ориентирования снимков, основанный на применении в качестве опорной информации трехмерных цифровых моделей деталей объекта съемки.

3. Принципы построения иерархической структуры методов стереоотождествления смешанного типа для произвольно выбранных или информативных точек изображений стереопары, позволивших значительно повысить как устойчивость алгоритмов, так и скорость генерации точек модели.

4. Методы автоматического контроля и отбраковки неверно отождествленных точек модели поверхности, построенной в результате стереоотождествления снимков, для регулярных и произвольных сеток.

5. Методика автоматизированного и автоматического построения цифровых моделей типовых зданий на основе данных наземной съемки и данных альтернативных источников.

6. Цифровые фотограмметрические системы, реализующие теоретические разработки автора по автоматизации фотограмметрических процессов при обработке данных космической, наземной и аэрофотосъемки. Практическая ценность. На основе разработанных методов и алгоритмов был создан ряд отдельных программных компонент, а также программных и программно-аппаратных комплексов, важнейшими из которых являются:

1. Цифровая фотограмметрическая система ZSpace 2.0 (космическая), предназначенная для ориентирования стереопар снимков, генерации цифровых моделей рельефа (ЦМР), создания ортофотопланов, а также съемки векторных контуров на основе стереопар космических снимков ТК-350 (или аэрофотоснимков).

2. Цифровая фотограмметрическая система Х8расе 3.0 (авиационная), предназначенная для выполнения блочной фототриангуляции снимков, генерации цифровых моделей рельефа (ЦМР), создания ортофотопланов, слияния нескольких ЦМР и ортофотопланов, а также съемки векторных контуров на основе блока аэрофотоснимков.

3. Цифровая фотограмметрическая система ZProx¡ma 1.0 (наземная), предназначенная для выполнения различных видов уравнивания фотограмметрической сети, построения трехмерных цифровых моделей объектов, а также автоматического текстурирования объектов на основе блока наземных фотоснимков и дополнительных геоданных. Созданное программно-алгоритмическое обеспечение позволило решить широкий круг практических задач, таких как:

1. Построение ЦМР и ортофотопланов для производства и обновления топографических карт масштаба 1:50000.

2. Производство высокореалистичных моделей местности для виртуальных авиационных тренажеров и систем синтезированного видения.

3. Создание массивов электронных данных о местности и препятствиях в зоне аэропортов.

4. Обеспечение возможности создания и оперативного использования геопространственной информации для повышения ситуационной осведомлённости на основе данных наземной и аэрофотосъемки.

5. Построение высокоточных локальных моделей рельефа местности на удалённые и недоступные районы суши Земного шара по материалам космического фотографирования.

6. Создание комплексных цифровых эталонных описаний типовых объектов для систем управления беспилотных летательных аппаратов и наземных автономных роботов с элементами искусственного интеллекта.

7. Организация процесса обучения технологии обработки российских космических снимков для отечественных и зарубежных студентов. Реализация результатов работы. Полученные теоретические и практические результаты использовались при проведении целого ряда научно-исследовательских и опытно-конструкторских работ, а также при выполнении контрактов, в частности:

НИР "Феникс-НТ", "Вертел", "Возбудитель-АС", "Стажер", ОКР "Падишах" и др. выполнявшихся по заказам Министерства обороны РФ в 1995-2010 г.г.

НИР "Информационные технологии 1996-2000", выполнявшихся по заказам Министерства экономики РФ, Минпромнауки РФ и в соответствии с президентской программой "Национальная технологическая база".

Контрактов с ЗАО "Совинформспутник" в 1999г. и ООО "Геокосмос ЗД" в 2004г.

Апробация работы. Основные результаты работы докладывались автором на следующих международных конференциях:

- На XI международном симпозиуме "Aerospace. Defense Sensing, Simulation, and Controls". Орландо, Флорида США, 1997;

- На международной научно-технической конференции, посвященной 220-летию со дня основания МИИГАиК, Москва, 1999;

- На XIX конгрессе ISPRS, - г. Амстердам, Голландия, 2000;

- На XX конгрессе ISPRS, - г. Стамбул, Турция, 2004;

- На II международной конференции по фотограмметрии V международного конгресса ГЕОМАТИКА 2007, Куба, Гавана, 2007;

- На XXI конгрессе ISPRS, - г. Пекин, Китай, 2008.

- На международной научно-технической конференции, посвященной 230-летию со дня основания МИИГАиК, Москва, 2009;

- На международной научно-технической конференции "Искусственный интеллект. Интеллектуальные системы. ИИ-2011", Украина, Крым, Кацивели, 2011. а также на всероссийских конференциях:

- научно-технической конференции-семинаре «Техническое зрение в системах управления мобильными объектами», Таруса, 2010;

- Всероссийской научно-технической конференции «Моделирование авиационных систем», Москва, 2011.

Публикации. Содержание диссертации опубликовано в 28 статьях и докладах, основные из которых приведены в списке литературы. Практические приложения содержатся в ряде научных-технических отчетов, выполненных под руководством и при непосредственном участии автора, а также подтверждаются тремя свидетельствами о государственной регистрации программы для ЭВМ.

Содержание. Диссертация состоит из семи глав. В первой главе рассматривается текущее состояние технологий создания реалистичных трехмерных моделей местностей, а также их место и возможности применения в современной технике. Проанализировано развитие цифровых фотограмметрических систем (ЦФС), показано, что современные требования к производительности и точности фотограмметрических измерений делают задачу автоматизации ЦФС важнейшей в рассматриваемой области. Обсуждаются перспективы развития цифровой фотограмметрии в свете тех достижений и тенденций, которые показывает развитие техники, в том числе авиационной, на сегодняшний день.

Во второй главе излагается метод учета и коррекции искажений в космических снимках ТК-350 и в некоторых аэроснимках с помощью алгоритмов автоматического поиска крестов.

Третья глава посвящена разработке методики автоматической генерации связующих точек для стереопар снимков, отличающихся по условиям съемки и содержанию изображенных сцен. Методика включает в себя методы выделения характерных особенностей изображения, а также алгоритмы последующего анализа и обработки, которые позволяют на их основе сгенерировать конечный набор связующих точек, удовлетворяющий ряду дополнительных условий. Рассмотрены три вида особенностей: точки, контуры и области.

Четвертая глава посвящена решению проблемы распознавания опорных точек для внешнего ориентирования снимков на основе их эталонных описаний (ЭО). Рассмотрены ЭО двух типов: кодированные метки и трехмерные цифровые модели деталей сцены.

В пятой главе рассмотрены основные задачи, возникающие при стереоотождествлении точек изображений аэрокосмических снимков. Изложены новые методы иерархического стереоотождесгвления, автоматической постобработки ЦМР и тонкой коррекции ЦМР. На множестве реальных данных показана высокая эффективность предложенных алгоритмов и качество получаемых результатов.

В шестой главе излагаются вопросы разработки методов автоматизированного создания цифровых моделей типовых зданий на основе данных наземной фотосъемки и некоторых дополнительных данных. Предложены автоматизированная и автоматическая методики формирования цифровой модели поверхности и текстурного покрытия объекта.

В седьмой плаве представлена разработка методов автоматического построения дискретной цифровой модели поверхности по стереопарам снимков, полученных способом наземной съемки. Рассмотрен и решен ряд задач стереоотождесгвления с учетом особенностей этого вида съемки, которые необходимо учитывать при проектировании алгоритмов автоматической обработки данных. Особое внимание уделяется новой иерархической стратегии построения ЦМП с использованием пирамиды нерегулярных сеток и процедура глобального стереоотождесгвления на основе вероятностной релаксации.

В заключительном разделе сформулированы основные результаты и выводы.

Заключение диссертации по теме «Аэрокосмические исследования земли, фотограмметрия», Блохинов, Юрий Борисович

7.7 Выводы по седьмой главе

В данной главе представлена разработка методов автоматического построения дискретной цифровой модели поверхности по стереопарам снимков, полученных способом наземной съемки. Особенности, присущие этому способу съемки в отличие от аэро-космосъемки, а также объектам, к которым он применяется, приводят, как правило, к принципиальным трудностям в процессе автоматической обработки данных и восстановления формы поверхности. В процессе разработки были решены следующие задачи:

- Проведен анализ существенных особенностей обработки данных наземной съемки, которые необходимо учитывать при проектировании алгоритмов автоматического отождествления точек.

- Представленный метод стереоотождествления является развитием классического корреляционного метода, в качестве узловых точек выбираются точки интереса. Поскольку для рассматриваемых исходных данных характерно отсутствие четких текстур, наличие больших искажений фрагментов изображения и большая глубина сцены, необходима постобработка полученной нерегулярной ЦМП с целью отбраковки выбросов. С этой целью разработаны пространственные фильтры, принцип работы которых связан с учетом ограничений на расположение соседних узлов сетки.

- Предложена новая иерархическая стратегия построения ЦМП, основанная на применении пирамиды нерегулярных сеток. Фо рмы и текстуры поверхностей объектов таковы, что применение регулярных сеток нецелесообразно, а иногда просто невозможно. Применение комбинации разных операторов интереса и разных типов исходных примитивов позволяет максимально использовать информативные зоны снимков и создавать в этих зонах сетки высокой плотности. Рассмотрены различные стратегии сгущения при переходе на следующий уровень пирамиды.

- На основе вероятностной релаксации реализована процедура глобального стереоотождествления. Показано, что одновременный учет индивидуальной меры сходства отдельных точек и поправки за счет влияния соседних областей заметно улучшают качество ЦМП. Показано также, что все точки сгущения за счет релаксации имеют низкий коэффициент корреляции и без привлечения контекстной поддержки со стороны окружения не могут быть надежно идентифицированы. Можно сделать вывод, что это главное отличие от стереоотождествления изображений аэро-космосъемки, где локальные методы позволяют получать хороший результат.

Разработанные алгоритмы иерархического стереоотождествления и автоматической постобработки ЦМП были реализованы в цифровой фотограмметрической системе 2Ргох1та 1.0.

Цифровая фотограмметрическая система 7Ргох1та 1.0 была разработана для выполнения различных видов уравнивания фотограмметрической сети, построения трехмерных цифровых моделей объектов, а также автоматического текстурирования объектов на основе блока наземных фотоснимков и дополнительных геоданных. В ходе создания алгоритмов стереоотождествления и постобработки ЦМП были учтены все специфические особенности данных наземной фотосъемки, обуславливающие повышенную сложность автоматизации этих процессов по сравнению с аналогичными задачами плановой аэро-космосъемки.

Заключение

Диссертационная работа посвящена разработке методов автоматизации фотограмметрических процессов на основе алгоритмов анализа и обработки изображений. В результате выполненных исследований получены следующие основные результаты:

1. Проведен анализ существующих методов и алгоритмов цифровой фотограмметрии, связанных с анализом и обработкой изображений, исследованы важнейшие свойства этих методов с точки зрения разработки новых и модификации существующих алгоритмов, повышающих их эффективность.

2. Разработан метод автоматических измерений элементов разметки снимков с регулярным их расположением. Метод обладает следующими отличительными особенностями:

- специальная предобработка изображения определяет устойчивость алгоритма поиска по отношению к световым бликам;

- проверка результатов поиска в соответствии с оригинальным критерием обеспечивает отбраковку ложных максимумов;

- измерение положения крестов с субпиксельной точностью на основе оригинального алгоритма.

3. Разработана методика автоматической генерации связующих точек для стереопар снимков, отличающихся по условиям съемки и содержанию изображенных сцен. Методика включает в себя методы выделения характерных особенностей изображения, а также алгоритмы последующего анализа и обработки, которые позволяют на их основе сгенерировать конечный набор связующих точек, удовлетворяющий ряду дополнительных условий. Для решения этой задачи:

- проведен сравнительный анализ и выбор операторов интереса и дескрипторов для различных классов задач в зависимости от геометрических и фотометрических характеристик стереопар;

- созданы оригинальные процедуры контроля и отбраковки неправильно выбранных соответствующих точек и обоснована целесообразность их использования для разных типов стереопар;

- обосновано использование разработанной методики в системах аэрокосмической и наземной фотограмметрии;

- разработан оригинальный метод выделения замкнутых контуров, использующий совместно характеристики краев и областей, что позволяет сформировать набор достаточно стабильных и четких контуров стереопары;

- построена процедура отождествления контуров методом динамического программирования обеспечивающая наилучшее соответствие путем сравнения «многие ко многим» и инвариантная по отношению к масштабу и поворотам;

- предложен новый способ выбора и измерения соответственных точек стереопары на основе выделения, описания и сопоставления контуров стереопары.

4. Предложены оригинальные кодированные метки специальной структуры, которая позволяет надежно сегментировать их на цифровом изображении, вычислять координаты центров с субпиксельной точностью и с высокой степенью достоверности определять уникальный номер, закодированный в структуре по принципу баркода. Симметричная структура обеспечивает масштабно-угловую инвариантность алгоритмов распознавания, декодирования и определения координат центров этих меток.

5. Предложен новый автоматический метод внешнего ориентирования снимков, основанный на применении в качестве опорной информации трехмерных цифровых моделей деталей объекта съемки.

6. На основе классического корреляционного подхода разработан новый иерархический метод стереоотождествления, использующий пирамиды регулярных сеток и позволяющий сочетать устойчивость алгоритмов по отношению к ошибкам начального приближения с высокой скоростью генерации точек модели. Метод обладает следующими преимуществами:

- выбор начального приближения, а также выявление и коррекция ошибок стереоотождествления на каждом уровне пирамиды производится автоматически;

- разработан ряд оригинальных методов автоматической постобработки ЦМР с целью отбраковки выбросов и коррекции значений высот;

- реализован метод итеративного ортофото, улучшающий точность и уменьшающий объем последующего редактирования ЦМР.

Метод предназначен для обработки космических и аэрофотоснимков.

Разработан новый иерархический метод стереоотождествления, использующий пирамиды нерегулярных сеток и использующий в качестве узловых точки интереса изображений. Метод имеет следующие отличительные черты:

- с точки зрения используемых примитивов изображения стереоотождествление принадлежит к смешанному типу, поскольку использует технику площадной корреляции и технику точечных особенностей;

- предложена оригинальная иерархическая стратегия построения ЦМП, основанная на применении пирамиды нерегулярных сеток, при этом применение комбинации разных операторов интереса дает возможность максимально использовать информативные зоны снимков и создавать в этих зонах сетки высокой плотности;

- разработан набор пространственных фильтров, осуществляющих постобработку полученной нерегулярной ЦМП с целью отбраковки выбросов;

- на основе вероятностной релаксации реализована процедура глобального стереоотождествления, позволяющая включить в сгущение ЦМП точки с низким коэффициентом корреляции, которые без привлечения пространственной поддержки со стороны окружения не могут быть надежно отождествлены. Метод предназначен для обработки данных наземной съемки.

8. Разработана методика автоматизированного создания цифровых моделей типовых зданий, сочетающих в себе высокую метрическую точность геометрической модели и фотографическое качество текстур на основе материалов наземной фотосъемки и опорных данных. Для этого были решены следующие задачи:

- предложен оригинальный способ формального описания языкового типа для модели поверхности тела, ограниченной полигонами; созданное описание объекта может быть прочитано и интерпретировано при последующем автоматическом построении TIN ЦМП;

- разработаны алгоритмы создания текстурного покрытия объекта, осуществляющие автоматический выбор наилучшей текстуры из имеющихся снимков, а также последующую геометрическую и фотометрическую коррекцию текстур.

9. Разработана методика автоматического создания цифровых моделей типовых зданий с использованием дополнительных данных и ограничений на форму сооружения. Для этого были дополнительно решены следующие задачи:

- разработан метод локализации прямолинейных элементов здания на изображениях (модифицированный метод Хафа с предварительной сегментацией) и выделения среди них ребер ограничивающих стены;

- разработан метод определения положения ребер здания в пространстве, включая уточнение положения нижних и верхних рёбер стен и последующее уточнение координат плана, использующий избыточность числа снимков;

- разработан метод поиска типовых элементов фасада на основе комплексного цифрового эталона; показано, что предложенная процедура может рассматриваться как вариант обобщенного метода Хафа.

В отличие от классической построенная методика основана на работе с одиночными снимками, что приводит к упрощению отдельных процессов и более легкой их автоматизации.

10.Созданы программные комплексы для фотограмметрической обработки стереопар снимков различных типов съемки: космической, авиационной и наземной.

Список литературы диссертационного исследования доктор технических наук Блохинов, Юрий Борисович, 2011 год

1. В.Г. Аковецкий Аэрокосмический мониторинг месторождений нефти и газа - М.: ООО «Недра-Бизнесцентр», 2008 г., 454 с.

2. Баринова О., Вежневец А."Выделение связных областей в цветных и полутоновых изображениях"- Графика и Мультимедиа, cgm.graphicon.ru. 2006

3. Блохин H.A. Стереофотограмметрическая наземная съемка. M.-JL: ОНТИНКТП, 1937, -382с.

4. Блохинов Ю.Б. Алгоритмы формирования цифровой модели поверхности и текстурного покрытия в наземной фотограмметрии. Известия РАН, Теория и системы управления, №1, 2011, с. 51-57.

5. Блохинов Ю.Б. Методы автоматической постобработки ЦМР Изв. ВУЗов. Геодезия и аэрофотосъемка. 2011. №2. С.61-67.

6. Блохинов Ю.Б. Автоматизация взаимного ориентирования цифровых снимков на основе алгоритмов машинного зрения Изв. РАН. ТиСУ. 2010. №6. С.152-163.

7. Блохинов Ю.Б., Веркеенко М.С. Алгоритмы формирования видеореалистичных текстур по данным наземной фотосъемки. Известия ВУЗов. Геодезия и аэрофотосъемка, №5, 2010, с. 44-49.

8. Блохинов Ю.Б., Горбачев В.А. Привязка наземных объектов на аэрофото-снимках на основе анализа контуров Изв. РАН. ТИСУ, 2011. №5. С.66-77.

9. Ю.Блохинов Ю.Б., Грибов Д.А. Приматов Б.Н. Скрябин C.B. Шашов Ю.Ю. Решение задачи автоматической калибровки цифровых камер на основе использования кольцевых кодированных меток Изв. ВУЗов. Геодезия и аэрофотосъемка. 2009. №2. С. 104-109.

10. П.Блохинов Ю.Б., Грибов Д.А., Чернявский A.C. Задача привязки изображений для некоторых случаев ракурсной фотосъемки Изв. РАН. ТИСУ, 2008. №6. С. 129-143.

11. Гнилицкий В.В., Инсаров В.В., Чернявский A.C. Алгоритмы принятия решения в задаче селекции объектов на изображениях наземных сцен. Известия РАН, Теория и системы управления, №6, 2010, с. 143-151.

12. И.Гонсалес Р., Вудз Р., Цифровая обработка изображений, М.: Техносфера, 2005. 1072 с.

13. Гук А.П. Развитие фотограмметрических технологий на основе имманентных свойств цифровых снимков. Геодезия и картография. 2007. № 12. С. 26-29.

14. Гук А.П., Йехиа Х.М.Х. Автоматический выбор и идентификация характерных точек на разновременных разномасштабных аэрокосмических снимках. Известия высших учебных заведений. Геодезия и аэрофотосъемка. 2010. №2. С. 63-68.

15. Гук А.П., Лазерко М.М. Разработка методик создания 3d моделей по аэрокосмическим снимкам высокого и сверхвысокого разрешения и другим данным дистанционного зондирования. Известия высших учебных заведений. Геодезия и аэрофотосъемка. 2011. № 2. С. 32-34.

16. Журкин И.Г. Автоматизация фотограмметрических процессов при составлении карт по аэрокосмическим снимкам. Диссертация на соискание ученой степепни доктора технических наук. М., 1975.

17. Журкин И.Г. Прямой способ определения элементов внешнего и внутреннего ориентирования снимков. Изв. вузов «Геодезия и аэрофотосъемка», 1979, №5, с.59-64.

18. Журкин И.Г., Волкович Е.В., Жигалов К.Ю. Обновление картографического материала с помощью данных, полученных методом лазерной локации. Геодезия и картография. 2007. № 5. С. 35-37.

19. Журкин И.Г., Андреева H.JI. Технология коррекции систематических ошибок в координатах точек планово-высотной подготовки. Известия высших учебных заведений. Геодезия и аэрофотосъемка. 2010. № 4. С. 5557.

20. Иванов Д.В., Хропов A.A., Кузьмин Е.П., Карпов A.C., Лемпицкий B.C. Алгоритмические основы растровой графики -http://www.intuit.ru/departmentygraphics/rastrgraph/, 2007.

21. Инсаров В. В. Структурно-лингвистический алгоритм обработки изображений и распознавания образов наземных сцен в системе наведения летательного аппарата. Известия Академии Наук, ТИСУ, 2004, №1, с. 145154.

22. Кормен Т., Лейзерсон Ч., Ривест Р. и др. Алгоритмы: построение и анализ / Под ред. И. В. Красикова. 2-е изд. М.: Вильяме, 2005. 1296 с.

23. Лобанов А.Н. Фотограмметрия. М.: Недра, 1984, 552с.

24. Лобанов А.Н. Фототопография, наземная фотограмметрическая съемка. М.: Недра, 1968, -267с.

25. Лобанов А.Н., Журкин И.Г. Автоматизация фотограмметрических процессов М., Недра, 1980, 240с.

26. Павлидис Т. Алгоритмы машинной графики и обработки изображений: Пер. с анг. М.: Радио и связь, 1986, 400с.

27. Погорелов В. В., Сухов А. А., «Построение двухкадровой фототриангуляции с использованием метода самокалибровки», «Геодезия и картография», 1997г., № 10, стр. 27-30

28. Препарата Ф., Шеймос М. Вычислительная геометрия. М.: Мир, 1989, 478с.

29. Приматов Б.Н., Скрябин C.B. Автоматический алгоритм поиска положений впечатанных крестов с субпиксельной точностью Известия высших учебных заведений. Геодезия и аэрофотосъемка, М., №4, 2009, стр. 56-60.

30. Прэтт У. Цифровая обработка изображений Т.2. М.: Мир, 1982. 480 с.

31. Службы аэронавигационной информации. Международные стандарты и рекомендуемая практика. Приложение 15 к Конвенции о международной гражданской авиации. МОГА, Изд. 12-ое, 2004. 105с.

32. Скворцов A.B. Триангуляция Делоне и ее применения. Томск: Изд-во Том. Ун-та, 2002, - 128с.

33. Чибуничев А. Г., «Алгоритмы измерений маркированных точек по цифровым изображениям», Изв. вузов. Геодезия и аэрофотосъемка, № 3, 1992 г., стр. 102-109.

34. Зб.Чибуничев А. Г., Шимаханова Т. М., «Исследование точности определения координат маркированных точек по цифровым изображениям», Изв. вузов. Геодезия и аэрофотосъемка, № 5-6, 1993 г., стр. 118-123.

35. Шапиро JI., Стокман Дж. Компьютерное зрение БИНОМ, Москва, 2006., 752с.

36. Шикин A.B., Боресков Е.В., Компьютерная графика. Полигональные модели., Диалог МИФИ, 2005.

37. Ярославский Л.П. Цифровая обработка сигналов в оптике и голографии: Введение в цифровую оптику. М.: Радио и связь, 1987, с.296. 5.12

38. Ackerman F. High precision digital image correlation. IPSUS, 1984, №

39. Agnello F., Brutto M. L. Integrated Surveying Techniques in Cultural Heritage Documentation ISPRS International Workshop 3D-ARCH 2007 3D Virtual Reconstruction and Visualization of Complex Architectures ETH. Zurich, Switzerland, 2007. P. 141-147.

40. Ahn S. J., Schultes M. A new circlular coded target for the automation of photogrammetric 3d-surface measurements -Optical 3-D. Meashurement Techniques IV. 1997.

41. Ayache N., Faverjon B. Efficient registration of stereo images by matching graph description of edge segments, IJCV, Vol.1, No.2, 107-131, 1987.

42. D. Badouel "An Efficient Ray-Polygon Intersection"- Graphics Gems, San Diego, 1990.

43. Ballard D. H. Generalizing the Hough Transform to detect arbitrary shapes Pattern Recognition, 1981. V.13. N.2. P. 111-122.

44. Bertram S. The UNAMAGE and the automatic photomapper. Photogrammetric Engineering.

45. Blokhinov Y., Gribov D. A new approach to automatic junction of overlapping aerial imagery data XXth ISPRS Congr. Istanbul. Turkey, 2004. V. XXXV. Part B3. P. 179-183.

46. Blokhinov Y., Gribov D., Zheltov S. An automatic contour based detection of terrestrial objects from aerial imagery data XXIth ISPRS Congr. Beijing. China. 2008. V. XXXVII. Part B3. P. 413-419.

47. Blokhinov Y.B., Sibiryakov A.V., Skryabin S.V. ZSpace digital photogrammetric system for Russian TK-350 images, XIX Congress of the ISPRS, Vol. XXXIII, Part B2, Com.II, Amsterdam, 2000, pp. 81-90.

48. Davis E.R. Machine Vision, Amsterdam: Elsevier, 2005.

49. Davis J., Sharma V. Background-subtraction using contour-based fusion of thermal and visible imagery Computer Vision and Image Understanding. 2007. V. 106. P. 162-182.

50. Dreschler L., Nagel H. On the Selection of Critical Points and Local Curvature extrema of Region Boundaries for Interframe Matching Proc. of ICPR, 1982. P. 542-544.

51. El-Hakim S.F., Beraldin J.A., Picard M. et al. Detailed 3D Reconstruction of Large-scale Heritage Sites with Integrated Techniques IEEE Computer Graphics & Applications. 2004. V.23. Pt 3. P. 21-29.

52. El-Hakim S.F., Gonzo L., Girardi S. et al. Photo-realistic 3D Reconstruction of Castles with Multiple-source Image-based Techniques XXth ISPRS Congress. Istanbul, Turkey, 2004. V.34. Pt 5. P. 120-125.

53. El-Hakim S., Gonzo L., Voltolini F. et al. Detailed 3D Modelling of Castles International Journal of Architectural Computing. 2007. V.5. Pt. 2. P. 199-220.

54. Ferrari V., Tuytelaars T., Van Gool L. Wide-baseline multiple view correspondences IEEE Conf. on Computer Vision and Pattern Recognition (CVPR). Madison, USA, 2003.

55. Fischler M. A., Bolles R. C. Random Sample Consensus: A paradigm for model fitting with applications to image analysis and automated cartography -Comm. ofthe ACM. 1981. V. 24. P. 381-395.

56. Flusser J. On the Independence of Rotation Moment Invariants Pattern Recognition. 2000. V. 33. P. 1405-1410.

57. Foerstner W. A feature based correspondence algorithm for image matching ISPRS Commision III Symp. V.26-3/3. Rovaniemi. Finland. 1986. P. 150166.

58. Foerstner W., Gulch E. A fast operator for detection and precise location of distinct points, corners and centres of circular features ISPRS Intercommission Conf. on Fast Processing of Photogrammetric Data. Interlaken, 1987. P. 281305.

59. Fung P.F., Lee W.S. King I. Randomized Generalized Hough Transform for 2-D grayscale object detection Proc. of the 13th Int. Conf. on Pattern Recognition. V.2. Vienna, Austria, 1996. P. 511 - 515.

60. Goshtasby A., Page K. Image Matching by a Probabilistic Relaxation Labeling Process Proc.7-th Int. Conf. Pattern Recognition. Montreal, Canada, 1984. V.l. P. 307-309.

61. Grimson W., 1983, An implementation of a computational theory of visual surface interpolation, Computer Vision, Graphics and Image Processing, 22, pp.39-69.

62. Gruen A. Digital photogrammetric stations revisited International Archives of Photogrammetry and Remote Sensing, Vol.XXXI, P.B2, Vienna, 1996, pp.127-134.

63. Gruen A., Baltsavias E. Adaptive least squares correlation with geometrical constraints. SPIE, 1985, vol. 595.

64. Gruen A., Baltsavias E. Geometrically constrained multiphoto matching, -PERS, 1988, vol. №5.

65. Haber E., Modersitzki J. Intensity gradient based registration and fusion of multi-modal images, International Conference on Medical Image Computing and Computer-Assisted Intervention, vol. 9, pp. 726-733, 2006.

66. Handbook of Discrete and Computational Geometry ed. by Jacob E.Goodman, Jozeph O'Rourke, CRC Press, Boca Raton, New York, 1997, 955p.

67. Harris C.G., Stephens M.J. Combined Corner and Edge Detector Proc. Fourth Alvey Vision Conf. Manchester. 1988. P. 147-151.

68. Hartley R., Zisserman A. Multiple View Geometry in Computer Vision. Cambridge University Press, 2004. 672c.

69. Heipke C. State-of-the-art of digital photogrammetric workstations for topographic applications Photogrammetric Engineering and Remote Sensing. Vol.61, No.l, 1995, pp.49-56.

70. Heipke C. Automation of interior, relative and absolute orientation The International Archives of the Photogrammetry and Remote Sensing. Vienna. 1996. V. XXXI. Part B3. P. 297-311.

71. Hill F., The Pleasures of 'Perp Dot' Products Graphics Gems IV, San Diego, 1994.

72. Hu M. K. Visual pattern recognition by moment invariants IRE Trans. Inform. Theory. 1962. V. 8. P. 179-187.

73. Insarov V.V., Fedosov E.A., Sebriakov G.G. High-precision navigation and guidance systems of aerial vehicles is the use of computer vision technologies 16th IF AC Symposium on automatic Control in Aerospace, Preprints, Vol. 11,2004, pp.27-33.

74. Kersten T., Pardo C.A., Lindstaedt M. 3D Acquisition Modelling and Visualisation of North German Castles by Digital Architectural Photogrammetry XXth ISPRS Congress. Istanbul, Turkey, 2004. V.34. Pt 5. P. 126-131.

75. Kitchen L., Rosenfeld A. Gray-level corner detection Pattern Recognition Letters. 1982. Vol.1. P. 95-102.

76. Lemmens M. Digital photogrammetric workstations GIM International, 2007, Volume 21, Issue 12, pp. 22-25.

77. Levine M.D., O'Handley D.A., Yagi G.M. Computer Determination of Depth Maps, Computer Graphics and Image Processing, Vol.2, No.2, pp. 131150, 1973.

78. Lingua A., Marenchino D., Nex F. Automatic Digital Surface Model (DSM) generation procedure from images acquired by Unmanned Aerial Systems (UASs) RevCAD J. of Geodesy and Cadastre. 2009. P. 53-64.

79. Lue Y. Interest Operator and Fast Implementation Int. Arch. Photogrammetry Remote Sens., V. 27, No. 3, 1988. P. 491-500.

80. Mayer H., Reznik S. MCMC linked with implicit shape models and plane sweeping for 3D building facade interpretation in image sequences. Proc. ISPRS Congress 2008.

81. Moller T., Trumbore B. Fast, minimum storage ray-triangle intersection -Journal of Graphics Tools. 1997. V. 2(1) P. 21-28.

82. Moravec H. Rover visual obstacle avoidance Internat. Joint Conf. on Artificial Intelligence. Vancouver, Canada, 1981. P. 785-790.

83. Mori K., Kikode M., Asada H. An iterative prediction and correction method for automatic stereocomparison. Computer Graphics and Image Processing, Vol.2, No.3,4„ pp 393-401, 1973.

84. Pal N., Pal S. A review on image segmentation techniques Pattern Recognition. 1993. V.26. P. 1277-1294.

85. Parzen E. On estimation of a probability density function and mode. Annals of Mathematical Statistics №33, p.1065-1076.

86. Price K.E. Relaxation techniques for matching. Minutes of the Workshop of Image Matching, September 9-11, Stuttgart University, Germany.

87. Quam L.H., Strat T. SRI image understanding research in cartographic feature extraction. Digital Photogrammetric Stations, Wichmann Verlag, Karlsruhe, 1991, pp.111-121.

88. Remondino F., El-Hakim S., Gruen A. et al. Turning Images into 3-D Models IEEE Signal Processing Magazine. 2008, July. P. 55-64.

89. Remondino F., Zhang L. Surface Reconstruction Algorithms for Detailed Close-range Object Modelling IAPRS&SIS. Bonn, Germany. 2006. V.36. Pt 3.P. 117-121.

90. Rosin M. A note on the least squares fitting of ellipses Pattern Recognition Letters, Volume 14 , Issue 10. 1993.

91. Schenk T. Digital Photogrammetry. Dayton: TerraScience, V.l, 1999.

92. Schenk A.F., 1989, Determination of DEM Using Iteratively Rectified Images, Photogrammetry Technical Report No.3, Department of Geodetic Science and Surveying, The Ohio State University, Columbus, Ohio.

93. Schickler W., Poth Z., 1996, The automatic interior orientation and its daily use, International Atchives of Photogrammetry and Remote Sensing, vol. XXXI, Part B3, Vienna, pp.746-751.

94. Shi J., Malik J. Normalized Cuts and Image Segmentation IEEE Trans, on pattern analysis and machine intelligence. 2000. V. 22. N. 8. P. 888-905.

95. Strassenburg-Kleciak M. Photogrammetry and 3D Car Navigation 51st Photogrammetric Week, September, 3 - 7, Stuttgart, 2007, pp.309-314.

96. Walker S. Digital photogrammetric workstations 1992-96 International Archives of Photogrammetry and Remote Sensing, Vol.XXXI, P.B2, Vienna, 1996, pp.384-395.

97. Walker S. New features in SOCET SET 51st Photogrammetric Week, September, 3 - 7, Stuttgart, 2007, pp.35-40.

98. Weeks A. R. Fundamentals of Electronic Image Processing New York: SPIE Optical Engineering Press, 1996.

99. Zang L. Automatic Digital Surface Model Generation from Linear Array Images-DISS. ETHNO. 16078. Zurich, 2005. 219p.