Алгоритмы совмещения разнородных изображений в бортовых системах визуализации тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат наук Герман, Елена Владимировна

• Герман, Елена Владимировна
• кандидат наук
• 2014

Оглавление диссертации кандидат наук Герман, Елена Владимировна

СОДЕРЖАНИЕ

ВВЕДЕНИЕ

1 ОБЗОР И АНАЛИЗ МЕТОДОВ СОВМЕЩЕНИЯ ИЗОБРАЖЕНИЙ И ВЫДЕЛЕНИЯ ГРАНИЦ

1.1 Особенности задачи совмещения информации в СТЗ ЛА

1.2 Реализация решения задачи совмещения изображений в современных системах

1.3 Обзор методов совмещения

1.3.1 Обзор и анализ некорреляционных методов совмещения изображений

1.3.2 Детекторы точек

1.3.3 Детекторы контуров

1.3.4 Алгоритмы принятия решения о соответствии определённой пары «особенностей» ТИ и ЭИ

1.4 Обзор методов выделения границ на изображении

1.4.1 Методы выделения границ (краев) первого порядка

1.4.2 Методы выделения границ (краев) второго порядка

1.4.3 Метод выделения границ Канни

1.5 Методы скелетизации (утоньшения)

1.5.1 Метод Щепина

1.5.2 Алгоритм Зонга-Суня

1.5.3 Шаблонный метод

1.5.4 Волновой метод

Основные результаты

Постановка задачи исследований

2 ЭТАПЫ РЕШЕНИЯ ЗАДАЧИ ВЫДЕЛЕНИЯ ГРАНИЦ ОБЪЕКТОВ

2.1 Разработка алгоритма выделения границ объектов подстилающей

поверхности

2.1.1 Адаптация по удаленности

2.1.2 Применение методов математической морфологии для поиска границ объектов

2.2 Модификация алгоритма разметки границ объектов бинарного изображения

2.3 Проверка границ

2.4 Схема алгоритма выделения границ объектов подстилающей поверхности

2.5 Оценка трудоемкости этапов выделения границ объектов

2.6 Исследование алгоритма выделения границ объектов подстилающей поверхности

2.7 Исследование устойчивости алгоритма выделения объектов к аддитивному гауссову шуму

Основные результаты

3 РАЗРАБОТКА АЛГОРИТМА СОВМЕЩЕНИЯ ИЗОБРАЖЕНИЙ РАЗЛИЧНОЙ ПРИРОДЫ

3.1 Методика определения зоны наблюдения летательного аппарата

3.1.1 Математическая модель формирования неискаженного изображения

3.1.2 Математическая модель и исследование параметров изображения с учетом ошибок

3.2 Совмещение разнородных изображений в СТЗ ЛА

3.2.1 Постановка задачи совмещения изображений в СТЗ ЛА

3.2.2 Получение границ на модельном изображении

3.2.3 Оценка целевой функции

3.2.4 Схема алгоритма совмещения

3.3 Анализ трудоемкости алгоритма совмещения изображений

3.4 Исследование влияния различных координат на формирование результирующей зоны неопределенности

3.5 Исследование неравномерной сетки перебора с учетом нормального

закона распределения погрешностей

3

3.6 Критерии сравнения алгоритмов совмещения изображений

3.7 Сравнение алгоритмов совмещения изображений

Основные результаты

4 ПРОГРАММНЫЙ СТЕНД ДЛЯ ИССЛЕДОВАНИЯ И АПРОБАЦИИ АЛГОРИТМОВ

4.1 Проектирование программного стенда

4.2 Подготовка исходных данных для проведения экспериментов

4.3 Оценка возможности аппаратной реализации предлагаемых алгоритмов

4.4 Экспериментальная проверка предлагаемых алгоритмов выделения особенностей и совмещения изображений

4.4.1 Цель проведения экспериментальных исследований алгоритмов

4.4.2 Методика испытаний

4.4.3 Входные и выходные данные для проведения исследований

4.4.4 Результаты испытаний

Основные результаты

ЗАКЛЮЧЕНИЕ

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

ПРИЛОЖЕНИЕ

ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ

CVS - combined vision system (система комбинированного видения)

EFVS - enhanced flight visual system

ESVS - enhanced synthetic vision systems (системы улучшенного и

синтезированного видения)

EVS - enhanced vision systems systems (система улучшенного

видения)

GPU - graphics processing unit

BMM - виртуальная модель местности

ГРПЗ - Государственный Рязанский приборный завод

JIA - летательный аппарат

МИ - модельное изображение

НС - неравномерная сетка

ПЛИС - программируемая логическая интегральная схема

ПО - программное обеспечение

ПП - полный перебор

РЛИ - радиолокационное изображение

СТЗ - система технического зрения

ТВ - телевизионное (изображение)

ТЗ - техническое задание

ТИ - текущее изображение

ТПВ - тепловизионное (изображение)

ЦКИ - цифровое картографическое изображение

ЦКМ - цифровая карта местности

Введение диссертации (часть автореферата) на тему «Алгоритмы совмещения разнородных изображений в бортовых системах визуализации»

ВВЕДЕНИЕ

Актуальность работы. Проблема создания систем комбинированного видения в настоящее время занимает одно из ведущих мест в развитии как отечественной, так и зарубежной авионики. С ней связан ряд задач обработки изображений в системах технического зрения, включая сопоставление ориентиров и ориентацию, привязку изображений к ортофотопланам, обнаружение и сопровождение целей, построение панорам и др.

В последние десятилетия произошел значительный рост вычислительной мощности бортовых вычислительных машин летательных аппаратов, благодаря чему в настоящее время появилась возможность решения на борту все более трудоемких в вычислительном плане задач, в частности — задач обработки изображений в системах технического зрения.

Изображения закабинной обстановки являются одним из наиболее доступных и широко используемых источников информации для пилотов, в связи с чем встает вопрос решения класса задач, связанных с получением и обработкой данного типа информации. Таким образом, задача совмещения изображений на сегодняшний день является актуальной.

Задача совмещения изображений разной природы, в частности полученных от сенсоров технического зрения (СТЗ) и виртуальной модели местности (ВММ), имеет ряд особенностей, не позволяющих применить для ее решения многие широко используемые методы. Во-первых, различен характер данных типов изображений. Во-вторых, различно количество и качество объектов на них. В третьих, имеется координатное рассогласование по шести координатам (широта, высота, долгота, курс, тангаж, крен) из-за неточности определения текущего местоположения летательного аппарата (J1A). В-четвертых, необходимы алгоритмы, решающие задачу совмещения без участия оператора.

Решение задачи совмещения изображений зачастую имеет одинаковую для различных систем схему, включающую следующие шаги:

- предварительная обработка изображений с целью выявления сопоставимых особенностей;

- нахождения характерных особенностей изображения;

- сопоставление характерных особенностей изображений;

- нахождение координатного рассогласования между изображениями;

- компенсация расхождения.

Данный подход является достаточно общим и не учитывает специфику исходных изображений, поэтому требует модификации для каждой конкретной системы. Между тем, согласно исследованиям Всемирного фонда безопасности полетов, почти 75% аварий летательных аппаратов происходит при заходе на посадку и посадке ЛА, причем 65% всех летных происшествий происходит из-за ошибок, совершенных экипажем в условиях плохой видимости. В данной работе рассматриваются вопросы проведения предварительной обработки и совмещения разнородных изображений, позволяющие добиться как можно более высокого качества совмещения изображений в системах комбинированного видения, в частности - систем визуализации, а следовательно, и работы системы технического зрения, что в значительной степени определяет безопасность полетов летательных аппаратов.

Степень разработанности темы. Исследованию научных вопросов, связанных с совмещением изображений, таких как выделение характерных особенностей для сравнения и собственно сопоставление изображений, посвящены работы многих известных отечественных и зарубежных ученых. Существенный вклад в развитие научных исследований в этой области внесли: Алпатов Б.А., Визильтер Ю.В., Желтов С.Ю., Еремеев В.В., Кузнецов А.Е., Злобин В.К., Сойфер В.А. и другие. Значительное внимание этой проблеме уделяют и зарубежные ученые: Понс Ж., Форсайт Д., Прэтт У., Фукунага К, Блейхут Р, Гонсалес Р., Собель И., Хаф П., Харрис Ц.

Недостаточно проработаны вопросы автоматического выделения

характерных особенностей, пригодных для совмещения, для данных

изображений. Также в литературе не находят достаточного освещения и

7

вопросы дальнейшего сопоставления признаков изображений. Главным недостатком известных методов и алгоритмов является сложность их реализации на борту ЛА в реальном времени.

Цель диссертации состоит в разработке алгоритмов совмещения изображений подстилающей поверхности, полученных от сенсоров технического зрения летательного аппарата и виртуальной модели местности, построенной по цифровой карте местности, обеспечивающих повышение эффективности бортовых систем визуализации.

Для достижения поставленной цели необходимо решить следующие основные задачи:

- провести анализ существующих методов и алгоритмов сопоставления изображений и выявить наиболее пригодные для достижения поставленной цели;

- разработать алгоритмы выделения границ наиболее значимых объектов подстилающей поверхности на изображениях от СТЗ, построенного по навигационным данным, пригодных для последующего совмещения;

- разработать алгоритм совмещения разнородных изображений по шести координатам, пригодный для применения в бортовых системах технического зрения;

- разработать специализированное алгоритмическое и программное обеспечения оценки различных алгоритмов предварительной обработки и совмещения изображений.

Научная новизна диссертации заключается в том, что в ней разработаны алгоритмы, позволяющие решать задачи выделения границ объектов подстилающей поверхности и совмещения изображений различной природы формирования в реальном времени на борту летательного аппарата.

Практическая значимость работы состоит в том, что в ней:

- разработан алгоритм выделения границ объектов подстилающей поверхности на изображении и их разметки, отличающийся от широко

используемых алгоритмов тем, что он позволяет выделять наиболее значимые объекты подстилающей поверхности;

- предложен алгоритм совмещения изображений, полученных от сенсоров технического зрения, с ракурсами ВММ, позволяющий осуществить совмещение разнородных изображений по шести координатам;

- предложена методика построения неравномерной сетки перебора для совмещения с целью уменьшения вычислительной сложности перебора;

- разработано алгоритмическое и программное обеспечение стенда для экспериментального исследования и отладки предложенных алгоритмов выделения характерных особенностей и совмещения изображений с ракурсами ВММ.

Методы исследования. Теоретические исследования в настоящей работе выполнены с использованием методов системного анализа, теории информации, теории компьютерной обработки изображений. Экспериментальные исследования выполнялись на реальных и синтезированных сюжетах с использованием методов компьютерного моделирования и математической статистики.

Достоверность результатов и выводов диссертации подтверждается корректным использованием математического аппарата, результатами моделирования и экспериментальными исследованиями.

На защиту выносятся следующие новые научные результаты:

- двухпроходный адаптивный алгоритм выделения границ объектов подстилающей поверхности на изображениях, основанный на модификации метода Отсу, отличающийся устойчивостью к изменениям яркости подстилающей поверхности в окрестности линии горизонта;

- модифицированный алгоритм разметки объектов на изображении и проверки границ, отличающийся высоким быстродействием;

- алгоритм совмещения изображений, пригодный для реализации в бортовых системах визуализации для совмещения по шести координатам в реальном времени.

Реализация и внедрение. Результаты научных исследований, полученные при работе над диссертацией, использованы при выполнении научно-исследовательских работ, проводимых в РГРТУ: НИР № 3-12, НИР № 29-12, НИР_№ 3-13, НИР № 4-13. .

Результаты исследований и программный стенд, разработанный в кандидатской диссертации, внедрены в учебный процесс кафедры электронных вычислительных машин Рязанского государственного радиотехнического университета и используются студентами-магистрантами направления 230100 «Информатика и вычислительная техника» в курсе «Методы и алгоритмы обработки и анализа изображений».

Результаты диссертационной работы и разработанный программный стенд внедрены в Научно-конструкторском центре видеокомпьютерных технологий (НКЦ ВКТ) ОАО «Государственный Рязанский приборный завод» в виде алгоритмов, реализующих технологии обработки и совмещения изображений в системах комбинированного видения ЛА.

Апробация работы. Основные результаты диссертации докладывались на 8 научно-технических конференциях, в том числе:

- 6-й Международной научно-технической конференции «Космонавтика. Радиоэлектроника. Геоинформатика». Рязань, РГРТУ, 2013;

- 17-й Всероссийской научно-технической конференции с международным участием «Компьютерные и информационные технологии в науке, инженерии и управлении» «КомТех-2013», Таганрог, ЮФУ, 2013;

- 3-й и 4-й научно-технических конференциях «Техническое зрение в системах управления ». Москва, ИКИ РАН, 2012, 2013

Публикации. По теме диссертации опубликовано 12 печатных работ, из них три - в журналах, входящих в перечень ВАК РФ. Зарегистрирован программный ресурс в Объединенном фонде электронных ресурсов «Наука и

образование» (ОФЭРНиО). Результаты диссертации отражены в четырех отчетах о НИР, выполненных в Рязанском государственном радиотехническом университете.

Структура и объем работы. Диссертация состоит из введения, 4-х глав, заключения, списка использованных источников и приложения. Основной текст работы содержит 166 страниц, 62 рисунка и 7 таблиц. Список использованных источников включает 81 наименование.

1 ОБЗОР И АНАЛИЗ МЕТОДОВ СОВМЕЩЕНИЯ ИЗОБРАЖЕНИЙ И ВЫДЕЛЕНИЯ ГРАНИЦ

1.1 Особенности задачи совмещения информации в СТЗ ЛА

При летной эксплуатации бортового оборудования летательных аппаратов системы инструментальной видимости окружающей среды закабинного пространства играют значительную роль в обеспечении безопасности на всех этапах полетов. Так, наряду с другими причинами возникновения авиационных происшествий и серьезных инцидентов, доминирующими являются ошибочные действия экипажа, который не всегда имеет достаточное и высококачественное информационное обеспечение полета.

В настоящее время известно о серийном использовании по крайней мере трех типов систем визуализации [2]:

- Система улучшенного видения (система технического зрения с расширенными возможностями EVS - Enhanced Vision Systems). EVS - это электронное средство обеспечения лётного экипажа изображением, полученным непосредственно от датчика, или обработанное изображение внешней обстановки. В качестве датчика изображения может использоваться: инфракрасная камера переднего обзора, радиолокатор миллиметрового диапазона и (или) устройство усиления изображения, полученного при низком уровне освещенности. Известны современные интегрированные комплексы бортового оборудования для одновинтовых вертолетов типа Ми-172 - ИБКВ-17 [3], интегрированный бортовой комплекс оборудования ИБКО-38 вертолета Ми-38, которые позволили значительно расширить возможности вертолета, повысить в некоторой степени безопасность полетов, придать кабине экипажа эргономичный и современный вид с применением концепции «стеклянной кабины» компании Honeywell (США).

- Система синтезированного видения (SVS - Synthetic Vision Systems) - это электронное средство для вывода на дисплей сформированного вычислителем изображения соответствующего внешнего топографического

участка, наблюдаемого из кабины пилота и вычисляемого по ориентации ВС в пространстве, по высоте, географическим координатам ВС и базе данных. Лидерами в этой области являются Sikorsky Aircraft Corp. (США), Rockwell Collins Inc. (США), Gulfstream Aerospace Corporation (США), Honeywell International (США), Garmin (США), Aspen Avionics (США), Eads Deutschland GmbH (Германия), Thaies (Франция) и ряд других. В настоящее время изображение с систем искусственного видения выводится на основной пилотажный дисплей, причем изображение формируется с видом "с самолета на землю" (эгоцентрическое). В связи с имеющимися погрешностями определения координат летательного аппарата изображение, выводимое пилоту, не всегда точно соответствует реальной закабинной обстановке.

- Система комбинированного видения (CVS - Combine Vision Systems) - это комбинация подсистем искусственного видения (SVS) и улучшенного видения (EVS). Если используется HUD-дисплей, то система называется системой увеличения дальности видимости (бортовая система технического зрения с расширенными возможностями визуализации - бортовая FVS).

Так, аэрокосмическая компания Honeywell International разработала новую технологию для самолетов под названием Enhanced Flight Visual System / Synthetic Vision System (EFVS/SVS) [4] - система улучшенной инструментальной полетной видимости закабинного пространства/система синтезированного видения подстилающей поверхности. Система SVS представляет экипажу базу данных и графическую ЗО-визуализацию маршрутов воздушных судов, показывая на индикаторе в схематическом виде поверхность земли, над которой летит воздушное судно, и возможные препятствия на ней. Система EFVS работает с инфракрасными сенсорами, установленными на «носу» самолета, и получает реальные данные отображения земной поверхности, «накладывая» их на данные SVS.

Однако стоит заметить, что используемые на сегодняшний день системы

комбинированного видения не решают задачу создания геометрически

13

совмещенного комбинированного изображения, что зачастую приводит к рассогласованию реального и синтезированного изображений.

Специфика задачи совмещения изображений подстилающей поверхности, полученных от сенсоров и цифровой карты местности, заключается в следующем. В классической задаче рассматривается вопрос совмещения однородных либо близких изображений, то есть изображений одной и той же сцены, полученных либо с разных точек обзора (в этом случае имеются перекрывающиеся области), либо в разные моменты времени (задача анализа оптического потока). Исходные изображения могут отличаться масштабом, быть геометрически преобразованы друг относительно друга, зашумлены и т.д. В задаче же совмещения изображений подстилающей поверхности и цифровой карты местности необходимо совместить принципиально отличающиеся по своей природе изображения одной и той же сцены, каждое из которых имеет свою специфику.

Таким образом, можно сформулировать по крайней мере 4 основные проблемы, возникающие при решении заявленной задачи:

1. характерные особенности изображений, полученных от ЦКМ и сенсоров, будут различными, так как изображение, полученное от ЦКМ, является искусственным изображением сцены, а полученное от сенсоров -естественным;

2. количество и качество объектов на обоих изображениях различно. Так, на цифровой карте местности могут отсутствовать малозначимые объекты,

^ объекты не претерпевают изменений. Напротив, объекты на естественных

изображениях сцены со временем претерпевают значительные изменения, носящие сезонный либо случайный характер;

ч

ч 3. ЦКМ в целях уменьшения размера файла зачастую представлена в

векторном формате, тогда как изображение от сенсоров - в растровом, таким образом, необходимо решать проблему растеризации/векторизации;

4. необходимы алгоритмы, обеспечивающие совмещение в реальном времени.

Данные требования не позволяют использовать «классические» не корреляционные алгоритмы сопоставления в задаче совмещения изображений, полученных от сенсоров и ЦКМ, так как данные алгоритмы направлены именно на решение задач сопоставления однородных изображений, не претерпевших значительных яркостных или геометрических искажений и имеющих однородные объекты, по которым можно провести детектирование особенностей. Для использования же корреляционных алгоритмов необходим перевод исходных изображений в форму, пригодную для корреляции, т.е. выделение некоторого набора особенностей, который позволил бы провести корреляционный анализ. Таким образом, требуется выполнить предобработку исходных изображений, которая позволила бы выделить особенности, характерные как для изображения цифровой карты местности, так и для изображения, полученного от сенсоров.

Такими особенностями могут являться контуры (границы) населенных пунктов, дорог, водоемов, лесных массивов и др. объектов, сохраняющих свой образ с течением времени. Следовательно, необходима предобработка, переводящая исходные изображения в пространство контуров.

Все дальнейшие вычисления требуется проводить именно в пространстве контуров (границ).

Так как для получения контуров требуется значительная предобработка, то в дальнейшем должны быть использованы по возможности менее затратные в вычислительном плане алгоритмы сопоставления особенностей.

1.2 Реализация решения задачи совмещения изображений в современных системах

В настоящее время задача совмещения изображений успешно решается в следующих сферах деятельности:

1) Координатная привязка изображений в дистанционном зондировании Земли по опорным точкам и с использованием векторных электронных карт.

Известны и реализованы методики совмещения, описанные в [5, 6]. Постановка данных задач существенно отличается от постановки задачи совмещения изображений разной природы в системах визуализации летательного аппарата по следующим соображениям:

1. существенно большее число степеней свободы в задаче совмещения в системах визуализации. При решении задачи координатной привязки в ДЗЗ рассматривается от трех [5] (широта и долгота, высота) до четырех [6] (углы крена, тангажа и рысканья, высота) координат, при решении задачи совмещения в бортовых системах визуализации - шесть координат (широта, долгота, высота, углы курса, тангажа, крена);

2. различный вид преобразований исходных изображений относительно друг друга (афинные преобразования в задачах ДЗЗ, перспективные преобразования в задачах совмещения в бортовых системах визуализации);

3. различные требования к цифровым картам местности, различная разрешающая способности данных карт;

4. в задаче координатной привязки в ДЗЗ не требуется скорость реализация алгоритмов, приближенная к реальному времени.

Так, методики совмещения, описанные в [5], основаны на использовании опорных точек, найденных вручную или в полуавтоматическом режиме, для нахождения преобразования координат, которое связывало бы координаты пикселей разных снимков между собой или с координатами общего репера. Исходными данными для совмещения выступают:

- съемки одним и тем же датчиком с одного витка орбиты со смещением оси съемки от направления в надир;

- съемка с соседних витков орбиты одним и тем же датчиком с интервалом в несколько дней;

- съемка с помощью как космических, так и воздушных ЛА;

- и другие.

Точность определения высоты с использованием представленных

16

методики варьируется от 30 до 1000 м.

Методика совмещения изображений от геостационарных космических систем по электронным картам, представленная в [6], основана на автоматическом формировании опорных фрагментов в виде бинарных масок, оценке степени их уникальности и координатной привязки изображений. Время координатной привязки при использовании данных алгоритмов составляет 25 с, предельная погрешность координатной привязки центральной точки диска Земли - 0,7 пикселя. Также в данной работе показано, что при погрешности измерения пространственного положения и углов ориентации спутника в процессе съемки земной поверхности приводят, главным образом, к смещению, повороту и изменению масштаба изображения диска Земли (афинные преобразования).

2) Совмещение изображений в корреляционно-экстремальных навигационных системах (КЭНС)

Принцип работы КЭНС основан на сравнении изображения участка земной поверхности или совокупности ориентиров - текущего изображения, полученного от сенсоров полей Земли, с эталонным изображением, полученным заранее. Эталонные изображения в таких системах могут быть получены предварительной съёмкой (картографированием) местности соответствующими системами. Исключения составляют лишь тундровые, степные и пустынные территории с достаточно протяженными участками относительно ровной поверхности, а также акватория морей и океанов. Требование по скорости работы КЭНС составляет несколько секунд для выполнения операции совмещения.

Так, известна технология определения координат ЛА на основе сопоставимых информационных признаков РЛИ, полученного от БРЛС и признаков эталонного изображения, полученного путем моделирования по ЦКМ, характеристикам БРЛС и навигационным параметрам ЛА [7], быстродействие реализации алгоритмов которой составляет порядка десятка секунд, точность привязки — 55,9 метров.

Вместе с тем, в задачах совмещения изображений в бортовых системах визуализации и КЭНС принципиально отличаются координаты исходных снимков, которые для радиолокационных изображений в КЭНС соответствуют вектору (азимут, дальность), причем время формирования такого изображения может достигать нескольких секунд.

1.3 Обзор методов совмещения

Совмещением будем называть процесс точного сопоставления пикселей двух наборов данных одним и тем же точкам земной поверхности [5]. Совмещенные изображения можно объединять различными способами, которые позволяют упростить получение информации. Существует большое количество задач прикладной направленности, требующих решения задач совмещения изображений, в том числе пространственная привязка изображений по опорным точкам и с использованием векторных электронных карт при дистанционном зондировании Земли, построение панорам, систем комбинированного видения и другие.

Существует ряд методов пространственного совмещения изображений, каждый из которых обладает теми или иными достоинствами и недостатками и требует различной предварительной обработки изображений. Классификация данных методов представлена на рисунке 1.1.

Методы совмещения

Корреляционные

Некорреляционные

По опорным точкам

По характерным особенностям

По точечным особенностям

По линиям

^ По областям

Прочие

Оптический поток

Стабилизация

Рисунок 1.1— Классификация методов совмещения

Все методы совмещения изображений могут быть разделены на корреляционно-экстремальные и некорреляционные методы.

Корреляционно-экстремальные методы совмещения изображений подробно рассмотрены в [5]. Они основаны на поиске экстремума целевой функции, представляющей собой функции меры сходства между текущим изображением (ТИ) и эталонным изображением (ЭИ). Так, часто в качестве критериальной функции используется нормированная взаимная корреляционная функция в точке (т, п):

М N

£ £ (*">•/)" st 0' ~ m> J ~ n))

w) = . J =,

M N . M N -

V ' у < j

где 5э(/,у), (/,/)- яркость эталонного и текущего изображений в точке (/,/); М, N-размеры эталонного изображения.

Как уточняется в [5], единственное требование состоит в том, чтобы поисковая область была больше целевой. Для предотвращения пиков ложной корреляции, возникающих из-за изменения значений пикселей в поисковой области, и вычисления нормированной взаимной корреляции показатель пространственного сходства обычно нормируется тем или иным способом. Как, например, показано в [8], данные методы обладают слабой устойчивостью к геометрическим искажениям (за исключением сдвига). Для корректной работы необходимы сопоставимые исходные данные одной или подобной природы (так, в качестве пары эталонное и текущее изображение зачастую используются ортофотоплан и ортофотоснимки либо пара модель радиолокационного изображения местности - радиолокационное изображение).

1.3.1 Обзор и анализ некорреляционных методов совмещения изображений

Некорелляционные методы совмещения в своей основе содержат подходы, опирающиеся на особенности представления информации в изображениях.

Методы на основе совмещения по опорным точкам [9] широко распространены в задачах совмещения изображений в дистанционном зондировании земли. Методы основаны на проставлении оператором на паре снимков опорных точек и дальнейшем трансформировании одного изображения относительно другого.

Опорными точками называются такие точки, для которых

соответствующие позиции были идентифицированы на обоих изображениях. Поскольку опорные точки должны точно отображаться пространственным преобразованием, они играют роль ограничений, которым пространственное преобразование должно удовлетворять:

n 1-1

где х, и х,' - соответствующие опорные точки на первом и втором изображениях, g(х) - глобальное преобразование, а N - число пар опорных точек. В качестве глобального преобразования, задающего общее отображение всех точек одного изображения на второе, может выступать преобразование из группы движения, преобразование подобия, аффинное или проективное преобразования [9]. Проективное преобразование задается уравнениями:

, а0х + а1у + а2 а5х + а6у + а7

X = -, у = -, (1 1)

а3х+а4у + 1 ' а3х+а4у + 1

Где ао.. .а7 - коэффициенты преобразования.

Данное преобразование является единственным из перечисленных преобразований, которое не линейно по своим параметрам. Аффинное преобразование задается уравнениями (1.1) с коэффициентами а3 и гц, приравненными нулю. Для объемных изображений аффинное преобразование записывается в матричной форме следующим образом:

'а01 а11 а21 а31\ /Х^

«02 а-12 «22 а32\1у

«03 «13 «23 «33 /

О 0 0 1/

Таким образом, аффинное преобразование может выступать как частный случай проективного преобразования или как полиномиальное преобразование первого порядка. Частным же случаем аффинного преобразования является преобразование подобия. Если пространственное преобразование между изображениями не описывается единым глобальным преобразованием или модель глобального преобразования не известна, возникает необходимость использования других методов описания преобразования.

Список литературы диссертационного исследования кандидат наук Герман, Елена Владимировна, 2014 год

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

1. Джанджгава Г.И. Интеллектуальная поддержка экипажа в режиме захода на посадку воздушного судна. // Перспективные системы и задачи управления: Материалы VI Всеросс. науч.-практ. конф. Таганрог: Изд-во ТТИ ЮФУ, 2011.

2. Руководство Р-315 «По минимальным стандартам характеристик авиационных систем (MASPS) для систем улучшенного видения, систем искусственного видения, комбинированных систем искусственного видения и бортовых систем увеличения дальности видения» Авиационного Регистра Межгосударственного Авиационного Комитета (АР МАК), 2008. 86 с.

3. Интегрированный бортовой комплекс вертолета (ИБКВ-17) [Электронный ресурс] / URL: http ://www.kronshtadt.ru/ru/products/aviation/ detail.php

4. Авиационные системы улучшенного и синтезированного видения. Аналитический обзор по материалам зарубежных информационных источников. / Под ред. академика РАН Е.А. Федосова. Научно-информационный центр ФГУП «ГосНИИАС», 2011.

5. Шовенгердт P.A. Дистанционное зондирование. Модели и методы обработки изображений.// М.: Техносфера, 2010. - 560 с. - ISBN: 978-5-94836244-1

6. Еремеев В.В., Козлов Е.П. Повышение точности и надежности координатной привязки снимков от геостационарных космических систем наблюдений Земли по электронным картам // Вестник РГРТУ. Рязань, 2009. №28. С. 6-1

7. Костров Б.В., Конкин Ю.В. Технология совмещения радиолокационных изображений местности // Проектирование и технология электронных средств. 2007. Выпуск №1. С.29-32.

8. Елесина С.И., Никифоров М.Б.. Исследование устойчивости алгоритмов поиска глобального экстремума в корреляционно-экстремальных навигационных системах // Математическое и программное обеспечение

вычислительных систем: Межвуз. сб. науч. тр. / Под ред. А.Н. Пылькина. Рязань (РГРТУ), 2011. С. 129-133.

9. Dowman I.J. Automating image registration and absolute orientation: solutions and problems // Photogrammetric Record, 16(91): pp. 5-18, 1998

10. Berthold K.P. Horn, Brian G. Schunck. Determining Optical Flow. // Artificial Intelligence, 17. 1981. PP. 185-203.

11. В. Lucas, T. Kanade An Iterative Image Registration Technique with an Application to Stereo Vision. // Proc. of 7th International Joint Conference on Artificial Intelligence (IJCAI). PP. 674-679.

12. S. Negahdaripour, S. Lee. Motion Recovery from Image Sequences Using First-Order Optical Flow Information. // IEEE Workshop Visual Motion. Oct. 1991. PP. 132-139.

13. Stephen L. Keeling, Wolfgang Ring. Medical Image Registration and Interpolation by Optical Flow with Maximal Rigidity. // Journal of Mathematical Imaging and Vision. Volume 23. Issue 1 (July 2005).

14. P. Stumpf. Uber die Abhängigkeit der visuellen Bewegungsrichtung und negativen Nachbildes von den Reizvorgangen auf der Netzhaut. // Zeitschrift für Psychologie, 1911. V59. PP. 321-330.

15. Лагуткин B.H., Радченко Ю.В. Применение вейвлет-преобразования в задаче оценки смещения объекта. // Вопросы радиоэлектроники, сер. РЛТ, вып 1,2004.

16. Репин В.Г., Лагуткин В.Н. Спектральный метод компенсации смещений и повышения разрешения изображений при обработке последовательности смещающихся цифровых кадров. // Радиотехника и электроника, том 45. №11. С. 1359-1364.

17. A. Censi, A. Fusiello, V. Roberto. Image stabilization by features tracking // Image Analysis and Processing, 1999. Proceedings. International Conference on Volume, Issue, 1999. PP. 665 - 667

18. Краснобаев А. А. Обзор алгоритмов детектирования простых

элементов изображения и анализ возможности их аппаратной реализации.// М.:

168

РАН Ордена Ленина, Институт прикладной математики им. М. В. Келдыша, 2005.

19. Beaudet P. Rationally Invariant Image Operations // International Joint Conference on Pattern Recognition. Kyoto, Japan, 1978. PP. 579-583.

20. W. Forstner, T. Dickscheid and F. Schindler. Detecting Interpretable and Accurate Scale-Invariant Keypoints // International Conference on Computer Vision (ICCV'09), Kyoto, 2009

21. C. Harris, M. Stephens. A Combined Corner and Edge Detector. // Proceedings of the 4th Alvey Vision Conference, 1988. PP. 147—151.

22. Y.Yu, K.Huang, T.Tan. A Harris-like Scale Invariant Feature Detector. // ACCV 2. Vol. 5995Springer, 2009. PP. 586-595.

23. Кудряшов А.П. Извлечение и сопоставление точечных особенностей [Электронный ресурс] // Электронный научный журнал «ИССЛЕДОВАНО В РОССИИ», 2007. URL: http://zhurnal.ape.relarn.ru/articles/2007/104.pdf

24. Н. Bay, A. Ess, Т. Tuytelaars, L.V. Gool. Speeded-Up Robust Features (SURF) [Электронный ресурс] // URL: ftp://ftp.vision.ee.ethz.ch/publications/articles/eth_biwi_00517.pdf

25. D.G. Lowe. Distinctive image features from scale-invariant keypoints [Электронный ресурс] // URL: http://citeseerx. ist .psu. edu/vie wdoc/download?doi= 10.1.1.157.3 843&rep=rep 1 &type =pdf

26. G.Yu and J.-M. Morel. ASIFT: An Algorithm for Fully Affme Invariant Comparison. D01:10.5201/ipol.201 l.my-asift. Image Processing On Line, 2011.

27. Hough, P. V. C. Method and means for recognizing complex patterns // U. S. Patent 3,069,654, December 18, 1962.

28. Kovesi P. Phase Congruency Detects Comers and Edges. // Proceedings of the Seventh International Conference on Digital Image Computing: Techniques and Applications (DICTA), 2003. PP.309-318.

29. Sarfraz M., Hellwich О. Head pose estimation in face recognition across pose scenarios // Материалы VISAPP - International Conference on Computer Vision Theory and Applications, 2008.

30. Matas J., Chum O., Urba M., Pajdla T.. Robust wide baseline stereo from maximally stable extremal regions. // Proc. of British Machine Vision Conference, 2002. PP. 384-396.

31. Кириллова Л.H. Детекторы особенностей изображений на основе касательного накрытия контуров // Вестник компьютерных и информационных технологий. №10.2011. С. 11-16.

32. Борисенко Д.И. Методы поиска угловых особенностей на изображениях// Молодой учёный. № 5 (28). Т.1. 2011. С.120-123.

33. Szeliski R. Computer Vision: Algorithms and Applications. [Электронный ресурс]// "Springer". 2010. 979 p. URL: http://szeliski.org/Book/

34. Грузман И.С., Киричук B.C., Косых В.П., Перетягин Г.И., Спектор A.A. Цифровая обработка изображений в информационных системах: Учебное пособие // Новосибисрк: Изд-во НГТУ, 2002. - 352 с.

35. Форсайт Д., Понс Ж. Компьютерное зрение. Современный подход. Пер. с англ. М.: Издательский дом «Вильяме», 2004. 928с.: ил.

36. Роджерс Д., Адаме Дж. Математические основы машинной графики: Пер. с англ. // М.: Мир, 2001. - 604с., ил.

37. Engel К. Real-time volume graphics, сс. 112-114, 2006.

38. Jähne В., Scharr H., Körkel and S.. Principles of filter design. In Handbook of Computer Vision and Applications // Academic Press, 1999.

39. Кухаренко, Б. Г. Алгоритмы анализа изображений для определения локальных особенностей и распознавания объектов и панорам / Б. Г. Кухаренко // Информационные технологии. - 2011. - N 7. - С. 1-32.

40. Левитин В. Алгоритмы: введение в разработку и анализ // М.: «Вильяме», 2006. С. 215-218.

41.Конушин А., Мариничев К., Вежневец В. Обзор робастных схем

оценки параметров моделей на основе случайных выборок. // М.: Лаборатория

170

Компьютерной Графики и Мультимедиа, МГУ им. Ломоносова, факультет ВМК.

42. Canny, J. A Computational Approach to Edge Detection [Электронный ресурс] // IEEE Transactions on pattern analysis and machine intelligence, vol. 8. no 6. november URL: pttp://perso.limsi.fr/vezien/PAPIERS_ACS/canny 1986.pdf

43. Молчанова, Грунекий. Решение задачи топологического утончения объектов бинарного растра с использованием специализированных агентов. // Информационные управляющие системы и компьютерный мониторинг (ИУС КМ 2013).

44. Е. В. Щепин, Г. М. Непомнящий. К топологическому подходу в анализе изображений. Геометрия, топология и приложения (Межвузовский сборник научных трудов). Москва, Мин. высшего и средн. спец. образ. РСФСР, Московский институт приборостроения, 1990 г., с. 13-25.

45. Эль-Хатиб С.А., Скобцов Ю.А. Сравнительный анализ алгоритмов выделения контуров медицинских изображений. // Донецкий Национальный Технический Университет кафедра АСУ.

46. Применение волнового алгоритма для нахождения скелета растрового изображения [Электронный ресурс] // Обработка изображений. 2001. URL: http://ocrai.narod.ru/vectory.html

47. Otsu, N., «А Threshold Selection Method from Gray-Level Histograms,» IEEE Transactions on Systems, Man, and Cybernetics, Vol. 9, № 1,1979., pp. 62- 66

48. Визильтер Ю.В., Желтов С.Ю., Бондаренко A.B., Ососков М.Б., Моржин А.В. Обработка и анализ изображений в задачах машинного зрения: Курс лекций и практических занятий. М.: Физматкнига, 2010. 672с.

49. Линник Ю. В. Метод наименьших квадратов и основы математико-статистической теории обработки наблюдений. — 2-е изд. —М., 1962.

50. Дж. Стокман, Л. Шапиро Компьютерное зрение / Пер. с англ. — М.: БИНОМ. Лаборатория знаний, 2006.

51. Вежневец А. Выделение связных областей в цветных и полутоновых изображениях [Электронный ресурс] // Компьютерная графика и мультимедиа. Выпуск №1(5)/2003. URL: pttp://cgm.computergraphics.ru/content/view/53

52. Методы автоматического обнаружения и сопровождения объектов. Обработка изображений и управление / Б.А. Алпатов, П.В. Бабаян, О.Е. Балашов, А.И. Степашкин. М.: Радиотехника, 2008г. 176 с.

53. Детектор границ Канни [Электронный ресурс] // Сборник технических статей. 2006-2013. URL: http://habrahabr.ru/post/l 14589/

54. Wehner D.R. «Hing Resolution Radar». N.Y.: Artech House. 1987.

55. Конюхов A.JI., Костевич А.Г., Курячий М.И. Критерии оценки отношения сигнал/шум // Доклады ТУСУРа, № 2 (26), часть 1, 2012.

56. Герман Е.В., Логинов А.А., Никифоров М.Б. Методы выделения характерных особенностей изображений подстилающей поверхности при некорреляционном совмещений // II Всероссийские Армандовские чтения [Электронный ресурс]: Радиофизические методы в дистанционном зондировании сред / Материалы V Всероссийской научной конференции (Муром, 26-28 июня 2012 г.) - Муром: Изд.-полиграфический центр МИ ВлГУ, 2012. -567 с. ISSN 2304-0297 (CD-ROM)

57. Герман Е. В. Выделение яркостных протяженных объектов на изображении подстилающей поверхности // Научно-техническая конференция «Техническое зрение в системах управления-2013». Тезисы докладов. Россия, Москва, 12-14 марта 2012 г.

58. Герман Е.В., Муратов Е.Р., Логинов А.А., Никифоров М.Б. Сравнение подходов к векторизации границ объектов, выделенных на изображениях подстилающей поверхности в системах комбинированного видения // 6-я МНТК «Космонавтика. Радиоэлектроника. Геоинформатика», Рязань, 1-3 октября 2013.

59. Герман Е.В., Логинов А.А., Никифоров М.Б. Классификация и исследование мер информативности изображений подстилающей поверхности

в корреляционно-экстремальных навигационных системах // Вестник РГРТУ № 2 (выпуск 44) . 2013.

60. Герман Е.В., Муратов Е.Р., Никифоров М.Б. Два подхода к выделению и векторизации контурных линий объектов подстилающей поверхности // Известия ЮФУ №5 (142), - Таганрог: Изд-во ТТИ ЮФУ. Технические науки 2013 С. 56-61.

61. Баклицкий В.К., Бочкарев A.M., Мусьяков М.П. Методы фильтрации сигналов в корреляционно-экстремальных системах навигации / М.: Радио и связь, 1986. 216 с.

62. Дуда Р., Харт П. Распознавание образов и анализ сцен // Издательство, М.: «МИР», 1976, 506 с.

63. Методы компьютерной обработки изображений / Под ред. В.А. Сойфера. 2-е изд. испр. М.: ФИЗМАТЛИТ, 2003г. 784 с.

64. Форсайт Д.А., Понс Ж. Компьютерное зрение. Современный подход / М.: Вильяме, 2004. 926 с.

65. Вентцель Е.С. Теория вероятностей / М.: Наука, 1964. 576 с.

66. Печенкин A.B., Тескин О.И., Цветкова Г.М. и др. Теория вероятностей: Учебн. Для вузов. - 3-е изд., испр. / М.: Изд-во МГТУ им. Н.Э. Баумана, 2004. - 456с.

67. Герман Е.В. Классификация и исследование мер информативности // Вычислительные машины, комплексы, системы и сети. Приложение к межвузовскому сборнику научных трудов «Методы и средства обработки и хранения информации». Тезисы докладов 58-й студенческой научно-технической конференции. Секция электронных вычислительных машин. 22 апреля 2011 г. - Рязань: РГРТУ, 2011г.

68. Герман Е. В. Методика оценки безопасности системы комбинированного видения на ранних этапах проектирования // Научно-техническая конференция «Техническое зрение в системах управления-2012». Тезисы докладов. Россия, Москва, 14-16 марта 2012 г.

69. Герман Е. В. Методика оценки безопасности системы комбинированного видения на ранних этапах проектирования // Техническое зрение в системах управления-2012: Сборник трудов научно-технической конференции. Россия, Москва, 14-16 марта 2012 г.

70. Герман Е.В. Определение зоны неопределенности точки пересечения осевой линии датчика летательного аппарата с подстилающей поверхностью // Вопросы образования и науки: теоретический и методический аспекты: сб. науч. Тр. По мат-лам Междунар. Заоч. Науч.-практ. Конф. 30 апреля 2012 г.: Часть 6. Тамбов, 2012.

71. Герман Е.В., Муратов Е.Р., Новиков А.И. Математическая модель формирования зоны неопределенности в задаче совмещения изображений // Вестник РГРТУ. № 4 (выпуск 46). Часть 2, - Рязань, 2013, с. 10-16.

72. Герман Е.В. Методика корреляционного совмещения реальных и синтезированных изображений подстилающей поверхности в системе комбинированного видения летательных аппаратов // Московская молодежная научно-практическая конференция «Инновации в авиации и космонавтике — 2014». - М.: ООО «Принт-салон». - 2014. - с. 130 — 131.

73. German E.V., Muratov E.R., Assessment of combining heterogeneous images // World & Science: Materials of the international research and practice conference, Brno, Czeh. Rep., Feb 21, 2014.

74. Страуструп Б. Язык программирования С++, 3-е изд. Пер. с англ. СПб.: М.: «Невский Диалект» - «Издательство БИНОМ», 1999. 991 с.

75. Архангельский А.Я. Программирование в С++ Builder 6. // М.: «Издательство БИНОМ», 2003 г. - 1152с.: ил.

76. Подкур М.Л., Подкур П.Н., Смоленцев Н.К. Программирование в среде С++ Builder с математическими библиотеками MATLAB C/C++ // М.: ДМК, 2006 г. - 497 с.

77. Оценка производительности процессоров [Электронный ресурс] // ВикипедиЯ свободная энциклопедия. URL: ru.wikipedia.org/wiki/FLOPS

78. Шиллинг А. Тест и обзор: ASUS ROG MARS 760 - видеокарта с двумя GPU GK104 [Электронный ресурс] // Hardwareluxx, 2013. URL: http://www.hardwareluxx.riVindex.php/artikel/hardware/grafikkaiten/28598-asus-rog-mars-760-test.html

79. Сравнение графических процессоров AMD [Электронный ресурс] // ВикипедиЯ свободная энциклопедия. URL: http://ru.wikipedia.org/wiki/Cpaвнeниe_гpaфичecкиx_пpoцeccopoв_AMD

80. Шапка C.B. повышение эффективности реализации корреляционных алгоритмов на базе плис для систем реального масштаба времени. // Известия ЮФУ №5. - Таганрог, 2013 С. 171-175.

81. Чурилова М.Ю. Теория вероятностей: Учебное пособие. СПб.: Изд-во РГПУ им. А.И. Герцена, 2005. - 142 с.