Обработка и анализ последовательностей видеоизображений в задаче навигации беспилотных летательных аппаратов тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат наук Степанов, Дмитрий Николаевич

• Степанов, Дмитрий Николаевич
• кандидат наук
• 2016

Оглавление диссертации кандидат наук Степанов, Дмитрий Николаевич

ОГЛАВЛЕНИЕ

Введение

1. Обзор методов и алгоритмов компьютерного зрения, сопоставления изображений, визуальной навигации

1.1 Математические основы компьютерного зрения, задача калибровки камеры

1.1.1 Математическая модель цифровой камеры, дисторсия оптических объективов

1.1.2 Калибровка камеры

1.1.3 Математические основы стереозрения

1.1.4 Алгоритм Левенберга-Марквардта

1.2 Методы выделения и сопоставления особенностей на изображениях

1.2.1 Методы выделения особенностей

1.2.2 Методы сопоставления особенностей

1.3 Методы навигации беспилотных аппаратов по изображениям

Выводы по 1 главе

2. Алгоритм сопоставления снимков сцены с фрагментарным многомасштабным представлением эталонных изображений

2.1 Модель земного эллипсоида и связанные с ним системы координат

2.2 Фрагментарное многомасштабное представление эталонного изображения

2.2.1 Преобразование координат пикселей между слоями пирамиды изображений

2.2.2 Процедура подготовки исходных данных для решения задачи сопоставления

2.3 Сужение области поиска особых точек на фрагментарном представлении эталонных изображений

2.4 Алгоритмы сопоставления особых точек, найденных на кадре видеоряда и на фрагментарном представлении эталонных изображений

Выводы по 2 главе

3. Метод взаимной привязки видеоснимков сцены на основе поиска опорных точек с применением вейвлетов Габора

3.1 Вейвлеты Габора

3.2 Подготовка данных, связанных с опорными точками

3.3 Метод поиска опорных точек на видеокадре с применением вейвлетов Габора

3.3.1 Использование билинейной интерполяции для повышения точности локализации опорных точек

3.3.2 Обеспечение инвариантности к преобразованиям яркости изображений

3.3.3 Оптимизация вычисления джетов Габора с использованием быстрого преобразования Фурье

3.4 Позиционирование камеры на основе решения задачи внешней калибровки

Выводы по 3 главе

4. Разработка системы распараллеливания вычислений для решения задач взаимной привязки изображений земной поверхности. Проведение экспериментальных исследований

4.1 Подсистема моделирования полета БПЛА и генерации видеоряда

4.2 Система распараллеливания вычислений

4.2.1 Программная библиотека, содержащая реализации разработанных алгоритмов

4.2.2 Логическая схема и высокоуровневый программный модуль для параллельной подготовки эталонных данных

4.2.3 Логическая схема и высокоуровневый программный модуль для параллельного решения задачи взаимной привязки

4.3 Проведение экспериментальных исследований

4.3.1 Исследование разработанного алгоритма сопоставления видеоснимков местности с фрагментарным многомасштабным представлением эталонных изображений

4.3.2 Исследование метода локализации опорных точек на снимках местности, метода навигации по видео

4.3.3 Эксперименты по параллельной предобработке эталонных изображений земной поверхности

4.3.4 Эксперименты по параллельной обработке нескольких видеорядов

4.3.5 Исследование зависимости между использованием различных наборов фильтров Габора и итоговой точностью позиционирования

Выводы по 4 главе

Основные результаты работы

Список литературы

Приложение

ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ

БПА Беспилотный аппарат

БПЛА Беспилотный летательный аппарат

ГСК Геоцентрическая система координат

ДЗЗ Дистанционное зондирование Земли

ИНС Инерциальная навигационная система

ИСЗ Искусственный спутник Земли

НСКиД Нейросетевая система контроля и диагностики

ППГК Плоские прямоугольные геодезические координаты

СТЗ Система технического зрения

GPS Global Positioning System

RANSAC RANdom Sample Consensus

SIFT Scale Invariant Feature Transform

SURF Speeded up Robust Features

Введение диссертации (часть автореферата) на тему «Обработка и анализ последовательностей видеоизображений в задаче навигации беспилотных летательных аппаратов»

ВВЕДЕНИЕ

Актуальность темы исследования. Методы и алгоритмы обработки и анализа изображений и видео применяются для решения широкого спектра задач, в том числе для визуальной навигации беспилотных летательных аппаратов (БПЛА). Актуальность развития методов визуальной навигации обусловлена тем, что точность спутниковых навигационных систем зависит от качества радиосигнала, а для инерциальных навигационных систем характерно накопление ошибки в вычислениях.

Задачами навигации БПЛА по изображениям занимаются как отечественные (Ю. Визильтер, Б. Алпатов, Н. Ким), так и зарубежные ученые (S. Grzonka, A. Bachrach, G. Conte, P. Doherty, A. Cesetti). Решение задачи визуальной навигации основано на поиске и сопоставлении особенностей на эталонном и на обрабатываемом изображениях сцены (взаимная привязка изображений). Однако существующие подходы обладают определенными недостатками, ограничивающими возможность их применения: необходимость наличия выраженных структурных особенностей на изображениях или достаточного числа эталонных изображений, слабая инвариантность к геометрическим искажениям снимков, работоспособность только при движении над достаточно плоскими территориями.

Анализ источников также показал слабую проработанность следующей проблемы: если эталонное изображение сцены имеет большие размеры, то взаимная привязка становится ресурсоемкой задачей. Актуальной является разработка методов и алгоритмов навигации БПЛА по видео, работоспособных в широком диапазоне рабочих условий (работа, как с плоскими, так и с неплоскими сценами; взаимная привязка при отсутствии выраженных структурных особенностей; значительный размер эталонных изображений).

Требуется выполнить комплексное тестирование разработанных алгоритмов визуальной навигации для принятия решений о выборе наилучших алгоритмов и их настроек в зависимости от характеристик камеры, высоты полета и др. В предыдущих исследованиях, алгоритмы тестировались на обычных персональных компьютерах. Актуальной является разработка системы управления распараллеливанием вычислений (в частности, для кластерной вычислительной установки - КВУ) для задач навигации БПЛА по видео. Использование КВУ позволит ускорить тестирование и отладку алгоритмов, предобработку эталонных изображений местности, а также принять решение о выборе наиболее эффективных алгоритмов и их настроек для различных исходных данных.

Работа выполнена в рамках одного из основных научных направлений ИПС им. А.К. Айламазяна РАН «Теория и технология систем, основанных на знаниях; интеллектуальные методы обработки информации».

Цель и задачи работы. Цель работы - разработка методов и алгоритмов обработки и анализа изображений земной поверхности для навигации БПЛА по видеопоследовательностям. Для достижения поставленной цели решались следующие задачи:

- анализ существующих методов и алгоритмов сопоставления изображений, навигации беспилотных аппаратов по изображениям;

- разработка метода сопоставления кадров видеоряда с эталонным изображением земной поверхности, имеющим значительные размеры;

- разработка метода навигации БПЛА по видеоснимкам подстилающей поверхности, работоспособного в широком диапазоне рабочих условий;

- разработка системы управления распараллеливанием вычислений, позволяющей решать задачи навигации по видео с помощью КВУ для ускоренного тестирования алгоритмов и предобработки эталонных данных;

- программная реализация разработанных методов и алгоритмов, проведение экспериментальных исследований с целью оценки точности и надежности предлагаемых решений.

Методы исследований базируются на разделах математического анализа, линейной алгебры, методах оптимизации, теории обработки и анализа изображений, искусственного интеллекта. Экспериментальные исследования выполнялись на синтезированных видеопоследовательностях с использованием методов компьютерного моделирования.

Тематика работы соответствует следующим пунктам паспорта специальности 05.13.01: п. 5 «Разработка специального математического и алгоритмического обеспечения систем анализа, оптимизации, управления, принятия решений и обработки информации», п. 12 «Визуализация, трансформация и анализ информации на основе компьютерных методов обработки информации».

Научная новизна работы:

- разработан модифицированный алгоритм сопоставления видеопоследовательности снимков сцены с эталонным изображением сцены, основанный на фрагментарном многомасштабном представлении эталонных изображения и включающий в себя разработанный метод принятия решения о выборе подмножества фрагментов эталонного изображения. От существующих решений алгоритм отличается меньшей вычислительной сложностью при использовании эталонных изображений больших размеров.

- разработан модифицированный метод локализации и сопоставления точечных особенностей на видеокадрах и на эталонном изображении, основанный на использовании вейвлетов Габора и отличающийся применением геометрического выравнивания видеокадра с использованием вычисленного положения и ориентации камеры для предыдущего кадра. Метод позволяет находить точечные особенности со средней погрешностью в 0.5 пикселей.

- разработан модифицированный метод навигации БПЛА по видео, основанный на фрагментарном многомасштабном представлении эталонного изображения и разработанном методе локализации и

сопоставления точечных особенностей. От существующих решений метод отличается более широким диапазоном рабочих условий (работа, как с плоскими, так и с неплоскими сценами; взаимная привязка при отсутствии выраженных структурных особенностей на снимках; значительный размер эталонных изображений);

- предложена структура системы управления распараллеливанием вычислений, отличающаяся подключением объектно-ориентированных модулей генерации, обработки и анализа изображений и обеспечивающая ускорение решения задач предобработки эталонных изображений и тестирования алгоритмов визуальной навигации БПЛА за счет использования КВУ. На основании результатов экспериментальных исследований, предложена система принятия решения о выборе наилучших настроек алгоритмов для решения задач позиционирования по видео.

Практическая значимость работы:

- в ходе полунатурных экспериментов, погрешность в позиционировании по видео составила не более 0.15% от высоты полета (не более 3 м. при высоте полета до 2400 м.). Использование фрагментарного многомасштабного представления позволило в 4-16 раз уменьшить объем ресурсов, необходимых для сопоставления изображений. Разработанные методы и алгоритмы навигации по видео работоспособны в более широком диапазоне условий, чем предыдущие решения. Применение разработанных методов и алгоритмов в системах навигации БПЛА позволит повысить их эффективность и точность, расширить диапазон рабочих условий.

- разработанная система управления распараллеливанием вычислений для задач взаимной привязки изображений обеспечивает ускорение обработки одновременно нескольких наборов данных (видеопоследовательностей снимков сцены), а также подготовки эталонных данных. Система управления распараллеливанием может быть

использована для разработки и ускоренного тестирования алгоритмов навигации по изображениям.

Внедрение результатов исследований. Результаты были использованы при выполнении двух научно-исследовательских работ, выполняемых в ИПС им. А.К. Айламазяна РАН (государственный контракт № 07.514.11.4033 и соглашение №14.607.21.0012), результаты исследований отражены в 4 отчетах о НИР. Весной 2013 года соискатель вошел в число победителей программы «Участник молодежного научно-инновационного конкурса ("УМНИК")», тема представленного проекта соответствует теме диссертационного исследования. Теоретические результаты внедрены в учебный процесс ЧОУ ВО Институт программных систем «УГП имени А.К. Айламазяна» (дисциплина «Математические основы обработки сигналов»).

Апробация работы. Основные результаты докладывались на следующих конференциях: научно-техническая международная молодежная конференция «Системы, методы, техника и технологии обработки медиаконтента» (Москва, МГУП им. Ивана Федорова, 2011), всероссийская конференция с международным участием «Информационно-телекоммуникационные технологии и математическое моделирование высокотехнологичных систем» (Москва, РУДН, 2012), V Всероссийская научно-техническая конференция «Актуальные проблемы ракетно-космического приборостроения и информационных технологий» (Москва, ОАО «Российские космические системы», 2012), XVI и XVII Молодежная научно-практическая конференция «Наукоёмкие информационные технологии» (Переславль-Залесский, УГП имени А. К. Айламазяна, 2012-2013), XIV национальная конференция по искусственному интеллекту с международным участием КИИ-2014 (Казань, 2014), IV международная конференция «Robot Intelligence Technology and Applications» (Южная Корея, Bucheon, 2015).

Публикации. Основные результаты опубликованы в 10 печатных работах, в том числе 3 статьи в изданиях из Перечня ВАК и 1 статья в журнале, индексируемом SCOPUS. В статье [1] соискателю принадлежит описание разработанного подхода и алгоритма позиционирования БПЛА по видео,

описание способа предобработки эталонных изображений; [2] - алгоритм выбора наилучшего опорного снимка; [3] - алгоритм сужения области поиска особых точек, описание использования фрагментарного многомасштабного представления эталонных изображений; [4] - программные модули моделирования полета БПЛА и генерации видеоряда; [5] - способ генерации траектории и порождения видеоряда, алгоритм поиска пар общих точек на снимках с БПЛА и эталонных изображениях. Получено 2 свидетельства о регистрации программ для ЭВМ, в них соискателем выполнены модули, связанные с моделированием полета и навигацией высотного БПЛА.

Структура и объём работы. Диссертация изложена на 168 страницах, из них 161 страница основного текста, 45 рисунков, 16 таблиц. Состоит из введения, четырех глав, заключения, списка литературы из 108 наименований и приложения на 7 страницах.

1. ОБЗОР МЕТОДОВ И АЛГОРИТМОВ КОМПЬЮТЕРНОГО ЗРЕНИЯ, СОПОСТАВЛЕНИЯ ИЗОБРАЖЕНИЙ, ВИЗУАЛЬНОЙ

НАВИГАЦИИ

Представлено описание математического аппарата, используемого в решении различных задач компьютерного зрения, в том числе с применением стереозрения. Далее идет обзор методов выделения особенностей на изображениях и их сопоставления. Последний раздел главы посвящен обзору методов визуальной навигации беспилотных аппаратов.

1.1 Математические основы компьютерного зрения, задача калибровки камеры

1.1 .1 Математическая модель цифровой камеры, дисторсия оптических объективов

Основной моделью камеры является модель камеры-обскуры [6, 7]. Рассмотрим глобальную систему координат в трехмерном пространстве с центром в точке О (рисунок 1.1.1.1). Точка Р0 пространства проецируется на плоскость изображения (аналог светочувствительной матрицы камеры). Точка С - центр проекции, начало системы координат, связанной с камерой. Расстояние между плоскостью изображения и центром проекции - фокусное расстояние. Оптическая ось - луч, имеющий начало в точке С и перпендикулярный плоскости изображения. Пересечение отрезка Р0С с плоскостью изображения дает двумерный образ точки Р0 - точку q, координаты которой выражаются в пикселях.

Рисунок 1.1.1.1 - Математическая модель камеры и две системы координат Для вычисления координат точки q используются следующие матричные уравнения (точка q представлена в однородных координатах):

' Г11 Г12 Г13 " ~ X"

р' = У' = РР0 + т = Г21 Г22 Г23 У + ту

2' /31 Г 32 Г '33 _ 2 т _ 2 _

Ч

X

1

у = —

2'

1

ух 0

0 ГУ 00

сх

е..

(1.1.1.1)

р' = — МР'. 2'

1

Матрица М называется матрицей внутренних параметров камеры, они не зависят от положения камеры в пространстве. Точка (сх, су) - главная точка, в ней оптическая ось пересекается с плоскостью изображения. Параметры /х и /у -фокальные длины, измеряются в пикселях. В большинстве случаев, светочувствительные элементы являются квадратными, тогда, /х = / . Если — -

фокусное расстояние камеры, , *у) - ширина и высота одного элемента светочувствительной матрицы, то

— —

( = — ( = —

лX ^Jy

*у *у

(1.1.1.2)

Матрица Я и вектор Т - внешние параметры камеры. Они задают ориентацию и положение глобальной системы координат относительно системы координат, привязанных к камере, и используются для перехода в систему координат камеры посредством операций поворота и параллельного переноса. Матрица поворота является ортонормированной, поворот вокруг произвольной оси в трехмерном пространстве можно представить в виде комбинации трех поворотов вокруг каждой из координатных осей на некоторые углы. Существует взаимно однозначное соответствие между тремя углами ориентации и матрицами поворота (например, преобразование Родрига [8]).

В некоторых случай, вышеозначенная матрица и вектор используются в несколько другом контексте: они задают ориентацию и положение системы координат, привязанных к камере, относительно глобальной системы координат:

В этом случае, столбцы матрицы R - координаты базисных векторов относительно глобальной системы координат. Верхний индекс t над матрицами поворота обозначает операцию транспонирования (напомним, что для любой ортонормированной матрицы A: A = AA-).

В реальных камерах используется одна или несколько оптических линз. Линзы позволяют увеличить интенсивность лучей, падающих на плоскость изображения, но искажают исходное изображение. Два основных типа искажений: радиальная дисторсия и тангенциальная дисторсия (англ. distortion -искажение). Радиальная дисторсия обусловлена кривизной поверхности линзы (рисунок 1.1.1.2). Вертикальная или горизонтальная прямая линия на изображении будет выглядеть кривой, причем кривизна будет увеличиваться с удалением от главной точки. Тангенциальная дисторсия возникает из-за того, что

P' = RR

R = R,

T = - R ■ T.

(1.1.1.3)

светочувствительная матрица в силу производственных дефектов не всегда параллельна плоскости изображения (рисунок 1.1.1.3), и линии, которые в идеале должны выглядеть строго горизонтальными и строго вертикальными, выглядят наклонными.

Рисунок 1.1.1.2 - Радиальная дисторсия

Рисунок 1.1.1.3 - Тангенциальная дисторсия В следующих формулах описана математическая модель камеры с учетом двух видов дисторсии, здесь ki, ks - коэффициенты радиальной дисторсии, p1,

Р2 - коэффициенты тангенциальной дисторсии. Точка трехмерного пространства с

т

координатами P проецируется в пиксель с координатами (x, y) .

р' =

У' 2'

= Щ + т,

2 2,2 Г = и + V ,

и " X У 2 г

V У У 2'

.х' = и (1 + кг2 + к2г4 + къг6) + 2 рхт + р2 ( г 2 + 2и2 ) у' = V (1 + кг2 + к2г4 + къг6) + р (г2 + 2v2) + 2 р

uv,

х ' х'"

у = м у'

1 1

1.1.2 Калибровка камеры

Внешние и внутренние параметры камеры могут быть вычислены в ходе ее калибровки. На калибровочном стенде выбирают некоторый набор точек (характерные точки) и измеряют их трехмерные координаты, при этом глобальную систему координат привязывают к стенду. Далее стенд снимается камерой в нескольких ракурсах. На каждом снимке вручную или автоматически находятся координаты образов характерных точек (рисунок 1.1.2.1).

Рисунок 1.1.2.1 - Пример калибровочного стенда с найденными на нем

характерными точками Система уравнений строится по группе формул (1.1.1.4). Пусть имеется К снимков калибровочного стенда в различных его ориентациях и положениях. Известными величинами в этой системе являются трехмерные координаты всех

характерных точек и соответствующие им пиксельные координаты их двумерных образов. Неизвестными величинами являются все внутренние параметры камеры (их четыре: fx, fy, cx, cy), все коэффициенты дисторсии (их пять: k1, k2, k3, p1, p2) и K наборов внешних параметров камеры ((R1,T1), (R2,T2), ... (RK,TK)) - ориентации и положения камеры на каждом снимке относительно калибровочного стенда.

Если взять такое количество характерных точек, чтобы количество уравнений в системе совпало с количеством неизвестных, то такая система не будет иметь точного аналитического решения. Это связано с тем, что невозможно с абсолютной точностью определить положения характерных точек на калибровочном стенде из-за дискретности изображений. Поэтому задача нахождения корней системы уравнений заменяется оптимизационной задачей, решаемой по методу наименьших квадратов. Для большей устойчивости решения, систему делают переопределенной за счет фотографирования калибровочного стенда в разных ракурсах.

После того, как в результате калибровки стали известны все параметры камеры, на снимках можно устранять эффекты радиальной и тангенциальной дисторсии. Один из способов - использование так называемых карт искажений [6]. Они представляют собой пару матриц, количество строк и столбцов в них совпадает с разрешением исходных снимков. Обе матрицы вычисляются однократно. Назовем их mapx и mapy, в приведенных ниже формулах показано, как заполняются эти матрицы (u - номер столбца, v - номер строки, width - количество строк в исходных изображениях, height - количество столбцов):

х е {0,1,..., width -1}, у е {0,1,..., height -1}

u x

v = M_1 y

1 1

2 2 2 Г7 = M + V .

uv,

x ' = u (l + kr2 + к2г4 + к3г6 ) + 2 pxuv + p2 ( r 2 + 2u2 )

y ' = v (l + к/2 + к2г4 + к3г6 ) + pj ( г 2 + 2v2 ) + 2 p

mapx [ x, y ] mapy [ x, y ] = M 1

y 1

s

Далее, в ходе использования камеры, дисторсию можно устранить, применяя для каждого пикселя исходного изображения следующее преобразование:

u = mapx [ x, y ],

v = mapy [ x, y ], (1.1.2.2)

dst [ x, y ] = src [u, v ].

Здесь src -исходное изображение, dst - скорректированное. Пример устранения дисторсии показан на рисунке 1.1.2.2.

Рисунок 1.1.2.2 - Снимок до и после устранения дисторсии Весь дальнейший материал предполагает, что камеру можно предварительно откалибровать, вычислить матрицу внутренних параметров и коэффициенты дисторсии и использовать их для устранения искажений, поэтому

коэффициенты радиальной и тангенциальной дисторсии далее в уравнениях не рассматриваются.

Если внутренние параметры камеры известны, и необходимо вычислить положение и ориентацию камеры относительно глобальной системы координат, то имеем задачу внешней калибровки камеры [9]. Путем решения оптимизационной задачи, необходимо вычислить матрицу ориентации Я и вектор положения Т камеры при известных ЗО-координатах набора точек } (в

некоторой глобальной системе координат) и известных 2D-координатах проекций этих точек •#„} на снимке с камеры. Неизвестные величины - три компонента вектора положения и три угла, определяющие матрицу ориентации Я.

Ж-

У' 1

= ЯРг + Т, дг = М

х'

У' 1

Я = Я (р,р,б),

(1.1.2.3)

1 -у" ,

егг = егг ) = — ^

" ¿=—

Чг--М (Я р + Т)

Ж,

^ Ш1П.

я, т

2

1.1.3 Математические основы стереозрения

Пусть точки О1 и Ог являются оптическими центрами одной и той же камеры, но находящейся в двух разных положениях и ориентациях (рисунок 1.1.3.1). Точка Р пространства проецируется на обе плоскости изображений в точки р1 и рг. В результате имеем плоскость ОрОг, которая пересекается с первой плоскостью изображения по прямой ре/, а со второй - по прямой ргвг. Эти прямые называются эпиполярными линиями [10]. Если Р проецируется на первую плоскость изображения в точку р/, то ее проекция на вторую плоскость изображения находится на эпиполярной линии рег (разумеется, если точка Р наблюдаема с обоих положений камеры). Аналогично, если Р проецируется на вторую плоскость изображения в точку рг, то ее проекция на первой плоскости изображения находится на эпиполярной линии р/е/. Это свойство получило название «эпиполярные ограничения».

Рисунок 1.1.3.1 - Иллюстрация эпиполярных ограничений Связь координат точек на двух изображениях, на которых запечатлена одна и та же сцена, описывается существенной матрицей E и фундаментальной матрицей F [11]:

Гт 1 x 0 -т 2 т у

т = ту , 5 = т2 0 -тх

т _ Гту тх 0

(1.1.3.1)

Е = Ж, ^ = ( М -) ЕМ

Здесь, матрица Я и вектор T задают взаимную ориентацию и положение систем координат, связанных с первой и второй позицией камеры. Если точка

4 =

Х1 X г

У1 и Чг = Уг

1 1

координаты проекций некоторой точки пространства на

первом и втором изображениях, то эпиполярные ограничения задаются следующей формулой:

ч'гЩ = 0.

(1.1.3.2)

Коэффициенты, определяющие уравнение эпиполярной линии р2е2 (в пиксельной системе координат изображения), вычисляются по формуле

а

/ = ^ = Ъ , а эпиполярное ограничение задается уравнением аххг + Ъуг + с = 0.

_ с1 _

Коэффициенты, определяющие уравнение эпиполярной линии р1в1, вычисляются по формуле /2 = .

Точки ^ и д2 можно представить в так называемых нормализованных координатах: =М~1д1, (¡г = М~хдг. В этом случае, эпиполярные ограничения задаются с помощью существенной матрицы:

№7 = о. (1.1.3.3)

Если удалось вычислить существенную (фундаментальную) матрицу, то можно провести ее декомпозицию на матрицу Я и вектор Т, применяя различные методы [11-13]. В методе, описанном в [11], применяется разложение матрицы по сингулярным числам:

Е = ПЛУ',

"0 -1 0" " 0 10"

Ж = 1 0 0 , 2 = -10 0

0 0 1 0 0 0

(1.1.3.4)

щ = ПЖУ', щ = ижУ, ^ = ти, б2 = -ти.

В данном случае, для матрицы Я и вектора Т получается по два возможных

решения. Из четырех возможных комбинаций (Щ,Т),(Щ,Т2),(Щ,Т),(Щ,Т2)

правильной является только одна: это уточняется с помощью координат проекций точки Р на обоих снимках, прообраз проекции должен лежать перед обеими камерами [11]. Заметим, что путем декомпозиции существенной матрицы можно

определить вектор Т только с точностью до некоторого положительного коэффициента.

Существуют различные алгоритмы нахождения фундаментальной матрицы по набору пар соответствующих точек, взятых с двух изображений [11, 14-16]. Наиболее простой - 8-точечный алгоритм, в котором исходными данными

являются координаты восьми пар точек |д1г, д2г } = <

Фундаментальная матрица определена с точностью до некоторого множителя, поэтому один из ее элементов, (например, 133) можно принять равным любому

ненулевому числу (например, -1). Восемь ограничений вида д^ • 1 • ди = 0

позволяют составить следующую линейную систему уравнений относительно оставшихся неизвестных элементов матрицы ^

Х11Х21 У11Х21 Х21 Х11У21 УпУи У 21 Х21 У 21

Х12Х22 У12Х22 Х22 Х12У22 У12У22 У22 Х22 У22

Х13 Х23 У13 Х23 Х23 Х13 У23 У13У23 У23 Х23 У23

Х14Х24 У14 Х24 Х24 Х14У24 У14У24 У24 Х24 У24

Х15 Х25 У15 Х25 Х25 Х15 У25 У15 У25 У25 Х25 У25

Х16 Х26 У16Х26 Х26 Х16 У26 У16 У26 У26 Х26 У26

Х17Х27 У17 Х27 Х27 Х17У27 У17У27 У27 Х27 У27

_ Х18 Х28 У18 Х28 Х28 Х18 У28 У18 У28 У28 Х28 У28

Недостатком 8-точечного алгоритма является то, что в случае, если все наблюдаемые точки лежат на одной плоскости, то результат будет некорректным [17]. От данного недостатка свободен 5-точечный алгоритм, который на данный момент является наиболее эффективным алгоритмом вычисления фундаментальной матрицы [18].

Рассмотрим случай, когда вся сцена или ее часть представляет собой плоскость. Тогда зависимость между проекциями одной и той же точки пространства на двух плоскостях изображений задается с помощью матрицы

хь Х2 г

Ун , У 21 >

1 1

т

^12 1

1

^21 1

1 22 1

1 1 23 1

131 1

1 1 32 _1_

(1.1.3.5)

гомографии Н [11, 17, 19]. Пусть некоторая точка в системе координат, связанной с первой позицией камеры, имеет координаты Р. При этом, в первой позиции оптическая ось камеры направлена перпендикулярно наблюдаемой плоской сцене. Проекция точки на первом снимке имеет координаты д1, на втором

снимке - координаты дг. Матрица Я и вектор Т задают взаимную ориентацию и положение для двух систем координат. Тогда во второй системе координат эта же точка имеет координаты ЯР + Т:

д = 1МР,

2

Р

X' У' 2'

ЯР + Т,

(1.1.3.6)

д = — МР'. г 2'

Для плоского случая, расстояние между плоскости изображения камеры, находящейся в первой позиции, и любой точкой наблюдаемой сцены постоянно, обозначим его как 2 . Трехмерную координату точки Р в первой системе

координат можно вычислить так: Р = 2М~1д1. Координаты точек д и д связаны следующим уравнением:

Р' =

X' У' 2'

= Я (20 М ) + Т,

(1.1.3.7)

1

д =— МР'. г 2'

Сделаем замену: д =М 1д1, дг=М '¿/(., получаем следующие уравнения:

с "о о т; \

р' = У' = г0щ1 + т = 0 0 ту

2' V О 0 тг_ У

Н = +

0 0 тх

0 0 Ту

0 0 Т

я,

Вернемся к исходным координатам точек проекций:

м-\=уйм-1д1..

1

Чг=-мнм-\.,

н=мнм~1 =м

я -

пГ

М-1, я =

0 у

о о

(1.1.3.9)

Матрица Н является матрицей проективного преобразования, связывающего координаты точек на изображениях, являющиеся проекциями точек с плоской сцены. Если на первом изображении точка имеет координату (х1, у), то на втором

изображении она будет иметь координаты (хг, уг):

" Хг " " К К К' Х1

а = w г 1 г Г Уг = Щ = К А22 А23 У1

1 К А32 ^33 _ 1

х = V/ + ^12 У1 + А13 Кх1 + А32 у1 + ^33

Кх1 + К У1 + А

23

Кх1 + ^32 у1 + А33 К = КХ1 + К У1 + И33-

(1.1.3.10)

Существуют методы декомпозиции матрицы томографии Н на матрицу Я и вектор Т [17, 19]. Опишем один из них: обозначим столбцы матрицы Н как

И2, Матрицу Я и вектор Т вычислим следующим образом [20]:

Л= к

Л

, =

к

к

К =-S Г3=Г1ХГ2--

Л2

R = (п, r2, r3),

(1.1.3.11)

T = Z0 •

Далее, чтобы обеспечить для матрицы Я свойство ортонормированности, применим к матрице разложение по сингулярным числам:

R = UAV{, R ^ UV{.

(1.1.3.12)

Матрица гомографии вычисляется, например, с помощью 4-точечного нормализованного алгоритма Хартли [11]. Матрица гомографии применяется и в том случае, когда совпадают оптические центры камеры в первой и во второй позиции (отсутствует движение камеры между видами): Н = М ~1ЯМ.

Заметим, что вся вышеизложенная теория достаточно просто расширяется для случая, когда две разные камеры, находящиеся в двух разных положения и ориентациях, наблюдают одну и ту же сцену:

F = (M;l)tEMl,

н=м им,

г I

-1

(1.1.3.13)

Для вычисления фундаментальной матрицы и матрицы гомографии часто применяется RANSAC (RANdom Sample Consensus) - стабильный алгоритм

оценки параметров некоторой модели P на основе случайных выборок, позволяющий оценить ее параметры при зашумленности исходных данных [21]. Все исходные данные разделяются на два типа: «хорошие» точки, удовлетворяющие модели («не-выбросы», «инлаеры» (англ. inlier)) и «ложные» точки, шумы - случайные включения в исходные данные («выбросы», «аутлаеры» (англ. outlier)). На вход алгоритма поступают:

Список литературы диссертационного исследования кандидат наук Степанов, Дмитрий Николаевич, 2016 год

СПИСОК ЛИТЕРАТУРЫ

1 Stepanov D., Tishchenko I. Methods of Visual Navigation of the UAV Flying over the Nonplanar District // Robot Intelligence Technology and Applications 4. Results from the 4th International Conference on Robot Intelligence Technology and Applications (RiTA2015) / ed. by J.-H. Kim, F. Karray, J. Jo, P. Sincak, H. Myung. Serie "Advances in Intelligent Systems and Computing", Vol. 447— 2016. — pp. 551561.

2 Степанов Д.Н., Тищенко И.П. Задача моделирования полета беспилотного летательного аппарата на основе системы технического зрения // Программные системы: теория и приложения, №4 - 2011 - С.33-43.

3 Ватутин В.М., Поляков А.В., Соболев Д.Б., Степанов Д.Н., Тищенко И.П. Подсистема определения положения и ориентации беспилотного летательного аппарата. // Ракетно-космическое приборостроение и информационные технологии. 2012. Труды V Всероссийской научно-технической конференции «Актуальные проблемы ракетно-космического приборостроения и информационных технологий» (5-7 июня 2012 г.) / М.: Радиотехника - 2013 - С. 9-27.

4 Тищенко И.П., Степанов Д.Н., Фраленко В.П. Разработка системы моделирования автономного полета беспилотного летательного аппарата // Программные системы: теория и приложения, T. 3, № 3(12) - 2012 - С. 3-21.

5 Степанов Д.Н., Тищенко И.П. Программная система для моделирования полета БПЛА и его автономного позиционирования с использованием методов и алгоритмов технического зрения // XIV национальная конференция по искусственному интеллекту с международным участием КИИ-2014, Казань, Т.3 -2014 - С.333-341.

6 Bradski G., Kaehler A. Learning OpenCV // O'Reilly Media - 2008 - 576 p.

7 Форсайт Д., Понс Ж. Компьютерное зрение. Современный подход // Пер. с англ. - Изд. «Вильямс» - 2004 - 928 с.

8 Rodrigues O. Des lois géométriques qui regissent les déplacements d' un système solide dans l' espace, et de la variation des coordonnées provenant de ces déplacement considérées indépendent des causes qui peuvent les produire // J. Math. Pures Appl. 5 - 1840 - pp. 380-440.

9 Кравцов А., Вежневец В. Общая формулировка задачи внешней калибровки камеры // Компьютерная графика и мультимедиа - 2003 - Вып. №1(2). URL: http://ict.edu.ru/ft/002404/num1krav.pdf (дата обращения: 08.11.2016).

10 Конушин А. Геометрические свойства нескольких изображений // Компьютерная графика и мультимедиа. Выпуск №4(3) / Сетевой журнал Лаборатории компьютерной графики и мультимедиа и Лаборатории математических методов обработки изображений при факультете ВМиК МГУ им. М.В.Ломоносова - 2006. URL: http://archive.ec/hwXHz (дата обращения: 08.11.2016).

11 Hartley R., Zisserman A. Multiple View Geometry In Computer Vision, 2nd edition // Cambridge University Press - 2003 - 670 p.

12 Longuet-Higgins H.C. A computer algorithm for reconstructing a scene from two projections // Nature, Vol. 293 - 1981 - pp. 133-135.

13 Horn B.K.P. Recovering Baseline and Orientation from 'Essential' Matrix // Journal of the Optical Society of America, Publisher: Citeseer - 1990 - pp. 1-10.

14 Chojnacki W., Brooks M.J., van den Hengel A., Gawley D. Revisiting Hartley's Normalised Eight-Point Algorithm // IEEE Trans. Pattern Analysis Machine Intelligence. Vol. 25, Issue 9 - 2003 - pp. 1172-1177.

15 Sheikh Y., Hakeem A., Shah M. On the Direct Estimation of the Fundamental Matrix// Computer Vision and Pattern Recognition, CVPR '07. IEEE Conference -2007 - pp. 1-7.

16 Zhang Z., Loop C. Estimating the Fundamental Matrix by Transforming Image Points in Projective Space // Computer Vision and Image Understanding, Vol.82, No.2 - 2001 - pp. 174-180.

17 Montijano E., Sagues C. Fast Pose Estimation For Visual Navigation Using Homographies // IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) - 2009 - pp. 2704-2709.

18 Stewenius H., Engels C., Nister, D. Recent developments on direct relative orientation // ISPRS Journal of Photogrammetry and Remote Sensing, Vol. 60, Issue 4 -2006 - pp. 284-294.

19 Malis E., Vargas M. Deeper understanding of the homography decomposition for vision-based control / Research Report 6303, INRIA, 2007 - 91 c.

20 Decompose Homography into Rotation matrix & Translation vector [Электронный ресурс]. URL: https://gist.github.com/inspirit/740979 (дата обращения: 08.11.2016).

21 Fischler M., Bolles R. Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography. // Communications of the ACM, Vol. 24, No. 6. - 1981 - pp. 381-395.

22 Konouchine A., Gaganov V., Veznevets V. AMLESAC: A New Maximum Likelihood Robust Estimator // Proc. of 15-th International Conference on Computer Graphics and Applications (GraphiCon'2005). Novosibirsk, Akademgorodok, Russia -2005 - pp. 93-100.

23 Torr P.H.S, Zisserman A. MLESAC: A New Robust Estimator With Application to Estimating Image Geometry // Computer Vision and Image Understanding 78 - 2000 - pp. 138-156.

24 Чернявский А.С. Робастная схема оценки параметров модели на основе метода роя частиц в задаче стереоотождествления // Известия Российской академии наук. Теория и системы управления. № 5. - 2008 - С. 99-113.

25 Middlebury Stereo Vision Page [Электронный ресурс]. URL: http://vision.middlebury.edu/stereo (дата обращения: 08.11.2016).

26 Camera Calibration Toolbox for Matlab [Электронный ресурс]. URL: http://www.vision.caltech.edu/bouguetj/calib_doc/ (дата обращения: 08.11.2016).

27 Gavin H. The Levenberg-Marquardt method for nonlinear least squares curve-fitting problems // Department of Civil and Environmental Engineering, Duke University - 2011 - pp. 1-15.

28 Vizilter Yu. V., Gorbatsevich V.S., Rubis A. Yu., Zheltov S. Yu. Shape-Based Image Matching using Heat Kernels and Diffusion Maps // ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences. Vol. XL-3, ISSN: 2194-9042, DOI: 10.5194/isprsarchives-XL-3-357-2014 - 2014 - pp. 357-364.

29 Correlation based similarity measures - Summary [Электронный ресурс]. URL: https://siddhantahuja.wordpress.com/tag/sum-of-absolute-differences-sad (дата обращения: 31.10.2015).

30 Bardsley D. Stereo Vision for 3D Face Recognition // Year 1 Annual Review, PhD Report, University of Nottingham - 2005 - 36 p.

31 Елесина С.И., Зотов В.В., Никифоров. М.Б. Повышение эффективности методов глобальной оптимизации на основе кластеризации области поиска // Вестник РГРТУ №3 (выпуск 37) - 2011 - С. 38-42.

32 Гаганов В. Инвариантные алгоритмы сопоставления точечных особенностей на изображениях // Компьютерная графика и мультимедиа, выпуск №7(1) - 2009. URL: http://masters.donntu.org/2012/iii/chigarev/library/article3.htm (дата обращения: 08.11.2016).

33 Rosten E., Drummond T. Fusing points and lines for high performance tracking // IEEE International Conference on Computer Vision - 2005 - pp. 1508-1511.

34 Harris C., Stephens M.J. A combined corner and edge detector // In Alvey Vision Conference - 1988 - pp. 147-152.

35 Shi J., Tomasi C. Good features to track // Computer Vision and Pattern Recognition (CVPR), IEEE Computer Society Conference on - 1994 - pp. 593-600.

36 Lowe D.G. Distinctive image features from scale-invariant keypoints // International Journal of Computer Vision, Vol. 60, Issue 2 - 2004 - pp. 91-110.

37 Bay H., Ess A., Tuytelaars T., Van Gool L. SURF: Speeded Up Robust Features // Computer Vision and Image Understanding (CVIU), Vol. 110, No. 3 -2008 - pp. 346-359.

38 Mikolajczyk K., Schmid C. A performance evaluation of local descriptors // IEEE Transactions on Pattern Analysis and Machine Intelligence , Vol. 10, №. 27 -2005 - pp. 1615-1630.

39 Matas J., Chum O., Urban M., Pajdla T. Robust wide-baseline stereo from maximally stable extremal regions // Proceedings of the British Machine Vision Conference, Vol. 1 - 2002 - pp. 384-393.

40 Juan L., Gwun O. A Comparison of SIFT, PCA-SIFT and SURF // International Journal of Image Processing (IJIP), Vol.3, Issue 4 - 2009 - pp. 143-152.

41 Bouguet J.-Y. Pyramidal implementation of the Lucas Kanade feature tracker Description of the algorithm // Intel Corporation Microprocessor Research Labs -2000 - 9 p. URL: http://robots.stanford.edu/cs223b04/algo_tracking.pdf (дата обращения: 08.11.2016).

42 Moore A.W. An introductory tutorial on kd-trees // Extract from Andrew Moore's PhD Thesis: Efficient Memory based Learning for Robot Control; Technical Report № 209, Computer Laboratory, University of Cambridge - 1991 - 20 p.

43 Родиков Д.Е. Синхронное определение местоположения и составление 2D-карты по стерео изображению в режиме реального времени // Бакалаврская работа. Санкт-Петербургский государственный университет информационных технологий, механики и оптики - 2010 - 53 с.

44 Muja M., Lowe D.G. Fast approximate nearest neighbors with automatic algorithm configuration // International Conference on Computer Vision Theory and Applications (VISAPP), Lisbon, Portugal - 2009 - 10 p.

45 Jia Y., Wang J., Zeng G., Zha H., Hua X. Optimizing kd-trees for scalable visual descriptor indexing // IEEE Conference on Computer Vision and Pattern Recognition (CVPR) - 2010 - 8 p.

46 Определение высоты полета / Авиафорум [Электронный ресурс]. URL: http://aviaforum.ru/threads/opredelenie-vysoty-poleta.26955/ (дата обращения: 08.11.2016).

47 Grzonka S. Grisetti G. Burgard W. A Fully Autonomous Indoor Quadrotor // Robotics, IEEE Transactions on. Vol. 28, Issue 1 - 2012 - pp. 90-100.

48 Collier J., Trentini M., Giesbrecht J., McManus C. Furgale P., Stenning B., Barfoot T., Se S., Kotamraju V., Jasiobedzki P., Shang L., Chan B., Harmat A., Sharf I. Autonomous Navigation and Mapping in GPS-Denied Environments at Defence R&D Canada // NATO UNCLASSIFIED - 12 p. URL: http://asrl.utias.utoronto.ca/~tdb/bib/collier_nato12.pdf (дата обращения: 08.11.2016).

49 Piratla V., Malode S.B., Saini S.K., Sao A.J.A.K., Rajpurohit B.S., Haobijam. G.: Autonomous Navigation in GPS Denied Indoor Environment Using RGBD Sensor, Kinect // Proc. of Fourth Symposium on Indoor Flight Issues - 2012 -12 p.

URL: http://aerialroboticscompetition.org/2012SymposiumPapers/2012IIT_Mandi.pdf (дата обращения: 08.11.2016).

50 Bachrach A., He R., Prentice S., Roy N. RANGE - Robust Autonomous Navigation in GPS-denied Environments // Journal of Field Robotics (JFR 2011) -2011 - 29 p. URL: http://people.csail.mit.edu/prentice/papers/jfr11-mav.pdf (дата обращения: 08.11.2016)

51 Grzonka S., Grisetti G., Burgard W. Autonomous Indoors Navigation using a Small-Size Quadrotor // In Workshop Proc. of Intl. Conf. on Simulation, Modeling and Programming for Autonomous Robots (SIMPAR), Venice, Italy - 2008 - 9 p. URL: http://ais.informatik.uni-freiburg.de/publications/papers/grzonka08simpar.pdf (дата обращения: 08.11.2016).

52 Conte G. Vision-Based Localization and Guidance for Unmanned Aerial Vehicles // Dissertation No. 1260, Linkoping Studies in Science and Technology, Department of Computer and Information Science, Linkoping universitet, Sweden -2009 - 188 p.

53 Conte G., Doherty P. Vision-Based Unmanned Aerial Vehicle Navigation Using Geo-Referenced Information // EURASIP Journal on Advances in Signal Processing. Vol. 2009, Article ID 387308 - 2009 - 18 p.

54 Конкин, Ю.В. Разработка системы определения координат летательного аппарата на основе совмещения радиолокационной и картографической информации // Диссертация на соискание ученой степени канд. техн. наук., Рязанский государственный радиотехнический университет - 2007 - 144 с.

55 Nwe T.T., Htike T., Mon K.M., Naing Z.M., Myint Y.M. Application of an Inertial Navigation System to the Quad-rotor UAV using MEMS Sensors // Proc. of World Academy of Science: Engineering & Technology, Vol. 44 - 2008 - pp. 578-582.

56 Петухова Е.С. Автономная бортовая система управления посадкой беспилотного летательного аппарата самолетного типа на движущееся судно // Диссертация на соискание ученой степени канд. техн. наук, Балтийский

государственный технический университет "Военмех" им. Д.Ф. Устинова, Санкт-Петербург - 2013 - 117 с.

57 Woo J., Son K., Li T., Kim G., Kweon, I.S. Vision-based UAV Navigation in Mountain Area // MVA2007 IAPR Conference on Machine Vision Applications, Tokyo, Japan - May 16-1S, 2007 - pp. 236-239.

5S Гришин В.A., Книжный И.М., Хрекин К.Е. Алгоритмы установления соответствия при обработке изображений для решения задач управления посадкой летательных аппаратов // Современные проблемы дистанционного зондирования Земли из космоса: Физические основы, методы и технологии мониторинга окружающей среды, потенциально опасных объектов и явлений. Сб. научн. статей. М.: ООО «Азбука-2000», Вып. 4. Т. I. - 2007 - C. 25-32.

59 Комаров Д.В., Визильтер Ю.В., Выголов О.В. Разработка алгоритма автоматического обнаружения взлетно-посадочной полосы на видеоизображениях // Научно-техническая конференция «Техническое зрение в системах управления-2011», Институт космических исследований РАН, Москва - 15-17 марта 2011 -с. S1. URL: http://tvcs2011.technicalvision.ru/docs/Abstracts2011.pdf (дата обращения: 08.11.2016).

60 Lebedev M.A., Stepaniants D.G., Komarov D.V., Vygolov O.V., Vizilter Yu. V., Zheltov S. Yu. A Real-Time Photogrammetric Algorithm for Sensor and Synthetic Image Fusion with Application to Aviation Combined Vision // ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences. Vol. XL-3, ISSN: 2194-9042, DOI: 10.5194/isprsarchives-XL-3-171-2014 - 2014 - pp. 171-175.

61 Степашкин В.Н., Гриценко А.Е. Математическая модель косвенной оптимальной привязки изображений бортового многокадрового датчика к карте местности в задачах дистанционного зондирования Земли // Научный вестник МГТУ ГА, серия Радиофизика и радиотехника, № 139. - 2009 - С.77-84.

62 Катаманов С.Н., Десяткова О.Я. Автоматическая привязка изображений геостационарного спутника FengYun-2C // Современные проблемы дистанционного зондирования Земли из космоса: Физические основы, методы и технологии мониторинга окружающей среды, потенциально опасных явлений и объектов. Сборник научных статей. Вып. 6. Том I. - М.: ООО «Азбука-2000» -2009 - 500 с.

63 Zhang J., Liu W., Wu Y. A novel technique for vision-based UAV navigation // IEEE Transactions on Aerospace and Electronic Systems, Vol. 47, No. 4 - Oct. 2011 - 9 p.

64 Michaelsen E., Kirchhof M., Stilla U. Sensor Pose Inference from Airborne Videos by Decomposing Homography Estimates // Accepted for ISPRS 2004, Commission III, WG III/I - 2004 - 6 p.

65 Vargas M., Malis E. Visual servoing based on an analytical homography decomposition // Proceedings of the 44th IEEE Conference on Decision and Control, and the European Control Conference 2005, Seville, Spain - Dec. 12-15, 2005 -pp. 5379-5384.

66 Sasiadek J.Z., Walker M. Vision based UAV Navigation // Proceeding of the 2005 AIAA Guidance, Navigation and Control Conference, Honolulu, Hawaii - 16-20 August, 2008 - 12 p.

67 Caballero F., Merino L., Ferruz J., Ollero A. Vision-Based Odometry and SLAM for Medium and High Altitude Flying UAVs // Unmanned Aircraft Systems -2009 - pp.137-161.

68 Щербинин В.В., Шевцова Е.В., Васильева Ю.С., Чижевская О.М. Методы и алгоритмы функционирования цветной оптической корреляционно-экстремальной системы навигации летательных аппаратов // Гироскопия и навигация, № 4 (79) - 2012 - С. 34-49.

69 Cesetti A., Frontoni E., Mancini A., Ascani A., Zingaretti P., Longhi S. A Visual Global Positioning System for Unmanned Aerial Vehicles Used in Photogrammetric Applications // Journal of Intelligent & Robotic Systems. Vol. 61, Issue 1 - 2011 - pp.157-168.

70 Муратов В.И. Алгоритмы предварительной обработки изображений в системах комбинированного видения летательных аппаратов // Диссертация на соискание степени канд. техн. наук, Рязань - 2013 - 177 с.

71 Kemp C. Visual control of a miniature quad-rotor helicopter // PhD thesis, University of Cambridge - 2006.

72 Johnson N. Vision-assisted control of a hovering air vehicle in an indoor setting. Master's thesis, Brigham Young University - 2008.

73 Блохинов Ю.Б., Гнилицкий В.В., Инсаров В.В., Чернявский А.С. Алгоритм анализа и принятия решения в задаче селекции объектов на изображениях наземных сцен // Техническое зрение в системах управления мобильными объектами-2010: Труды научно-технической конференции-семинара. Вып. 4 - 2011 - С. 92-108.

74 Hagnelius A. Visual odometry // Master's thesis in Computing Science, Umea University - 2005.

75 Langelaan J., Rock S. Navigation of small UAVs operating in forests // In: Collection of Technical Papers - AIAA Guidance, Navigation and Control Conference - Aug 16-19, 2004 - pp. 2031-2041.

76 Maimone M., Cheng Y., Matthies L. Two years of Visual Odometry on the Mars Exploration Rovers // Journal of Field Robotics, 24 (3) - 2008 - pp. 169-186.

77 Andert F., Adolf F. Online world modeling and path planning for an unmanned helicopter // In: Autonomous Robots, Vol. 27, issue 3 - 2009 - pp. 147-164.

78 Watanabe Y., Fabiani P. Le Besnerais G. Simultaneous Visual Target Tracking and Navigation in a GPS-Denied Environment // International Conference on Advanced Robotics (ICAR) - 2009.

79 Ludington B., Johnson E. N., Vachtsevanos G. J. Vision Based Navigation and Target Tracking for Unmanned Aerial Vehicles // In: Advances in Unmanned Aerial Vehicles state of the Art and the Road to Autonomy, Springer - 2007 - pp.245-266.

80 Cesetti A., Frontoni E., Mancini A., Zingaretti P., Longhi, S. A Vision-Based Guidance System for UAV Navigation and Safe Landing using Natural Landmarks // Journal of Intelligent and Robotic Systems, 57(1-4) - 2009 - pp.233-257.

81 Семенов А.Е., Крюков Е.В., Рыкованов Д.П., Семенов Д.А. Практическое применение технологий компьютерного зрения в решении задач распознавания, восстановления 3D, сшивки карт, точного целеуказания, счисления пути и навигации // Известия ЮФУ. Технические науки. № 3 (104) - 2010 - С.92-102.

82 Ким Н.В., Бодунков Н.Е., Клестов Д.В., Разработка системы формирования адаптивных описаний объектов интереса для СТЗ РТК // Известия ЮФУ. Технические науки. № 1 (162) - 2015 - С. 109-120.

83 Ким Н.В., Кузнецов А.Г., Поиск объектов на основе анализа наблюдаемой ситуации // Механика, управление и информатика, №8. Москва -2012 - С. 209-213.

84 Бодунков Н.Е. Расширение условий функционирования систем визуальной навигации автономных беспилотных летательных аппаратов // Диссертация на соискание степени канд. техн. наук, Московский авиационный институт - 2015 - 155 с.

85 Конкин Ю.В., Колесников А.Н. Распознавание изображений на основе текстурных признаков Харалика и искусственных нейронных сетей // Известия Тульского государственного университета. Технические науки, № 2 - 2016 -С. 117-122.

86 Астафуров В.Г., Скороходов А.В. Классификация облаков по спутниковым снимкам на основе технологии нейронных сетей // Современные проблемы дистанционного зондирования Земли из космоса - Т. 8, № 1 - 2011 -С. 65-72.

87 Фельдман А.Б. Алгоритмы оценивания параметров объектов на изображениях для бортовых систем обработки информации и управления летательных аппаратов // Диссертация на соискание ученой степени канд. техн. наук. Рязанский государственный радиотехнический университет - 2013 - 177 с.

88 Алпатов Б.А., Бабаян П.В., Коблов Ю.С., Муравьев В.С., Стротов В.В., Фельдман А.Б. Автоматизация разработки и исследования алгоритмов машинного зрения для навигации беспилотных летательных аппаратов на базе специализированного программного комплекса // Известия ЮФУ. Технические науки, №3 - 2012. - С. 85-91.

89 Пантелеев В.Л.: Теория фигуры Земли // МГУ им. М.В.Ломоносова, Физический факультет, Курс лекций - 2000. URL: http: //lnfm 1.sai. msu.ru/grav/russian/lecture/tfe/index. html (дата обращения: 08.11.2016).

90 ГОСТ Р 51794-2008.

91 Kawase K. Concise Derivation of Extensive Coordinate Conversion Formulae in the Gauss-Krüger Projection // Bulletin of the Geospatial Information Authority of Japan, 60 - 2012 - pp. 1-6.

92 Балакин В. Л., Лазарев Ю. Н. Динамика полета самолета. Расчет траекторий и летных характеристик // Электронный курс лекций. Самара - 2011 -56 с. URL: http://www.ssau.ru/files/struct/deps/dinpol/umo/DPS_raschtraek.pdf (дата обращения: 08.11.2016).

93 Утилита gdal2tiles. // Klokan Technologies [Электронный ресурс]. URL: http://www.klokan.cz/projects/gdal2tiles/ (дата обращения: 08.11.2016).

94 GDAL - Geospatial Data Abstraction Library [Электронный ресурс]. URL: http://gdal.org (дата обращения: 08.11.2016).

95 FLANN - Fast Library for Approximate Nearest Neighbors [Электронный ресурс]. URL: http://www.cs.ubc.ca/research/flann/ (дата обращения: 08.11.2016).

96 Kamarainen J.-K., Kyrki V., Kalviainen H. Invariance Properties of Gabor Filter Based Features - Overview and Applications // IEEE Transactions on Image Processing. Vol. 15, No. 5 - 2006 - pp. 1088-1099.

97 Movellan J.R. Tutorial on Gabor Filters // Unpublished - 2008 - 23 p. URL: http://read.pudn.com/downloads140/ebook/603229/gabor.pdf (дата обращения: 08.11.2016).

98 gaborextract - Gabor Wavelets Feature Extraction [Электронный ресурс]. URL: https://code.google.com/p/gaborextract/ (дата обращения: 08.11.2016).

99 Bardsley D. Practical Framework for 3D Reconstruction and Its Applications // Thesis submitted for the degree of Doctor of Philosophy. University of Nottingham -2008 - 223 p.

100 Cooley J.W., Tukey J.W. An Algorithm for the Machine Calculation of Complex Fourier Series // Mathematics of Computation. 1965. P. 297-301.

101 GeoTIFF Format Specification. GeoTIFF Revision 1.0 [Электронный ресурс]. URL: http://www.dgi.inpe.br/FTP-pub/docs/GeoTiff.htm (дата обращения: 08.11.2016).

102 GNU Scientific Library [Электронный ресурс]. URL: http://www.gnu.org/software/gsl/ (дата обращения: 08.11.2016).

103 osgEarth - Geospatial SDK for OpenSceneGraph [Электронный ресурс]. URL: http://osgearth.org/ (дата обращения: 08.11.2016).

104 OGRE - Open Source 3D Graphics Engine [Электронный ресурс]. URL: http://www.ogre3d.org/ (дата обращения: 08.11.2016).

105 Crystal Space - A modular, configurable, and extensible rendering engine [Электронный ресурс]. URL: http://www.crystalspace3d.org/main/Main_Page (дата обращения: 08.11.2016).

106 FlightGear Flight Simulator [Электронный ресурс]. URL: http://www.flightgear.org/ (дата обращения: 08.11.2016).

107 Талалаев А.А. Организация конвейерно-параллельных вычислений для обработки потоков данных // Информационные технологии и вычислительные системы, №1 - 2011 - С.8-13.

108 Технологии анализа видеоинформации для навигации беспилотных летательных аппаратов [Электронный ресурс].

URL: http://rsreu.ru/ru/?option=com_content&view=article&id=2889&Itemid=1589 (дата обращения: 08.11.2016).