Алгоритмы формирования кругового панорамного изображения в системе разнесенных в пространстве видеокамер тема диссертации и автореферата по ВАК РФ 05.12.04, кандидат наук Толкачев, Данил Сергеевич

• Толкачев, Данил Сергеевич
• кандидат наук
• 2013

Оглавление диссертации кандидат наук Толкачев, Данил Сергеевич

Содержание

Введение

1 Системы и алгоритмы формирования панорамного видеоизображения

1.1 Системы формирования панорамного видеоизображения

1.2 Алгоритмы формирования панорамного изображения в системе из нескольких камер

1.3 Прямые методы оценки параметров совмещения

1.3.1 Выбор метрики

1.3.2 Использование гауссовой пирамиды

1.4 Методы оценки параметров совмещения на основе точечных особенностей

1.4.1 Поиск и сопоставление особых точек на изображении

1.4.2 Модели совмещения изображений

1.4.3 Оценка параметров модели

1.5 Совмещение изображений с использованием многомастптаб-ного представления

Выводы

2 Модель формирования панорамного изображения с учетом параллакса

2.1 Модель камеры

2.1.1 Проективная модель камеры

2.1.2 Внешние и внутренние параметры камеры

2.1.3 Геометрические искажения камеры

2.2 Модель системы кругового обзора

2.3 Панорамные проекции

2.3.1 Азимутальные проекции

2.3.2 Цилиндрические проекции

2.4 Представление ориентации камеры

2.5 Геометрическое преобразование изображений

2.5/1 Функция прямого обратного отображения

2.5.2 Функция прямого отображения

Выводы

3 Калибровка системы кругового обзора

3.1 Калибровка внутренних параметров камеры

3.2 Калибровка системы из двух камер

3.3 Калибровка системы из п камер

3.4 Привязка к абсолютным значениям

Выводы

4 Экспериментальное определение параметров системы кругового обзора

4.1 Повышение точности калибровки внешних параметров камеры

4.2 Экспериментальная проверка алгоритма калибровки системы камер

4.3 Формирование панорамного изображения

4.4 Построение и отображение траектории движения

4.5 Аппроксимация таблиц геометрических преобразований с помощью полиномов

Выводы

Заключение

Условные обозначения и определения

Библиографический список

Введение диссертации (часть автореферата) на тему «Алгоритмы формирования кругового панорамного изображения в системе разнесенных в пространстве видеокамер»

Введение

Актуальность работы

Развитие и распространение средств регистрации, обработки и хранения изображений формирует широкий интерес к системам автоматического построения панорамных изображений. Благодаря возможности полностью отобразить пространство вокруг наблюдателя, панорамное изображение позволяет обеспечить убедительный эффект присутствия. По этой причине многие компании предоставляют виртуальные туры музеев, выставок, улиц, основанные на панорамном представлении сцен окружающего мира.

В связи с тем, что техника представления окружающего мира в виде панорамы имеет широкое применение и долгую историю, множество научных и технических направлений пересекается в этой области: фотография, оптика и фотограмметрия изначально, обработка изображений и техническое зрение в последствии. Среди ученых, оказавших заметное влияние на развитие алгоритмов формирования панорамных изображений, можно назвать Лукаса и Канаде (B.D. Lucas, T. Kanade), сформировавших идеи оптического потока; Д. Лоуи (D. Lowe), развившего их идеи и разработавшего алгоритм поиска и описания локальных особенностей изображения SIFT; Р. Зелински (R. Szelinski), систематизировавшего и дополнившего имеющиеся знания по формированию панорамных изображений; Р. Хартли и А. Зиссермана (R. Hartley, A. Zisserman), описавших геометрические зависимости между сценой и ее изображением.

Преимущества панорамного представления предполагают естественной установку систем кругового панорамного обзора на мобильные платформы (автомобили, роботизированные платформы) для облегчения задач вождения или осуществления удаленного управления транспортным средством. Вместе с тем, имеются определенные технические трудности, ограничивающие применение подобных систем.

Во-первых, существующие алгоритмы формирования панорамных изображений в основном рассчитаны на работу со статическими изображениями, а не видеопоследовательностями. Следовательно, без доработки имеющиеся алгоритмы не позволяют формировать панорамное изображение в режиме

реального времени.

Во-вторых, существующие алгоритмы формирования панорамного изображения показывают хорошие результаты нри заметном пересечении полей зрения смежных камер, что означает нежелательное увеличение числа камер в видеосистеме.

В-третьих, алгоритмы формирования панорамного изображения рассчитаны на изображения, полученные из одной точки либо с помощью широкоугольной оптической системы, либо вращением одной камеры, или благодаря компактному расположению камер. Благодаря таким подходам, влияние параллакса (различие углового положения объекта для различных дальностей) может быть полностью устранено, либо значительно уменьшено. Подобное расположение камер вынуждает размещать видеосистему кругового обзора сверху, где обзор не закрывается элементами конструкции. В определенных случаях такой подход может вступить в конфликт с конструкторскими или дизайнерскими решениями по установке камер, повысить заметность и т. п. В таких случаях камеры приходится располагать далеко друг от друга (например, по бортам транспортного средства, где их обзор не ограничивают элементы конструкции), следовательно, влиянием параллакса нельзя пренебречь.

Таким образом, представляются необходимыми и актуальными дальнейшие исследования в данной области и разработка алгоритмов формирования панорамного изображения.

Объектом исследования являются видеоизображения, полученные от видеосистемы кругового обзора.

Целью диссертационной работы является повышение качества формирования панорамного изображения за счет учета структуры сцены и пространственного расположения камер, а также обеспечение возможности работы в реальном времени и решение сопутствующих прикладных задач.

Основными задачами, которые необходимо решить для достижения поставленной цели, являются:

1. Разработка алгоритма формирования панорамного изображения с учетом разнесенного расположения камер в системе и с возможностью работы в реальном масштабе времени;

2. Разработка метода и алгоритмов определения параметров располо-

жения камер в системе;

3. Формирование методики повышения точности определяемых параметров системы в рамках разработанного метода;

4. Разработка алгоритма формирования и отображения траектории движения транспортного средства;

5. Разработка метода аппроксимации характеристик геометрического преобразования изображения.

В рамках диссертационной работы получены следующие новые научные результаты:

1. Разработан алгоритм формирования панорамного изображения в реальном масштабе времени на основе предложенной математической модели системы кругового обзора, учитывающей взаимное расположение камер, их внутренние параметры и геометрические характеристики внешней среды;

2. Разработаны метод и алгоритмы определения параметров расположения камер в системе с помощью двух плоских калибровочных щитов с нанесенными тестовыми изображениями;

3. Предложена методика повышения точности определяемых параметров системы, задающая конфигурацию щитов, вид тестовых изображений и порядок действий при калибровке;

4. Разработан алгоритм формирования и отображения траектории движения транспортного средства на панорамном изображении;

5. Предложен метод аппроксимации таблиц геометрического преобразования изображений, снижающий требования по объему к долговременной и кратковременной памяти системы.

Практическая значимость работы состоит в следующем:

1. Предложенная модель системы кругового обзора позволяет учесть влияние взаимного расположения камер и геометрические особенностей внешней среды, а также формировать на панорамном изображении прогнозируемую траекторию движения транспортного средства;

2. Разработанный на основе предложенной модели алгоритм позволяет формировать панорамное изображение в реальном масштабе времени;

3. Разработанная методика нахождения параметров расположения камер позволяет с помощью доступного оборудования определить с необходимой точностью углы ориентации и координаты расположения камеры (со

среднеквадратической погрешность 0,3° и с относительной среднеквадрати-ческой погрешностью 7% соответственно);

4. Разработанный алгоритм аппроксимации функций геометрического преобразования изображений позволяет значительно снизить требования к долговременной памяти системы (на четыре порядка для изображения 720 х 576), эффективно распаковать данные, используя только операции сложения, и имеет достаточную точность (максимальная ошибка менее 0,1 пикселя, что превышает погрешность калибровки).

Методы исследования основаны на математическом моделировании эффектов геометрической оптики, численных методах решения задач минимизации многопараметрических функций, статистической обработке результатов эксперимента. Также использовались методы цифровой обработки изображений и технического зрения. Моделирование производилось как с помощью готовых математических программных библиотек, так и с помощью разработанных алгоритмов, а также при помощи пакетов создания трехмерной компьютерной графики.

Апробация работы

Основные результаты работы докладывались и обсуждались на:

— Всероссийской научной конференции «Инновационные процессы в гуманитарных, естественных и технических системах», Таганрог, 2012;

— Выступлениях и научных семинарах кафедры теоретических основ радиотехники, Таганрог, 2012-2013;

— Всероссийской научной конференции «Основные тенденции развития в гуманитарных, естественных и технических системах», Таганрог, 2013.

Внедрение результатов работы

Результаты диссертационной работы внедрены на предприятии ОАО «Научно-конструкторскою бюро вычислительных систем» г. Таганрога, а также в учебном процессе кафедры теоретических основ радиотехники. Внедрение и использование результатов работы подтверждено соответствующими актами.

Публикации

Основные результаты по теме диссертации изложены в 5 печатных изданиях, в том числе: 2 статьи изданы в журналах, рекомендованных ВАК РФ для публикации материалов кандидатских диссертаций, 1 статья

в ежемесячном научном журнале, 2 статьи в материалах Всероссийских конференций.

Основные положения, выносимые на защиту:

1. Формирование панорамы возможно на основе модели, включающей внутренние характеристики камер и их расположение, а также особенности внешней среды;

2. Для калибровки системы камер целесообразно использовать калибровочный объект в виде двух плоских щитов;

3. Повышение точности калибровки системы достигается расположением калибровочного объекта на различных расстояниях и под различными углами относительно калибруемых камер;

4. Функции геометрического преобразования изображений возможно эффективно аппроксимировать с помощью степенных многочленов.

5. Решение задачи построения и отображения траектории движения транспортного средства целесообразно выполнять на основе разработанной модели видеосистемы кругового обзора.

Объем и структура работы

Диссертация состоит из введения, четырех глав, заключения, списка условных обозначений, списка использованных источников. Полный объем диссертации составляет 136 страниц текста, включая 33 иллюстрации и 9 таблиц. Список литературы содержит 96 наименований.

Во введении обосновывается актуальность исследований, формулируется цель, ставятся задачи, отражаются научная новизна и практическая значимость представляемой работы, формулируются основные положения, выносимые на защиту.

В первой главе производится обзор существующих систем и алгоритмов формирования панорамных изображений, которые можно условно классифицировать следующим образом:

— системы построения панорамных изображений с помощью специальных сверхширокоугольных оптических устройств (широкоугольных объективов типа «рыбий глаз» или катадиоптрических систем с использованием зеркала сложной формы);

— панорамные системы сканирующего типа (механические или оптико-механические) ;

— панорамные системы, состоящие из нескольких широкоугольных камер; полученные от камер изображения совмещаются в единое изображение при помощи специальных алгоритмов формирования панорамного изображения.

Основные недостатки систем, использующих сверхширокоугольную оптику, заключаются в невысоком и неравномерном разрешение итогового панорамного изображения, а также в наличии на панорамном изображении «слепых» зон в случае использования катадиоптрических систем, связанных с конструктивными особенностями крепления зеркала.

Сканирующие панорамные системы имеют такие недостатки, как наличие в конструкции движущихся частей и невозможность одновременного обзора всего окружающего пространства.

Панорамные системы, состоящие из нескольких широкоугольных камер, лишены подобных недостатков, что объясняет их широкое распространение. Алгоритмы формирования панорамного изображения в таких состоят из двух основных этапов: оценка параметров совмещения изображений и непосредственно совмещение изображений.

На первом этапе алгоритмов формирования панорамного изображения в системе из нескольких широкоугольных камер для смежных входных изображений оцениваются параметры совмещения согласно определенной модели, затем найденные параметры могут уточняться с помощью процедуры глобальной оптимизации.

На втором этапе алгоритмов формирования панорамного изображения производится совмещение исходных изображений с целью получения итогового панорамного изображения. Согласно оцененным параметрам осуществляются геометрические преобразования входных изображений: устранение дисторсии (геометрических искажений объектива камеры), применение выбранного совмещающего преобразования, переход к выбранной панорамной проекции. Далее производится устранение видимых переходов от одного изображения к другому: формируются маски наложения этих изображений на формируемую панораму, производится выравнивание экспозиций преобразованных изображений. Наконец, полученные изображения совмещаются в итоговое панорамное изображение.

Первый этап — оценка параметров совмещения — выполняется различ-

ными способами и может быть классифицирован на группы:

— «плотные» методы, основанные на анализе значений всех пикселей в области перекрытия изображений, например, корреляционные или частотные методы;

— «разреженные» методы, основанные на поиске и сопоставлении особых точек на изображениях.

Первая группа несмотря на теоретически более высокую точность и стабильность работы практически вытеснена второй, в основном из-за высокой вычислительной сложности «плотных» методов. По этой причине далее подробно рассмотрены алгоритмы формирования панорамного изображения, основанные на поиске и сопоставлении особых точек на изображениях. Основные шаги этапа оценки параметров совмещения для «разреженных методов» представлены ниже.

На входных изображениях производится поиск особых точек. Каждая особая точка описывается положением на изображении (координаты, масштабный коэффициент, угол ориентации и т. п.) и так называемым дескриптором, представляющим собой вектор в TV-мерном пространстве и характеризующим окрестность вокруг особой точки. Разработаны различные алгоритмы формирования особых точек: FAST, SIFT, SURF и др. Например, в алгоритме SIFT поиск особых точек производится с помощью детектора каплеобразных (англ. blob) областей, а дескрипторы формируются на основе гистограммных характеристик направления и величины градиента в области найденной точки.

Производится сопоставление особых точек смежных изображений, во время которого для каждой особой точки одного изображения находится одна или несколько наиболее подходящих точек другого изображения с наименьшим расстоянием между их дескрипторами. Эта задача может решаться как простым перебором, так и с привлечением различных методов поиска ближайшего соседа в многомерном метрическом пространстве.

Следующим шагом производится предварительная оценка параметров совмещения. В зависимости от выбранной модели совмещения изображений могут оцениваться различные параметры: плоское вращение и смещение, параметры проективного преобразования, параметры вращения камеры. Найденные на предыдущем шаге соответствия особых точек могут содер-

жать как истинные соответствия точек двух изображений, так и выбросы, поэтому алгоритм оценки параметров должен быть робастным, т. е. устойчивым к выбросам. Популярными алгоритмами устойчивой оценки параметров являются метод случайных выборок R ANS АС, М-оценочная функция, метод наименьших усеченных квадратов и др.

В завершении этапа оценки параметров совмещения может производится глобальная оптимизация параметров, например, в том случае, когда формируемая панорама имеет 360-градусное поле обзора. Полученные на предыдущем шаге параметры совмещения связывают между собой два смежных снимка, поэтому при последовательном применении параметров совмещения к каждому изображению возникает ситуация, когда из-за накопившихся ошибок последнее и первое изображения не совмещаются на формируемой панораме. Целью глобальной оптимизации является устранение этого явления. Кроме того, может потребоваться операция выпрямления линии горизонта.

Рассмотренные алгоритмы формирования панорамного изображения имеют следующие ограничения:

— высокая вычислительная сложность, затрудняющая создание системы, работающей в режиме реального времени;

— необходимость значительной области перекрытия полей зрения смежных видеокамер;

— их работа затруднена в случае плохой освещенности, тумана и равномерного или содержащего самоподобные элементы фона (справедливо в большей степени для алгоритмов, оперирующих точечными особенностями изображений);

— не учитываются эффекты, возникающие из-за разнесенного расположения камер.

Таким образом, из существующих систем построения панорамного изображения наиболее подходящими для установки на мобильные платформы и обеспечивающими высокое разрешение формируемой панорамы являются системы на основе нескольких широкоугольных камер. Однако, их применение имеет ряд практических трудностей, связанных с применяемыми алгоритмами формирования панорамного изображения. По этой причине ставится задача сформировать алгоритм формирования кругового пано-

рамного изображения в системе разнесенных в пространстве видеокамер свободный от указанных ограничений.

Во второй главе предлагается и описывается математическая модель видеосистемы кругового обзора, позволяющая при формировании панорамного изображения учитывать взаимное расположение камер, их внутренние параметры и геометрические характеристики внешней среды. Модель описывается следующими параметрами:

— набором внутренних параметров каждой камеры, описывающих проекционные свойства камеры: фокусные расстояния камеры, координаты точки пересечения оптической оси камеры и плоскости изображения, коэффициенты дисторсии;

— набором внешних параметры для каждой камеры, которые описывают ориентацию и положение центра камеры.

— положением и ориентацией системы координат наблюдателя, в которой производится построение панорамы;

— моделью окружающего мира в виде функции угловых координат.

Рассматриваются способы представления ориентации камеры и наблюдательной системы координат в пространстве: матрица поворота, вектор вращения, представление вращения в виде единичного кватерниона, углы Эйлера (в работе предложена последовательность поворотов на углы азимута, высоты и крена). Рассмотрены преимущества и недостатки этих видов представления вращения.

При формировании панорамного изображения исходные изображения подвергаются геометрическим преобразованиям, которые удобно представлять в виде функции обратного отображения, связывающей координаты панорамного изображения и координаты входных изображений. Согласно представленной модели эта связь осуществляется с помощью последовательности преобразований:

1. Переход от координат панорамного изображения к координатам наблюдательной системы координат, осуществимый на основе информации о геометрии окружающего мира, а также свойствах панорамной проекции.

2. Переход от наблюдательной системы координат к основной системе координат, определенный положением и ориентацией наблюдательной системы координат.

3. Переход от основной системы координат к одной из систем координат камеры, производящийся с учетом их расположения в системе.

4. Переход к координатам входных изображений, учитывающий проективные свойства камеры, которые заданы набором внутренних параметров камеры.

Окружающий мир представляется с помощью аппроксимирующей модели в виде сферической или полусферической поверхности с различными радиусами. Функции обратного отображения можно рассчитать заранее и сохранить в нескольких конфигурациях соответственно выбранным моделям окружающего мира. Недостатки такого подхода, связанные с грубым приближением геометрии окружающего пространства, в данном случае перевешивают следующие преимущества:

— низкая вычислительная сложность алгоритма формирования панорамного изображения позволяет осуществлять построение в реальном времени;

— учет расположения камер позволяет формировать панорамное изображение в системе разнесенных камер; точность построения, однако, ограничена тем, насколько удачно модель окружающего мира описывает реальные условия;

— благодаря тому что, положения и характеристики камер известны, приемлемые результаты могут быть получены в случае плохой освещенности или в условиях ограниченной видимости.

Калибровка системы камер, необходимая для разработанной модели формирования панорамного изображения, представлена в третьей главе. Калибровка системы камер может быть представлена в виде следующей последовательности:

— нахождение внутренних параметров каждой камеры;

— нахождение параметров относительного расположения для системы из двух соседних камер;

— нахождение параметров положения и ориентации камер для всей системы в целом относительно одной из камер;

— привязка найденных относительных внешних параметров камеры к абсолютным значениям.

Калибровка внутренних параметров каждой из камер может быть осу-

ществлена с помощью известной методики калибровки с помощью плоского калибровочного объекта, предъявляемого камере в различных положениях. В процессе калибровки оцениваются искомые внутренние параметры камер, а также положение и ориентация калибровочного щита относительно камеры. Целью алгоритма калибровки является минимизация разности имеющихся координат калибровочного объекта, найденные на входных изображениях и координат калибровочного объекта, полученные с помощью проецирования согласно оцениваемым параметрам.

Для калибровки внешних параметров системы из двух камер была разработана методика, подобная методике калибровке внутренних параметров одной камеры, описанной выше. Чтобы калибровочный объект был виден обеими калибруемыми камерами предлагается сформировать его из двух плоских щитов с координатами с таким взаимным расположением, которое обеспечивали бы их возможную видимость для любой из пар камер. Методика проведения калибровки пары камер подобна калибровке параметров одной камеры: калибровочный объект предъявляется тестируемой паре камер в различных положениях. Каждая из камер наблюдает свою часть калибровочного объекта. В результате, по полученным изображениям калибровочных щитов можно установить приблизительные параметры взаимного расположения калибруемой пары камер, которые затем необходимо уточнить с помощью методов нелинейной оптимизации.

Калибровка системы из произвольного числа камер также осуществляется по схеме инициализация-оптимизация. Переход от параметров расположения каждой пары камер к общей системе координат осуществляется по двухпроходной схеме: параметры камер определяются сначала при прямом обходе системы, затем при обратном, и затем определяется среднее из двух значений. Такой подход позволяет улучшить начальное приближение параметров за счет устранения накапливания ошибки.

Привязка полученных параметров камер к координатам носителя производится на заключительном этапе калибровки. Эта задача также решается разделением на два этапа: получение приближенного решения и уточнение его с помощью нелинейной оптимизации.

В четвертой главе рассматриваются вопросы экспериментального и практического характера: описаны алгоритмы формирования и отображе-

ния траектории движения транспортного средства и метод аппроксимации параметров геометрического преобразования изображений; приведены экспериментальные данные, позволяющие убедиться в правильности разработанной модели и достаточной точности алгоритмов калибровки.

Разработанная модель видеосистемы кругового обзора позволяет учитывать внешнюю среду при формировании панорамного изображения: задавать вид поверхности, на которой осуществляется «сшивка» панорамы и дальность до нее.

Также разработанная модель может использоваться для построения на панорамном изображении прогнозируемой траектории движения транспортного средства. Для этого необходимо иметь в качестве дополнительных данных угол поворота управляемых колес, длину колесной базы, габаритную ширина автомобиля, положение и ориентацию центра поворота относительно основной системы координат. Используемый подход достаточно универсален и позволяет отображать траекторию не только на панорамном изображении, но и на исходном или преобразованном геометрически (например, «виде сверху»).

Вычисление значений функции обратного отображения для каждой камеры требует значительных вычислительных ресурсов, в то же время предварительный расчет значений функции обратного отображения требует больших объемов памяти для хранения таблиц значений. Разработан метод аппроксимации функций обратного преобразования с помощью степенных многочленов, который позволяет уменьшить объем долговременной памяти, необходимой для хранения функции обратного отображения, позволяет эффективно распаковать данные, используя только операции сложения, и имеет достаточную точность.

Приводятся описания и результаты экспериментов по калибровке системы камер, которые показали, что среднеквадратическая погрешность определения ориентации камеры составляет 0,3°, а относительная среднеквадратичная погрешность определения положения камеры составляет 7%.

В заключении приводятся основные результаты работы и определяется круг перспективных задач, требующих решения в дальнейшем.

1 Системы и алгоритмы формирования панорамного видеоизображения

Панорамой (от греч. nav — весь, драца — вид) в общем случае называют изображение с большим углом обзора. Применение панорамного изображения кроме увеличения доступного для наблюдения пространства позволяет также обеспечить убедительный эффект присутствия.

Панорамное изображение первоначально появилось в живописи, и в середине 19-го века стало популярным способом представления пейзажей и исторических событий. Практически сразу после изобретения дагеротипии (первый способ получения фотографии) появились методы съемки панорамных фотографий. В настоящее время техника панорамного представления находит широкое применение в образовательных и развлекательных целях: существуют 360-градусные панорамные фильмы и кинотеатры; предоставляются виртуальные панорамные туры музеев и выставок; панорамные виды улиц многих городов доступны в сети Интернет. Количество пикселей в одном панорамном изображении может исчисляться миллиардами. В связи с долгой историей и обширной областью применения панорамного представления, для формирования, хранения, обработки и отображения панорамных изображений разработано множество технических устройств, методов и алгоритмов.

Список литературы диссертационного исследования кандидат наук Толкачев, Данил Сергеевич, 2013 год

Библиографический список

1. Толкачев Д.С. Преобразования координат, связанные с вращением камеры, при формировании панорамы // Материалы Всероссийской научной конференции «Инновационные процессы в гуманитарных, естественных и технических системах». — Т. 3. — Таганрог: Изд-во ТТИ ЮФУ, 2012. — С. 68-72.

2. Толкачев Д.С. Аппроксимация геометрических преобразований изображений с помощью многочленов // Альманах современной науки и образования. — № 10. — Тамбов: Грамота, 2013.— С. 170-173.

3. Толкачев Д.С. Повышение точности калибровки внешних параметров видеокамеры // Электронный научный журнал «Инженерный вестник Дона». — 2013,— № 3.— URL: http://www.ivdon.ru/magazine/ archive/n3y2013/1840 (дата обращения: 27.10.2013).

4. Толкачев Д.С. Формирование панорамного изображения с учетом параллакса при известной модели окружающего мира // Электронный научный журнал «Инженерный вестник Дона». — 2013. — № 4. — URL: http://ivdon.ru/magazine/archive/n4y2013/1872 (дата обращения: 03.11.2013).

5. Толкачев Д.С. Калибровка системы разнесенных в пространстве видеокамер // Материалы Всероссийской научной конференции «Основные тенденции развития в гуманитарных, естественных и технических системах». - Т. 2. - Таганрог: Изд-во ТТИ ЮФУ, 2013. - С. 64-68.

6. Liu Yun, Zhang Jiru, Gao Jian. Panoramic technique in the video monitoring system and Implementation // TELKOMNIKA Indonesian Journal of Electrical Engineering. — 2013. - Vol. 11, no. 1. — P. 91-96.

7. Wang X., Wu K., Y. Cheng. Research on Virtual 3D Station based on Images // Applied Mathematics & Information Sciences. — 2013. — Vol. 7, No. 1L. — P. 225-231.

8. Bakstein H., Pajdla T. Panoramic mosaicing with a 180° field of view lens // Omnidirectional Vision, 2002. Proceedings. Third Workshop on. — 2002. — P. 60-67.

9. Thibault Simon, Artonne Jean-Claude. Panomorph lenses: a low-cost solution for panoramic surveillance // Defense and Security Symposium / International Society for Optics and Photonics. — 2006. — P. 62030S-62030S.

10. Thibault Simon. Enhanced surveillance system based on panomorph panoramic lenses // Defense and Security Symposium / International Society for Optics and Photonics. - 2007. - P. 65400E-65400E.

11. Folded catadioptric panoramic lens with an equidistance projection scheme / Gyeong-il Kweon, Kwang Taek Kim, Gcon-hee Kim, Hyo-sik Kim // Applied optics. - 2005. - Vol. 44, no. 14. - P. 2759-2767.

12. J. Gaspar, Winters N., Santos-Victor J. Vision-based navigation and environmental representations with an omnidirectional camera // IEEE TRANSACTIONS ON ROBOTICS AND AUTOMATION. — 2000.-Vol. 16, no. 6. - P. 890-898.

13. Nayar S. K. Catadioptric omnidirectional camera // Computer Vision and Pattern Recognition, 1997. Proceedings., 1997 IEEE Computer Society Conference on. — 1997. — P. 482-488.

14. Mobile Panoramic Multispectral Scanner (MPMS)-A New Ground-Based Stereo Panoramic Scanning System for Planetary Robotic Exploration / R Li, L Lin, L Yan et al. // LPI Contributions. - 2012.- Vol. 1683,— P. 1059.

15. Panoramic mapping using CCD-line camera and laser scanner with integrated position and orientation system : Rep. / CITR, The University of Auckland, New Zealand ; Executor: Ralf Reulke, Aloysius Wehr, Martin Scheele, Karsten Scheibe : 2003.

16. A new ground-based stereo panoramic scanning system / R Li, L Yan, K Di, B Wu // Proceedings of International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. — 2008. — P. 723-727.

17. Toeppen John S, Buchheim Jason. Immersive stereoscopic panoramas // IS&T/SPIE Electronic Imaging / International Society for Optics and Photonics. - 2013. - P. 86481F-86481F.

18. Stereo panoramic image stitching with a single camera / Junguk Clio, Joon Hyuk Cha, Yong Min Tai et al. // Consumer Electronics (ICCE), 2013 IEEE International Conference on. - 2013. - P. 256-257.

19. Peleg Shmuel, Ben-Ezra Moshe. Stereo panorama with a single camera // Computer Vision and Pattern Recognition, 1999. IEEE Computer Society Conference on. / IEEE. — Vol. 1. - 1999.

20. Utsugi Kei, Moriya Toshio. A Camera Revolver for Improved Image Stitching // MVA. - 2002. - P. 261-264.

21. Ikeda Sei, Sato Tomokazu, Yokoya Naokazu. Panoramic Movie Generation Using an Omnidirectional Multi-camera System for Telepresence // Proceedings of the 13th Scandinavian Conference on Image Analysis. — SCIA'03. — Berlin, Heidelberg : Springer-Verlag, 2003. - P. 1074-1081.

22. The ultimate immersive experience: panoramic 3d video acquisition / Christian Weissig, Oliver Schreer, Peter Eisert, Peter Kauff // Advances in Multimedia Modeling. - Springer, 2012. - P. 671-681.

23. Geometrical design concept for panoramic 3D video acquisition / O. Schreer, P. Kauff, P. Eisert et al. // Signal Processing Conference (EUSIPCO), 2012 Proceedings of the 20th European / IEEE. - 2012. - P. 2757-2761.

24. Neumann Ulrich, Pintaric Thomas, R.izzo Albert. Immersive panoramic video // Proceedings of the eighth ACM international conference on Multimedia / ACM. - 2000. - P. 493-494.

25. Szeliski Richard. Image alignment and stitching: a tutorial // Foundations and Trends® in Computer Graphics and Vision. — 2006. — Vol. 2, no. 1. — P. 1-104.

26. Joshi Hemlata, Sinha Mr KhomLal. A Survey on Image Mosaicing Techniques // International Journal of Advanced Research in Computer Engineering k Technology (IJARCET). - 2013. - Vol. 2, no. 2. - P. pp-365.

27. Zitova Barbara, Flusser Jan. Image registration methods: a survey // Image and vision computing. — 2003. — Vol. 21, no. 11. — P. 977-1000.

28. Mehta Jalpa D, Bhirud SG. Image stitching techniques // Thinkquest" 2010. - Springer, 2011. - P. 74-80.

29. Argyriou V, Vlachos T. Estimation of sub-pixel motion using gradient cross-correlation // Electronics letters. - 2003. - Vol. 39, no. 13. - P. 980-982.

30. Argyriou V, Vlachos T. Sub-pixel motion estimation using gradient cross-correlation // Signal Processing and Its Applications, 2003. Proceedings. Seventh International Symposium on / IEEE. — Vol. 2. — 2003. — P. 215218.

31. Foroosh Hassan, Zerubia Josiane B, Berthod Marc. Extension of phase correlation to subpixel registration // Image Processing, IEEE Transactions on. - 2002. - Vol. 11, no. 3. - P. 188-200.

32. Zhang Ying, Yang Lei, Wang Zhujun. Research on Video Image Stitching Technology Based on SURF // Computational Intelligence and Design (ISCID), 2012 Fifth International Symposium on / IEEE. - Vol. 2. - 2012. -P. 335-338.

33. Crawford Ryan. Automated Image Stitching Using SIFT Feature Matching. — 2012.

34. Automatic image stitching using SIFT / Yanfang Li, Yarning Wang, Wenqing Huang, Zuoli Zhang // Audio, Language and Image Processing, 2008. ICALIP 2008. International Conference on / IEEE. - 2008. - P. 568571.

35. Bhosle Udhav, Chaudhuri Subhasis, Roy S Dutta. A fast method for image mosaicing using geometric hashing // IETE journal of research. — 2002. — Vol. 48, no. 3/4,- P. 317-324.

36. Jung Il-Kyun, Lacroix Simon. A robust interest points matching algorithm // Computer Vision, 2001. ICCV 2001. Proceedings. Eighth IEEE International Conference on / IEEE. - Vol. 2. - 2001. - P. 538-543.

37. Vincent; Etienne, Laganiere Robert. Matching feature points in stereo pairs: A comparative study of some matching strategies // Machine Graphics and Vision. - 2001. - Vol. 10, no. 3. - P. 237-260.

38. Brown Matthew, Szeliski Richard, Winder Simon. Multi-image matching using multi-scale oriented patches // Computer Vision and Pattern Recognition, 2005. CVPR 2005. IEEE Computer Society Conference on / IEEE. - Vol. 1. - 2005. - P. 510-517.

39. Brown Matthew, Hartley Richard I, Nister David. Minimal solutions for panoramic stitching // Computer Vision and Pattern Recognition, 2007. CVPR'07. IEEE Conference on / IEEE. - 2007. - P. 1-8.

40. Fischler Martin A, Bolles Robert C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography // Communications of the ACM. — 1981. — Vol. 24, no. 6. — P. 381-395.

41. Zhang Zhengyou. Parameter estimation techniques: A tutorial with application to conic fitting // Image and vision Computing.— 1997.— Vol. 15, no. 1.- P. 59-76.

42. Schneider D, Maas HG. Combined bundle adjustment of panoramic and central perspective images // International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. — 2005. — Vol. 36, no. 5/W8. — P. 4.

43. Brown Matthew, Lowe David G. Automatic panoramic image stitching using invariant features // International Journal of Computer Vision. — 2007. - Vol. 74, no. 1. - P. 59-73.

44. A new calibration model of camera lens distortion / Jianhua Wang, Fanhuai Shi, Jing Zhang, Yuncai Liu // Pattern Recognition. — 2008.— Vol. 41, no. 2.- P. 607-615.

45. Ma Lili, Chen YangQuan, Moore Kevin L. Rational radial distortion models of camera lenses with analytical solution for distortion correction //

International Journal of Information Acquisition. — 2004. — Vol. 1, no. 02. — P. 135-147.

46. Radiometric calibration for AgCam / Doug Olsen, Changyong Dou, Xiaodong Zhang et al. // Remote Sensing.— 2010.— Vol. 2, no. 2.— P. 464-477.

47. Goldman Dan B, Chen Jiun-Hung. Vignette and exposure calibration and compensation // Computer Vision, 2005. ICCV 2005. Tenth IEEE International Conference on / IEEE. - Vol. 1. - 2005. - P. 899-906.

48. Kim Seon Joo, Pollefeys Marc. Robust radiometric calibration and vignetting correction // Pattern Analysis and Machine Intelligence, IEEE Transactions on. - 2008. - Vol. 30, no. 4. - P. 562-576.

49. An algorithm for image stitching and blending / Vladan R.ankov, Rosalind J Locke, Richard J Edens et al. // Proceedings of SPIE. — Vol. 5701. - 2005. - P. 190-199.

50. Seamless image stitching by minimizing false edges / Assaf Zomet, Anat Levin, Shmuel Peleg, Yair Weiss // Image Processing, IEEE Transactions on. - 2006. - Vol. 15, no. 4. - P. 969-977.

51. Seamless image stitching in the gradient domain / Anat Levin, Assaf Zomet, Shmuel Peleg, Yair Weiss // Computer Vision-ECCV 2004. — Springer, 2004. - P. 377-389.

52. Eden Ashley, Uyttendaele Matthew, Szeliski Richard. Seamless image stitching of scenes with large motions and exposure differences // Computer Vision and Pattern Recognition, 2006 IEEE Computer Society Conference on / IEEE. - Vol. 2. - 2006. — P. 2498-2505.

53. Kang Sing Bing, Szeliski Richard, Uyttendaele Matthew. Seamless stitching using multi-perspective plane sweep // Microsoft Research. — 2004.

54. Black Michael J, R.angarajan Anand. On the unification of line processes, outlier rejection, and robust statistics with applications in early vision // International Journal of Computer Vision.— 1996.— Vol. 19, no. 1.— P. 57-91.

55. Форсайт Д. А., Понс Ж. Компьютерное зрение. Современный подход. — М. : Издательский дом «Вильяме», 2004. — 928 с.

56. Harris Chris, Stephens Mike. A combined corner and edge detector. // Alvey vision conference / Manchester, UK. — Vol. 15. — 1988. — P. 50.

57. R.osten Edward, Drummond Tom. Machine learning for high-speed corner detection // Computer Vision-ECCV 2006. - Springer, 2006. - P. 430-443.

58. Lowe David G. Distinctive image features from scale-invariant keypoints // International journal of computer vision. — 2004. — Vol. 60, no. 2. — P. 91110.

59. Bay Herbert, Tuytelaars Tinne, Van Gool Luc. Surf: Speeded up robust features // Computer Vision-ECCV 2006. - Springer, 2006. - P. 404-417.

60. Silpa-Anan Chanop, Hartley Richard. Optimised KD-trees for fast image descriptor matching // Computer Vision and Pattern Recognition, 2008. CVPR, 2008. IEEE Conference on / IEEE. - 2008. - P. 1-8.

61. Muja Marius, Lowe David G. Fast Approximate Nearest Neighbors with Automatic Algorithm Configuration. // VISAPP (1). - 2009. - P. 331-340.

62. Фокс А., Пратт M. Вычислительная геометрия. Применение в проектировании и на производстве: Пер. с англ. — М. : Мир, 1982. — 304 с.

63. Szeliski R„ Computer Vision. Algorithms and Applications / Ed. by D. Gries, F. B. Schneider. — Springer, 2011. — 812 p.

64. Szeliski Richard. Video mosaics for virtual environments // Computer Graphics and Applications, IEEE. - 1996. - Vol. 16, no. 2. - P. 22-30.

65. Яне Б. Цифровая обработка изображений, — М. : Техносфера, 2007.— 584 с.

66. Burt Peter, Adelson Edward. The Laplacian pyramid as a compact image code // Communications, IEEE Transactions on. — 1983. — Vol. 31, no. 4. — P. 532-540.

67. Шапиро JI., Стокман Дж. Компьютерное зрение. — М. : БИНОМ. Лаборатория знаний, 2006,— 752 с.

68. Numerical Recipes in С: The Art of Scientific Computing / William H. Press, Saul A. Teukolsky, William T. Vetterling, Brian P. Flannery. — 2-nd edition. — New York, NY, USA : Cambridge University Press, 1992. — 994 p. — ISBN: 0-521-43108-5.

69. Bradski Gary, Kaehler Adrian. Learning OpenCV. — Sebastopol : O'Reilly, 2008. - 555 p.

70. Никулин E. А. Компьютерная геометрия и алгоритмы машинной графики. - СПб. : БХВ-Петербург, 2003. - 560 с.

71. Weisstein Eric W. Gnomonic Projection. From MathWorld-A Wolfram Web Resource, Wolfram Research, Inc. — URL: http://mathworld.wolfram. com/GnomonicProjection.html.

72. Weisstein Eric W. Stereographic Projection. From MathWorld-A Wolfram Web Resource, Wolfram Research, Inc.— URL: http://mathworld. wolfram.com/StereographicProj ection.html.

73. Weisstein Eric W. Orthographic Projection. From MathWorld-A Wolfram Web Resource, Wolfram Research, Inc.— URL: http://mathworld. wolfram.com/OrthographicProj ection.html.

74. Weisstein Eric W. Cylindrical Projection. From MathWorld-A Wolfram Web Resource, Wolfram Research, Inc.- URL: http://mathworld. wolf ram. com/CylindricalProj ection.html.

75. Weisstein Eric W. Cylindrical Equidistant Projection. From MathWorld-A Wolfram Web Resource, Wolfram Research, Inc. — URL: http: //http: // mathworld.wolfram.com/CylindricalEquidistantProjection.html.

76. Weisstein Eric W. Mercator Projection. From MathWorld-A Wolfram Web Resource, Wolfram Research, Inc. — URL: http://http://mathworld. wolfram.com/MercatorProj ection.html.

77. Циссарж В. В., Марусик Р. И. Математические методы компьютерной графики. — К. : Факт, 2004. — 464 с.

78. Diebel James. Representing attitude: Euler angles, unit quaternions, and rotation vectors // Matrix. - 2006. - Vol. 58. - P. 15-16.

79. Tsai Roger. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses // Robotics and Automation, IEEE Journal of. — 1987. — Vol. 3, no. 4. — P. 323-344.

80. Sturm Peter F, Maybank Stephen J. On plane-based camera calibration: A general algorithm, singularities, applications // Computer Vision and Pattern Recognition, 1999. IEEE Computer Society Conference on. / IEEE. - Vol. 1.— 1999.

81. Zhang Zhengyou. Flexible camera calibration by viewing a plane from unknown orientations // Computer Vision, 1999. The Proceedings of the Seventh IEEE International Conference on / Ieee. — Vol. 1. — 1999. — P. 666-673.

82. Zhang Zhengyou. A flexible new technique for camera calibration // Pattern Analysis and Machine Intelligence, IEEE Transactions on. — 2000. — Vol. 22, no. 11.- P. 1330-1334.

83. Hartley R.., Zisserman A. Multiple View Geometry in Computer Vision. — 2-nd edition. — New York : Cambridge University Press, 2004. — 655 p.

84. R.anganathan Ananth. The Levenberg-Marquardt algorithm // Tutoral on LM Algorithm. — 2004.

85. Guennebaud Саё1, Jacob Benoit et al. Eigen v3.— 2010.— URL: http: //www.eigen.tuxfamily.org.

86. Jones Eric, Oliphant Travis, Peterson Pearu et al. SciPy: Open source scientific tools for Python. — 2001-2013,— URL: http://www.scipy.org.

87. On the minimization over SO(3) Manifolds : Rep. / NASA Ames Technical Report ; Executor: Frank О Kuehnel : 2003.

88. Complete solution classification for the perspective-three-point problem / Xiao-Shan Gao, Xiao-R.ong Hou, Jianliang Tang, Hang-Fei Cheng // Pattern Analysis and Machinc Intelligence, IEEE Transactions on. — 2003. — Vol. 25, no. 8. — P. 930-943.

89. Moreno-Noguer F., Lepetit V., Fua P. Accurate Non-Iterative O(n) Solution to the PnP Problem // Computer Vision, 2007. ICCV 2007. IEEE 11th International Conference on. — 2007. — P. 1-8.

90. Schweighofer Gerald, Pinz Axel. Globally Optimal O(n) Solution to the PnP Problem for General Camera Models. // BMVC. - 2008. - P. 1-10.

91. Bradski G. // Dr. Dobb's Journal of Software Tools. - 2000.

92. Home of the Blender project — Free and Open 3D Creation Software, The Blender Foundation. — URL: http://www.blender.org.

93. Левитин А. Алгоритмы: введение в разработку и анализ. Пер. с англ.— М. : Издательский дом «Вильяме», 2006. — 576 с.

94. Корн Г., Корн Т. Справочник по математике (для научных работников и инженеров). — М. : Издательство «Наука», 1973. — 832 с.

95. Беклемишев Д. В. Дополнительные главы линейной алгебры. — М. : Наука. Главная редакция физико-математической литературы, 1983. — 336 с.

96. Каханер Д., Моулер К., Нэш С. Численные методы и математическое обеспечение: Пер. с англ. — М. : Мир, 1998.— 575 с.

«УТВЕРЖДАЮ»

ВС, к.т.н. < ъИтенберг

АКТ

об использовании результатов диссертационной работы Толкачева Данила Сергеевича

на соискание ученой степени кандидата технических наук на тему: «Алгоритмы формирования кругового панорамного изображения в системе разнесенных в пространстве видеокамер»

Настоящий акт составлен в том, что результаты диссертационной работы Толкачева Данила Сергеевича использованы в ОАО НКБ ВС при выполнении НИР и ОКР в части разработки новых алгоритмов формирования круговых панорамных изображений в обзорных видеокомплексах, размещаемых на объектах бронетанковой техники и грузовых автотранспорных средствах.

В настоящее время активно развиваются системы повышения ситуационной осведомленности членов экипажа транспортных средств об окружающей закабинной обстановке при отсутствии возможности ее непосредственного визуального наблюдения. Такие системы основываются на применении средств технического зрения, в частности, видеокамер, размещаемых по периметру транспортного средства. Задачей системы является построение панорамного изображения, обеспечивающего 360° обзор окружающего пространства.

Известные решения этой задачи либо требуют вращения поля зрения одной видеокамеры, либо требуют близкого (компактного) размещения ориентированных по разным направлениям видеокамер, что далеко не всегда возможно при размещении системы на транспортном средстве.

Диссертационная работа Д. С. Толкачева посвящена разработке и моделированию алгоритмов формирования панорамных изображений для

условий значительного разнесения видеокамер по периметру объекта (транспортного средства), когда влиянием параллакса нельзя пренебречь. Такая постановка задачи является весьма востребованной на практике.

К числу практически важных результатов диссертации Д. С. Толкачева, нашедших применение в НИОКР, выполняемых ОАО НКБ ВС, следует отнести:

- модель видеосистемы кругового обзора, учитывающую как внутренние характеристики видеокамер системы, так и их расположение и пространственную ориентацию на носителе;

- методику калибровки системы камер с помощью двух плоских щитов с нанесенными тестовыми изображениями при отсутствии априорной информации о взаимном расположении калибровочных щитов и видеокамер;

- алгоритмы калибровки системы камер, позволяющие по полученным сериям изображений от смежных пар камер сформировать набор калибровочных параметров для всей системы в целом;

- метод аппроксимации таблиц геометрического преобразования изображений, снижающий требования к долговременной и кратковременной памяти системы;

- алгоритм формирования и отображения траектории движения транспортного средства на изображениях, получаемых от видеокамер.

Использование результатов диссертационной работы Д. С. Толкачева позволило ОАО НКБ ВС разработать программное обеспечение блоков обработки видеоизображений обзорных видеокомплексов для 2-х типов

объектов БТВТ.

Научный сотрудник, к.т.н

Технический директор, к.т.н

я

АКТ

о внедрении в учебный процесс результатов диссертационной работы Толкачева Данила Сергеевича «Алгоритмы формирования кругового панорамного изображения в системе

Комиссия в составе председателя доктора технических наук, профессора Федосова В.П. и членов комиссии кандидата технических наук, доцента Бакаева A.B. и кандидата технических наук, доцента Максимов М.Н. установила, что результаты, полученные в представленной диссертации, используются в учебном процессе на кафедре теоретических основ радиотехники «Южного федерального университета» для дисциплин: «Современные алгоритмы обработки сигналов», «Основы компьютерной видеографики» по направлениям подготовки магистров по направлению «Радиотехника», магистерская программа «Информационные технологии в радиотехнике».

Предметом внедрения являются алгоритмы формирования панорамного изображения.

Результаты, полученные Д.С. Толкачевым, используются при усвоении магистрантами знаний и навыков теории и практики цифровой обработки изображений.

Председатель комиссии

разнесенных в пространстве видеокамер»

доц. каф. ТОР, к.т.н., доцент

зав. каф. ТОР, д.т.н., профессор Члены комиссии

доц. каф. ТОР, к.т.н., доцент

М.Н. Максимов