Разработка методов и алгоритмов обработки данных систем машинного зрения в реальном масштабе времени тема диссертации и автореферата по ВАК РФ 05.13.15, кандидат технических наук Крупенников, Илья Владимирович

• Крупенников, Илья Владимирович
• кандидат технических наук
• 2011

Оглавление диссертации кандидат технических наук Крупенников, Илья Владимирович

Введение.

Степень разработанности темы.

На защиту диссертации выносится.

Методы исследования.

Реализация и внедрение.

Апробация работы.

Структура и объем диссертации.

1 АНАЛИЗ ПРОБЛЕМЫ ОБНАРУЖЕНИЯ И ВЫДЕЛЕНИЯ ОБЪЕКТОВ ПО ПОСЛЕДОВАТЕЛЬНОСТИ ИЗОБРАЖЕНИЙ.

1.1 Вводные замечания и качественная постановка задачи обнаружения объектов .21 /. 1.1 Алгоритмы обработки изображений и их основные цели.

1.1.2 Фотограмметрические системы получения трехмерного изображения.

1.1.3 Определение и классификация корреляционно-экстремальных систем.

1.1 4 Использование корреляционной функции для задачи стереоотождествления.

1.2 Формализация решаемой задачи.:.

1.2.1 Процедура калибровки и взаимного ориентирования камер, расположенных на подвижной платформе.

2 РАЗРАБОТКА АЛГОРИТМА ОБРАБОТКИ ИЗОБРАЖЕНИЙ, ОСУЩЕСТВЛЯЮЩЕГО СТЕРЕООТОЖДЕСТВЛЕНИЕ В РЕАЛЬНОМ ВРЕМЕНИ.

2.1 выбор решения для проблем, возникающих при стереоотождествлении.

2.2 применение корреляционных методов стереоотождествления в решаемой задачи

2.3 выбор области поиска точки на изображении.

2.4 представление информации об изображении в виде значений и направлений градиентов

2.4.1 Определение перепадов.

2.4.2 Вычисчение первой производной измерения яркости.

2.5 выбор метода решения задачи стереоотождествления.

2.5.1 Экспериментальный выбор количества уровней пирамиды изображений.

2.5.2 Процедура уточнения координат найденной точки по яркостным признакам.

2.5.3 Схема работы алгоритма стереоотождествления.

2.6 корреляционное стереоотождествление для верхних уровней пирамиды.

3 НАХОЖДЕНИЕ ТРЕХМЕРНЫХ КООРДИНАТ ПРЕПЯТСТВИЙ И ПОЛУЧЕНИЯ МОДЕЛИ ПОДСТИЛАЮЩЕЙ ПОВЕРХНОСТИ.

3.1 алгоритмы решения подзадач расчета трехмерных координат препятствий.

3.1.1 Расчет трехмерных координат точки на изображении.

4 ПРОВЕРКА РАБОТОСПОСОБНОСТИ СФОРМИРОВАННЫХ АЛГОРИТМОВ.

4.1 структура системы машинного зрения в задачах обработки в реальном времени на подвижной платформы.

4.2 Работа алгоритма поиска соответствующей точки изображения.

4.3 Получение экспериментальных данных по видеопоследовательности.

4.4 Экспериментальная проверка работоспособности в реальных условиях наблюдения подстилающей поверхности с подвижной платформы.

Введение диссертации (часть автореферата) на тему «Разработка методов и алгоритмов обработки данных систем машинного зрения в реальном масштабе времени»

Актуальность работы

В «последние годы увеличилось число задач, требующих автоматизации обработки! визуальной информации, осуществляемой цифровыми, вычислительными машинами в реальном масштабе времени, и* относящихся» к различным прикладным областям, таким как авиационные бортовые комплексы, интеллектуальные робототехнические комплексы, комплексы дистанционного зондирования и системы автоматического управления движущимися объектами. Для решения этих задач создаются специализированные вычислительные системы обработки визуальной информации. Их проектирование в настоящее время является сложной и актуальной проблемой. Одним из основных направлений создания таких систем является построение наземных бортовых видеоинформационных вычислительных комплексов, предназначенных для оценки местоположения движущихся объектов.

Функционирование наземных подвижных объектов и комплексов, в целях надежности выполнения поставленной задачи, не должно быть автономным, однако возникают задачи, когда принятие решений следует осуществлять, непрерывно анализируя большой массив информации. Для таких целей должны использоваться бортовые системы, автономно функционирующие в реальном масштабе времени.

Характерной чертой существующих бортовых систем является обработка видеоинформации, позволяющая получать сведения о геометрии препятствий (координаты вершин и координаты нормалей), с дальнейшей привязкой их к текстурным координатам изображения. Требование обработки в реальном масштабе времени играет важную роль при использовании результатов в формировании законов управления подвижными объектами.

Другой характерной чертой существующих видеоинформационных систем является наличие в их составе устройств, специального подсвета, облегчающего извлечение информации из изображений. Однако такие устройства преимущественно используются на стационарных комплексах.

Одной из. наиболее, актуальных проблем, связанных с разработкой бортовых систем технического зрения, является проблема обнаружения и выделения объектов, находящихся- в поле зрения датчика изображения. Примерами таких объектов могут служить подвижная техника, самолеты, вертолеты, автотранспорт, суда, люди. При этом информация- о характеристиках объектов, которые требуется выделять, обычно включает в себя лишь приблизительные размеры объекта или местности.

Область использования технологий автоматического обнаружения, выделения объектов и построения виртуальной модели движения« не ограничивается узким кругом задач, и включает в себя анализ движения транспортных средств, контроль движения воздушного транспорта, обнаружение объектов в системах обеспечения безопасности и т.д. Обнаружение и выделение объектов часто лежит в основе алгоритмов распознавания и понимания сцен.

Существуют источники изменения условий наблюдения изображения. Во-первых, это преломление световых лучей в атмосфере. Во-вторых, движение и изменение пространственной ориентации датчика изображений. Движение и изменение обусловлено тем, что датчик размещается на подвижном объекте, таком как мобильная техника, вездеход или устройство позиционирования. В таком случае используются методы оценки параметров преобразования на основе анализа изображений видеопоследовательности. Вычислив оценки параметров смещения и искажения, можно компенсировать их влияние, но лишь частично, так как эти параметры всегда будут оцениваться с некоторой погрешностью.

Проблема обработки видеоинформации, относится к классу задач, известному под названием «понимание изображений». Понимание изображений, это переход от низкоуровнего, яркостного описания к высокоуровневому, смысловому описанию. Система, реализующая данный:; переход, называется системой понимания изображений.

Эволюция методов обнаружения? яркостно-геометрических структур продолжается около двадцати лет по пути от простого к сложному/ Наиболее: разработанной1 областью^ является обнаружение простых структур типа "пятно'1, "точка", "край", "угол", "линия".

При этом одна из центральных проблем, отличающих, теорию обработки изображений, например от теории обработки сигналов, заключается в разработке методов обнаружения объектов^ слабо чувствительных к разнообразным видам изменчивости, характерных« только для изображений; таких как различные виды искажений^ включая искажения оптических сенсоров^ блики, затенения, загораживания, искажения формы, ракурсные искажения; шумовые компоненты. На этом пути были предложены робастные схемы обнаружения более сложных объектов, заданных аналитически щ в частности, обобщенное преобразование Hough, которому посвящены многие сотни публикаций в зарубежной печати^ морфологический подход Ю.П.Пытьева, различные виды комбинированных корреляционных алгоритмов, Красильщиков М.Н., Себряков Г.Г., Желтов С.Ю., Визилыер Ю.В. и др.[12] [15] [16].

Обработка видеоинформации должна производится для целей получения информации о геометрии- объекта (координаты вершин: и координаты нормалей), с дальнейшей привязкой к текстурным координатам изображения.

Степень разработанности темы

Вопросы обнаружения, выделения и построения,трехмерных моделей объектов по данным видеонаблюдения достаточно широко представлены в отечественных и зарубежных источниках. Значительный вклад в разработку методов И'алгоритмов решения данной задачи■ внесли Б.А. Алпатов, С.Ю. Желтов, М.Н. Красильщиков, Г.Г. Себряков, В.Д. Курганов, В:К. Баклицкий, А. Shashua, Р. Stein. [9] [10] [*11][74]

Несмотря на большое количество работ по данной тематике, в результате их анализа не было выявлено публикаций, в которых в полной мере решается и исследуется задача оценки собственного положения движущихся объектов- по построенной цифровой модели рельефа подстилающей поверхности на основе серии изображений видеоинформационной системы. В ряде работ, [1] [6] [77], рассматривается возможность оценки положения подвижной платформы относительно других объектов движения, однако в них при разработке алгоритмов выделения! не принимается во внимание информация о характере подстилающей поверхности по которойдвижется объект.

Поскольку одним из основных условий обработки изображений считается работа в реальном масштабе времени, то рассматривались такие задачи [16], [29], [42], но их решение было направлено либо на фактическое обнаружение заранее ожидаемых (подучетных) объектов, либо они располагались неподвижно, что давало возможность иметь все необходимые априорные данные о.местности и вести наблюдение лишь за изменениями.

Изменение наблюдаемого изображения ^ может говорить о том, что происходит смещение пространственной ориентации датчика изображений. Движение и изменение обусловлено тем, что датчик может быть размещен на подвижном объекте. В этом случае используются методы оценки параметров преобразования на основе анализа изображений видеопоследовательности.

Существующие системы анализа изображений широко представлены, например, в автомобильной промышленности, где в настоящее время* есть несколько фундаментальных направлений «понимания изображений» с целью полученияшнформации о характере подстилающей поверхности при движении видеодатчика.

Одним из решений представляется устройство, следящее за линиями разметки полосы движения автомобиля (HONDA, Toyota, PSA). Наблюдение осуществляется с помощью единственной камеры, установленной в верхней части лобового стекла, и исполнительного модуля, подключенного к общему питанию автомобиля. В конкретном случае не решается задача распознавания изображения с камеры, а проводится только обнаружения линий разметки на ширине обзора 3,5м. Для обнаружения линий на поверхности дороги применяется алгоритм, в котором создан массив данных о положении линий, имитирующих дорожную разметку. Такой массив является априорной информацией при обнаружении линий на яркостном изображении. Таким образом, сравнивая найденный на изображении линии с образцами линий из массива данных, система может формировать управляющие воздействия, подавая сигнал блоку, отвечающему за контроль величины углов поворота, управляющих колес автомобиля. Величина различия, заданная оператором, позволяет системе отличать белые полосы на сером фоне. Однако, «запас надежности» таких систем не рассчитан на эксплуатацию на дорогах с плохой разметкой.

Существуют определенные методы для сравнения изображений, основанные на сопоставлении знаний об изображениях в целом, такие как SURF-алгоритм и SIFT-алгоритм. В них для каждой точки изображения вычисляется значение определённой функции, на основании этих значений можно приписать изображению определённую характеристику, тогда задача сравнения изображений сводится к задаче сравнения таких характеристик. К достоинства этих методов можно отнести скорость реализации и хорошие результаты стереоотождествления точек, но для надежной работы, SURF-алгоритма изображение должно иметь значительные перепады яркостей на* большинстве участков, а SIFT-алгоритм успешно работает лишь если детали сцены неоднородны, а искажения* вызванные аффинными преобразованиями минимальны. К тому же оба метода запатентованы, что накладывает ограничение на их применение и модернизацию.

Следующий вид систем, позволяющих работать с изображениями при подвижном видеодатчике, был разработан для слежения за- дорожной обстановкой. С помощью двух камер и вычислительного модуля производится обнаружение объекта, попавшего в область пути движения системы, а также осуществляется расчет расстояния до впередиидущего препятствия. Стоит отметить, что и в этом варианте систем не ставится задача «понимания изображений», поскольку аппаратные средства, участвующие в решении задачи, пользуются набором заданных прототипов объектов (MobilEye). При этом системы, имеющие в своем составе аппаратные средства, такие как лазерный дальномер или ИК-датчик (BMW, GM, AUDI), является дорогостоящей, что ограничивает её широкое применение.

Также стоит отметить тот вид систем, из разработанных ныне, которые позволяют подвижной платформе ориентироваться на местности в полностью автоматическом режиме при помощи набора аппаратных средств и программного обеспечения. Под автоматическим режимом подразумевается «понимание изображения» и обстановки для движения по подстилающей поверхности, избегая при этом ситуаций, когда может произойти столкновение или прекращение движения. Примерами таких систем могут служить робот ASIMO (Honda) и прототипы мобильных

10 роботов > конкурса БАИРА [81] по созданию транспортных средств, способных передвигаться без участия, водителя: Стоимость подобных систем и- трудоемкость создания не может рассматриваться' в рамках? одной диссертационной? работы, поскольку такой' вариант системы представляет многозадачные операции! с целым1 набором- средств слежения, подкрепленным.большой группой разработчиков, насчитывающей-несколько десятков; человек, и отдельным бюджетом, на создание образца. Последний факт относится к невозможности применения в ближайшем, будущем столь многоэлементных систем для^установки на серийные транспортные средства для гражданского потребления.

В этой связи возникает необходимость в; постановке и решении^ задачи обработки данных видеоинформационной' вычислительной системы^ которая при достаточном быстродействии позволит обеспечить задачу формирования управляющих сигналов в реальном масштабе времени Видеоинформационная система должна состоять из минимального набора аппаратных средств для. обеспечения; дешевизны и надежности при её внедрении; Система должна быть компактной, малозаметно® и не использовать устройств формирования отраженных, сигналов или устройств подсвета объектов; Необходимо иметь возможность получать данные о наблюдаемой сцене на расстоянии от 5 до 150 метров в реальном масштабе времени. Система должна обнаруживать все находящиеся в области наблюдения препятствия^ вычисляя их трехмерные координаты и определяя! собственное местоположение относительно них.

Для достижения этой цели, в диссертации решается комплекс основных теоретических задач, объединяющий выбор аппаратных средств для получения и обработки информации, определение начала- системы координат, задание базовой плоскости подстилающей поверхности, разбивки изображений на уровни: для достижения, большей скорости обработки и определения пространственных координат точек на получаемых изображениях со стереосистемы.

Целью диссертации является повышение эффективности видеоинформационной вычислительной системы машинного зрения при помощи методов и алгоритмов организации специальной обработки данных, позволяющей осуществлять в реальном масштабе времени* оценку местоположения подвижного объекта относительно препятствий на подстилающей поверхности.

Для достижения поставленной цели решены следующие задачи:

• разработана структура многомодульной высокопроизводительной вычислительной системы обработки данных стереоизображений в реальном масштабе времени по информации, получаемой с двух видеодатчиков;

• разработан многоэтапный алгоритм функционирования модуля стереоотождествления изображений;

• разработан алгоритм функционирования модуля определения трехмерных координат точек, задающих образ препятствий;

• разработан алгоритм функционирования модуля вычисления оценки местоположения препятствий на подстилающей поверхности относительно видеоинформационной системы объекта;

• создан метод формирования данных о появлении препятствий в области подстилающей поверхности.

Научная новизна диссертации состоит в том, диссертации состоит в том, что в ней разработаны алгоритмы № методы, позволяющие осуществлять обработку данных вычислительной системы машинного зрения в реальном масштабе времени, располагающую двумя цифровыми ПЗС-камерами, обеспечивать ввод-вывод и сохранение информации за 65 мс при темпе обработки 15 кадров в секунду. При этом в отличие от известных систем, в ней впервые используется корреляционный подход к обработке видеоинформации в реальном масштабе времени, что позволяет системе с вычислительным модулем не использовать устройств специального подсвета, облегчающих извлечение информации из изображений, которые входят в состав стационарных вычислительных комплексов технического зрения. Также система способна производить обнаружение всех находящихся в зоне наблюдения, протяженностью от 5 до 150 метров и шириной до 10 метров, подвижного средства препятствий, рассчитывая расстояние до них и вычислять их положение относительно подстилающей поверхности с точностью до 8 мм.

На защиту диссертации выносится

1. Результаты разработки алгоритмического и программного обеспечения многомодульной высокопроизводительной вычислительной системы обработки данных стереоизображений, включающие:

- многоуровневый алгоритм функционирования модуля быстрого стереоотождествления снимков, на основе яркостного и градиентного представлений изображений с пирамидальной структурой,

- алгоритм функционирования в реальном масштабе времени модуля, построения облака точек подстилающей поверхности.

2. Метод формирования области нахождения препятствий относительно видеоинформационной системы и заданной подстилающей поверхности.

Методы исследования

В работе использовались теоретические и экспериментальные методы исследования.

Теоретические методы основаны на методах теории компьютерного > зрения, математической обработки изображений, цифровой фотограмметрии, корреляционной теории, математической статистики, теории оптимизации и функционального анализа, основы которых были заложены в работах Желтова С.Ю., Красилыцикова М.Н., Себрякова Г.Г., Визильтера Ю.В., Путятина Е.П., Форсайта Д.А. и др.

Экспериментальные методы исследования базировались на положениях теории статистического и полу натурного моделирования.

Реализация и внедрение

Предполагается использование разработанных алгоритмов в составе систем безопасности подвижных средств. К ним могут относиться мобильная техника, самолеты, вертолеты, вездеходы, транспортные средства и другая техника, в том числе беспилотная. Оценивая собственное положение подвижной платформы, система управления может подавать сигнал на исполнительные системы в случае обнаружения препятствия, будь то препятствие на пути следования подвижной платформы или посторонний предмет на пути следования. Система должна позволять задавать условия для формирования управляющих сигналов, такие как высота препятствия относительно подстилающей поверхности и расстояние до объекта.

Результаты, полученные в ходе работ над диссертацией, были использованы: - в рамках выполнения НИР «Скорость», по Федеральной целевой программе «Национальная технологическая база» (раздел «Информационные технологии»).

- в- НИОКР "Топаз", по заказам ФГУП «МНИИ Интеграл» и Правительства г. Москвы

- в ОКР «Создание программно-аппаратных средств для обучения контролеров навыкам идентификации личности», по заказу ПНИЦ ФСБ России, - в НИОКР «Формат», «Монитор», «Калибр».

Кроме того,, алгоритмы функционирования модулей использовались в составе ■ систем безопасности подвижных средств, для оценки их собственного положения и обнаружения препятствия.

Разработанные модули видеоинформационной системы были использованы также для задач контроля геометрических характеристик изделий, в реальном масштабе времени, в системах автоматизации производственных процессов.

Апробация работы

Основные результаты работы печатались в журналах и докладывались на следующих конференциях, семинарах:

1. Конференция РОФДЗ МИИГАИК «Фотограмметрия в задачах получения и управления данными», Москва, декабрь 2005 г.

2. Конференция молодых специалистов ГосНИИАС, Москва, февраль 2006г.

3. Труды XIV международного научно-технического' семинара «Современные технологии в задачах управления, автоматики и обработки информации» // Алушта, сентябрь 2005 г., с. 121

4. Труды XIV международного научно-технического семинара «Современные технологии в задачах управления, автоматики и обработки информации», // Алушта, сентябрь 2006 г. с. 128

5. Труды XIV международного научно-технического семинара «Современные технологии в задачах управления, автоматики и обработки информации», Алушта, сентябрь 2007 г.

6. Вторая международная Российско-Китайская конференция "Проектирование аэрокосмической техники" г.Москва 2007г.

7. Всеросийская выставка «Системы машинного зрения», Москва, февраль 2008 г.

8. Выставка VIT Expo 2008 "Машинное зрение и системы обработки' изображений и системы автоматической идентификации", Москва, март 2008г.

9. Международный научно-технический семинар "Оптические измерения и визуализация - для проектирования, производства, контроля изготовления", Москва, 2009г.

10.Труды XV международного научно-технического семинара «Современные технологии в задачах управления, автоматики и обработки информации», Алушта, сентябрь 2008 г.

11.Видеоизмерения и решение задачи корреляционного стереоотождествления, использующей градиентный подход и пирамиды стереопар. // - Вестник МАИ, 2008, №3, с.98-101

12.Международный научно-технический семинар "Визуальный компьютинг в фундаментальной науке и академических исследованиях", Москва, 2009г.

13. Корреляционное стереоотождествление изображений, получаемых с видеоинформационной системы. // - Научный вестник МГТУ ГА, 2011, № 164, с. 72

14. Российско-Австрийский Научный Семинар "Теория и наилучшее применение визуализации и взаимодействия", Австрия, Вена, 2011г.

Публикации.

По теме диссертационной работы опубликовано 13 печатных работ, в том числе две статьи в издании из Перечня ВАК. Общий объем печатных работ - 16 печатных листов, в том числе личный вклад - 6 печатных листов. Результаты исследования отражены в отчетах по НИР.

Структура и объем диссертации

Диссертация состоит из введения, четырех глав, заключения, списка литературы, изложенных на 134 страницах, содержит 57 рисунков, 3 таблицы и 90 источников литературы:

Заключение диссертации по теме «Вычислительные машины и системы», Крупенников, Илья Владимирович

5 Выводы по работе

Диссертационная работа посвящена повышению эффективности видеоинформационной вычислительной' системы машинного зрения при помощи методов и* алгоритмов организации специальной обработки данных, позволяющей осуществлять в реальном масштабе времени оценку местоположения подвижного объекта относительно препятствий на подстилающей поверхности.

В её рамках проводилась разработка методов и алгоритмов функционирования модуля и, программного обеспечения для осуществления обработки результатов видеоизмерений вычислительной системой.

Наиболее существенные новые научные результаты, полученные лично соискателем, состоят в следующем:

1. Структура многомодульной высокопроизводительной вычислительной системы обработки данных стереоизображений в реальном масштабе времени по информации, получаемой с двух видеодатчиков.

2. Новый алгоритм функционирования модуля обработки изображений, позволяющий осуществлять их последовательное стереоотождествление (до 15 раз в секунду) в реальном масштабе времени.

3. Новый алгоритм функционирования модуля определения в реальном времени трехмерных координат точек препятствий, который позволил учитывать возможное смещение искомой точки в момент наблюдения.

4. Новый алгоритм функционирования модуля оценки местоположения объектов на подстилающей поверхности относительно видеоинформационной системы. Преимуществом такого алгоритма является возможность определять наличие сразу нескольких препятствий в зоне наблюдения камер стереосистемы. Полученная информация должна использоваться для формирования управляющих воздействий при целенаправленном движении объекта.

5. Новый метод формирования массива данных об области нахождения препятствий относительно видеоинформационной системы и заданной подстилающей поверхности, позволяющий производить классификацию препятствий.

6. Выработаны рекомендации по применению созданных алгоритмов при создании видеоинформационных вычислительных систем машинного зрения.

7. Результаты диссертационной работы, в частности методы и алгоритмы функционирования модулей стереоотождествления и нахождения трехмерных координат точек, использовались в нескольких НИОКР («Топаз», «Скорость»), выполненных в ГНЦ ФГУП ГосНИИАС, а также при выполнении научно-исследовательских и опытно-конструкторских работ «Формат» и «Монитор» по контракту с Минпромторг РФ, что подтверждено соответствующими актами внедрения.

Список литературы диссертационного исследования кандидат технических наук Крупенников, Илья Владимирович, 2011 год

1. АЛПАТОВ Б.А., БАБАЯН П.В., БАЛАШОВ O.E., СТЕПАШКИН А.И. Методы автоматического^ обнаружения и сопровождения объектов. Обработка изображений и управление. М.: Радиотехника, 2008 г., 176 с.

2. АЛПАТОВ. Б.А. Системы автоматического обнаружения и сопровождения объектов. Обработка изображений и управление. М.: Радиотехника, 2008. - 176 с.

3. БЕЛОГЛАЗОВ И.Н., ТАРАСЕНКО В.П. «Корреляционно-экстремальные системы». -М.: «Сов. Радио», 1974, 392 с.

4. ВАТОЛИН Д., РАТУШНЯК А., СМИРНОВ М., ЮКИН В., Методы сжатия данных. Устройство архиваторов, сжатие изображений и видео. М.: Диалог-МИФИ, 2002.

5. ВИЗИЛЬТЕР Ю.В., ЖЕЛТОВ С.Ю., КНЯЗЬ В.А., ХОДАРЕВ А.Н., МОРЖИН A.B. «Обработка и анализ цифровых изображений с примерами на LabVIEW IMAQ Vision», -М.: ДМК Пресс, 2007 г., 464 с.

6. ВИЗИЛЬТЕР Ю.В., ЖЕЛТОВ С.Ю., СТЕПАНОВ A.A. // Статья "Новые методы обработки изображений". / печ. НЗНТ, Серия: Авиационные системы, №4; ГосНИИАС, 1992. с.21.

7. ВИШНЯКОВ Б.В., ВИЗИЛЬТЕР Ю.В., ЛАГУТЕНКОВ A.B. Использование модифицированного метода оптических потоков в задаче обнаружения и межкадрового прослеживания движущихся объектов.// Сборник М.: Машиностроение, №5, 2007 г.124

8. ЖЕЛТОВ С.Ю. Разработка теории, методов и алгоритмов машинного зрения в задачах обнаружения объектов: Диссертация д-ра техн. наук: 05.13.01 -М.:, 2002.

9. ЖЕЛТОВ С.Ю. Фотограмметрия и машинное зрение на рубеже тысячелетий. / Тезисы докладов I Научно-практической конференции Общества содействия развитию фотограмметрии и дистанционного зондирования. -М:, 1-2 III 2000, с.4-5.

10. ЖЕЛТОВ С.Ю., СТЕПАНОВ' А. А., ВИЗИЛЬТЕР Ю.В., МОРЗЕЕВ Ю.В. Объектно-ориентированный фреймовый подход в обработке изображений и управления данными, получаемыми от датчиков различной физической природы // SPIE Proceedings, Volume 2587. 6.

11. КНЯЗЬ В. А., КРУПЕННИКОВ И.В., ЖЕЛТОВ С.Ю. «Стереосистема реального времени обнаружения препятствий на автомагистралях» / Издательство Технологического института ЮФУ Таганрог, Материалы Пятой Международной конференции ВПВС-2008, -М.:2008 г.

12. МАКСИМОВ H.A., ВАСИЛЕВСКИЙ A.C. Алгоритмы цифровой обработки изображений : Учеб. пособие; М. Изд-во МАИ, 1995, 31 с.

13. МИРОШНИЧЕНКО С.Ю., ТИТОВ B.C. Программная оптимизация оператора Собеля с использованием SIMD-расширений процессоров семейства х86. Телекоммуникации. 2006. № 6. С. 12-16. (2006).

14. МУБАРАКШИН Р.В., КИМ Н.В., КРАСИЛЬЩИКОВ М.Н., САБЛИН Ю.А., ШИНГИРИЙ И.П. Бортовые информационно-управляющие средства оснащсния летательных аппаратов: Учебник Москва: МАИ, 2003-.380 с.

15. ПОЗИН А.Г. Пространственный подход к решению задачи построения 3D поверхности, -Нск.: Сибирский журнал вычислительной математики, Том 9, 2006 г., с. 315-323.

16. ПРОНЕНКО В.Д., МАКСИМОВ H.A., СИНЧА Д.П. Оценка эффективности разработанного программного комплекса, использующего-поиск визуальной информации в базе данных при принятии решений. // Рязань, Вестник РГРТУ №4 (выпуск 30), 2009.

17. ПУТЯТИН Е.П. Нормализация и распознавание изображений. Кафедра Применения ЭВМ. ХТУРЭ, 2000.

18. СЕМЕНОВ С. С. Исследование неадаптивных операторов дискретной свертки для обработки изображений. Журнал Радиоэлектроники, №9,2001.

19. СКВОРЦОВ A.B. Триангуляция Делоне и ее применение/Томск: Изд-во Томск, ун-та, 2002. 128 с.

20. ФОРСАЙТ Д., ПОНС Ж. "Компьютерное зрение. Современный подход" Москва ИД "Вильяме" 2004.

21. ЧЕГОЛИН П.М., ЛЕОНОВИЧ Э. Н., Савенков В. И. Автоматизация преобразования сложных форм графической информации. -Минск: Наука и техника, 1973, 183 с.

22. ШАРОНОВ A.B. Методы и алгоритмы обработки результатов экспериментальных исследований. Учебное пособие. Москва: МАИ, 2004.

23. BALAGUER В., FERNANDO J, CARPIN- S. Quantitative validations of robotic simulators: a case study with microsoft robotics studio. 2009.

24. BLUME H., AMER A., Parallel Predictive Motion Estimation using Object Recognition Methods. Proceedings of the European Workshop and Exhibition on Image Format Conversion and Transcoding, March 22 23, 1995, Berlin, Germany.

25. BRASPENNING R. and DE HAAN G., Efficient Motion Estimation with Content-Adaptive Resolution. Proceedings of ISCE'02, Sep. 2002, pp. E29-E34.

26. BRAUNL Т., "EyeBot: A Family of Autonomous Mobile Robots", 6th Intl.Conf. on Neural Inf. Proc. ICONIP'99, Perth, Nov. 1999, pp. 645-649a

27. BRENNER C., BÖHM J., GÜHRING J. Photogrammetric calibration and accuracy evaluation of a cross-pattern stripe projector. In: 'Photonics West, Videometrics VI', Vol. 3641, SPIE, San Jose, USA, 1999.

28. CARPENTER L., "The A-buffer, an Antialiased HiddenSurface Method" Proceedings of SIGGRAPH *84 , July 1984

29. COHEN-STEINER D., DA F. A greedy Delaunay based surface reconstruction algorithm. Rapport de recherché 4564, ESTRIA, 2002.

30. COSTIS T., HUGEL V., BONNIN P. A New Fast Multi-Layer Line Detection For Embedded Robotic Application. IECON 2006 32nd Annual Conference on IEEE Industrial Electronics, Nov. 2006. pp.: 3434- 3439.

31. CURLESS B., LEVOY M. A volumetric method for building complex models from range images. In SIGGRAPH 96 Conference Proceedings, pages 303312, ACM SIGGRAPH, Addison Wesley, August 1996

32. DA VIES E.R. Application of the generalized Hough transform to corner detection. IEEE Proc., 1988a, E 135, pp. 49-54.

33. DAVIES E.R. A modified Hough scheme for general circle location. -PattenrRecogn., 1988b, №7, pp. 34-37.

34. DAVIES E.R. Machine Vision: Theory, Algorithms, Practicalities. Academic Press, 2-nd Edition, San Diego, 1997, pp.750.

35. DAVIS J., MARSCHNER S., GARR M., LEVOY M. Filling holes in complex surfaces using volumetric diffusion. In First International Symposium on 3D Data Processing, Visualization, and Transmission, pages 428-861, June 2002.

36. DE HAAN G. and SCHÜTTEN R.J., Real-time 2-3 pull-down elimination applying motion estimation«/ compensation on a programmable device. Digest of the ICGE'98, Jun. 1998, Los Angeles, pp.356-357.

37. DEY T., AMENTA N., CHOI S., LEEKHA N. A simple algorithm for homeomorphic surface reconstruction. ACM Symposium on Computational Geometiy, pages 213-222, 2000.

38. DEY T.K., GOSWAMI S. Tight cocone: a water-tight surface reconstructor. In Proc. of the 8th ACM Symp. on Solid Modeling and Applications, ACM Press, New York, 2003, pp. 127-134.

39. DEY T.K., JOACHIM GIESEN. Detecting undersampling in surface reconstruction. Symposium on Computational Geometry, pp. 257-263, 2001.

40. DORAI C., WENG J., JAIN A. K. Optimal registration of object views using range data. IEEE Trans. Pattern Anal. Machine Intell., Vol. 19, No. 10, pp. 1131-1138, 1997.

41. DUDA R.O., HART P.E. Use of the Hough transformation to detect lines and curves in pictures. Comm. ACM 15, 11-15, 1972, pp.11-15.

42. ECK M., DEROSE T.D., DUCHAMP T., HOPPE H., LOUNSBERY M., STUETZLE W. Multiresolution Analysis of Arbitrary Meshes // SIGGRAPH'95 Proceedings. 1995. pp. 173-182.

43. FINKELSTEIN A., SALESIN D.H. Multiresolution Curves // SIGGRAPH'94 Proceedings. 1994. pp. 261-268.

44. FISHER R. B., NAIDU D. K. A Comparison of Algorithms for Subpixel Peak Detection, in Sanz (ed.) Advances in Image Processing, Multimedia and Machine Vision, Springer-Verlag, Heidelberg, 1996.

45. GALLANT M. et al., An Efficient Computation-Constrained Block-Based Motion Estimation Algorithm for Low Bit Rate Video Coding. IEEE Transactions on Image Processing, vol. 8, no., 12, Dec. 1999.

46. GELFAND N., IKEMOTO L., RUSINKIEWICZ S., LEVOY M. Geometrically Stable Sampling for the ICP Algorithm. Proc. International Conference on 3D Digital Imaging and Modeling, pp. 260-267, Banff, October 2003.

47. GODIN G., BERALDIN J.-A., RIOUX M., LEVOY M., COURNOYER L., BLAIS F. An Assessment of Laser Range Measurement of Marble Surfaces. Proc. Fifth Conference on optical 3-D measurement techniques, Vienna University of Technology, Vienna, Austria, 2001.

48. GÜHRING J., BRENNER C., BÖHM J., FRITSCH D. Data processing and calibration of a cross-pattern stripe projector. In: 'ISPRS Congress 2000', I APRS 33(5), Amsterdam, Netherlands, 2000.

49. HALL-HOLT O., RUSINKIEWICZ S. Stripe boundary codes for real-time structured-light range scanning of moving objects. In Proceedings of the Eighth International Conference on Computer Vision, pages 359-366, 2001

50. HOPPE H. Progressive meshes. In Computer Graphics Proceedings, Annual Conference Series, 1996 (ACM SIGGRAPH '96 Proceedings), pages 99108, 1996.

51. HOPPE H. Efficient Implementation of Progressive Meshes. Computers & Graphics Vol. 22 No. 1, pp. 27-36, 1998

52. HOPPE H. New quadric metric for simplifying meshes with appearance attributes. In Proceedings IEEE Visualization, pages 59-66, Conference held in San Francisco, CA, USA, October 1999. IEEE Computer Society Press.

53. LEE C.-H., CHEN L.-H. A Fast Motion Estimation Algorithm Based on the Block Sum Pyramid. IEEE Trans. Image Processing, vol. 6, pp. 1587-1591, Nov. 1997.

54. MARR Dl, HIEDRETH E. Theory of edge detection. Proc. R: Soc. (London), 1980, B207, pp.187-217.

55. MEMIN E., PEREZ P. Hierarchical estimation and segmentation of dense motion fields. International Journaliof Computer Vision 46 (2002) 129-155

56. MURRAY R., Pachles: A method of interpreting of correlation stereo 3D data, A thesis submittet of partial fulfillment of the requirements for the degree of Doctor of Philisophy, The university of British Columbia, 2003.

57. OLIVIERI S., DE HAAN G., and ALBANI L., Noise-robust recursive motion estimation for H:263-based videoconferencing systems. Proc. Int. Workshop on Multimedia Signal Processing, Sep, 1999, Copenhagen, pp. 345-350.

58. PAJDLA, T., WERNER T., HLAVAC V. Correcting Radial Lens Distortion without Knowledge of 3-D Structure. Technical report TR97-138, FEL CVUT, Karlovo namest 13, Praha, Czech Republic.

59. ROGERS D. Introduction to NURBS: With Historical-Perspective. // SanFrancisco: Morgan Kaufmann, 2000.

60. SAL VI J., ARMANGUE X., BATTLE J. A comparative review of camera calibrating methods with accuracy evaluation, Pattern Recognition 35, 2002, pp. 1617-1635.

61. SEEGER U.AND SEEGER R. Fast corner detection in grey-level images. Pattern Recogn. Lett., 1994, №15(7), pp.669-675.

62. SHARR H. Optimal operators in digital image processing, Interdisziplinäres Zentrum für Wissenschaftliches Rechnen (IWR), Germany, 2000.

63. STEGER C. An Unbiased Detector of Curvilinear Structures. IEEE Transactions on Pattern Analysis and Machine Intelligence 20(2), pp. 113-125, 1998.

64. STEIN G.P. Lens distortion calibration using point correspondences. In IEEE Conference on CVPR, pp. 602-609, 1997.

65. SHIRAI Y. Three-dimensional Computer Vision. Springer-Verlag, Berlin. 1987.

66. YOSHIDA E.; BLAZEVIC P.; HÜGEL V. Pivoting Manipulation of a Large Object: A Study of Application using Humanoid Platform. Proceedings of the 2005 IEEE International Conference on Robotics and Automation. 2005. pp. 1040 1045.

67. WANG D., Unsupervised video segmentation based on watersheds and temporal tracking. IEEE Trans. Circuits Syst. Video Technol., vol. 8, pp. 539— 546, Sept. 1998.

68. WIORA G. High Resolution Measurement of Phase-Shift Amplitude and numeric Object Phase Calculation. In Proceedings SPIE Proceedings Vision Geometry IX, pp 289-299.

69. WONG S., VASSILIADIS S., and COTOFANA S. A Sum of Absolute Differences Implementation in FPGA Hardware. Delft University of Technology, 2002.

70. ZENG S., BAE H., LITKOUHI B., NIICKOLAOU J. Tartan Racing: A Multi-Modal Approach to the DARPA Urban Challenge. Carnegie Mellon University, 2007.y