3D система обнаружения пространственных объектов с помощью манипуляционного робота тема диссертации и автореферата по ВАК РФ 05.02.05, кандидат наук Нгуен Ань Ван

• Нгуен Ань Ван
• кандидат наук
• 2015

Оглавление диссертации кандидат наук Нгуен Ань Ван

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ

ГЛАВА 1. СИСТЕМЫ ОБЪЕМНОГО ТЕХНИЧЕСКОГО ЗРЕНИЯ И ОБЗОР МЕТОДОВ РАСПОЗНАВАНИЯ 3D ОБЪЕКТОВ

1.1. Актуальность проблемы

1.2. Обзор систем объемного зрения и их применения

1.2.1. Дальнометрические системы

1.2.2. Системы стереозрения

1.2.3. Системы со структурированной подсветкой

1.3. Обзор методов описания объемных объектов

1.3.1. Трехмерные каркасные модели

1.3.2. Модели типа «Поверхность-ребро-вершина»

1.4. Обзор методов распознавания трехмерных объектов

1.4.1. Распознавание объектов по их моделям с использованием процедуры совмещения

1.4.2. Распознавание на основе сопоставления исходных данных

с реляционными моделями

1.5. Постановка задача

Выводы по главе 1

ГЛАВА 2. МЕТОД ВЫДЕЛЕНИЯ ХАРАКТЕРИСТИЧЕСКИХ ТОЧЕК НА 3D ИЗОБРАЖЕНИЯХ

2.1. Выходные данные телекамеры Artec L,M

2.2. Фильтрация исходных данных

2.3. Алгоритмы сегментации сцены

2.3.1. Первый способ - использование направляющих косинусов

2.3.2. Второй способ - анализ параллельности треугольников

2.3.3. Третий способ - последовательный анализ соседних треугольников

2.3.4. Сравнение алгоритмов сегментации

2.4. Выделение характеристических точек объектов

2.4.1. Методы выделения характерных признаков 2Э изображений

2.4.2. Способ описания плоскости сегмента

2.4.3. Оценка точности описания плоскости сегмента

2.4.4. Определение характеристических точек объекта

2.4.5. Экспериментальные исследования метода выделения характеристических точек объектов

Выводы по главе 2

ГЛАВА 3. МЕТОД ОБНАРУЖЕНИЯ МНОГОГРАННЫХ

ПРОСТРАНСТВЕННЫХ ОБЪЕКТОВ

3.1. Общий подход к обнаружению

3.2. Определение пространственного расположения характеристических точек

3.2.1. Способ описания многогранных пространственных объектов

по характеристическим точкам

3.2.2. Определения параметров характеристических точек объекта

3.2.3. Определение связей выбранной точки с другими

характеристическими точками объекта

3.2.4. Определение параметров характеристических точек реальных объектов

3.3. Алгоритм обнаружения многогранных пространственных объектов

3.3.1. Процедура сравнения значений группы углов

3.3.2. Определение соответствия между характеристическими точками реального объекта и модели

3.3.3. Оценка результатов сравнения

3.4. Результаты обнаружения реальных объектов

Выводы по главе 3

ГЛАВА 4. ОПРЕДЕЛЕНИЕ ТРАЕКТОРИИ ДВИЖЕНИЯ МАНИПУЛЯТОРА ПО РЕЗУЛЬТАТАМ ОБНАРУЖЕНИЯ ОБЪЕКТА

4.1. Способ совмещения модели и объекта

4.1.1. Исходная информация для совмещения модели с объектом

4.1.2. Этапы совмещения пространственной модели с реальным объектом

4.2. Способ определения следующей точки наблюдения

4.2.1. Алгоритм выбора следующей точки наблюдения

4.2.2. Расчет координат следующей точки наблюдения

4.3. Построение траектории движения робота в следующую точку наблюдения

4.3.1. Алгоритм управления движением мобильного робота в заданную точку

4.3.2. Обратная кинематическая задача манипулятора PUMA

4.4. Результаты поиска объектов из двух точек наблюдения

Выводы по главе 4

ГЛАВА 5. ЭКСПЕРИМЕНТАНЫЕ ИССЛЕДОВАНИЯ СИСТЕМЫ ОБНАРУЖЕНИЯ

5.1. Программное обеспечение системы обнаружения

5.1.1. Архитектура программного обеспечения

5.1.2. Интерфейс программы

5.2. Разработка стенда обнаружения объектов с манипулятором

5.3. Экспериментальные исследования системы обнаружения

5.3.1. Обнаружение образца противотанковой мины Топфмина 4531

5.3.2. Обнаружение образца мины Betonmine

5.3.3. Обнаружение образца мины ТМД-40

5.3.4. Обнаружение несимметричного многогранного пространственного объекта

5.4. Оценка работоспособности системы зрения при различных условиях роботы

5.4.1. Обнаружение произвольно расположенных объектов

5.4.2. Обнаружение плохо различимых объектов

5.4.3. Обнаружение цветных объектов

5.4.4. Влияние освещенности сцены

5.5. Анализ точности измерения размеров и координат объектов

Выводы по главе 5

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

ПРИЛОЖЕНИЕ

Введение диссертации (часть автореферата) на тему «3D система обнаружения пространственных объектов с помощью манипуляционного робота»

ВВЕДЕНИЕ

Актуальность работы. Мир пережил несколько войн, большое количество бомб, мин и взрывных устройств по-прежнему остаются на полях сражений. Именно они до сих пор ежедневно угрожают жизни людей. По мнению экспертов при использовании существующих технологий на разминирование всей планеты потребуется около тысячи лет и до ста миллиардов долларов; при этом на каждые 5000 обезвреженных мин приходится один погибший и двое покалеченных саперов. Поэтому в настоящее время, большое внимание уделяется задаче разработки робототехнических систем обнаружения мин для замены человека в экстремальных и опасных условиях работы. Для автономного решения таких сложных задач требует разработка современных робототехнических систем, обладающих широкими функциональными возможностями. При этом робототехнические системы обязательно используют системы технического зрения (СТЗ), что обеспечивает существенное расширение их технологических и функциональных возможностей. Раньше для решения задачи распознавания объектов обычно использовали 2D системы зрения. Но эти системы не позволяют обнаруживать объекты, которые располагаются на сложном фоне, частично перекрыты другими объектами, не полностью видны или камуфлированы. При использовании систем объемного технического зрения (СОТЗ) для анализа и обработки визуальной информации о текущем состоянии рабочей сцены робота можно решить эту проблему. Применение СОТЗ, во-первых, повышает информативность и упрощает фильтрацию зашумленных изображений, обеспечивая высокую эффективность поиска. Во-вторых, дает потенциальную возможность построить эффективные алгоритмы обнаружения, работающие в условиях помех, вызванных изменениями освещенности и тенями.

Интенсивные исследования систем объемного зрения имеют многолетнюю историю и связаны с роботами. Здесь следует отметить работы Стэндфордского университета (США), Оксфордского университета (Великобритания), Военной академии NATO (Бельгия). В России в этом направлении работают: ЦНИИ РТК,

ИПМ им. Келдыша, МГТУ им. Н.Э. Баумана, НПО "Информация". Примером такой системы является устройство KINECT ХВОХ 360 Microsoft Corporation для игровых приложений. Большинство исследований посвящены использованию систем объемного зрения в задачах управления движением роботов, а применение системы зрения для поиска 3D объектов встречается крайне редко.

Результаты исследования типовых опасных объектов (мин), которые многократно использовались в различных странах, показали, что они имеют достаточно большие размеры и выглядят как многогранные пространные объекты. Обычно они располагаются на сложном фоне и плохо видны (частично находятся в грунте, закрыты другими объектами или камуфлированы). Поэтому в диссертационной работе предлагается использовать современную подвижную 3D телекамеру со структурированной подсветкой для создания системы обнаружения многогранных пространственных объектов. Использование системы объемного технического зрения позволяет получить трехмерное описание сцены и находящихся на ней объектов, которые изначально плохо заметны.

Цель и задачи работы. Целью диссертации является разработка системы объемного технического зрения манипуляциоиного робота для обнаружения и определения координат многогранных пространственных.

В соответствии с целью работы в диссертации были решены следующие задачи:

1. Разработан алгоритм обработки и представления изображений рабочей сцены робота, поступающих от 3D телекамеры.

2. Исследованы способы сегментации 3D изображения.

3. Разработан метод выделения характеристических точек многогранных пространственных объектов.

4. Предложен способ описания пространственных объектов на основе анализа взаимного расположения характеристических точек и их параметров.

5. Разработан метод для обнаружения многогранных пространственных объектов на основе сравнения параметров характеристических точек объекта и его модели.

6. Предложен способ вычисления координат следующей точки наблюдения рабочей сцены робота путем совмещения модели и объекта по результатам поиска в данной точке.

7. Определена траектория движения манипулятора робота с ЗЭ телекамерой в следующую точку наблюдения с учетом его кинематической схемы.

Методы исследования. Поставленная цель диссертации была достигнута с помощью предложенного метода распознавания ЗО объектов на основе сравнения параметров характеристических точек модели и объекта. Проверка работоспособности предложенных алгоритмов выполнялось с помощью математического моделирования и экспериментальных исследовании на разработанном лабораторном стенде. Для обработки полученных результатов использовались методы математической статистики, теории измерений и распознавания образов.

Научная новизна работы. Предложен способ описания рабочей сцены манипуляционного робота по ее изображению с помощью характеристических точек - точек пересечения трех плоскостей (трех сегментов). Разработан новый способ описания 30 объектов сцены на основе анализа взаимного расположения характеристических точек в пространстве. Разработан новый метод обнаружения ЗЭ объектов, основанный на сравнении пространственного расположения характеристических точек объекта и его модели. Предложен способ определения координат невидимых точек объекта по его модели.

Практическая ценность и внедрение. В работе предложена информационно-измерительная система зрения, использующая метод структурированной подсветки и предназначенная для обнаружения многогранных пространственных объектов, расположенных на сложных сценах. Объемное описание рабочей сцены робота позволило построить алгоритм распознавания для

автоматического обнаружения объектов по известным моделям. Использование 3D изображения позволяет распознавать пространственные объекты, которые произвольно расположены на рабочей сцене и плохо видны. Наличие манипуляционного робота обеспечивает возможность осмотра объекта с разных сторон, что существенно повышает вероятность обнаружения. В процессе поиска определяются реальные размеры объектов и их координаты в пространстве рабочей сцене, что позволяет манипулировать с найденными объектами сцены в автоматическом режиме.

Результаты экспериментального исследования системы свидетельствуют об эффективности предложенных алгоритмических и технических решений, которые могут быть использованы при создании робототехиических комплексов для обнаружения опасных для жизни объектов.

Апробация работы. Основные результаты работы докладывались и получили положительную оценку на:

• Всероссийской научно-технической конференции «Экстремальная робототехника» (Санкт-Петербург, 2012);

• 7tb IARP RISE-ER'2013 «Robotics for Risky Environment - EXTREME ROBOTICS» (Saint-Petersburg, 2013);

• Научно-технической конференции кафедры «Робототехнические системы», МГТУ им. Н.Э. Баумана (Москва, 2013);

• International Scientific and Technological Conference «EXTREME ROBOTICS» (Saint-Petersburg, 2014);

• Научно-технической конференции «Техническое зрение в системах управления - 2015» (Москва, 2015);

• Научных семинарах НУЦ «Робототехника» МГТУ им. Н.Э. Баумана (Москва, 2011-2015 г.г).

Публикации. Результаты диссертационной работы нашли отражение в 6 научных трудах, в том числе 2 публикации в изданиях из перечня ВАК РФ.

Структура и объем работы. Диссертационная работа состоит из введения, 5-ти глав, заключения, список использованных источников и приложений. Объем работы составляет 175 печатных страниц (включая 20 страниц приложений), 114 рисунков, 13 таблиц.

В первой главе рассматривается актуальность проблемы создания робототехнического комплекса для обнаружения опасных объектов. Приведены примеры конкретных объектов работы. Проанализирована возможность использования 20 и ЗО изображений для решения задачи распознавания. Сделан краткий анализ существующих систем объемного зрения для описания пространственных сцен. Выполнен обзор методов описания объектов, измерения их размеров и 30 координат, а также способов распознавания трехмерных объектов. В результате предлагается использовать систему объемного технического зрения для создания робототехнического комплекса обнаружения многогранных пространственных объектов. Описан порядок работы робототехнического комплекса и определены задачи диссертационной работы.

Во второй главе приведено описание массива изображения, который формируется на выходе ЗО телекамеры и является исходным описанием рабочей сцены. Предложен способ фильтрации исходных данных. Выполнено сравнение трех способов сегментации изображении. Приведена оценка результатов сегментации для сцен различной сложности. Предложен метод выделения характеристических точек на изображениях пространственных объектов и проведено его исследование.

В третьей главе рассмотрен общий поход к обнаружению пространственных объектов. Предложен способ описания многогранных пространственных объектов с использованием характеристических точек. Рассмотрены алгоритмы определения параметров характеристических точек и их взаимного расположения (связей) в пространстве. Разработана процедура обнаружения путем сравнения параметров характеристических точек объекта и его модели и предложен способ

оценки результатов обнаружения. Приведены результаты экспериментов по обнаружению реальных объектов.

В четвертой главе решается задача построения траектории движения манипулятора с телекамерой из данной точки наблюдения в следующую таким образом, чтобы получить максимально возможную информацию о невидимой части объекта при минимальном количестве наблюдений. Для этого предложено сначало выполнить пространственное совмещение модели с объектом, а затем вычиститься координаты следующей точки наблюдения, и сформировать пространственную траекторию движения схвата манипулятора с телекамерой. Приведены результаты экспериментов по обнаружению реальных объектов из нескольких точек наблюдения.

Пятая глава посвящена разработка программного обеспечения для обнаружения многогранных пространственных объектов. Описан сгенд, разработанный для проведения испытаний предложенных алгоритмов. Приведены результаты экспериментов по применению системы зрения для поиска реальных объектов. Проверена работоспособность системы с разными объектами при различных условиях работы. Определены основные параметры системы обнаружения, исследована точность определения габаритных размеров и координат объектов.

В заключении даны общая оценка выполненных исследований и основные результаты диссертации.

В приложения приведены тексты компьютерных программ.

На защиту выносятся следующие положения:

• Исследованы методы сегментации ЗЭ изображений.

• Разработан метод выделения характеристических точек многогранных пространственных объектов и определения их параметров.

• Предложен способ описания пространственных объектов на основе анализа расположения характеристических точек.

• Разработан метод обнаружения многогранных 30 объектов на основе сравнение пространственного расположения характеристических точек объекта и модели.

• Предложен способ расчета координат следующей точки наблюдения рабочей сцены робота по результатам обнаружения.

• Разработан пакет программ для исследования работоспособности предложенных алгоритмов.

Благодарности. Автор выражает благодарность руководителю кандидату технических наук, доценту Михайлову Борису Борисовичу, доктору технических наук, профессору Ющенко Аркадию Семеновичу и преподавателям кафедры "Робототехнические системы и мехатроника" МГТУ им. Н.Э. Баумана.

ГЛАВА 1. СИСТЕМЫ ОБЪЕМНОГО ТЕХНИЧЕСКОГО ЗРЕНИЯ И ОБЗОР МЕТОДОВ РАСПОЗНАВАНИЯ ЗБ ОБЪЕКТОВ

В данной главе рассматривается актуальность проблемы создания робототехнического комплекса для обнаружения опасных объектов (бомб и мин и т.д.). Приведены примеры конкретных объектов работы. Проанализирована возможность использования Ю и 30 изображений для решения задачи обнаружения (раздел 1.1). Сделан краткий анализ существующих систем объемного зрения для описания пространственных сцен (раздел 1.2). Выполнен обзор методов описания объектов, измерения их размеров и ЗЭ координат (раздел 1.3), а также способов распознавания трехмерных объектов (раздел 1.4). В результате предлагается использовать систему объемного технического зрения (СОТЗ) для создания робототехнического комплекса обнаружения многогранных пространственных объектов. Описан порядок работы робототехнического комплекса и определены задачи диссертационной работы (раздел 1.5).

1.1. Актуальность проблемы

Мир пережил несколько войн, большое количество бомб, мин и взрывных объектов по-прежнему остаются на земле. Именно они до сих пор ежедневно угрожают жизни людей. По мнению экспертов, при использовании существующих технологий, разминирование всей планеты потребует около тысячи лет и до ста миллиардов долларов; при этом на каждые 5000 обезвреженных мин придется один погибший и двое покалеченных саперов [27]. Поэтому в настоящее время большое внимание уделяется задаче разработки эффективных робототехнических систем обнаружения мин для замены человека в экстремальных и опасных условиях работы. Ниже рассмотрены некоторые типы мин, которые многократно использовались в последние годы.

• Противотанковая мина Топфмина 4531 С (То М1 4531 С) изготавливалась из картонных пластинок, склеенных столярным клеем. Эта мина в силу особенностей изготовления имела характерный граненый вид, показанный на Рис. 1.1 [44].

Рис. 1.1. Внешний вид мины Топфмина 4531 С

• Мина II.М\. 44 [45]. Это модификация удлиненной мины к.Мк 43 иод наименованием 1^еёе1тте 44, которая отличается от своей предшественницы тем, что вместо двух опасных в обращении взрывателей, она комплектуется одним взрывателем. Это делает обращение с этой миной значительно безопаснее и повышает ее надежность. Внешний вид этой мины показан на Рис. 1.2.

Я1еде1ггнпе 44 tR.Mi.44)

ЦЩЕГГ ХАЗ

л шттш

г -

Рис. 1.2. Внешний вид мины К.Мк 44

• Мина ПМД-57 [41 ]. Приведение мины ПМД-57 в боевое положение было делом далеко не безопасным. Поэтому, в боковой стенке мины имелось отверстие, в которое вставлялась предохранительная шпилька. Внешний вид мины показан на Рис. 1.3.

Рис. 1.3. Внешний вид мины ПМД-57

• Минное оружие Behelfs - Schuetzenmine W-l, Behelfs - SchuetZenmine E -5 и Betonmine [46]. Эти заряды нашли применение в качестве противопехотных

осколочно-фугасных мин нажимного или натяжного действия. Перед установкой мин удалялся хвостовой патрон с оперением и в гнездо взрывателя вкручивался переходник. Их внешний вид показан на Рис. 1.4.

¡Se.ShU.MI. W-1) i-SchOUenmina W-1

Betonmine

I

Рис. 1.4. Внешний вид мин Behelfs - Schuetzenmine W-1, Behelfs - SchuctZenmine E-5 и Betonmine

• Мины ПМА-1, ПМА-1А, TMA-2A и TMA-5A. Это противопехотные нажимные мины. Устройство и внешний вид этих мин показаны на Рис. 1.5 [28].

//"<№':'■.'/'„ " щц. ;■/ ■ ° -

РМА-1А ■ •

ТМА-2А ТМА-5А

Рис. 1.5. Внешний вид мин ПМА-1, ПМА-1 А, ТМА-2А и ТМА-5А

• Противотанковые мины ТМД-40 и ТМД-Б [42, 43]. Внешний вид этих мин показан на Рис. 1.6.

Рис. 1.6. Внешний вид мин ТМД-40 и ТМД-Б

• Взрывчатка типа С4. Она имела два варианта исполнения, которые показаны на Рис. 1.7 [1].

Рис. 1.7. Взрывчатка типа С4 Кроме рассмотренных типов мин существует еще много других опасных объектов, которые часто использовались. Некоторые из них приведены на Рис. 1.8.

Рис. 1.8. Примеры расположения опасных объектов

После анализа нескольких типов опасных объектов и способов их установки на местности, можно сделать выводы о том, что:

• большие мины и взрывных устройств внешне похожи на многогранные пространственные объекты;

• опасные объекты в реальной ситуации обычно располагаются на сложном фоне и плохо видны (закрыты другими объектами, частично находятся в грунте или камуфлированы).

Из приведенного выше очевидно, что для решения актуальной проблемы разминирования нужно разработать робототехническую систему поиска многогранных пространственных опасных объектов, которые могут располагаться в произвольном положении в пространстве. Причём манипуляционный робот должен работать в автоматическом режиме. С помощью системы зрения он анализирует окружающую рабочую сцену и находит необходимые опасные объекты. Далее по результатам распознавания, найденные объекты либо маркируются, либо переносятся манипулятором в специальную тару.

Таким образом, актуальной задачей диссертационной работы является разработка ЗО система обнаружения пространственных объектов с помощью манипуляционного робота.

Раньше, для решения задачи обнаружения объектов использовали 20 системы зрения. Но, эти системы не позволяют распознавать объекты, которые располагаются на сложном фоне, частично перекрыты другими объектами, не полностью видны или камуфлированы. Например, на Рис. 1.9а показано изображение, которое получают от обычной 20 телекамеры. Это вид монохромных объектов, а если объекты сцены камуфлированы (Рис. 1.9в), то их изображение содержит еще меньше информации. Имея такие исходные изображения решить задачу обнаружения очень трудно. Поэтому, в диссертационной работе предлагается использовать систему объемного технического зрения для получения ЗР изображений. Например, на Рис. 1.96

и 1.9г показаны 30 изображения тех же сцен. Очевидно, что эти изображения существенно упрощают задачу поиска объектов.

а)

'л

*Г

N

в) г)

Рис. 1.9. Изображения от 20 телекамеры (а), (в) и от ЗО телекамеры (б), (г)

На Рис. 1.10 приведен пример расположения 30 объектов на сцене с зеркальным фоном. В результате при использовании 20 системы зрения число объектов на изображении удваивается (Рис. 1.10а), что существенно усложняет задачу распознавания. В тоже время использование ЗЭ системы зрения обеспечивают получение изображения реальных объектов (Рис. 1.106) и упрощает задачу их обнаружения.

а) б)

Рис. 1.10. Изображения от 2Э телекамеры (а) и от ЗО телекамеры (б)

Если на изображении находятся несколько объектов, которые частично перекрыты другими объектами или не полностью видны (Рис. 1.11), то задача обнаружения по Ю изображениям также существенно усложняется. Использование ЗО системы зрения существенно повышает информативность изображения. Причём его качество не зависит от освещенности сцены и цвета объектов, что позволяет создать эффективные алгоритмы обнаружения.

ь * V

Рис. 1.11. Сцена, объекты которой частично перекрыты или не полностью видны

Рассмотренные примеры расположения объектов на сложных сценах, подтверждают целесообразность использования изображений системы объемного технического зрения для разработки алгоритмов обнаружения пространственных объектов.

1.2. Обзор систем объемного зрения и их применения

В настоящее время известно большое количество методов измерения координат и формы трехмерных объектов. Подробную классификацию различных подходов к решению этой задачи можно найти в работах [7, 10, 36, 55, 56, 57]. Из перечисленных оптических методов измерения координат, в системах очувствления роботогехнических комплексов наиболее широко применяются (Рис. 1.12):

• дальнометрические системы (лазерные дальномеры),

• системы стереозрения,

• системы со структурированной подсветкой.

Рис. 1.12. Оптические методы измерения координат

Ниже рассмотрена реализация нескольких известных методов измерения.

1.2.1. Дальнометрические системы

Достоинством дальнометрических систем на основе лазерных дальномеров является значительный рабочий диапазон измерения по дальности. Лазерные дальномеры имеют достаточно высокую точность, при этом ошибка измерения практически не зависит от расстояния до объекта [10, 26]. Дальнометрические системы осуществляют измерение в одной точке, поэтому необходимо выполнить сканирование (развертку луча) в телесном угле для получения объемной картины.

На Рис. 1.13а показан пример сканирующего лазерного дальномера, осуществляющего развертку луча в плоском угле 180°. Результатом измерении данного прибора является массив дальностей до ближайших точек объектов.

лежащих в илоскоети луча - один «срез» рабочей сцены плоскостью сканирования. Рабочий диапазон но дальности этого датчика составляет 01 0 до N0 м, максимальная величина ошибки измерения дальности ±15мм во всем диапазоне расстояний. Угловое разрешение при максимальной частоте съемки - 1°.

а) б)

Рис. 1.13. а) лазерный дальномер SICK LMS200; б) система объемного зрения

на основе лазерного дальномера Для получения полного дальнометрического изображения рабочей сцены изменяют наклон плоскости сканирования, регистрируя последовательно множество плоских сечений. На Рис. 1.136 изображена система объемного зрения па основе лазерного дальномера, разработанная в институте Фраунгофера [71|, с сервоприводом для изменения угла наклона плоскости сканирования. Диапазон изменения угла наклона - 120°, число дискретных положений плоскости - 256. Сканирование одного дальнометрического изображения рабочей зоны размером 181 на 256 точек при помощи данной системы занимает 0.34 секунды.

1.2.2. Системы стереозрения

Системы стереозрения и системы со структурной подсветкой относятся к общему классу триангуляционных систем (Рис. 1.14). Системы стереозрения являются пассивными, т.е. не содержат в своем составе источников излучения [8, 39, 80, 81].

шшшяяшш

а) б)

Рис. 1.14. а) система со структурированной подсветкой Elphel 353;

б) стереосистема Videre

Технология стсреозрения - это техническое зрение, в котором используется, как правило, две телекамеры, работающие синхронно, что позволяет восстанавливать форму и расположение наблюдаемых объектов в трехмерном пространстве. Восстановленная форма - это трехмерная полигональная модель какого-либо объекта, формируемая на основе анализа изображений этого объекта, полученных разнесенными в пространстве телекамерами.

Отметим, что надежность работы стереосистем сильно зависит от условий внешнего освещения. Алгоритмы стерео сопоставления обычно основаны на поиске локальных изменений яркости изображений и работают неустойчиво с монотонно окрашенными поверхностями и при отсутствии на сцене контрастных объектов. Поэтому, в стереосистемах ближнего действия часто применяю! дополнительную подсветку со случайным проецируемым рисунком для облегчения идентификации соответствующих точек на изображениях стереопары. Алгоритмы обработки стереоизображений имеют высокую вычислительную сложность, что накладывает повышенные требования к мощности компьютера, особенно при обработке изображений высокого разрешения.

1.2.3. Системы со структурированной подсветкой

Для систем технического зрения со структурированной подсветкой характерна сравнительно меньшая дальность, ограниченная мощностью источника опорной подсветки. Эти системы менее чувствительны к условиям освещения в силу наличия собственной подсветки, обеспечивают высокую скорость измерений и возможность построения эффективных алгоритмов обработки данных [10].

Метод структурированной подсветки широко применяется в системах технического зрения для получения трехмерной координатной информации. Структурированная подсветка обеспечивает контролируемое освещение сцены, облегчающее решение задачи стерео соответствия. Проблема установления пространственного соответствия элементов пары стереоизображений снимается при использовании структурированной подсветки благодаря освещению объекта детерминированной структурной картиной. Установление соответствия между координатами проекции точки на матрице телекамеры и положением ее в системе координат проекционной системы эффективно решается декодированием сигнала подсветки на изображении. Обобщенная структурная схема активной системы объемного зрения приведена на Рис. 1.15 [10].

Источники естественного излучения

Г

Источник Оптическая

излучения система

Проекционная система

Г

о

Приемная система

Слой пространства

Спой пространства

Рис. 1.15. Обобщенная структурная схема и основные звенья активной

системы объемного зрения Основными блоками системы являются проекционная система (генератор опорной подсветки) и приемная система (телекамера). Приемная оптическая система преобразует излучение от объектов наблюдения и формирует изображение на приемнике излучения. Под регистратором здесь понимается устройство ввода информации в компьютер и сама вычислительная система. В отличие ог стереосистем, действующих по собственному излучению объекта наблюдения, либо излучению, создаваемому естественными источниками, в этой системе выполняется подсветка объекта наблюдения при помощи источника излучения, входящего в состав генератора опорной подсветки [10].

Математическая модель системы со структурированной подсветкой

Рассмотрим вначале простейшую реализацию активного триангуляционного

метода, в которой трехмерный объект или сцепа освещается лазерным лучом, как

показано на Рис. 1.16 [10, 56, 57]. Регистрирующая система 2 располагается таким

образом, чтобы направление ее оптической оси составляло некоторый угол а по

отношению к лучу лазера 1. Это дает возможность по положению отраженного

луча определить пространственные координаты точки С на поверхности объекта,

которые могут быть вычислены из геометрических соотношений между

сторонами и углами треугольника ABC (Рис. 1.16).

Список литературы диссертационного исследования кандидат наук Нгуен Ань Ван, 2015 год

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

3D модель С4 Взрывчатка, динамит [Электронный ресурс]. Режим доступа: http://vscor.com/3d-modcls/64-various-3d-models/623-c4-explosive-dynamite.html (дата обращения 20.03.2013).

3D телекамера Artec L™ [электронный ресурс]. Режим доступа: http://wvvvv .artec3d.com/ru/hardware/artec-l/ (дата обращения 15.09.2011).

Анисимов Б.В. Распознавание и цифровая обработка изображений / Б.В. Анисимов, В.Ф. Курганов. М.: Высшая школа, 1983. 295 с.

Афанасьев В.В. Теория вероятностей: учебное пособие для студентов вузов, обучающихся по специальности "Математика" / В.В. Афанасьев. М.: ВЛАДОС, 2007. 350 с.

Введение в контурный анализ и его приложения к обработке изображений и сигналов / Я. А. Фурман, А. К. Передреев, А. В. Кревецкий, и др.; под общ. ред. Я. А.Фурмана. М.: Наука, 2002. 592 с.

Велижев А.Б. Разработка и исследование алгоритмов автоматического взаимного ориентирования трехмерных дискретных моделей объектов, полученных в результате трехмерного сканирования: дис. ... канд. тех. наук. М.: МИНГАиК, 2008. 78 с.

Воротников С.А. Информационные устройства робототехнических систем. М.: МГТУ им. Н. Э. Баумана, 2005. 384 с.

Володин Ю.С. Нечеткое сопоставление стереоизображений для построения карты в условиях недостаточной видимости // Ю.С. Володин, A.B. Орлов. Актуальные проблемы защиты и безопасности: Труды восьмой Всероссийской научно-практической конференции. Экстремальная робототехника. СПб.: Изд-во «Политехника-сервис», 2005. Т. 5. С. 322-327.

Володин Ю.С. Нечеткая классификация препятствий мобильным роботом с использованием телевизионной системы пространственного зрения // Ю.С. Володин, Б.Б. Михайлов, A.C. Ющенко. Интегрированные модели и мягкие вычисления в искусственном интеллекте. Сборник научных трудов

VI-й Международной научно-технической конференции. М.: Физматлит, 2011. Т. 1. С. 372-380.

10. Володин Ю.С. Телевизионная система объемного зрения для управления движением мобильного робота: дис. ... канд. тех. наук. М., 2011. 209 с.

11. Володин Ю.С. Метод кодирования структурной подсветки для телевизионной системы объемного зрения робототехнического комплекса // Мехатроника, автоматизация, управление. 2009. №11. С. 35-42.

12. Володин Ю.С. Использование телевизионной системы объемного зрения для обнаружения препятствий // Ю.С.Володин, Б.Б. Михайлов. Актуальные проблемы защиты и безопасности: Труды двенадцатой Всероссийской научно-практической конференции. Экстремальная робототехника. СПб., 2009. Т. 5. С. 368-370.

13. Володин Ю.С. Система трехмерного зрения для поиска и идентификации объектов в экстремальных условиях // Актуальные проблемы защиты

и безопасности: Труды седьмой Всероссийской научно-практической конференции. Экстремальная робототехника. СПб., 2004. Т. 4. С. 324-331.

14. Володин Ю.С. Калибровка системы трехмерного зрения со структурной подсветкой при помощи плоских объектов // Ю.С. Володин, A.B. Орлов, Б.Б. Михайлов. Актуальные проблемы защиты и безопасности: Труды восьмой Всероссийской научно-практической конференции. Экстремальная робототехника. СПб., 2005. Т. 5. С. 314-322.

15. Володин Ю.С. Анализ точности измерения координат точек поверхности при калиброванной стереосъемке // Наукоемкие технологии и интеллектуальные системы: Труды V-й молодежной научно-технической конференции. М., 2003. С. 145-148.

16. Гуров А.Б. Программный комплекс системы технического зрения мобильного робота // А.Б. Гуров, Б.Б. Михайлов. Труды XXI Международной научно-технической конференции. СПб., 2010. С. 479-487.

П.Герман E.B. Методы выделения характерных особенностей изображений подстилающей поверхности при некорреляционном совмещений // Е.В. Герман, A.A. Логинов, М.Б. Никифоров. Материалы V Всероссийской научной конференции. Муром.: Изд-во полиграфический центр МИ ВлГУ, 2012. С. 414-417.

18. Журавлев Ю.И. Распознавание. Математические методы. Программная система. Практические применения / Ю.И. Журавлев, В.В. Рязанов, О.В. Сенько. М.: ФАЗИС, 2005. 159 с.

19. Зенкевич С.Л. Основы управления маиипуляционпыми роботами : учебпик для вузов / С.Л. Зенкевич, A.C. Ющенко. 2-е изд., испр. и доп. М.: МГТУ им. Н.Э. Баумана, 2004. 478 с.

20. Зубарев 10.М. Автоматизация координатных измерений. Учебное пособие / Ю.М. Зубарев, C.B. Косаревский. СПб.: Изд-во ПИМаш, 2011. 160 с.

21. Иванов В.П. Трехмерная компьютерная графика / В.П. Иванов, A.C. Батраков; под общ. ред. Г. М. Полищука. М.: Радио и связь, 1995. 224 с.

22. Кревецкий A.B. Распознавание образов, заданных множеством характерных точек на плоскости // Автометрия. 1999. №2. С. 28-36.

23. Канатиков А.Н. Аналитическая геометрия: учебник для вызов / A.II. Канатиков, А.П. Крищенко; под общ. ред. В. С. Зарубина, А.П. Крищеико. 3-е изд. М.: МГТУ им. Н.Э. Баумана, 2002. 388 с.

24. Кревецкий A.B. Кодирование и распознавание изображений множеств точечных объектов на основе моделей физических полей // A.B. Кревецкий, С.Е. Чесноков. Автометрия. 2002. С.80-89.

25. Кревецкий A.B. Распознавание трехмерных объектов по форме пространственных контуров // Автометрия, 2001. № 2. С. 21-31.

26. Лысенко О.Н. Использование лазерных сканеров SICK AG для навигации мобильных роботов // Автоматизация в промышленности. 2006. №8. С. 22-24.

27. Мины живут дольше людей [Электронный ресурс] // Наука и жизнь. Режим доступа: http://www.nkj.ru/archive/articles/4338/ (дата обращения 18.10.2013).

28. Минное оружие в современном мире и обезвреживание некоторых типов мин [Электронный ресурс]. Режим доступа: http://wvvw.saper.etel.ru/boy/valiIiev. html (дата обращения 21.11.2013).

29. Математическая статистика: учебник для вузов / В.Б. Горяинов, И.В. Павлов, Г.М. Цветкова, О.И. Тескин; под общ. ред. В. С. Зарубина, А. П. Кришенко. М.: МГТУ им. Н.Э Баумана, 2001. 424 с.

30. Метод сегментации изображений [Электронный ресурс]. Режим доступа: http://courses.graphicon.ru/files/courses/vision2/2012/lectures/cv2012_ 14_segmenta tion.pdf (дата обращения 08.12.2011).

31. Михайлов Б.Б. Использование характеристических точек для распознавания 3D-объектов // Б.Б. Михайлов, A.B. Нгуен. Мехатроника, автоматизация, управление. 2014. №11. С. 27-32.

32. Нгуен A.B. Система распознавания объектов с использованием 3D системы зрения // A.B. Нгуен, Б.Б. Михайлов. Сборник докладов Всероссийской научно-технической конференции. СПб: Изд-во «Политехника-сервис», 2012. С. 196-200.

33. Нгуен A.B. Современный алгоритм распознавания пространственных объектов // A.B. Нгуен. Сборник представления материала докладов III международной научно-практической конференции " 21 век: фундаментальная наука и технологии". М. 2014. С. 168-171.

34. Нгуен A.B. Способ распознавания многогранных пространственных объектов // A.B. Нгуен, Б.Б. Михайлов. Информатика. Телекоммуникации. Управление. СПб.: Изд-во Политехнического университета, 2013. Т. 5. С. 125-131.

35. Нгуен A.B. Метод распознавания многогранных 3D объектов // A.B. Нгуен, Б. Б. Михайлов. Робототехника и техническая кибернетика. СПб. 2014. №1. С. 65-70.

36. Оппенгейм А. Цифровая обработка сигналов / А. Оппенгейм, Р. Шафер. 2-е изд., испр. М.: Технофераб, 2007. 856 с.

37. Орлов И.А. Синтез движения манипуляционных систем для просфанств со сложными связями и ограничениями: дис. ... канд. тех. наук. М. 2013. 102 с.

38. Обработка и анализ изображений в задачах машиного зрения: курс лекций и практических занятий / Ю.В. Визильтер, C.IO. Желтов, A.B. Бондаренко, М.В. Ососков, A.B. Моржин. М.: Физматкнига, 2010. 672 с.

39. Официальная страница компании Elphel [электронный ресурс]. Режим доступа: http://www3.elphel.com (дата обращения 24.03.2014).

40. Официальная страница уроки Open GL [электронный ресурс]. Режим доступа: http://www.opengl.org.ru/lesson/index.html (дата обращения 22.02.2012).

41. Противопехотная мина ПМД-57 [Электронный ресурс]. Режим доступа: http://wcaponland.ru/publ/protivopekhotnaja_mina_pmd_57_sovetskie_i_rossijskie _miny/20-1 -0-905 (дата обращения 21.11.2013).

42. Противотанковая мина ТМД-Б [Электронный ресурс]. - Режим доступа : http://www.snariad.ru/mines/tankmines_tm-b/.

43. Противотанковая мина ТМД-40 [Электронный ресурс] // Инженерные боеприпасы. Режим доступа: http://www.saper.etel.ru/mincs-2/tmd-40-l.html (дата обращения 21.11.2013).

44. Противотанковые мины серии Топфмина 4531 [Электронный ресурс] // Инженерные боеприпасы. Режим доступа: http://www.saper.etel.ru/mines-З/topfmine.html (дата обращения 21.11.2013).

45. Противотанковые мины [Электронный ресурс] // Минное оружие. Режим доступа: http://army.armor.kiev.ua/engenear/min-wermaxt-c.shtml (дата обращения 21.11.2013).

46. Противопехотные мины [Электронный ресурс] // Минное оружие. Режим доступа: http://army.armor.kicv.ua/engcnear/min-wermaxt-d.shtml (дата обращения 21.11.2013).

47. Прохоренок H.A. Программирование на С++ в Visual Studio 2010 Express / H.A. Прохоренок. M.: Изд-во СамИздат, 2010. 550 с.

48. Роженцов A.A. Распознавание и оценка параметров 3D изображений при неизвестной нумерации их отсчетов // A.A. Роженцов, Е.И. Мазанов, A.A. Баев. Материалы докладов Ш-й молодежной научной конференции Тинчуринские чтения. Казань. 2008. С. 63-64.

49. Роженцов A.A. Формирование проволочных моделей изображений пространственных объектов на основе решения задачи коммивояжера // A.A. Роженцов, A.A. Баев, A.C. Наумов. Вестник МарГТУ., 2010. №1. С. 54-59.

50. Роженцов A.A. Оценка параметров и распознавание изображений трехмерных объектов с неупорядоченными отсчетами // A.A. Роженцов, A.C. Наумов. Автометрия, 2010. №1. С. 57-69.

51. Рябинин К.Б. Обработка и распознавание трехмерных изображений групповых точечных объектов и точечных полей на базе их кватернионных моделей: дис. ... канд. тех. наук. Ульяновск. 2008. 208 с.

52. Решение ОЗК в пакете Wolfram Mathematica [Электронный ресурс]. Режим доступа: https://bitbucket.org/orlovbel/puma-kinematics/overvicvv (дата обращения 28.10.2014).

53. Система распознавания существенных изменений на аэроснимках [Электронный ресурс]. Режим доступа: http://vvvvw.math.spbu.ru/user/gran/ students/diplom Gushina.pdf (дата обращения 12.11.2012).

54. Теория вероятностей: учебник для вузов / A.B. Печиннкин, О.И. Тескин, Г.М. Цветкова и др.; под общ. ред. B.C. Зарубина, А.П. Крищенко. 3-е изд., испр. М.: Изд-во МГТУ им. Н.Э. Баумана, 2004. 456 с.

55. Техническое зрение роботов / В.И. Мошкин, A.A. Петров, B.C. Титов, Ю.Г. Якушенков; под общ. ред. Ю.Г. Якушенкова. М.: Машиностроение, 1990. 272 с.

56. Телевизионная система технического зрения: Отчет о научно-исследовательской работе (промежуточный, этап 2) / Б.Б. Михайлов, 10.С. Володин. М.: НУЦ "Робототехника" МГТУ им. Н.Э. Баумана, 2005. 25 с.

57. Телевизионная система технического зрения: Отчет о научно-исследовательской работе (промежуточный, этап 3) / Б.Б. Михайлов, Ю.С. Володин [и др.]. М.: НУЦ "Робототехника" МГТУ им. Н.Э. Баумана, 2006. 43 с.

58. Форсайт ДэвидА. Компьютерное зрение. Современный подход: пер.с англ. / Форсайт Дэвид А., Ионе Жан. М.: Издательский дом «Вильяме», 2004. 928 с.

59. Фурса М.В. Реконструкция сложных трехмерных объектов методом структурированного освещения // Автометрия. 2008. №.1, Т.44. С. 118-126.

60. Фурман Я.А. Визуализация изображений в трехмерных сценах: учебное пособие / Я.А. Фурман. Йошкар-Ола: МарГТУ, 2007. 227 с.

61. Фурман Я.А. Сегментация и описание трехмерных структур на базе кватернионных моделей // Наукоемкие технологии. 2007. № 9. С. 37-49.

62. Хрущ A.B. Алгоритм распознавания препятствий для системы трехмерного технического зрения мобильного робота // Труды Восьмой Всероссийской научно-практической конференции. СПб.2005. С. 257-262.

63. Хафизов Д.Г. Упорядочение точек пространственного изображения группового точечного объекта на базе амплитудно-фазового представления // Автометрия. 2007. №1. С. 10-23.

64. Хафизов Д.Г. Синтез и анализ алгоритмов распознавания изображений пространственных групповых точечных объектов: дис. ... канд. тех. наук. Йошкар-Ола. 2004. 151 с.

65. Характеристические точки и сопоставление изображений [Электронный ресурс]. Режим доступа: http://courses.graphicon.ru/files/courses/vision/2010/ cv_2010_03.pdf (дата обращения 25.6.2012).

66. Хилл Ф. OpenGL. Программирование компьютерной графики. Для профессионалов / Ф. Хилл. СПб. 2002. 1088 с.

67. Шикин Е.В. Компьютерная графика. Полигональные модели / Е.В. Шикни, A.B. Боресков. М.: ДИАЛОГ-МИФИ, 2001. 461 с.

68. Шапиро Jl. Компьютерное зрение: пер. с англ. / Л. Шапиро, Дж. Сгокман. М.: БИНОМ Лаборатория знаний, 2006. 752 с.

69. Ющснко А.С. Робототехнический комплекс РМ-01 / А.С. Ющенко, А.П. Власов. М.: Изд-во МГТУ, 1988. 95 с.

70. Denavit J. A. Kinematic Notation for Lower-Pair Mechanisms Based on Matrices //Denavit J. and Hartenberg R.S. Journal of Applied Mechanics. 1955. P. 215- 221.

71. Laser Measurement Systems Technical description // SICK AG Division Auto Ident. Germany, 2003. 48 p.

72. Nguyen, A. V. Method recognition of polygonal 3D objects // A.V. Nguyen, B.B. Mikhaylov. Proceedings of the 7th International Workshop IARP RISE-ER'2013. Saint-Petersburg: «Politechnika-servise», 2013. P. 449-454.

73. NASA Mars Pathfinder With the Sojourner Rover [электронный ресурс]. Режим доступа: http://www.nasa.gov/mission_pages/mars-pathfindcr/ (дата обращения 21.11.2013).

74. Nelson R. Large-Scale Tests of Keyed, Appearance - Based 3D Objects Recognition System // R. Nelson and A. Selingcr. Vision Research 38: Special Issue on Computational Vision. 1998. P. 15-16.

75. Nedevschi S. 3D Lane Detection System Based on Stereovision // Sergiu Nedevschi, Rolf. Schmidt, Thorsten Graf ctc. 2004 IEEE Intelligent Transportation Systems Conference, Washington, D.C., USA, October 3-6. 2004. P. 161-166.

76. Opencv [Электронный ресурс]. Режим доступа: http://opencv.org/ (дата обращения 22.10.2012).

77. Poggio Т.A Network that Learns to Recognize 3D objects // T. Poggio, S. Edelman. Nature. 1990. P. 263-266.

78. Rothganger F. 3D Object Modeling and Recognition Using Local Affine - Invariant Image Descriptors and Multi-View Spatial Constraints // F. Rothganger. S. Lazebnik, C. Schmid and J. Ponce. International Journal of Computer Vision. 2006. P. 231-259.

79. Stark L. Generic Object Recognition using Form and Function. Scries in Machine Perception Artificial Intelligence / L. Stark, K. Bovvyer. New York: Word Scientific, 1996. 200 p.

80. Stefano M. Stereo Vision: Algorithms and Applications [Электронный ресурс] A Stefano Mattoccia: DEIS University of Bologna. Режим доступа: http://vision. deis.unibo.it/~smatt/Seminars/StereoVision.pdf (дата обращения 22.10.2014).

81. Stereo vision for depth estimation [Электронный ресурс]. Режим доступа: http://www.mathworks.com/discovery/stereo-vision.html (дата обращения 22.10.2014).