Управление мобильным роботом на основе алгоритмов распознования образов тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат наук НГУЕН ТУАН ЗУНГ

• НГУЕН ТУАН ЗУНГ
• кандидат наук
• 2015

Оглавление диссертации кандидат наук НГУЕН ТУАН ЗУНГ

СОДЕРЖАНИЕ

ВВЕДЕНИЕ

ГЛАВА 1. АНАЛИЗ СОВРЕМЕННОГО СОСТОЯНИЯ СИСТЕМ ТЕХНИЧЕСКОГО ЗРЕНИЯ И УПРАВЛЕНИЯ РОБОТАМИ

1.1. Анализ параметров среды (зданий) и мобильных роботов существенных с точки зрения решения задачи обнаружения препятствий и управления движением

1.2. Современное состояние систем технического зрения, планирования движения и управления роботами в зданиях и сооружениях

1.3. Системный анализ характеристик и параметров подвижных и неподвижных объектов в зданиях и сооружениях

1.4.Цель и задачи исследования:

1.5. Результаты и выводы по главе

ГЛАВА 2. РАЗРАБОТКА АЛГОРИТМОВ РАСПОЗНАВАНИЯ ОБЪЕКТОВ В БЛИЖНЕЙ ЗОНЕ РОБОТА

2.1.Задача распознавания объектов в ближней зоне робота

2.2. Хранилище объектов

2.3. Синтез алгоритма поиска и распознавания известных объектов

2.4.Синтез алгоритм распознавания известных и неизвестных объектов и размещения их в хранилище данных

2.5. Примеры работы алгоритмов

2.6. Результаты и выводы по главе

ГЛАВА 3. РАЗРАБОТКА МЕТОДИКИ И АЛГОРИТМИЧЕСКОГО ОБЕСПЕЧЕНИЯ УПРАВЛЕНИЯ РОБОТОМ

3.1. Постановка задачи управления роботом внутри зданий и сооружений

3.2. Разработка методики управления движением робота

3.3. Разработка алгоритма построения карты препятствий

3.4. Предотвращение столкновений с препятствиями

3.5. Примеры работы алгоритмов

3.6. Результаты и выводы по главе

ГЛАВА 4. ОЦЕНКА ЭФФЕКТИВНОСТИ РАЗРАБОТАННЫХ МЕТОДИК И АЛГОРИТМОВ

4.1. Оценка эффективности алгоритмов распознавания объектов

4.2.Оценка эффективности методики создания траекторий робота

4.3. Разработка структуры системы управления движением робота

4.4. Результаты моделирования движением робота в зданиях и сооружениях

4.5. Результаты и выводы по главе

ЗАКЛЮЧЕНИЕ

СПИСОК СОКРАЩЕНИЙ

СПИСОК ЛИТЕРАТУРЫ

ПРИЛОЖЕНИЕ А- Свидетельство регистрации программы для ЭВМ

ПРИЛОЖЕНИЕ Б - Описание псевдокода алгоритма расчета вогнутой оболочки множества данных

ПРИЛОЖЕНИЕ В - Программа обнаружения известных объектов с применением библиотеки «FLANN» и алгоритма «SURF»

ПРИЛОЖЕНИЕ Г- Программа обнаружения неизвестных объектов на основе алгоритма «3D- PointCloud»

ПРИЛОЖЕНИЕ Д - Акт о применении результатов научной работы на предприятии

ПРИЛОЖЕНИЕ Е - Акт о внедрении диссертационного исследования в учебный процесс

Введение диссертации (часть автореферата) на тему «Управление мобильным роботом на основе алгоритмов распознования образов»

ВВЕДЕНИЕ

Актуальность исследования. Повышение вычислительной мощности ЭВМ, появление новых методов управления и распознавания образов обуславливают в ближайшей перспективе повсеместное внедрение роботов в повседневной жизни человека (рисунок 1.1). Эффективное применение роботов внутри зданий и сооружений сопряжено с рядом трудностей, решение которых позволит обеспечить повышение качества управления ими.

Кб 4

персональный сервис

медицинская и биологическая служба

производство

2025

Рисунок 1.1 -Рост рынка бытовых роботов в мире [44]

При управлении движением мобильного робота одной из важнейших задач является определение его местоположения. Для этой цели применяются семантические карты, содержащие визуальную информацию об окружающей среде, полученную с применением системы технического зрения (СТЗ) робота.

В настоящее время большинство СТЗ используют несколько видеокамер. Они позволяют получить достаточно точные результаты, но являются критичными по отношению к распознаванию человека или изменению фона изображения. Это приводит к снижению точности распознавания и увеличению вычислительных мощностей, а значит и времени распознавания объекта. Для устранения указанных недостатков могут применяться данные глубин изображений, различающихся по цвету и текстуре и занимающие определенную

область в пространстве. Для автономной навигации мобильных роботизированных платформ в зданиях и сооружениях необходимо решить задачу объезда подвижных (человек) и неподвижных (предметы, мебель, оборудование и пр) препятствий. Для этого СТЗ робота должна обнаруживать и распознавать максимально возможное количество препятствий, обеспечивая перемещение без столкновений.

В прикладном плане внедрение результатов работы создает новые условия и возможности для контроля и управления роботами с применением семантических карт. Кроме того, развитие данного направления позволит создать новые условия для проведения экспериментальных работ и расширить возможности для дальнейших научных исследований.

Степень разработанности темы. Вопросы управления движением робота и распознавания образов для целей планирования траектории его движения представлены в трудах российских и зарубежных ученых: Носков В.П., Дзинько Р., Пурдаков С.Ф., Andrzej Pronobis., Young D. Kwon., Choset H. etal., T. Lozano Perez., R. Bohlin., Y. Hwang., K. Hoff., O. Khatib, M. Sabry Hassouna., Navneet Dalal., Shotton J., Knuth D., Mojtahedzadeh R и др.

Решенные в работе задачи способствуют развитию теории и практики управления мобильными роботами в зданиях и сооружениях. Актуальность темы исследования определяется необходимостью разработки методик управления движением робота и алгоритмов распознавания подвижных и неподвижных препятствий для обеспечения перемещения мобильных робототехнических платформ в заранее неизвестной среде. Разделы диссертационного исследования соответствуют основным положениям «Стратегии развития отрасли информационных технологий в РФ на 2014-2020 годы и на перспективу до 2025 года», в части касающейся развития робототехнических систем и устройств.

Объект исследования - система управления движением робота внутри зданий и сооружений.

Предмет исследования - модели, методы и алгоритмы обнаружения препятствий и планирования движения робота внутри зданий и сооружений.

Целью диссертационной работы является повышение эффективности управления движением робота за счет разработки алгоритмов распознавания образов.

Научной задачей решаемой в данном исследовании, является разработка взаимосвязанного комплекса методики и алгоритмов, как основы системы управления движением робота внутри зданий и сооружений. Для достижения поставленной цели решены следующие задачи:

1. проведен анализ основных параметров и факторов мобильного робота как объекта управления, а также окружающей среды (зданий и сооружений), в которой он функционирует;

2. разработан алгоритм распознавания неизвестных объектов (как подвижных, так и неподвижных) в ближней зоне робота на основе проведенного анализа факторов и применения алгоритма 3D-pointcloud;

3. разработан алгоритм распознавания известных объектов (подвижных и неподвижных препятствий) для предотвращения столкновения с ними робота, основанный на алгоритме поиска ближайших соседей, модифицированный для применения совместно деревьями поиска, алгоритмом SURF (англ. Speeded Up Robust Features) и библиотекой FLANN (англ. Fast Library for Approximate Nearest Neighbors);

4. на основе оригинальных алгоритмов обнаружения препятствий, построения их карты, а также построения траекторий движений, синтезирована методика управления движением мобильного робота в заранее неизвестной среде;

5. разработана система управления движением робота в зданиях и сооружениях на основе модифицированных алгоритмов SURF, KNN (англ. k-nearest neighbors). Проведена оценка эффективности синтезированных алгоритмов и разработанной методики, подтвердившая повышение эффективности распознавания препятствий и управления движением мобильного робота в заранее неизвестной динамически изменяющейся окружающей среде.

Научная новизна диссертационного исследования состоит в следующем:

1. синтезирован алгоритм распознавания известных объектов, расположенных в ближней зоне мобильного робота, использующий данные, поступающие от датчика СТЗ (совмещающего в себе видеокамеру и инфракрасный сенсор глубины), отличающийся использованием алгоритма поиска ближайших соседей, модифицированного для применения совместно с деревьями поиска, библиотекой FLANN, а также алгоритмом SURF и позволяющий повысить эффективность обнаружения препятствий по сравнению с существующими алгоритмами;

2. синтезирован алгоритм распознавания неизвестных объектов, отличающийся использованием модифицированного алгоритма построения трехмерных облаков точек, обеспечивающий повышение эффективности и снижение времени распознавания препятствий и позволяющий обнаружить любые препятствия в ближней зоне робота при любом освещении без использования дополнительного источника света;

3. разработана методика управления мобильным роботом в заранее неизвестной среде зданий и сооружений, реализованная в форме трех алгоритмов, а именно: обнаружение препятствий, построение карты препятствий и построение траекторий, отличающаяся использованием алгоритма 3D-pointcloud для повышения эффективности и снижения времени на распознавание образов.

Теоретическая значимость работы состоит в том, что разработаны алгоритмы обнаружения препятствий и методика создания траекторий движения робота для целей управления перемещением мобильных роботов в заранее неизвестной среде зданий и сооружений.

Практическая значимость работы. Разработанная система управления движением робота внутри зданий и сооружений позволяет расширить возможности использования СТЗ роботов построенных на основе любых датчиков, позволяющих получить цветное изображение (кадр), карту глубин изображений, а также 30-облако точек. Все синтезированные алгоритмы используют данные о расстоянии до препятствия, не зависят от света видимого

спектра, позволяют производить распознавание в полной темноте, исключая необходимость дополнительного освещения.

Сформирована структура программного комплекса, разработан программный компонент, зарегистрированный в Федеральной службе по интеллектуальной собственности. Учебный вариант разработанного программного обеспечения используется в ФГБОУ ВПО «АГТУ» для подготовки научных и инженерных кадров.

Результаты внедрены в ООО «АГТУ Роботикс» (г. Астрахань) при разработке системы управления движением робота для проекта «Mobil eBot».

Методология и методы исследования. В процессе работы использовались методы системного анализа, распознавания образов, теории алгоритмов, математической статистики, теории принятия решений, теории множеств, теории баз данных и объектно-ориентированного программирования.

Положения, выносимые на защиту:

1. алгоритм распознавания известных (подвижных и неподвижных) препятствий в ближней зоне мобильного робота;

2. алгоритм распознавания неизвестных (подвижных и неподвижных) препятствий в ближней зоне мобильного робота;

3. методика управления движением робота внутри зданий и сооружений в заранее неизвестной среде.

Апробация научных результатов. Основные положения диссертационной работы обсуждались и докладывались на Всероссийской научно-исследовательской конференции с международным участием молодых ученых, аспирантов, студентов и старшеклассников «Наука, образование, инновации: пути развития» (Петропавловск-Камчатский, 2014 г); VIII Международной научно-практической конференции «Интеграция теории и практики мирового научного знания в XXI веке» (Казань, 2014 г); XXVI - Международной научной конференции математические методы в технике и технологиях - ММТТ-27 (Саратов , 2014 г); Международной научной конференции «Фундаментальные и

прикладные исследования в современном мире», Информационный издательский учебно-научный центр «Стратегия будущего» (Санкт-Петербург, 2014г).

Публикации. Основные положения настоящей диссертационной работы изложены в 10 научных публикациях, среди которых 3 статьи в научных журналах, рекомендованных ВАК РФ, 1 статьи в изданиях, индексируемых в базе данных SCOPUS, 4 публикации в сборнике международных и всероссийских научных конференций, получено 1 свидетельство о государственной регистрации программы для ЭВМ.

Структура и объем диссертации. Диссертационная работа состоит из введения, четырех глав, заключения, списка сокращений и условных обозначений, библиографического списка, 6 приложений. Основная часть работы изложена на 144 страницах машинописного текста, содержит 83 рисунка, 22 таблицы. Библиографический список содержит 133 наименований.

ГЛАВА 1. АНАЛИЗ СОВРЕМЕННОГО СОСТОЯНИЯ СИСТЕМ ТЕХНИЧЕСКОГО ЗРЕНИЯ И УПРАВЛЕНИЯ РОБОТАМИ

В главе проведен анализ основных параметров среды, в которой функционирует мобильный робот. Описаны задачи распознавания различных объектов системой технического зрения робота и алгоритмы планирования и управления его движением внутри зданий и сооружений на основе карты препятствий окружающего пространства. Приведен литературный обзор существующих алгоритмов и методов решения задач распознавания образов и планирования движения робота. Описаны и проанализированы конкретные алгоритмы и методы, используемые в системах технического зрения роботов.

1.1. Анализ параметров среды (зданий) и мобильных роботов существенных с точки зрения решения задачи обнаружения препятствий и

управления движением

1.1.1. Факторы окружающего пространства

Исследование неизвестного пространства предполагает наличие карты, представляющей необходимую информацию для обеспечения движения. Это утверждение справедливо для мобильного робота, например, при перемещении в неструктурированной и неизвестной среде (здания и сооружения). Однако в большинстве случаев такие карты не доступны [88]. Построение карты помещений роботом является крайне трудоемкой задачей, качество решения которой зависит от большого числа факторов окружающего пространства (таблица. 1.1), а также параметров СТЗ робота (таблица. 1.2).

1.1.2. Система упрощений и допущений

Для эффективного решения задачи распознавания препятствий и управления перемещением робота необходимо ввести систему упрощений и допущений достаточную для решения этих задач с требуемыми значениями времени отклика и точности распознавания объектов СТЗ.

Таблица 1.1

Факторы окружающего пространства

Наименование фактора Характеристика фактора

Сложность В общем случае окружающая среда робота является сложной и характеризуется большим числом факторов. Поэтому способы и методы распознавания препятствий являются не точными. Данный аспект существенным образом сказывается на правильности определения местоположения мобильного робота, а также распознавания препятствий, расположенных на пути его следования

Форма препятствий Среда состоит из различных препятствий, имеющих неправильную форму, поэтому возникает сложность в их описании определенным количеством основных геометрических примитивов (линии, окружности и многоугольники)

Подвижность препятствий Окружающее пространство не статично. Поэтому изменение положения объектов приводит к несоответствию между картой и реальной средой, а значит, карта пространства должна постоянно обновляться для отражения этих изменений

Освещенность внутри зданий и сооружений Освещение состоит из искусственного и естественного, т.е. интенсивность освещения не является постоянной величиной. Изменение интенсивности может происходить очень быстро и приводить к снижению точности распознавания препятствий и построения карт помещений в зданиях и сооружениях

Таблица 1.2

Параметры системы технического зрения робота

Наименование параметра Характеристика параметра

Дистанция обнаружения Зависит от применяемых датчиков СТЗ

Время отклика Время отклика зависит от быстродействия алгоритмов обработки изображений, управление роботом должно осуществляться в режиме реального времени

Стоимость Оказывает влияние на целесообразность применения того или иного робота

Примем, что модель робота строится в двумерном пространстве (рисунок 1.2). Мобильная платформа робота, на которой устанавливается СТЗ -двухколесная система приводов с независимыми приводами для каждого колеса. Т.е. вектор движения робота является суммой движений независимых колес [79]. Ведущие колеса размещены по бокам робота, как показано на рисунке 1.2. Прямоугольники 1 и 2 являются ведущими колесами, а прямоугольник 3 подкатным (или пассивным колесом).

Робот

Рисунок 1.2 - Ориентация робота в двумерном пространстве Обозначения: Б- Дистанция двух ведущих колеса; V- скорость движения робота; а- угол

направления движения робота

Пусть оценка состояния робота: St ={х1, у1, а 1}, где ^, }- координаты

робота; а 1 - угол направления движения робота. Для управления роботом

используется вектор движения щ = У],у}}, где, у],у} - скорости правого и

левого ведущих колес. Общая динамическая модель робота может быть определена как:

Sk+l = /^к, ик) + Чк, (].])

О

х

где, f - нелинейная модель робота, учитывающая текущее состояние робота Бк и вектор движения ик в качестве входных переменных; qk - шум процесса движения; к- дискретный момент времени.

Модель пересчитывается в моменты времени ¿=кТ, Т=свт1. На основе подхода с использованием расширенного фильтра Калмана [112] f формулируется следующим образом:

f =

АО / А0.

х1 + АБ соБ(а 1 + )

АО / А0

У1 + АБ 81п( а I +--)

2

а t + А0

(1.2)

где

АБ =

У1 + у 2 .

2 '

А0 =

В

(1.3)

(1.4)

Для управления роботом внутри зданий и сооружений он не должен обнаруживать объекты, находящиеся на значительном расстоянии, существенно превышающим его геометрические размеры (обычно, внутри зданий расстояние до объекта меньше чем 4 м [26]).

Поэтому время гарантированного обнаружения является крайне важным гк . Оно зависит от количества и формы препятствий, условий освещения, местоположения и ориентации робота:

1к = АПк, Ьск, Бк), (1.5)

где Ы к = {О0,..., Оп } - множество препятствий. Каждое препятствие описывается множеством точек в пространстве: О^ = {¿1,..., ¿т }; ЬС^ - условия освещения; Бк -состояние робота, определяемое по формуле (1.1).

Тогда основным ограничением решаемой задачи будет то, что время отклика робота Тг должно превышать ¿к.

1.2. Современное состояние систем технического зрения, планирования движения и управления роботами в зданиях и сооружениях

В 1969 году Marvin Minsky обладатель премии Тьюринга (Turing Award) и пионер робототехники и искусственного интеллекта обобщил результаты, достигнутые исследователями во второй половине 20-го века: «В пятидесятых годах было предсказано, что через 5 лет роботы будут везде. В шестидесятых годах, было предсказано, что через 10 лет роботы будут везде. В семидесятых годах, было предсказано, что через 20 лет роботы будут везде. В восьмидесятых годах, было предсказано, что через 40 лет роботы будут везде» [1].

Это утверждение показывает, что существующая уверенность и ожидания робототехнического сообщества наталкиваются на непредвиденные проблемы, вытекающие из сложности неструктурированной окружающей среды. Проблемы требуют многолетних исследований во многих областях (например, обработка сигналов, статистика, машинное обучение и техническое зрение) для достижения такого уровня, на котором разработанные алгоритмы могут быть применены в реальном мире для практических целей.

Следующее поколение роботов будет не только отслеживать собственное местоположение, и перемещаться между точками в пространстве, но и «понимать» окружающее пространство и взаимодействовать с людьми, в том числе на естественном языке.

В сфере обслуживания роботы используются для выполнения простых небольших задач. На рынке представлены роботы для уборки помещений (например, «IRobot Roomba»). Эти устройства иногда оснащаются дополнительными функциями, например, визуальная навигация. Простые роботы становятся популярными в образовании и развлечении.

В области безопасности роботы являются более сложными и обеспечивают работу в таких условиях, где человек в силу разных причин не может находиться. Эти платформы обеспечивают не только навигацию, но и автономно взаимодействуют с окружающей средой и «общаются» с людьми.

В последнее время большинство достижений в таких областях, как

компьютерное зрение и когнитивная робототехника обусловлены необходимостью создания искусственных когнитивных систем, способных выполнять задачи в реальных условиях. Краеугольным камнем для таких роботов является их понимание о пространстве, в котором они функционируют. Пространственное понимание является предпосылкой для таких базовых задач, как навигация, обход препятствий, автономная разведка или манипуляции. Существует также множество других задач, которые зависят от способности воспринимать и понимать окружающее пространство.

1.2.1. Технические средства

Наиболее существенным требованием к современным мобильным роботам является возможность автономного перемещения без столкновений в реальной недетерминированной среде на основе информации, получаемой от системы технического зрения [23]. Существуют системы навигации на основе дальномеров [96, 109], CCD-камер (видеокамер [7], стереокамер [8] и т.д.), глубинных сенсоров [22] и ряд других. Очень перспективное направление - создание систем навигации роботов в зданиях и сооружениях с применением инфракрасных сенсоров глубины, работающих совместно с видеокамерой, таких как Microsoft Kinect [40] или Asus Xtion [121]. Сферы применения мобильных роботов в зданиях и сооружениях - роботы специального назначения [114], рекламно-информационные [96] и пр.

CCD-камеры

CCD-камера является достаточно часто используемой и состоит из одной или двух камер [20]. В последнее время проведено значительное число исследований, в которых используют CCD-камеры для обнаружения объектов. Основным недостатком CCD-камер является то, что они работают только на основе видимого спектра.

Основные преимущества CCD-камеры [18]: позволяет получить большой объем информации; обеспечивает получение информации об окружающей среде в трехмерном пространстве; обладают низкой стоимостью по сравнению с аналогами.

Однако данный вид технических устройств обладает и рядом недостатков [41], а именно: для обработки изображений требуются значительные вычислительные мощности; на качество получаемой информации существенное влияние оказывает освещенность внутри зданий и сооружений.

Дальномеры

Лазерные дальномеры используют лазерный луч, который отражается от вращающегося зеркала к цели [82], а затем возвращается к датчику для выполнения требуемых расчетов. Используются два основных типа дальномеров. Первый тип испускает непрерывный пучок, и данные вычисляются по возвращении к приемнику этого пучка [2]. Второй тип - импульсный лазер, который посылает множество лазерных импульсов и рассчитывает среднее на каждом импульсе для определения расстояния до объекта. Основные преимущества лазерных дальномеров [113]: высокая скорость работы; высокая точность определения расстояния; данные полученные дальномером можно интерпретировать непосредственно как расстояние до препятствия в определенном направлении.

Основными недостатками являются высокая стоимость и «прозрачность» некоторых материалов для лазерного дальномера (например, стекло).

Сенсоры глубины

В отсутствии света использование камер также затруднительно. В последнее время в данной области произошел ряд достижений. Например, Kinect системы применяются для измерения расстояний, обнаружения ориентиров и создания 3Э-моделей [40].

Дороговизна сенсоров глубины (в которых применялись лазеры) долгое время препятствовала активному их внедрению. Однако, с появлением Microsoft Kinect, существенным образом может быть повышено качество и скорость распознавания подвижных препятствий [19, 40].

Основные преимущества сенсора глубины типа Microsoft Kinect: низкая стоимость; диапазон глубины и встроенное программное обеспечение позволяют автоматически откалибровать датчик с учётом условий окружающего

пространства; высокая скорость работы; возможность получения большого объема информации; возможность получения ЭЭ-информации об окружающей среде и препятствиях; отсутствие зависимости от интенсивности освещения [7].

Основные недостатки устройства - «прозрачность» ряда материалов и ограниченный диапазон измерения расстояния до объекта (от 0,8 м) [40]. Сравнение датчиков

Сравнение датчиков выполняется на основе факторов и параметров окружающего пространства на основе следующих критериев: работа при любых условиях освещения (РПЛУО); время обнаружения (ВО); время отклика (БВО); расстояние обнаружения (РО); стоимость (Ст).

Таблица 1.3 Сравнение датчиков

РПЛУО ВО БВО РО Ст

ССБ-камеры нет медленно медленно маленькое низкая

Дальномеры да быстро быстро большое очень высокая

глубиной сенсор (Ктес^ да очень быстро быстро большое низкая

Из таблицы.1.3 видно, что сенсор глубины (Ктес1:) может использоваться для управления движением робота внутри зданий и сооружений.

Выбор и описания датчика

Традиционно применение видеокамер является вычислительно сложным и предопределяющим появление ошибок из-за изменения уровня освещенности. В отсутствии света использование камер также затруднительно. В последнее время в данной области произошел ряд достижений. «Ктес1» системы применяются для измерения расстояний, обнаружения ориентиров и создания ЭЭ-моделей (рисунок 1.3) [40;100].

Микрофон Мотар Микрофоны

Рисунок 1.3 - Структура датчика «Kinect»

Kinect состоит из двух сенсоров глубины, цветной видеокамеры и микрофонной решетки. Программное обеспечение устройство обеспечивает трехмерное распознавание движений тела человека, мимики его лица, а также голоса. Датчик глубины состоит из инфракрасного проектора (объединенного с монохромной КМОП-матрицей), что обеспечивает получение объемного изображения при любом естественном освещении.

Диапазон глубины и программное обеспечение устройства позволяют автоматически калибровать датчик с учётом условий перемещения объектов и окружающего пространства, например, препятствий, находящихся в зоне распознавания.

Драйвер Kinect использует Windows SDK и имеет три основных метода: обеспечить подключение к Kinect; получить положение человека в кадре; получить информацию глубин полученного изображения.

После соединения он обеспечивает получение данных глубины и скелет потоков данных («skeletondata»). Обработчик события останавливается с целью ожидания получения всех кадров с камеры Kinect (глубину кадра данных, кадр цветного изображения и скелет кадра). При наступлении этого события информация помещается в массивы: глубины изображения; цветного изображения; набора точек каркаса изображения [55].

Метод получения положения человека в кадре использует информацию, хранящуюся в массиве глубин. Каждый пиксель в таком массиве кодирует всю информацию о глубине и людях, информацию о которых можно извлечь с использованием битовой маски к указанным данным. Алгоритм, используемый в SDK, возвращает местоположение человека с частотой в 200 кадров/сек.

При использовании Kinect для Windows SDK, любые отражающие поверхности возвращаются значениями глубины. Это наиболее простой способ исключения «плохих» данных. Технология SLAM (Simultaneous Location and Mapping) игнорирует такие данные, если они не были удалены, т.к. они могут использоваться при определении ориентиров.

Расстояние от датчика, м

О 0 4 _3 4_8

диапазон по

умолчанию

ближний диапазон

неизвестные слишком далеко

слишком близко | | нормальные значения

Рисунок 1.4 - Диапазон рабочих расстояний датчика глубины «КтесЪ>

Для выдачи масштабированных данных исходные глубины возвращаются в виде числа пикселей и связанного с ним значения глубины в миллиметрах. У сенсора КтеС: существуют два режима работы датчика глубины (рисунок 1.4) [55, 74].

1.2.2. Алгоритмы и методы построения карт и распознавания объектов

Последние достижения в области робототехники связаны с реализацией компьютерного зрения и когнитивных технологий, обеспечивающих выполнение роботами задач в реальных условиях [19, 109]. В этой связи одним из основных

Список литературы диссертационного исследования кандидат наук НГУЕН ТУАН ЗУНГ, 2015 год

СПИСОК ЛИТЕРАТУРЫ

1. Andrzej pronobis. Semantic Mapping with Mobile Robots. / Andrzej pronobis// KTH Royal Institute of Technology Stockholm, Sweden. СПб.:Наука, 2011. - 259 p.

2. T. Bailey. "Robust distinctive place recognition for topological maps," / T. Bailey, E. Nebot, J. Rosenblatt, and H Durrant-Whyte, // Proceedings of the International Conference on Field and Service Robotics. 1999. pp. 347-352.

3. Barraquand J. Numerical potential field techniques for robot path planning/ J. Barraquand, B. Langlas, J. Latombe. // T-SMC 22. (1992). pp. 224-241.

4. Bay H. Speeded-Up Robust Features (SURF). / Bay H., Ess A., Tuytelaars T., Van Gool L. // Computer Vision and Image Understanding, Vol 110, Issue 3, June 2008, pp.346-359.

5. R. Bischoff. "Advances in the development of the humanoid service robot HERMES". / R. Bischoff // Proceedings of the International Conference on Field and Service Robotics. 1999. pp. 156-161.

6. R. Bohlin. Path planning using lazy prm,/ R. Bohlin, L. Kavraki // Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), 1997, pp. 333-338.

7. Bonin-Font, F. Visual Navigation for Mobile Robots: a Survey [Text] / F. Bonin-Font, A. Ortiz, G. Oliver // Journal of Intelligent and Robotic System. - 2008. - pp. 263

- 296.

8. Bota S. Camera motion estimation using monocular and stereovision/ Bota S. // Intelligent Computer Communication and Processing. 2008. pp. 275-278.

9. Bradski G. Learning OpenCV. /Bradski G., KaehlerA. // O'Reilly Media, 2008.

— 576 p.

10. Chahl J. "Panoramic vision system for imaging, ranging and navigation in three dimensions,"/ J. Chahl, M. Srinivasan // Proceedings of the International Conference on Field and Service Robotics.1999. pp. 127-132.

11. Chakraborty Sanjay. Performance Comparison of Incremental K-means and Incremental DBSCAN Algorithms. / Sanjay Chakraborty., N.K.Nagwani.,

LopamudraDey. // International Journal of Computer Applications (0975 - 8887), Volume 27- No.11, August 2011, pp. 14-18.

12. Choset H. Sensor based planning: a control law for generating the generalized Voronoi graph / H. Choset, I. Konuksven, A. Rizzi. // Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), 1997, pp. 333-338

13. Choset, H. et al. Principles of Robot Motion: Theory, Algorithms, and Implementation / Choset, H. et al // the MIT Press, ISBN 0-262-03327-5. 2005. 597 p

14. Chuang J. "An analytically tractable potential field model of free space and its application in obstacle avoidance,"/ J. Chuang, N. Ahuja. // IEEE Transactions on Systems, Man, and Cybernetics -Part B: Cybernetics, vol. 28, no. 5. Oct.1998. pp. 729735.

15. Connor M. The Simple, Thread-safe Approximate Nearest Neighbor (STANN) / Connor M. // [Electronic resource]. - URL: https://sites.google.com/a7compgeom.com/stann/Home (accessed: 05.11.2014).

16. Craddock Matt. Repetition priming and the haptic recognition of familiar and unfamiliar objects. / Matt Craddock, Rebecca Lawson. // School of Psychology, University of Liverpool, U.K. 2014. 57p.

17. Cunha S. An automatic path planning system for autonomous robotic vehicles / S. Cunha, A. de Matos, F. Pereira. // Proceedings of International Conference on Industrial Electronics, Control, and Instrumentation (IECON '93), vol. 3, Maui, HI, USA, 1993, pp. 1442-1447.

18. Dalsa. Advantages and Disadvantages of Various CCD Area Array Sensors. APPLICATION NOTE. / Dalsa // [3neKTpoHHbinpecypc]. -Pe^HMgocTyna: URL: astrosurf.com/club_eclipse/associatif/occultations/weto2006/4_detecteurs/DidierLanois elee/2_AdvantDisadvanVariousCCD.pdf.

19. Durrant-Whyte H. Simultaneous Localization and Mapping. / Durrant-Whyte H., Bailey T // IEEE Robotics & Automation Magazine, June 2006, pp.99-117.

20. Emily Boster. CCD Camera Operation and Theory. / Emily Boster, TylerBehm . // URL: http://instrumentation.tamu.edu/files/ccds.pdf (gaTagocTyna: 18/5/2015). (2010)

21. Ester M. A Density-Based Algorithm for Discovering Clusters in Large Spatial Databases with Noise. / Ester M., Kriegel H.P., Sander J., Xu X. //Proceedings KDD-96. 1996. pp. 226-231.

22. Fabrizio Pece. Three Depth-Camera Technologies Compared./FabrizioPece, Jan Kautz, Tim Weyrich. // Engineering in Medicine and Biology Society, pp. 1188-1193 (2012)

23. Forsyth, D.A. Computer Vision: A Modern Approach / D.A. Forsyth, J. Ponce // Robotics and Autonomous Systems. - 2006. - Vol. 11, № 3. - pp. 84 - 92.

24. A. Fujimori. "Adaptive navigation of mobile robots with obstacle avoidance". / A. Fujimori, P. Nikiforuk, and M. Gupta. // IEEE Transactions on Robotics and Automation, vol.13, no. 4. 1997. pp. 596-602.

25. Bradski Gary. Computer vision with the OpenCV library. / Bradski Gary, Kaehler Adrian. //2008.

26. Guido Zunino. Simultaneous Localization and Mapping for Navigation in Realistic Environments. / Guido Zunino // Royal Institute of Technology Numerical Analysis and Computer Science Stockholm. СПб.: Наука, 2002. - 99 p

27. Gwosdek P. Theoretical foundations of Gaussian convolution by extended box filtering. / P. Gwosdek, S. Grewenig, A. Bruhn, J. Weickert. //Scale Space and Variational Methods in Computer Vision. 2012. pp. 447-458.

28. Bing Han. Optimized algorithm for Gaussian second order derivative filters in fast Hessian detector. / Bing Han, XiaozhiJia, Yongming Wang. // Computer Science and Information Technology (ICCSIT), 2010 3rd IEEE International Conference on (Volume: 4). 9-11 July 2010. pp. 623 - 627.

29. M. Sabry Hassouna. PDE-based robust robotic navigation. / M. SabryHassouna, Alaa E. Abdel-Hakim, Aly A. Farag. // Computer Vision and Image Processing Laboratory (CVIP), Department of Electrical and Computer Engineering, University of Louisville, Louisville, KY 40292, USA. (2007). pp.10 - 18.

30. K. Hoff. Interactive motion planning using hardware-accelerated computation of general-izedVoronoi diagrams. / K. Hoff, T. Culver, J. Keyser, M. Lin, D. Manocha. //

in: Proceedings of the IEEE International Conference on Robotics and Automation, 2000, pp. 2931-2937.

31. Y.K. Hwang. Potential field approach to path planning. / Y.K. Hwang, N. Ahuja. // IEEE Transaction on Robotics and Automation 8 (1). (1992). pp. 23-32.

32. Y. Hwang. Gross motion planning - a survey. / Y. Hwang, N. Ahuja. // ACM Computing Surveys 24 (3) (1992).pp. 219-291.

33. Y.K. Hwang. Robot path planning using a potential field representation / Y.K. Hwang, N. Ahuja. // IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 1989, pp. 569-576.

34. Jacob Toft Pedersen. Study group SURF: Feature detection & description. / Jacob Toft Pedersen // - Режимдоступа: http://www.docstoc.com/docs/152732948/report

35. [35] Jagadish H.V. Linear Clustering of Objects with Multiple Attributes. / Jagadish H.V. / ACM, 1990.

36. Jain A.K. Data clustering: a review / Jain A.K., Murty M.N., Flynn P.J. // ACM Computing Surveys. 1999. 31, N 3,pp. 264-323.

37. Juan L. A Comparison of SIFT, PCA-SIFT and SURF. / Juan L., Gwun O. // International Journal of Image Processing (IJIP), Vol. 3, No. 4, 2009, pp.143-152.

38. Kamon I. Sensory-based motion planning with global proofs. / I. Kamon and E. Rivlin. // IEEE Transactions on Robotics and Automation, vol. 13, no. 6. 1997. pp. 814822.

39. k-d tree. [Электронный ресурс]. - Режим доступа: http : //en.wikipedia.org/wiki/K-d_tree.

40. Kefer, M. Evaluation of Kinect Depth Sensor for Use in Mobile Robotics. / Kefer, M., Kubinger W // Annals of DAAAM for 2011 & Proceedings of the 22nd International DAAAM Symposium, Volume 22, No. 1.

41. Keith W. Gray. Obstacle detection and avoidance for an autonomous farm tractor. / Keith W. Gray. // A thesis submitted in partial fulfillment of the requirements for the degree of Master of Science in Electrical Engineering. Utahstateuniversity, Logan, Utah. 2000. 98 p.

42. NabeelYounus Khan. SIFT and SURF Performance Evaluation against Various Image Deformations on Benchmark Dataset. /NabeelYounus Khan, Brendan McCane, Geoff Wyvill. // International Conference on Digital Image Computing: Techniques and Applications. 2011. pp. 501 - 506.

43. Khatib O. Real-time obstacle avoidance for manipulators and mobile robots. / O. Khatib. // International Journal of Robotics Research 5 (1) (1986), pp. 90-98.

44. King World News. 5 Of the Most Remarkable Charts of 2015! /King World News // [Electronic resource]. - URL: http://kingworldnews.com/5-of-the-most-remarkable-charts-of-2015/

45. Knuth D. Section 6.1: Sequential Searching. Sorting and Searching. / Knuth D // The Art of Computer Programming 3 (3rd-Ed.). Addison-Wesley. - May 1998. pp. 396408.

46. Koenderink, J. The structure of images./Koenderink, J. // Biological Cybernetics 50. 1984. pp.363 -370.

47. Latombe J.C. Robot Motion Planning./ J.C. Latombe // Kluwer, Boston, MA, 1991

48. Leonard J. J. Mobile robot localization by tracking geometric beacons./ Leonard J. J, Durrant-Whyte H. F //IEEE TRANSACTION ON ROBOTICS AND AUTOMATION, VOL.7, NO.3, JUNE 1991, pp.376-382.

49. Lindeberg, T. Feature detection with automatic scale selection. / Lindeberg, T // IJCV 30(2). 1998, pp. 79 - 116.

50. D.G. Lowe. Distinctive image features from scale-invariant key points. / D.G. Lowe. // International Journal of Computer Vision, 60(2), 2004. pp.91-110.

51. T. Lozano. An algorithm for planning collision-free paths among polyhedral obstacles. / T. Lozano-P'erez and M. A. Wesley. //Communications of the ACM, 22(10), 1979, pp. 560-570,

52. Lozano T. Automatic planning of manipulator transfer movements. / T. Lozano., P'erez.// IEEE TransactionsonSystems, Man, &Cybernetics, 11(10): p 681-698, 1981.

53. Lozano T. Spatial planning: A configuration space approach. / T. Lozano-P'erez. //IEEE Transactions on Computing, C-32(2): pp108-120, 1983

54. Marius Muja. Fast approximate nearest neighbors with automatic algorithm configuration. / Marius Muja, David G. Lowe // NSTICC Press, (2009). VISAPP 1, pp. 331-340.

55. Marron R. C# Implementation of SLAM Using the Microsoft Kinect. / Marron R // [Электронный ресурс]. -Режим доступа: http://old.ee.duke.edu/files/ece/GWDD2012_Marron.pdf

56. Mikolajczyk K. Indexing based on scale invariant interest points./Mikolajczyk K., Schmid C. // In:ICCV. Volume 1. (2001) pp. 525 - 531.

57. Mirtich B. Using skeletons for nonholonomic path planning among obstacles/ B. Mirtich, J. Canny. // Proceedings of the IEEE International Conference Robotics and Automation, 1992.

58. Mojtahedzadeh R. Robot Obstacle Avoidance using the Kinect / Mojtahedzadeh R // Master of Science Thesis Stockholm, Sweden 2011. 61 p.

59. Moreira Adriano. Concave hull: a k-nearest neighbors approach for the computation of the region occupied by a set of points. / Adriano Moreira and Maribel Yasmina Santos. // International conference on computer graphics theory and applications, 2, Barcelona, Spain, 2007 - "GRAPP 2007: proceedings of the International Conference on Computer Graphics Theory and Applications". INSTICC Press, 2007. ISBN 978-972-8865-71-9. 8-May-2007. pp. 61-68.

60. Mount D. M. ANN: A Library for Approximate Nearest Neighbor Searching. / Mount D. M., Arya S. // [Electronic resource]. - URL: http://www.cs.umd.edu/~mount/ANN/ (accessed: 05.11.2014).

61. Murphy R. Introduction to AI Robotics. / R. Murphy. // MIT press. 400 p 2000.

62. Marcus J. Nadenau. Human Vision Models for Perceptually Optimized Image Processing / Marcus J. Nadenau, Stefan Winkler, David Alleysson and Murat Kunt. // A Review. - 2000. [Электронный ресурс]. -Режим доступа: citeseerx.ist.psu.edu/viewdoc/download?doi= 10.1.1.5.2376&rep=rep 1 &type=pdf.

63. Navneet Dalal. Object Detection using Histograms of Oriented Gradients/ Navneet Dalal., Bill Triggs. // [Electronic resource]. -URL:http://www.webcitation.org/6DvoEuAvL (accessed: 14.10.2014).

64. Nourbak h.sh. Introduction to Autonomous Mobile Robots. / Nourbak h.sh, Illah R., Siegwart, R //The MIT Press, ISBN 0-262-1950. 2004. 455 p.

65. Nowak Eric. Sampling Strategies for Bag-of-Features Image Classification. / Eric Nowak, FredericJurie, Bill Triggs. // 9th-European Conference on Computer Vision, Graz, Austria, May 7-13, 2006, Proceedings, Part IV. 2006. pp 490-503.

66. Edouard Oyallon. An analysis and implementation of the SURF method, and its comparison to SIFT. / Edouard Oyallon, Julien Rabin. // IPOL Journal • Image Processing On Line. February 25, 2013. URL: http://www.ipol.im/pub/pre/69/.

67. P M Panchal. A Comparison of SIFT and SURF. / P M Panchal, S R Panchal, S K Shah //International Journal of Innovative Research in Computer and Communication Engineering Vol. 1, Issue 2, April 2013. Pp. 323 - 327.

68. Piotr Porwik. The Haar-Wavelet Transform in Digital Image Processing: Its Status and Achievements. / Piotr Porwik, AgnieszkaLisowska. // Machine Graphics and Vision Vol. 13, No. 1/2. 2004. Pp. 79 - 98.

69. E. Prassler. "Maid: A robotic wheelchair roaming in a railway station". / E. Prassler, J. Scholz, and P. Fiorini. // Proceedings of the International Conference on Field and Service Robotics. 1999. pp. 31-36.

70. Protalinskii, I.O. Optimal Strategy Synthesis for a Group of Mobile Robots with Variable Structure / I.O. Protalinskii, I.A. Shcherbatov, N.D. Shishkin // World Applied Sciences Journal (Information Technologies in Modern Industry, Education & Society). - 2013. № 24. - P. 268-275.

71. J. Rabin, J. A contrario matching of SIFT-like descriptors./ J. Rabin, J. Delon, and Y. Gousseau. // In19th Int. Conf. on Pattern Recognition IEEE, 2008. Pp. 1-4.

72. Ramisa A. Evaluation of the SIFT Object Recognition Method in Mobile Robots. / Ramisa A., Vasudevan S., Aldavert D., Toledo R., Lopez de Mantaras R. // [3neKTpoHHbiHpecypc]. -Pe^HMgocTyna: http: //www.iiia.csic.es/~mantaras/sift_eval .pdf.

73. N.S.V. Rao. Robot navigation in unknown terrains: introductory survey of non-heuristic algorithms. / N.S.V. Rao, S. Hareti, W. Shi, S. Iyengar. // Oak Ridge National Laboratory, Technical Report ORNL/TM-12410. 1993.

74. Riisgaard S. SLAM for Dummies, a Tutorial Approach to Simultaneous Localization and Mapping. / Riisgaard S., Blas M. R. // [Электронный ресурс]. -Режимдоступа: http://ocw.mit.edu/NR/rdonlyres/Aeronautics-and-Astronautics/16-412JSpring-2005/9D8DB59F-24EC-4B75-BA7A-F0916BAB2440/0/1aslam_blas_repo.pdf.

75. I. Schwatz. "PRIMUS An autonomous driving robot". / I. Schwatz // Proceedings of SPIE Unmanned Ground Vehicle Technology.1999. pp. 150-159.

76. Shcherbatov, I.A. Analysis and Modelling of Complex Engineering Systems Based on the Component Approach / I.A. Shcherbatov, O.M. Protalinskii, V.N. Esaulenko // World Applied Sciences Journal (Information Technologies in Modern Industry, Education & Society). - 2013. № 24. - Р. 276-283.

77. Sheng Fu. "SLAM for Mobile Robots Using Laser Range Finder and Mono cular Vision". / Sheng Fu, Hui-ying Liu, Lu-fang Gao and Yu-xianGai // IEEE Int, Conf. Mechatronics and Machine Vision in Practice, December 2007, pp.91-96.

78. Shotton J. Real-time human pose recognition in parts from single depth images. / Shotton J., Fitzgibbon A. Cook M., Sharp T., Finocchio M., Moore R., Kipman A., Blake A. // VISAPP International Conference on Computer Vision Theory and Applications. - February 2013. Pp. 119-135.

79. Siciliano, B. Robotics. Modelling, Planning and Control. /Siciliano B., Sciavicco L., Villani L., Oriolo G. //Advanced Textbooks in Control and Signal Processing. Springer-VerlagLondon. 2009. 632 p.

80. Steven M. LaValle. PLANNING ALGORITHMS. / Steven M. LaValle // University of Illinois. 2006. URL: http://planning.cs.uiuc.edu/.

81. H. J. Sussmann. A continuation method for no holonomic path-finding problems. / H. J. Sussmann.// InProceedings IEEE Conference Decision &Control, pages 27172723, December 1993.

82. M. Torrie. "Laser-based obstacle detection and avoidance system," / M. Torrie, S. Veeramachaneni, B. Abbott // Proceedings of the SPIE Conference on Robotics and Semi-Robotic Ground Vehicle Technology. 1998. pp. 2-7.

83. G. T. Toussaint. An optimal algorithm for computing the minimum vertex distance between two crossing convex polygons. / G. T. Toussaint. // Computational Mathematics and Numerical Analysis, Journal Computing, Volume 32, Issue 4, 1984. pp 357-364.

84. S. Udupa. Collision Detection and Avoidance in Computer Controlled Manipulators. / S. Udupa. // PhD thesis, Dept. of Electrical Engineering, California Institute of Technology, 1977.

85. Viola, P. Rapid object detection using a boosted cascade of simple features. / Viola, P., Jones, M. // CVPR (1). (2001) pp. 511 - 518.

86. Lim Chee Wang. Hybrid of Global Path Planning and Local Navigation implemented on a Mobile Robot in Indoor Environment. / Lim Chee Wang, Lim Ser Yong, Marcelo H. Ang Jr. // Intelligent Control, 2002. Proceedingsofthe 2002 IEEE InternationalSymposium. ISSN: 2158-9860. - 2002. -pp. 821 - 826.

87. Wu J. Camera Sensor Model for Visual SLAM. / Wu J., Zhang H // IEEE. Conf, ComputerandRobot Vision, May 2007, pp.149-156.

88. YOUNG D. KWON. A Stochastic Map Building Method for Mobile Robot using 2-D Laser Range Finder./ YOUNG D. KWON, JIN S. LEE. // Pohang University of Science and Technology. Pohang, North Gyeongsang, South Korea. Journal Autonomous Robots, Volume 7, Issue 2, pp 187-200. 1999.

89. Haojie Zhang. Combining Global and Local Planning with Guarantees on Completeness. /Haojie Zhang, Jonathan Butzke, Maxim Likhachev. // Robotics and Automation (ICRA), 2012 IEEE International Conference. 14-18 May 2012. ISSN: 1050-4729. -pp. 4500 - 4506.

90. D. Zhu. New heuristic algorithms for efficient hierarchical path planning / D. Zhu, J. Latombe. // IEEE Transaction on Robotics and Automation 1 (1). (1991).pp. 920.

91. Zisserman, A. Multiple View Geometry in Computer Vision / A. Zisserman, R. Hartley.// Cambridge University Press. - 2004. - 576 p

92. Анатолий Тенцер. База данных — хранилище объектов. / Анатолий Тенцер // Компьютер Пресс. 2001. URL: http://compress.ru/article.aspx?id=11515.

93. Бурдаков С.Ф. Системы управления движением колесных роботов. /Бурдаков С.Ф., Мирошник И.В., Стельмаков Р.Э. //- СПб.: Наука, 2001. - 227 с.

94. Голубкин И.А. Универсальная сенсорная подсистема мобильного колесного робота/ Голубкин И.А., Щербатов И.А. // Датчики и системы - 2010. - № 8. - С. 32-35.

95. Голубкин, И.А. Универсальная сенсорная подсистема мобильного колесного робота / И.А. Голубкин, И.А. Щербатов // Датчики и системы - 2010. -№ 8. - С. 32-35.

96. Голубкин И.А. Принципы разработки мультимедийных прикладных роботизированных устройств / Голубкин И.А., Кирилин С.А., Щербатов И.А // Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика. 2010. № 2. С. 53-157.

97. Дзинько Р. Обнаружение устойчивых признаков изображения: метод SURF [Электронный ресурс]. - Режим доступа: http://habrahabr.ru/post/103107/.

98. Нгуен Туан Зунг. Распознавание объектов в системе технического зрения робота: использование библиотеки FLANN и алгоритма SURF/ Нгуен Туан Зунг, Щербатов И.А // Прикаспийский журнал: управление и высокие технологии. 2014. № 4 (28). С. 65-76.

99. Нгуен Туан Зунг. Совместное распознавание подвижных и неподвижных объектов в системе технического зрения робота / Нгуен Туан Зунг, И.А. Щербатов // Мехатроника, автоматизация, управление. - 2015. - Т.16. - № 7. - С. 464-470.

100. Нгуен Туан Зунг. Применение Kinect и библиотеки Flann для построения сенсорной карты среды мобильного робота/ Нгуен Туан Зунг, Щербатов И.А. // Фундаментальные и прикладные исследования в современном мире. 2014. Т. 1. № 8. С. 130-135.

101. Нгуен Туан Зунг. Алгоритмы ускоренной обработки изображений препятствий в системе технического зрения робота. / Нгуен Туан Зунг// Электронный научный журнал «Инженерный вестник Дона». - 2015. - №1 (часть 2). URL: ivdon.ru/ru/magazine/archive/n1p2y2015/2855.

102. Нгуен Туан Зунг. Использование видеокамеры «Microsoft Kinect» и алгоритм «SURF» для обнаружения неподвижных препятствий мобильным роботом в зданиях и сооружениях/ Нгуен Туан Зунг// Сб. материалов пятой Всероссийской научно-практической конференции «Наука, образование, инновации: пути развития», - Петропавловск-Камчатский: КамчатГТУ, 2014. -Часть I. - с. 63-67.

103. Нгуен Туан Зунг. Использование алгоритма поиска ближайшего соседа для мобильного робота. / Нгуен Туан Зунг// Сб. научных VIII Международной научно-практической конференции «Интеграция мировых трудов научных процессов как основа общественного прогресса», - Казань, 2014. Выпуск №9. - с. 194-199.

104. Нгуен Туан Зунг. Сравнение алгоритмов «GPU SURF DETECTOR» и «MATCH SURF FEATURE WITH FEATURE TREE» для мобильного робота. / Нгуен Туан Зунг. // Сб. научных XXVI - Международной научной конференции математические методы в технике и технологиях - ММТТ-27, Саратовский государственный технический университет, - 2014. - том 6. - с. 124-128.

105. Метод Виолы-Джонса (Viola-Jones) как основа для распознавания лиц [Электронный ресурс]. - Режим доступа: http://habrahabr.ru/post/133826/

106. Михайлова Е.Г. Приближенное индексирование многомерных объектов / Михайлова Е.Г., Новиков Б.А. // Электронные библиотеки: перспективные методы и технологии, электронные коллекции: Труды XII Всероссийской научной конференции RCDL'2010; Казань, Россия 13-17 октября 2010 г. - Казань: Казанский университет, 2010. - С. 436-440.

107. Немчинов Д.В. Снижение риска аварийной ситуации на производственном объекте / Немчинов Д.В., Проталинский О.М. // Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика. 2009. № 1. С.111-116.

108. Немчинов Д.В. Система принятия управленческих решений по снижению влияния субъективного фактора как причина аварийной ситуации. / Немчинов Д.В., Проталинский О.М. // Вестник Астраханского государственного

технического университета. Серия: Управление, вычислительная техника и информатика. 2011. № 2. С.43-48.

109. Носков, В.П. Навигация мобильных роботов по дальнометрическим изображениям / В.П. Носков, А.В. Носков // Мехатроника, автоматизация, управление. - 2005. - № 12. С. 16 - 21.

110. Обзор A* search algorithm. [Электронный ресурс]. - Режим доступа: https://en.wikipedia.org/wiki/A*_search_algorithm.

111. Обзор информации о FLANN [Электронный ресурс]. - Режим доступа: http://www.cs.ubc.ca/research/flann/. (дата доступа: 30/10/2014)

112. Обзор информации о Kalmanfilter. URL: http: //en.wikipedia. org/wiki/Kalman_filter. 2012.

113. Обзор Laser rangefinder. [Электронный ресурс]. - Режим доступа: http: //en.wikipedia.org/wiki/Laser_rangefinder

114. Обзор информации о роботизированных комплексах [Электронный ресурс].

- Режим доступа: http://mchs.gov.by/_modules/_cfiles/files/obzor_o_robotizirovannih_kompleksah.pdf

115. Обзор информации о алгоритме ближайшего соседа [Электронный ресурс].

- Режим доступа: http://www.basegroup.ru/library/analysis/regression/knn/ (дата обращения: 05.11.2014).

116. Проталинский, И.О. Исследование эффективности группового управления роботами методом имитационного моделирования / И.О. Проталинский, И.А. Щербатов // Вестник Саратовского государственного технического университета.

- 2010. - №4(50). - С.34-37.

117. Проталинский О.М. Системный анализ и моделирование слабо структурированных и плохо формализуемых процессов в социотехнических системах. / Проталинский О.М., Ажмухамедов И.М // Инженерный вестник Дона. 2012. № 3 (21). С.179-187.

118. Мультиробот 1.0. [Электронный ресурс] / О.М. Проталинский, И.А. Щербатов, И.О. Проталинский, И.А. Голубкин. - Электрон. прогр. - Астрахань,

2010. - Свидетельство ГР прогр. для ЭВМ № 2010614538; заявка № 2010612821 от 24.05.2012; зарегистр. в Реестре программ для ЭВМ 09.07.2010.

119. Проталинский, И.О. Координация работы промышленных манипуляторов на основе сенсорной информации / И.О. Проталинский, И.А. Щербатов // Датчики и системы - 2010. - № 8. - С. 28-32.

120. Степанов, П.В. Многоагентная система планирования движения мобильного робота на основе искусственных силовых полей / П.В. Степанов, И.А. Щербатов // Мехатроника, автоматизация, управление. - 2015. - Т.16. - № 5. - С. 307-313.

121. Чернухин Ю.В. Нейросетевой подход к решению задачи локально навигации интеллектуальными мобильными роботами в условиях, приближенных к реальной среде / Чернухин Ю.В., Доленко Ю.С., Бутов П.А // Известия Южного федерального университета. Технические науки. 2013. № 5 (142). С. 80-84.

122. Щербатов, И.А. Интеллектуальное управление робототехническими системами в условиях неопределенности / И.А. Щербатов // Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика. - 2010. - № 1. - С. 73-77.

123. Щербатов, И.А. Классификация неопределенностей в задачах моделирования и управления сложными слабоформализуемыми системами / И.А. Щербатов // Вестник Саратовского государственного технического университета. - 2013. - №1(69). - С.175-179.

124. Щербатов, И.А. Коррекция глобальной цели в интеллектуальных системах управления сложными слабо-формализуемыми системами / И. А. Щербатов // Автоматизация. Современные технологии. - 2014. - № 6. - С. 34-40.

125. Обнаружение препятствий в системе технического зрения робота V 1.00 [Электронный ресурс] / И.А. Щербатов, Нгуен Туан Зунг. - Электрон. прогр. -Астрахань, 2015. - Свидетельство ГР прогр. для ЭВМ № 2015614802; заявка № 2015611667 от 12.03.2015; зарегистр. в Реестре программ для ЭВМ 28.04.2015.

126. Щербатов, И.А. Концепция системного анализа сложных слабоформализуемых многокомпонентных систем в условиях неопределенности /

И.А. Щербатов // Современные технологии. Системный анализ. Моделирование. -2013. - № 2. - С. 28-35.

127. Щербатов, И.А. Математические модели сложных слабоформализуемых систем: компонентный подход / И.А. Щербатов // Системы. Методы. Технологии.

- 2014. - № 2 (22). - С. 70-78.

128. Щербатов, И.А. Управление сложными слабоформализуемыми многокомпонентными системами: монография / И. А. Щербатов. Ростов н/Д: Изд -во ЮНЦ РАН, 2015. -268 с.

129. Щербатов, И.А. Сложные слабоформализуемые многокомпонентные технические системы / И.А. Щербатов, О.М. Проталинский // Управление большими системами: сборник трудов. - 2013. - № 45. - С. 30-46.

130. Щербатов, И.А. Математическое моделирование сложных многокомпонентных систем / И.А. Щербатов, И.О. Проталинский // Вестник Тамбовского государственного технического университета. - 2014. Т. 20. - № 1. -С. 17-26.

131. Щербатов, И. А. Распределение локальных целей в компонентных структурах сложных слабоформализуемых систем / И. А. Щербатов // Проблемы управления. - 2015. - № 1. - С. 19-29.

132. Щербатов, И.А. Неопределенность в задачах моделирования и управления сложными слабоформализуемыми системами / И.А. Щербатов // Вестник НГУЭУ.

- 2014. - № 3. - С. 306-321.

133. Щербатов, И.А. Система интерпретирования голосовых команд для управления мобильным роботом / И.А. Щербатов, И.О. Проталинский, В.А. Бородин // Мехатроника, автоматизация, управление. -2014. - № 6. - С. 14-18.

ПРИЛОЖЕНИЕ А- Свидетельство регистрации программы для ЭВМ

Рисунок А.1 - Свидетельство о регистрации

ПРИЛОЖЕНИЕ Б - Описание псевдокода алгоритма расчета вогнутой оболочки

множества данных

Подход основан на идее, представленной Адриано Морейра и Марибель Ясмина Сантос.

Функция вогнутой оболочки (pointlist, k)

- входные данные: pointlist- Список точек для обработки; k - число соседей

- выходные данные: Упорядоченный список точек представляет вогнутую

оболочку {

K = максимально (k, 3); // значение «k» всегда больше или равно чем

3

набор данных = удаления повторяющихся точек (pointlist);

If (длина [набор данных] < 3) {

Return null;

}

If (длина [набор данных] == 3) {

Return набор данных;

}

K= минимум (k, длина [набор данных]-1); // убедится, что K соседи могут быть найдены

Первая точка = FindMinYPoint [набор данных];

hull.add (первая точка); // инициализировать оболочку с первой точкой Текущая точка = первая точка;

набор данных = Remove Point (набор данных, первая точка); //удалить первую точку

Previous Angle =0; Step = 2;

While ((текущая точка! = первая точка) or (step=2)) and (длина [набор

данных]>0) {

If (step=5)

набор данных = Add Point (набор данных, первая точка); KNearestPoints= Nearest Points (набор данных, текущая точка,

k);

CPoints= SortByAngle (kNearestPoints, текущая точка, PreviousAngle);

Bool its = True; Int i=0;

While (its==True and i<длина[cPoints])

{

i++;

If (cPoints[i] == перваяточка)

последняя точка = 1;

Else

последняя точка = 0;

J=2;

Its = False;

While (its==False and ]<длина[ИиИ] - последняя точка)

Its = Intersect ([{hull [step-1], cPoints[i]}, {hull [step--j], hull [step-j]});

J++;

}

If (its==True)

Return вогнутой оболочки (pointlist, k+1); Текущая точка= cPoints[i]; Hull = AddPoint (hull, текущая точка); PreviousAngle = Angle (hull [step], hull [step-1]); набор данных = RemovePoint (набор данных, текущая точка); Step++;

}

AllInside= True; i = длина[набор данных];

While (allInside==True and i> 0) {

Alllnside = PointInPolygon (набор данных^], hull); i-- ;

}

If (alllnside == False)

Return вогнутой оболочки (pointlist, k+1]); Return hull;

}

ПРИЛОЖЕНИЕ В - Программа обнаружения известных объектов с применением библиотеки «FLANN» и алгоритма «SURF»

Программа реализована на языке C# (Microsoft Visual C# 2010) с помощью библиотеки EMGUCV, разработанное программное обеспечение использует алгоритм SURF и библиотеку FLANN.

Общая схема работа программы показана на рисунке. В.1:

-База данных-►

—RGB- Изображения-1

Обнаружение знакомых объектов

A0

Обнаруженные_ объекты

Рисунок В.1 - Общая схема работы программы

Она реализует следующие функции: подключение к датчику «КтесЪ>; обновление базы данных; создание дескрипторов образца; вычисление дескрипторов для множественных изображений; создание индекса FLANN; поиск KNN; получение результатов. Связи процессами показаны на рисунке. В.2:

Параметры

Рисунок В.2 - Связи между функциями программного обеспечения

Для получения дескрипторов изображения используется алгоритм извлечения особых точек изображения «SURF» (рисунок В.3).

Рисунок В.3 -Декомпозиция функции получения дескрипторов изображения Обозначения: 8игГОе881апТЬге8к и 8иг£Ех1епёеёБ1а§ - основные параметры алгоритма

Функция вычисления дескрипторов для множественных изображений объединяет все дескрипторы в одну матрицу и отслеживает любой диапазон дескрипторов внутри матрицы, которые получены из каждого образа в базе данных (рисунок В.4)

индекс образцов

Рисунок В.4 -Декомпозиция функции вычисления дескрипторов для

множественных изображений

Программа обеспечивает совместное распознавание подвижных (например, человек) и неподвижных объектов (например, стол, принтер и пр), интерфейс программы показан на рисунке В.5

Matching Image to a Collection of Images V 1.0 I g II в j" S3 I

□ Detect multi objects

РисунокВ.5 -Интерфейс программы

Результаты вычислительных экспериментов модельного характера свидетельствуют о вычислительной эффективности (высокой скорости работы и малой доле ошибок распознавания) использования библиотеки «FLANN» и алгоритма «SURF» при их применении в составе программного обеспечения системы технического зрения мобильного робота (для обнаружения различных объектов в ЗиС, в том числе, осуществляющих движение). Требуемые скорость и точность распознавания обеспечиваются и при движении самого робота. Кроме того, обнаружение объектов, присутствующих в коллекции изображений позволяет роботу более эффективно ориентироваться в ЗиС с заранее не известной картой пространства.

ПРИЛОЖЕНИЕ Г- Программа обнаружения неизвестных объектов на основе

алгоритма «3D- PointCloud»

Программа реализована языке C# (Microsoft Visual C# 2010) с помощью библиотеки EMGUCV и обеспечивает обнаружение любых объектов в ближней зоне робота с помощью алгоритма «3D - Pointcloud». Общая схема работы программы показана на рисунке Г. 1

Параметры алгоритма кластеризации

Глубинное изображение

RGB-

изображение

Обнаружение неизвестных объектов

A0

Список препятствий

Максимальная

Минимальная

высота

высота

Рисунок Г.1 - Общая схема работы программы.

Она состоит из следующих функций: создание «3D-pointcloud»; преобразование «2D- Ро^С1оиё»; применение алгоритма кластеризации; получение результатов. Связи между ними показаны на рисунке Г.2. В этих функциях создание «3D-pointc1oud» является ключевой. Метод получения местоположения препятствий в кадре может использовать информацию, хранящуюся в массиве глубин. Каждый пиксель в этом массиве кодирует всю информацию о координатах объектов. Для ускорения вычисления по алгоритму используется понижение разрешения (downsamp1ing). Функцией преобразования «2D- РоМС1оМ»является отображение облако точек в 2-мерном пространстве. Фиксируются высоты точек между минимальной и максимальной высотами

робота. Все точки, которые не могут быть объяснены как препятствия удаляются (рисунок Г.4).

Параметры алгоритма кластеризации

Максимальная высота

Минимальная высота

Рисунок Г.2 - Связи между функциями программного обеспечения

Рисунок Г.3 - Декомпозиция функции создания «3D-pointcloud»

_ Матрица _ «3D- point cloud»

Преобразован

ие «2D-PointCloud»

A1

Матрица -«2D- point-cloud»

Максимальная высота

Минимальная высота

Рисунок Г.4 - Декомпозиция функция преобразования «2D- PointCloud»

На основе получения «2D- РотЮоиё» функция применения алгоритма кластеризации использует два известных алгоритма: DBSCANи k-meanclustering для получения списка препятствий (рисунок Г.5).

Параметры алгоритма кластеризации

Матрица -«20- рот1-с1 oud»

применение алгоритма кластеризации

А2

Список _ препятствий

Рисунок Г.5 - Декомпозиция функции применения алгоритма

кластеризации

Программа применяется для обнаружения препятствий с использованием облака точек. Интерфейс программы показан на рисунке Г.6:

Рисунок Г.6 -Интерфейс программы применения 3D-облака точек для

обнаружения препятствий

Результаты экспериментов свидетельствуют о том, что существует возможность применять алгоритм Pointcloud для обнаружения препятствий в системе технического зрения робота. Однако, для увеличения быстродействия традиционного алгоритма, следует применять алгоритм понижения разрешения в шаге «Создание 3D-облака точек» и алгоритм DBSCAN в шаге «Применение алгоритмы кластеризации».

ПРИЛОЖЕНИЕ Д - Акт о применении результатов научной работы на

предприятии

Мы, нижеподписавшиеся: Директор ООО «АГТУ Роботикс» Проталинский И.О. и соискатель Астраханского государственного технического университета Нгуен Туан Зунг, составили настоящий акт о том, что в ООО «АГТУ Роботикс» используются результаты диссертационной работы Нгуен Туан Зунга, представленной на соискание ученой степени кандидата технических наук.

Внедрение системы управления мобильным роботом на основе модифицированных алгоритмов распознавания образов обеспечило существенное повышение эффективности перемещения мобильных роботов, разрабатываемых в компании.

Применение алгоритмов, предложенных в работе и обеспечивающих распознавание подвижных и неподвижных объектов с использованием сенсоров глубины Microsoft Kinect, позволило реализовать подсистему идентификации людей для проекта мобильного информационно-справочного комплекса.

Реализация метода управления роботом на основе алгоритма обнаружения неизвестных объектов «3D- point cloud», разработанного автором позволило существенно повысить качество управления движением робота в неизвестной среде (зданиях и сооружениях).

Внедрение указанных результатов диссертационного исследования Нгуен Туан Зунг позволило существенным образом повысить эффективность перемещения мобильного информационно-справочного комплекса.

УТВЕРЖДАЮ

АКТ

о применении результатов научной работы

От ООО «АГТУ Роботикс»

'. Проталинский/

От ФГБОУ ВПО «АГТУ» Аспирант

Оме,_/Нгуен Туан Зунг/

j

ПРИЛОЖЕНИЕ Е - Акт о внедрении диссертационного исследования в

учебный процесс

Федеральное агентство но рыболовству Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования ¿1 Met - «Астраханский государственный технический университет»

»»гисгв ^^^ Разработка и предоставление обратовательныч услуг в области среднего профессионального, высшего, дополнительного, дополнительного профессионального образованна, международного бнтнсс-обратоеанпя, воспитательная работа, научно-исследовательская и деятельность сертифицированы DQS н ГОСТ Р no ISO 9001 2008

«УТВЕРЖДАЮ»

ЬорёК^ор по научной работе и д.х.н., профессор Берберова Н.Т.

2015 г.

об использовании результатов научно-квалификационной работы на соискание ученой степени кандидата технических наук

Результаты диссертационного исследования на соискание ученой степени кандидата технических наук Нгуен Туан Зунг использованы в Астраханском государственном техническом университете при подготовке бакалавров по направлению 09.03.01 «Информатика и вычислительная техника» по дисциплинам «Системы искусственного интеллекта», «Системы реального времени» и бакалавров по направлению 09.03.04 «Программная инженерия» по дисциплинам «Системы искусственного интеллекта», «Алгоритмизация математических задач», «Математические основы компьютерной графики», «Проектирование человеко-машинного интерфейса».

Для подготовки курсов лекций используются основные положения диссертационного исследования, а именно:

• принципы системного анализа и управления движением робота внутри зданий и сооружений;

• классификация параметров окружающего пространства и робота, оказывающих влияния на функционирование систем управления робота;

• алгоритм распознавания известных объектов, отличающийся использованием алгоритмом поиска ближайших соседей, модифицированный для применения совместно с деревьями поиска (KNN), библиотекой FLANN и алгоритмом SURF;