Управление движением группы роботов на основе визуальной информации от сопровождающего дрона тема диссертации и автореферата по ВАК РФ 05.02.05, кандидат наук Хо Цзяньвень

• Хо Цзяньвень
• кандидат наук
• 2020

Оглавление диссертации кандидат наук Хо Цзяньвень

ВВЕДЕНИЕ

ГЛАВА 1. СОВРЕМЕННОЕ СОСТОЯНИЕ УПРАВЛЕНИЯ ДВИЖЕНИЕМ ГРУППЫ МОБИЛЬНЫХ РОБОТОВ. ПОСТАНОВКА ЗАДАЧИ

1.1 Групповая робототехника

1.2 Обзор существующих способов планирования траекторий наземных мобильных роботов с использованием визуальной информации от дрона

1.3 Обзор существующих методов управления перестроением группы наземных роботов

1.4 Постановка задачи

Выводы по первой главе

ГЛАВА 2. ПОСТРОЕНИЕ ПРОГРАММНОЙ ТРАЕКТОРИИ ВЕДУЩЕГО НАЗЕМНОГО РОБОТА ПО ДАННЫМ ОТ СОПРОВОЖДАЮЩЕГО ДРОНА

2.1Описание модели сопоставления карт в системе координат мобильного робота

2.2 Построение глобальной карты с использованием визуальной информации от дрона

2.3 Определение параметров сопоставления между глобальной и локальной картами

Стр.

2.4 Планирование траектории мобильного робота

2.5 Управление движением ведущего робота вдоль программной траектории

Выводы по второй главе

ГЛАВА 3. УПРАВЛЕНИЕ ПЕРЕСТРОЕНИЕМ ГРУППЫ МОБИЛЬНЫХ РОБОТОВ В СРЕДЕ С ПРЕПЯТСТВИЯМИ

3.1 Структура системы управления группой роботов

3.2 Формирование множества топологий группы роботов

3.3 Определение целевого пункта движения отдельного робота в новой топологии

3.4 Локализация группы роботов

3.5 Стратегия предовращения столкновений роботов при перестроении

3.6 Логический уровень системы управления группой роботов

3.7 Тактический уровень системы управления движением группы роботов

3.8 Компьютерное моделирование управления перестроением группы роботов

Выводы по третьей главе

ГЛАВА 4. КОМПЬЮТЕРНОЕ МОДЕЛИРОВАНИЕ И НАТУРНЫЕ ЭКСПЕРИМЕНТЫ

4.1 Компьютерное моделирование

4.2 Натурные эксперименты

Стр.

Выводы по четвертой главе

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

СПИСОК ЛИТЕРАТУРЫ

ВВЕДЕНИЕ

Актуальность темы исследования

В последние годы стало актуальным новое направление робототехники -групповая или роевая робототехника, которая широко применяется в областях, связанных с риском для жизни человека. Преимущество группы роботов заключается в том, что она обладает высокими гибкостью и устойчивостью к сбоям, большим радиусом действия, а расширенный набор выполняемых функций обеспечивает высокую вероятность успешной реализации поставленных задач.

Системы групповой робототехники, в состав которых входят дрон и группа мобильных роботов, могут выполнять задачи охраны территории, разведки и наблюдения за обстановкой, использоваться в ходе поисково-спасательных операций, при прогнозе, сборе урожая и обнаружении очагов вредителей в сельском хозяйстве. Дрон может обеспечить наблюдение за обширным районом, однако обнаружение наземных целей ограничено его скоростью и высотой полёта. С другой стороны, мобильный робот может точно определить местоположение наземных целей, но его недостатком является невысокая скорость разведки. Поэтому "картины восприятия" дрона и мобильного робота дополняют друг друга: дрон следит за препятствиями и мобильными роботами, фотографируя их с помощью камеры и передавая мобильному роботу глобальную карту, а мобильный робот может заметить реальные динамические препятствия, отсутствующие на глобальной карте. На основе этой информации может быть скорректировано управление движением группы мобильных роботов в случае изменяющейся

внешней среды.

В существующих проектах группы роботов используются для решения следующих задач: управление движением группы роботов с использованием информации, получаемой либо от дрона, либо от мобильного робота; планирование движения группы роботов выполняемое заранее и в процессе движения не учитывающее динамическое изменение среды; топология группы при движении не изменяется, роботы в группе являются равноправными и обладают одинаковыми характеристиками.

Однако, на практике группа роботов должна двигаться без априорных знаний о внешней среде и выполнять перестроение при изменении среды, например, в результате катастрофы или коррекции поставленной задачи. Поэтому разработка систем управления группой роботов, включающей дроны для решения задач сбора информации и картографирования местности, и команду наземных роботов с ведущим роботом, например, для сопровождения и эвакуации пострадавших из опасной зоны, является актуальной научно-технической задачей.

В данной диссертационной работе рассматривается система управления движением группы роботов в среде с препятствиями, в которой дрон и наземный ведущий робот должны быть связаны сенсорной системой, включающей системы технического зрения и сканирующие лазерные дальномеры. На основе полученных данных группа мобильных роботов должна перемещаться вдоль заданной программной траектории, а в случае появления препятствий изменять свою конфигурацию для их обхода.

Разработка систем управления движением групп мобильных роботов на основе

визуальной информации от дрона ведется в различных институтах России, Китая, Европы и США. Ключевыми организациями в этом научном направлении являются университет Иннополис в России, МГТУ им. Н. Э. Баумана, Шэньянский научно-исследовательский институт автоматики, Бэйханский университет в Китае, кафедра кибернетики Чешского технического университета, институт системотехники Ганноверского университета (Германия), лаборатория автономной навигации и восприятия Технион - Израильского технологического института, Массачусетский технологический институт (США), Калифорнийский университет в Беркли (США), Технологический институт Джорджии (США).

Цели и задачи

Цель диссертационной работы состоит в разработке системы управления движением группы мобильных роботов по данным от сопровождающего дрона для быстрой доставки необходимых грузов в пострадавший район при техногенной или природной катастрофе. Поэтому необходимо решить задачи сбора информации, построения глобальной карты, планирования глобальной траектории, а также движения группы роботов вдоль спланированной траектории и перестроения группы роботов для быстрого прохода или обхода препятствий. Для достижения этой цели в работе были поставлены и решены следующие задачи:

1. Анализ и сравнение существующих подходов к планированию траектории движения наземной группы мобильных роботов и управлению её перестроением с использованием визуальной информации от дрона.

2. Разработка алгоритма построения карты, включающего модель согласования

карт (map matching) в системе координат наземного ведущего робота и определение параметров сопоставления глобальной и локальной карт.

3. Проведение глобального и локального планирования траектории ведущего робота.

4. Разработка алгоритма управления движением ведущего робота вдоль спланированной траектории.

5. Определение целевого расположения отдельного робота в новой топологии группы, в том числе, формирование множества возможных конфигураций роботов.

6. Решение задачи локализации роботов с использованием данных от различных сенсорных систем.

7. Исследование алгоритма предотвращения столкновений роботов при смене топологии группы.

8. Разработка стратегии управления перестроением группы роботов на логическом уровне системы управления (СУ) и метода управления движением группы роботов на тактическом уровне СУ

9. Проведение компьютерного моделирования управления движением группы роботов на основе визуальной информации от дрона, а также экспериментальных исследований разработанных методов управления перестроением группы роботов.

Методология и методы исследования

В диссертационной работе используются классические методы теории

автоматического управления, методы теории конечных автоматов, алгоритмы аукциона для распределения целей между роботами, методы теории перечисления Пойа, методы наименьших квадратов, алгоритмы поиска А*, алгоритмы Дугласа-Пекера, методы теории преобразования Фурье. Серия проведенных компьютерных исследований и полунатурное моделирование подтвердили работоспособность и правильность предложенных алгоритмов; в НУЦ «Робототехника» проведен ряд натурных экспериментов.

Научная новизна заключается в следующем:

1. Разработана методика определения параметров сопоставления карт в системе координат робота с использованием данных от дрона и ведущего наземного робота.

2. Разработан алгоритм построения программной траектории движения робота с учетом ограничений обхода выделенных узлов на карте.

3. Разработан метод определения целевого положения отдельных роботов при перестроении группы, обеспечивающий наименьшую сумму линейных перемещений роботов.

4. Разработана методика управления перестроением группы роботов в среде с препятствиями, обеспечивающая предотвращение столкновений роботов с препятствиями и другими роботами при изменении конфигурации группы.

Практическая значимость

Диссертационная работа имеет практическую значимость при решении задач управления движением групп роботов благодаря разработанным подходам к

управлению коллективом мобильных роботов с сопровождающим дроном. Данная работа может лечь в основу построения систем управления автономными группами роботов при работе в среде с препятствиями. Разработанные методы и алгоритмы могут быть применены в области патрулирования территорий, грузоперевозок, сельского хозяйства, выполнения задач мониторинга, а также поисково -спасательных операций.

Защищаемые положения

1. Построение программной траектории ведущего наземного робота на основе сопоставления карт с данными от сопровождающего дрона.

2. Метод определения целевого пункта движения отдельного робота при изменении топологии группы.

3. Стратегия предотвращения столкновений роботов группы при одновременной смене их положений.

4. Алгоритм управления перестроением группы роботов, реализованный на логическом уровне СУ.

Введение диссертации (часть автореферата) на тему «Управление движением группы роботов на основе визуальной информации от сопровождающего дрона»

Апробация работы

Диссертационная работа в целом и основные результаты работы обсуждались и докладывались на следующих конференциях и научных семинарах:

1) Всероссийский научно-практический семинар «Беспилотные транспортные средства с элементами искусственного интеллекта» (Казань, 2017);

2) III Международная научно-практическая конференция «WORLD SCIENCE» (Карловы Вары - Москва, 2018);

3) научная конференция для студентов, молодых ученых и аспирантов МГТУ им. Н. Э. Баумана, посвященная 105-летию Е. П. Попова (Москва, 2019);

4) Всероссийская научно-техническая конференция «Экстремальная робототехника» (Санкт-Петербург, 2019).

Публикации

Результаты диссертационной работы отражены в 9 научных статьях, в том числе - 4 публикации в изданиях из перечня ВАК РФ, 3 статьи из перечня международных научных изданий, включенных в базу данных Web of Science (Wos) или Scopus.

Структура и объём работы

Диссертационная работа состоит из введения, 4-х глав, общих выводов и списка литературы. Материалы диссертации изложены на 148 печатных страницах, включая 69 рисунков, 8 таблиц. Библиография содержит 81 наименование.

В первой главе рассмотрено понятие системы групповой робототехники, включающее определение, основные характеристики, некоторые преимущества по сравнению с системой одного робота, структуры системы управления группой роботов, а также применение групповой робототехники в областях промышленности, сельского хозяйства, поисково-спасательных операций и т. д.. Проведен анализ существующих способов планирования траектории с использованием визуальной информации от дрона. Выявлены недостатки планирования траектории с использованием единственной информации, полученной только от дрона. Проведен обзор существующих методов управления

перестроением наземной группы роботов и сравнены эти методы. В конце главы представлены задачи исследования.

В второй главе изложено построение программной траектории мобильного робота с помощью визуальной информации от сопровождающего дрона. В системе координат мобильного робота описана модель сопоставления глобальной и локальной карт, построенных от камеры дрона и лазерного датчика наземного ведущего робота. Для определения параметров сопоставления двух карт проведены анализ корреляции двух карт и решение данной задачи с помощью метода наименьших квадратов. Описаны алгоритмы планирования глобальной и локальной траектории. Приведен способ управления движением ведущего робота вдоль программной траектории.

Третья глава посвящена решению ряда задач для реализации управления перестроением группы роботов в среде с препятствиями. Для получения различных вариантов структур строя описан метод формирования множества топологии. Представлен метод определения целевого пункта движения отдельного робота в целевой топологии. Рассмотрен алгоритм локализации роботов с использованием оценки параметров по информации от датчиков. При одновременной смене положений роботов приведена стратегия предотвращения столкновений. Построена логическая модель изменения последовательности переходов состояния для управления перестроением. Приведены законы управления движением группы роботов в двух режимах: режиме перестроения и режиме движения с сохранением конфигурации. Кроме того, приведены результаты компьютерного моделирования в среде ros_stage.

В четвертой главе представлены моделирования и натурные эксперименты для проверки правильности и работоспособности предложенных алгоритма и метода. В итоге получены результаты моделирований и натурных экспериментов.

В заключении представлены основные полученные результаты, а также формируются возможные дальнейшие направления развития.

Благодарности

Работа над диссертацией начиналась под руководством д.ф.-м.н., профессора каф. СМ-7 Зенкевича Станислава Леонидовича (до апреля 2019 г.) и завершалась с участием к.т.н. доцента каф. СМ-7 Назаровой Анаид Вартановны. Автор выражает благодарность моим научным руководителям и преподавателям кафедры СМ-7 МГТУ им. Баумана за ценные советы, замечания и поддержку.

ГЛАВА 1. СОВРЕМЕННОЕ СОСТОЯНИЕ УПРАВЛЕНИЯ ДВИЖЕНИЕМ ГРУППЫ МОБИЛЬНЫХ РОБОТОВ. ПОСТАНОВКА ЗАДАЧИ

1.1 Групповая робототехника

В условиях непрерывного развития искусственного интеллекта и робототехники проблема управления групповой робототехникой стала одной из важнейших задач. Групповая робототехника была определена как новый подход к координации действий большого числа простых физических роботов [1] и вдохновлена наблюдением за социальными насекомыми - муравьями и пчелами, которые представляют собой типичные примеры того, как большое количество простых индивидуумов может взаимодействовать для создания коллективных интеллектуальных систем. Известно, что социальные насекомые координируют свои действия для выполнения задач, выходящих за пределы возможностей отдельного индивидуума, например, термиты строят большие и сложные сооружения, муравьи могут коллективно переносить большие грузы и т. д.. Такие возможности координации все ещё недоступны для современных групп роботов. Иначе говоря, на системном уровне функционирование социальных насекомых является надежным, гибким и масштабируемым, такие свойства признаны желательными и для систем с несколькими роботами. Основные характеристики систем групповой робототехники сформулированы следующим образом [1, 2]:

- кооперативность. Несколько роботов совместно работают для выполнения поставленной задачи, которая либо не может быть достигнута одним роботом, либо выполнение её может быть улучшено с использованием группы роботов для

повышения эффективности;

- автономность. С учетом поставленных задач роботы должны иметь высокую степень автономии, в результате чего они могут самостоятельно планировать траекторию, избегать столкновений с препятствиями, а также менять стратегии управления при изменении окружающей среды;

- масштабируемость. Структура группы роботов должна быть сформирована так, чтобы в любое время возможно было увеличить или уменьшить их количество, то есть роботы способны осуществить координационные механизмы, которые не влияют на действия группы роботов при изменении её размеров;

- локальность. Все «ощущения» и коммуникации являются только локальными. Эта особенность напрямую наследуется от природных роев и применяется в робототехнике, по аналогии с насекомыми, рыбами и птицами не способными к глобальному восприятию.

С точки зрения развития групповой робототехники существует ещё одна характеристика:

- надежность и гибкость. Групповая робототехника обладает такой способностью, как умение решать широкий спектр задач в различных средах и справиться с неисправностью одного или нескольких роботов в процессе выполнения задачи. Надежность обеспечивается избыточностью группы.

Хотя система управления одним роботом обладает относительно высокой эффективностью, реализация «координации» и «сотрудничества» между несколькими роботами может усилить способности и эффективность системы при выполнении сложных задач, и, в то же время, повысить надежность всей системы.

Так, в [3] предлагается схема совместной работы нескольких роботов, включающих квадрокоптер и группу наземных роботов. Схема автоматически отображает обстановку в городских районах с помощью мобильных роботов и предоставляет в реальном времени данные и телеметрию для удаленных операторов. Использование квадрокоптера облегчает позиционирование наземных роботов. Таким образом, групповая робототехника имеет существенные преимущества по сравнению с функционированием одного робота:

- группа роботов имеет лучшее пространственное распределение;

- группа роботов может добиться лучшей производительности системы [4, 5];

- группа роботов может обеспечить надежность за счет объединения данных и обмена информацией между роботами [6];

- использование группы из нескольких простых роботов может быть проще и дешевле, чем использование одного мощного (сложного и дорогого) робота для выполнения задачи;

- гибкость, масштабируемость и универсальность группы роботов с различными способностями объединяются и усиливаются для решения сложной задачи, и один или несколько роботов могут выйти из строя, не влияя на завершение задачи.

Проектирование структуры системы управления группой роботов оказывает значительное влияние на надежность и масштабируемость системы [7]. Система группы роботов состоит из гомогенных роботов или гетерогенных роботов [8]. В гомогенных командах роботов возможности отдельных членов идентичны, физические структуры может быть не одинаковыми. В гетерогенных командах

роботов возможности членов различны, поэтому гетерогенная группа роботов может использоваться для выполнения специфических задач. Как правило, разработка структуры системы управления группой роботов является сложной задачей. Существуют три подхода к решению этой задачи [9]: централизованное, децентрализованное и гибридное управление.

Централизованное управление может строится как единоначальное или иерархическое [10]. Система единоначального управления заключается в наличии в группе одного или нескольких центров, которые представляют собой либо стационарное устройство управления, либо ведущий робот. Центр управления связан с каждым роботом группы непосредственно, он планирует задачи и отсылает команды управления. К преимуществам системы единоначального управления следует отнести простоту её организации и, соответственно, алгоритмизации. Однако данная система имеет и ряд существенных недостатков, например, если в системе увеличивается число роботов, тогда центр управления должен формировать планирование действий для каждого робота, следствием чего является длительное время принятия решений.

Для устранения этого недостатка используется система иерархического управления, в которой на первом уровне находится «командир», управляющей несколькими подчиненными, а подчиненные являются командирами второго уровня, и так далее, вплоть до самого нижнего робота, выполняющего свою задачу. Система иерархического управления масштабируется намного лучше, чем система единоначального управления. Однако, её недостатком является сложность восстановления иерархии после сбоев роботов, находящихся на верхних уровнях

дерева управления, то есть усложнение структуры управления может приводить к значительным сбоям в передаче команд от верхнего до нижних уровней.

Централизованное управление неустойчиво к сбоям связи и другим непредсказуемым ситуациям и, таким образом, имеет низкую живучесть. Как правило, централизованное управление применяется в случае ограниченного числа роботов, действующих в известных и неизменных условиях [11], например, в автономной логистике. Отличным примером (Рис. 1.1) является транспортная система в больнице №тосшсе № Ното^ [12], где реализовано центральное устройство, управляющее движением группы роботов вдоль дорожек на полу для транспортировки постельного белья, посуды и других необходимых грузов.

Рис. 1.1. Пример централизованного управления - группа транспортных роботов

в больнице Nemocnice № Homolce [12]

Децентрализованное управление, в отличие от централизованного не имеет «командира» или стационарного устройства управления и все роботы группы являются равными и автономными. Каждый робот действует с учетом своего окружения, он знает о присутствии других роботов и может локально связаться с

ними, поэтому выход из строя или уничтожение любого из них не приводит к выходу из строя всей группы в целом. Преимущество децентрализованного управления состоит в том, что система является масштабируемой и устойчивой к сбоям, поскольку ведущий робот не отвечает за управление любым другим роботом, и поэтому решение может осуществляться быстро, в реальном масштабе времени и с учетом изменения ситуации в среде. Однако в системе децентрализованного управления трудно добиться глобальной согласованности, составляющих её устройств, поскольку цели верхнего уровня должны включаться в локальное управление каждым роботом. Кроме того, недостатком децентрализованной системы является сложность её алгоритмизации, поскольку при разработке алгоритмов необходимо понимать задачи и четко планировать действия робота, которые приводят к наилучшему решению с точки зрения всей группы.

Децентрализованное управление может быть двух типов - коллективное и стайное. Коллективное управление в децентрализованной системе означает, что каждый робот группы имеет возможность обмениваться с другими информацией с целью оптимизации групповых действий. Подобная стратегия управления используется в спортивных командных играх, при решении задач поиска и охраны и других. Так, в ряде европейских институтов и лабораторий разрабатывается уникальный проект Swarmanoid [13], основной целью которого является создание системы гетерогенных роботов (Рис. 1.2) и разработка алгоритмов децентрализованного управления для решения задач сбора информации.

Рис. 1.2. Пример коллективного управления в децентрализованной системе -

группа роботов Swarmanoid [13]

Стайная стратегия управления базируется на поведении в естественной среде животных, которые могут кооперироваться друг с другом для выполнения сложных задач. В работе [14] сформулированы три простых правила - разделение, выравнивание скоростей и сплоченность - для моделирования поведения отдельных птиц. На основе их разработано большое количество алгоритмов для оптимизации управления в группе роботов. Например, Зенкевич С.Л. и Галустян Н. К. [15] исследовали способ стайного управления квадрокоптерами в трехмерном пространстве на основе модифицированных правил Рейнольдса.

Гибридное управление. Структура подобных систем включает несколько уровней: интеллектуальный, на котором реализуется интерфейс оператора и принимаются решения о проведении операций с учетом информации о внешней среде; стратегический уровень, на котором планируется и формируется поведение нижестоящих уровней; тактический уровень, выдающий сигналы управления роботам с учетом требуемого поведения, и транслирующий команды их состояния на высший уровень; исполнительный уровень, непосредственно управляющий

движением роботов.

С точки зрения автономности стратегия управления каждым элементом системы включает уровень планирования [16], где принимаются команды от тактического уровня системы, планируются задачи с учетом данных, полученных от датчиков, передаются команды управления и состояния исполнительных устройств; уровень управления, который отслеживает выполнение последовательности задач и посылает команды состояния системы на верхний уровень; и уровень поведения, который взаимодействует с устройствами и датчиками робота. Кроме того, каждый уровень системы управления отдельных роботов может взаимодействовать с другими роботами.

Таким образом, в системе гибридного управления каждый элемент группы самостоятельно определяет свои действия на основе информации о цели, стоящей перед группой, о ситуации в среде на предыдущем промежутке и в текущий момент времени, о предыдущих и текущих состояниях и действиях других роботов группы. Стратегия управления сочетает локальное управление с высокоуровневыми подходами к управлению для реализации надежности и способности влияния на действия всей группы, посредством достижения глобальных целей.

Рассмотрим примеры разработки и использования групп роботов с учетом сформулированных выше структур управления и актуальных направлений в современных проектах групповой робототехники.

Одним из актуальных приложений является применение групп роботов в задачах мониторинга и аэрофотосъемок. Так, в работе [17] используется группа квадрокоптеров для прогноза урожайности, обнаружения очагов вредителей и

других аномальных зон в сельском хозяйстве. В описании системы представлены два рисунка: КОУ1-снимок соевого поля (Рис. 1.3, а), где отчетливо выделены проблемные зоны в красном цвете, сделанные с помощью инфракрасной и телевизионной камер; и решение задачи картирования посевов (Рис. 1.3, б) в сравнении с традиционным подходом, когда оператор управляет отдельным квадрокоптером, задавая область мониторинга.

а) б)

Рис. 1.3. Пример аэрофотосъемок и мониторинга группой квадрокоптеров [17]: а) NDVI снимок соевого поля; б) планирование полета дронов

при обследовании поля

В работе предложен алгоритм децентрализованного управления строевым и роевым движениями группы квадрокоптеров с использованием модифицированных правил К. Рейнольдса. Использование изображений от квадрокоптеров значительно эффективнее, чем снимки от спутниковых систем, поскольку разрешение и частота снимков напрямую влияют на точность расчетов. В результате исследований возникло новое направление - кооперация дронов и наземных роботов для выполнения мониторинга, борьбы с вредителями или сбора урожая.

Ещё одно приложение использования групп роботов - поисково-спасательные задачи. Примером такого исследования является диссертация «Робототехническая система спасения при землетрясениях» [18]. Цель работы - построение модульной системы управления группой роботов, планирование последовательности процессов спасения и состава команды, предназначенной для поиска и спасения выживших при землетрясениях (Рис.1.4). Система содержит два типа роботов -дроны для создания станций воздушной связи, решения задач сбора информации и выполнения поисково-спасательных операций при землетрясениях, а также наземные роботы, которые обнаруживают пострадавших, оказывают им помощь и обеспечивают их эвакуацию из опасных зон. С учетом особенностей решаемых задач на разных уровнях управления группами роботов реализованы централизованные и децентрализованные стратегии распределения. Одной из важных проблем групповой робототехника является управление движением наземных роботов на основе визуальной информации от дрона.

Рис. 1.4. Конфигурация системы [18]

При решении задач транспортировки грузов и патрулирования территории в работе [19] предложена стратегия управления движением группы роботов в строю типа «конвой» с использованием иерархического управления. Ведущий робот группы, оснащённый необходимыми датчиками и навигационными устройствами, двигается по заданной траектории. Каждый следующий робот повторяет траекторию движения своего предыдущего робота с некоторым запаздыванием по времени. Кроме этого, используя стратегию логического управления на базе теории конечных автоматов в [19] разработан подход к координации формообразования группы для выполнения действий различных типов (Рис. 1.5). Эта стратегия управления движением представляет собой гибридное управление и имеет преимущество перед изменением топологии группы роботов.

Г 3-, Q-» ^ R< ! V. ^ Ч г" о- О» ОТ

г* of \ с/ а Gl о- ег" о,' УЩ ' Q-Q-GH-® <4 Q-+. О— Q?

к ^Г* CJ

а) б) в) г) д) е)

Рис. 1.5. Поведение группы мобильных роботов [19]: а) формирование или расформирование конвоя; б) движение конвоя; в) вход робота в конвой; г) выход робота из конвоя; д) разделение конвоя; е) объединение конвоев

Примером реализации стратегии противодействия может служить игра в футбол двух команд роботов. В последние годы регулярно проводятся международные соревнования по футболу роботов - Кубок федерации роботов (RoboCup Federation). В работе [20] представлена система управления автономным движением группы роботов (Рис.1.6), участвующих в соревнованиях лиги малых

футбольных роботов (Small-size Robot Soccer League).

Библиотека

выбор

выполнение

оценка

Планирование

Компьютер

Перцепция

Модель мира

Е тактика

и о

¡с о оЗ ю

^ 2 и ^

га ^ £

С ^ ^ К

^ ^ управление

г

Радиосервер

Рис. 1.6. Состав системы управления футбольной команды роботов CMDragons

Система управления включает камеру, установленную над игровым полем, устройства связи и компьютер, содержащий алгоритмы обработки изображений для получения моделей среды и информации о характеристиках роботов (скорости, положения и т.д.). В структуру системы входят несколько предварительных планов действий команды в целом и стратегии управления одном роботом. Система управления должна обеспечивать автономное движение группы роботов, а также реализовывать навыки для выполнения низкоуровневых действий, которые определяют поведение роботов, тактику для определения того, какие навыки требуется выполнить, и стратегию для координации синхронизированных действий роботов группы.

Анализ представленных проектов групповой робототехники показывает, что в

различных областях применения каждый исследователь пытается разработать собственный способ решения поставленной задачи. С другой стороны, в области групповой робототехники существуют общие, требующие решений проблемы распределения и планирования задач, связи между роботами, навигации, координации и управления движением строя. Переходя к обзору решения проблем управлении движением группы роботов, рассмотрим современные исследования планирования движения и управления перестроением групп роботов.

1.2 Обзор существующих способов планирования траекторий наземных мобильных роботов с использованием визуальной информации от дрона

Задача планирования траекторий предполагает расчет последовательных точек непрерывного движения мобильного робота из начального до целевого положения в пространстве, с учетом предотвращений столкновения с препятствиями. Для навигации и обхода препятствий мобильные роботы оснащаются различными датчиками, включающими системы технического зрения, сканирующие лазерные дальномеры и т.д.

Кроме этого, существует большое количество алгоритмов для эффективного планирования траектории. Общие алгоритмы, например, A*, позволяют оптимально планировать траектории в дискретных средах. Однако оптимальность этих траекторией ограничена знаниями планировщика о препятствиях. Прямая видимость датчиков на мобильном роботе ограничена геометрией окружающей среды. Например, внутри помещений видимость ограничена стенами и другими препятствиями, а на улице прямую видимость ограничивают растительность и

здания. На открытом воздухе обычным способом улучшения дальности видимости является установка датчика на некоторой высоте на мобильных роботах, но в этом случае робот не сможет обнаружить объекты за слишком высокими препятствиями.

Для преодоления этого ограничения мобильный робот может использовать информацию, полученную от дрона, поскольку дрон имеет гораздо более длинные и широкие диапазоны перцепции, чем мобильный робот. Например, в статье [21] представлена коллаборативная система мобильного робота и дрона для картирования препятствий. Мобильный робот и препятствия на траектории робота идентифицируются путем обработки аэрофотоснимка от дрона. Далее, чтобы обеспечить навигацию и обход препятствий, применяется метод, основанный на потенциальных полях. В результате, получаются координаты препятствий в абсолютной системе координат, строится глобальная карта, и затем выполняется планирование траектории на этой карте. На Рис. 1.7 показаны компьютерный и натурный эксперименты. Синие квадраты на рисунках представляют собой изображения, полученные от камеры на борту дрона.

а) б)

Рис. 1.7. Эксперименты в [21]: а) компьютерное моделирование;

б) натурный эксперимент

Очевидно, что дрон имеет более широкое поле зрения и гибкую мобильность, и поэтому используется дрон помощи мобильному роботу в поиске целей, обнаружении препятствий и планировании траекторий наземного робота.

В работе [22] предлагается система стереовидения на основе нескольких беспилотных летательных аппаратов (БПЛА) для картографирования наземных препятствий и обеспечения глобального планирования траектории мобильного робота. Схема работы этой системы представлена на Рис. 1.8. Каждый БПЛА оснащен одной камерой, система стереозрения реализована двумя БПЛА с подвижной базовой линией. На мобильном роботе имеется маркер, для его распознавания используются камеры первого и второго БПЛА. На основе распознанного маркера, а также систем координат БПЛА и мобильного робота можно получить относительные положения и ориентации между БПЛА и мобильным роботом. Для выделения препятствий обрабатываются два изображения от камер первого и второго БПЛА, а затем проводится планирование траектории с использованием этих данных.

робот препятствие

Рис. 1.8. Выделение препятствий системой стереовидения [22]

Способность обнаружения препятствий предложенной системой существенно не ухудшается при изменении высоты БПЛА, поскольку базовая линия между камерами стереозрения может быть оптимально отрегулирована; представленная система может работать даже в условиях отсутствия GPS.

В большинстве существующих работ, использующих дрон и мобильный робот построение карты не является точным. Одна из причин этого заключается в том, что качество фотоснимков, полученных от дрона, зависит от погоды, вибрации в полёте или других факторов. Поэтому системы, содержащие дрона и наземный робот нуждаются в дальнейших исследованиях в области построения карт окружающей среды и планирования траекторий.

Список литературы диссертационного исследования кандидат наук Хо Цзяньвень, 2020 год

СПИСОК ЛИТЕРАТУРЫ

1. Erol §ahin. Swarm Robotics: From Sources of Inspiration to Domains of Application //In: §ahin E., Spears W.M. (eds) Swarm Robotics. Lecture Notes in Computer Science. 2005. Vol.3342. P.10-20.

2. Aufar Zakiev, Tatyana Tsoy and Evgeni Magid. Swarm Robotics: Remarks on Terminology and Classification // In: Ronzhin A., Rigoll G., Meshcheryakov R. (eds) Interactive Collaborative Robotics. Lecture Notes in Computer Science. 2018. Vol 11097. P.291-299.

3. L. Chaimowicz, B. Grocholsky, J.F. Keller, Vijay Kumar, C.J. Taylor. Experiments in multi-robot air-ground coordination // IEEE International Conference on Robotics and Automation, New Orleans, LA, USA. 2004. P.4053-4058.

4. Wolfram Burgard, Mark Moors, Dieter Fox, Reid Simmons, and Sebastian Thrun. Collaborative multi-robot exploration // Proceedings 2000 ICRA. IEEE International Conference on Robotics and Automation, San Francisco, CA, USA. 2000. P.476-481.

5. Jens Wawerla and Richard T. Vaughan. A fast and frugal method for team-task allocation in a multi-robot transportation system // IEEE International Conference on Robotics and Automation, Anchorage, AK, USA. 2010. P.1432-1437.

6. Dieter Fox, Wolfram Burgard, Hannes Kruppa, and Sebastian Thrun. A probabilistic approach to collaborative multi-robot localization // Autonomous Robots. 2000. Vol.8. №3. P.325-344.

7. Parker L.E. Multiple Mobile Robot Systems //In: Siciliano B., Khatib O. (eds) Springer Handbook of Robotics. 2008. P.921-941.

8. Zhi Yan, Nicolas Jouandeau and Arab Ali Cherif. A Survey and Analysis of MultiRobot Coordination // International Journal of Advanced Robotic Systems. 2013. Vol.10. №12. P.399:1-18.

9. А.В. Назарова, Т.П. Рыжова. Методы и алгоритмы мультиагентного управления робототехнической системой // Вестник МГТУ им.Н.Э. Баумана. Сер. «Приборостроение» .2012. №6. C.93-105.

10.Каляев И.А., Гайдук А.Р., Капустян С.Г. Модели и алгоритмы коллективного управления в группах роботов. М.: Физматлит, 2009, 280 с.

11.Xu Ke. Integrating centralized and decentralized approaches for multi-robot coordination // Persistent URL:https://doi.org/doi:10.7282/T3ZS2W7C. (дата обращения: 10.2010).

12.Nemocnice Na Homolce // Persistent URL: https://www.homolka.cz/en/.(дата обращения: 11.2007).

13.Swarmanoid: Towards Humanoid Robotic Swarms // Persistent URL: http://www.swarmanoid.org/.(дата обращения 18.11.2015)

14.Craig W. Reynolds. Flocks Herds and Schools: A Distributed Behavioral Model // Computer Graphics. 1987. Vol. 21.№ 4. P.25-34.

15.Зенкевич С.Л., Галустян Н.К. Децентрализованное управление группой квадрокоптеров // Мехатроника, автоматизация, управление. 2016. №11. C.774-782.

16.Simmons R., Singh S., Hershberger D., Ramos J., Smith T. First Results in the Coordination of Heterogeneous Robots for Large-Scale Assembly // In: Rus D., Singh S. (eds) Experimental Robotics VII. Lecture Notes in Control and Information Sciences.

2001. Vol.271. P.323-332.

17.Галустян Н.К. Децентрализованное управление группой квадрокоптеров: дис. Канд. Тех. Наук. Москва. 2016. 124с.

18.Мэйсинь Чжай. Робототехническая система спасения при землетрясениях: дис. Канд. Тех. Наук. Москва.2020. 158с.

19.Чжу Хуа. Управление движением группы мобильных роботов в строю типа «конвой»: дис. Канд. Тех. Наук. Москва. 2018. 107с.

20.B. Browning, J. Bruce, M. Bowling, M. Veloso. STP: skills tactics and plays for multirobot control in adversarial environments // Journal of Systems and Control Engineering. 2005. Vol. 219.№ 1. P.33-52.

21.Mario Garzon, Joao Valente, David Zapata and Antonio Barrientos. An Aerial-Ground Robotic System for Navigation and Obstacle Mapping in Large Outdoor Areas // Sensors. 2013. Vol. 13. P. 1247-1267.

22.Jin Hyo Kim, Ji-Wook Kwon and Jiwon Seo. Multi-UAV-based stereo vision system without GPS for ground obstacle mapping to assist path planning of UGV // Electronics Letters. 2014. Vol. 50.№20. P. 1431-1432.

23.Jianqiang Li, Genqiang Deng, Chengwen Luo, et al. A Hybrid Path Planning Method in Unmanned Air/Ground Vehicle (UAV/UGV) Cooperative Systems // IEEE Transactions on Vehicular Technology. 2016. Vol. 65. №12. P. 9585-9596.

24.Jessica S.Ortiz, Cristhian F.Zapata, Alex D. Vega, et al. Path Planning Based on Visual Feedback Between Terrestrial and Aerial Robots Cooperation // 7th International Workshop on Computational Kinematics that was held at Futuroscope-Poitiers, France. 2017. P.96-105.

25.А.Р. Габдуллин, А.К. Буйвал, P.O. Лавренов, Е.А. Магид. Навигация гетерогенной группы роботов (БПЛА и БНР) через лабиринт в 3D симуляторе Gazebo методом вероятностной дорожной карты // Второй Всероссийский научно-практический семинар «Беспилотные транспортные средства с элементами искусственного интеллекта» (9 октября 2015г., г. Санкт-Петербург, Россия): Труды семинара. -Санкт-Петербург: Изд-во «Политехника-сервис», 2015.140с. С.18-25.

26.Fernando De la Rosa, Germán Romero, Freddys Bonilla. Control Architecture for Cooperative Mobile Robotic Tasks // 12th Latin American Robotics Symposium and Third Brazilian Symposium on Robotics, Uberlandia, Brazil. 2015. P.79-84.

27.Reza Olfati-Saber. Flocking for Multi-Agent Dynamic Systems: Algorithms and Theory // IEEE Transactions on Automatic Control. 2006. Vol. 51.№3. P. 401-420.

28.J.P. Desai, J.P. Ostrowski, V. Kumar. Modeling and Control of Formations of Nonholonomic Mobile Robots // IEEE Transactions on Robotics and Automation. 2001. Vol. 17. №6. P. 905 - 908.

29.J.P. Desai. Modeling multiple teams of mobile robots: a graph theoretic approach // Proceedings 2001 IEEE/RSJ International Conference on Intelligent Robots and Systems, Maui, HI, USA. 2001. P.381-386.

30.J.P. Desai. A Graph Theoretic Approach for Modeling Mobile Robot Team Formations // Journal of Robotic Systems. 2002. Vol. 19. №11. P.511 - 525.

31.M. Mesbahi and F. Hadaegh. Formation flying of multiple spacecraft via graphs, matrix inequalities, and switching // Journal of Guidance, Control, and Dynamics. 2001. Vol. 24. P.369-377.

32.A. Jadbabaie, J. Lin, and A. S. Morse. Coordination of groups of mobile autonomous

agents using nearest neighbour rules // IEEE Transactions on Automatic Control. 2003. Vol.48. №6. P.988-1001.

33.R. Olfati-Saber and R. M. Murray. Consensus problems in networks of agents with switching topology and time-delays // IEEE Transactions on Automatic Control. 2004. Vol.49. №9. P.1520-1533.

34.Chen Jian, Sun Dong and Yang Jie. A receding-horizon formation tracking controller with leader-follower strategies // IFAC 2008 World Congress, Seoul, Korea. 2008. P. 4400-4405.

35.Jian Chen, Dong Sun, Jie Yang and Haoyao Chen. Leader-Follower Formation Control of Multiple Non-holonomic Mobile Robots Incorporating a Receding-horizon Scheme // The International Journal of Robotics Research. 2010. Vol. 29. №6. P.727-747.

36.N. E. Leonard and E. Fiorelli. Virtual leaders, artificial potentials and coordinated control of groups // Proceedings of the 40th IEEE Conference on Decision and Control, Orlando, FL, USA. 2001. P.2968-2973.

37.P. Ogren, E. Fiorelli, and N. E. Leonard. Cooperative control of mobile sensor networks: Adaptive gradient climbing in a distributed environment // IEEE Transactions on Automatic Control. 2004. Vol. 40. №8. P.1292-1302.

38.Shuzhi Sam Ge and Cheng-Heng Fua. Queues and Artificial Potential Trenches for Multirobot Formations // IEEE Transactions on Robotics. 2005. Vol. 21. №4. P.646 -656.

39.Dongbing Gu, Huosheng Hu. Using Fuzzy Logic to Design Separation Function in Flocking Algorithms // IEEE Transactions on Fuzzy Systems. 2008. Vol. 16. №4. P. 826 - 838.

40.Hasan Mehrjerdi, Maarouf Saad and Jawhar Ghommam. Hierarchical Fuzzy Cooperative Control and Path Following for a Team of Mobile Robots // IEEE/ASME Transactions on Mechatronics. 2011. Vol.16. №5. P. 907 - 917.

41.Miguel Aranda, Gonzalo Lopez-Nicolas, Carlos Sagues, and Youcef Mezouar. Formation Control of Mobile Robots Using Multiple Aerial Cameras // IEEE Transactions on Robotics. 2015. Vol.31. №4. P. 1064-1071.

42.Зенкевич С.Л., Ющенко А.С. Основы управления манипуляционными роботами // М.: Изд-во МГТУ 2004.

43.Jianwen Huo, Stanislav L. Zenkevich, Anaid V. Nazarova, Meixin Zhai . Path Planning Based on Map Matching in UAV/UGV collaboration system // International Journal of Intelligent Unmanned Systems. Publication date: 27 August 2019. DOI: 10.1108/IJIUS-03-2019-0020.

44.R.M. Ezzeldeen, H.H. Ramadan, T.M. Nazmy, M. Adel Yehia, M.S. Abdel-Wahab. Comparative study for image registration techniques of remote sensing images // The Egyptian Journal of Remote Sensing and Space Sciences. 2010. Vol.13. № 1. P. 31-36.

45.Barbara Zitova, Jan Flusser. Image registration methods: a survey // Image and Vision Computing. 2003. Vol.21. № 11. P.977-1000.

46.L.M.G. Fonseca, B.S. Manjunath. Registration techniques for multisensor remotely sensed imagery // Photogrammetric Engineering and Remote Sensing. 1996. Vol.62. № 9. P.1049-1056.

47.D. Casasent and D. Psaltis. Position, rotation, and scale invariant optical correlation // Applied Optics. 1976. Vol. 15. № 7. P.1793-1799.

48.Keller, Y., Averbuch, A., Moshe, I.. Pseudopolar-based estimation of large translations,

rotations, and scalings in images // IEEE Transactions on Image Processing. 2005. Vol.14, No.1. P.12-22.

49.C. D. Kuglin, D. C. Hines. The phase correlation image alignment method // IEEE Conference Cybernetics and Society, 1975. P. 163-165.

50.H. Foroosh, J. B. Zerubia, M. Berthod. Extension of phase correlation to subpixel registration // IEEE Transactions on Image Processing. 2002. Vol. 11, No. 3. P.188 -200.

51.PENG Jian, LU Huiling, MA Jing, LIU Yanxu. Multi-source remote sensing of ecologica land in Beijing-Tianjin-Tangshan Metropolitan based on threshold segmentation method // Chinese Journal of Ecology. 2002. Vol. 31, No. 1. P.204 - 211.

52.LI Xiaoli, RUAN Qiuqi, RUAN Chengxiong. Weighted template matching method using gray scale histogram for camera calibration // Beijing Jiaotong University. 2013. Vol. 37, No. 2. P.22 - 26.

53.Yu Jindong, Zhang Xianmin. Edge detection algorithm for lines on microscopic image // Editorial Office of Optics and Precision Engineeri. 2015. Vol. 23, No. 1. P.271-281.

54.Zhang Kun, Wang CuiRong. An Adaptive Splitting and Merging Clustering Algorithm of the Moving Target Segmentation // Journal of Electronics and Information Technology. 2014. Vol. 36, No. 3. P.601-609.

55.David Douglas, Thomas Peucker. Algorithms for the reduction of the number of points required to represent a digitized line or its caricature // The Canadian Cartographer. 1973. Vol. 10, No. 2. P. 112-122.

56.Wang Xiaoli, Chen Shuangjun, Wei Bin, Xie Geng, Liu Peidong. Selecting Optimal Threshold Value of Douglas-Peucker Algorithm on Curve Fit // Journal of Geomatics

Science and Technology. 2010. Vol. 27, No. 6. P. 459 - 462.

57.Зенкевич С.Л., Чжу Хуа, Хо Цзяньвень. Экспериментальное исследование движения группы мобильных роботов в строю типа «конвой» // Мехатроника, автоматизация, управление. 2018. № 5. С.331-335.

58.Зенкевич С. Л., Чжу Хуа, Хо Цзяньвень. Движение группы мобильных роботов в строю типа «конвой» - теория, моделирование и эксперимент // Четвертый Всероссийский научно-практический семинар «Беспилотные транспортные средства с элементами искусственного интеллекта» (БТС-ИИ2017, 5-6 октября 2017 г., г. Казань, Республика Татарстан, Россия): тр. семинара. / под ред. Е. А. Магида, В. Е. Павловского, К. С. Яковлева. Казань: Центр инновационных технологий, 2017. 240с. С. 136-147.

59.S. Kohlbrecher, J. Meyer, O. von Stryk, U. Klingauf A flexible and scalable SLAM system with full 3D motion estimation // In Proc. of the IEEE International Symposium on Safety, Security and Rescue Robotics, Kyoto, Japan. 2011. P.50-55.

60.Pedro Nunez, Ricardo Vazquez-Martin, Jose C. del Toro, Antonio Bandera and Francisco Sandoval. Feature Extraction from Laser Scan Data based on Curvature Estimation for Mobile Robotics // IEEE International Conference on Robotics and Automation, Orlando, Florida. 2006. P.1167-1172.

61.Chris Harris, Mike Stephens. A combined corner and edge detector // Fourth Alvey Vision Conference. 1988. P.147-151.

62.Huangfu Shuyun, Tang Shoufeng, Tong Ziyuan, Song Bin, Tong Minming. Survey of Path Planning Methods for Autonomous Mobile Robot // Software Guide. 2018. Vol. 17, No. 10. P. 1-5.

63.D. Fox, W. Burgard, S. Thrun. The dynamic window approach to collision avoidance// IEEE Robotics and Automation Magazine. 1997. Vol. 4, No. 1. P. 23 - 33.

64.Зенкевич С. Л., Назарова А. В. Система управления мобильного колесного робота // Вестник МГТУ им. Н. Э. Баумана. Сер. Приборостроение. 2006. № 3. С.31-51.

65.Хо Цзяньвень. К вопросу о построении программной траектории робота по данным от сопровождающего дрона // Автоматизация. Современные технологии. 2019. No5. С.235-240.

66.Иванов Б. Н. Дискретная математика. Алгоритмы и программы // М.: Лаборатория Базовых Знаний. 2003.

67.Ф. Харари. Задачи перечисления графов // Успехи математических наук. 1969. № 5. С.179-214.

68.Zenkevich S.L., Nazarova A.V. and Huo Jianwen. Dynamic Switching of Multi-agent Formation in Unknown Obstacle Environment // Smart Electromechanical Systems. Studies in Systems, Decision and Control. 2020. Vol. 261. P.73-87.

69.Zavlanos, Michael M, Leonid Spesivtsev, and George J Pappas. A Distributed Auction Algorithm for the Assignment Problem // 47th IEEE Conference on Decision and Control, Cancun, Mexico. 2008. P.1212-1217.

70.Зенкевич С. Л., Назарова А. В. Система управления мобильного колесного робота // Вестник МГТУ им. Н. Э. Баумана. Сер. Приборостроение. 2006. № 3. С.31-51.

71.Zenkevich S.L., Nazarova A.V. and Huo Jianwen. Formation Control of Ground Multiagent System Using Quadcopter with Camera // Robotics: Industry 4.0 Issues & New Intelligent Control Paradigms. Studies in Systems, Decision and Control. 2020. Vol. 261. P. 113-124.

72.Зенкевич С. Л., Назарова А. В. Оценка паpаметpа по инфоpмации от нескольких датчиков // Мехатроника, автоматизация, управление. 2010. № 9. С.71-73.

73.С. Л. Зенкевич, А. В. Назарова, Цзяньвень Хо. Управление группой мобильных роботов с помощью сопровождающего дрона // Робототехника и техническая кибернетика. 2019. №3. С. 208-214.

74.Zenkevich S.L., Nazarova A.V., Zhu Hua. Logical Control a Group of Mobile Robots // Smart Electromechanical Systems. Studies in Systems, Decision and Control. 2019. Vol.174. P.31-43.

75.Зенкевич С. Л., Галустян Н. К. Децентрализованное управление группой квадрокоптеров // Мехатроника, автоматизация, управление. 2016. № 11. С. 774782.

76.Reynolds C. Flocks, birds, and schools: A distributed behavioural model // Computer Graphics. 1987. Vol.21, No.4. P. 25-34.

77.Пример компьютерного моделирования управления движением группы роботов в среде с препятствиями. [Электронный ресурс]. URL: https://drive.google.com/file/d/1YQiVN4WReV3i1Etyb5QTqCMQqMxfXobW/view. (дата 16.11.2018).

78.Benjamin B. Rhoades, Disha Srivastava, James M. Conrad. Design and Development of a ROS Enabled CAN Based All-Terrain Vehicle Platform // SoutheastCon 2018, St. Petersburg, FL, USA. 2018. P.1-6.

79. Пример компьютерного моделирования планирования глобальной и локальной траектории. [Электронный ресурс]. URL: https://drive.google.com/file/d /1q8Ym8WAsk4nTq5GE_jxs 1y1mdIoLxoJx/view. (дата 28.10.2019).

80.Пример компьютерного моделирования управления перестроением группы роботов. [Электронный ресурс]. URL: https://drive.google.eom/file/d/ 1FBgHXcFA9hXE8ztQbnST_6QGWwWyTlgJ/view. (дата 30.10.2019).

81.Пример натурального эксперимента перестроении строя. [Электронный ресурс]. URL: https://drive.google.eom/file/d/17URr5Gd0DsmdCxrEj520fLfdDbuylJRQ/view. (дата 30.10.2019).

АКТ ИСПОЛЬЗОВАНИЯ РЕЗЕЛЬТАТОВ РАБОТЫ

Certifícate of application of scientific research results

Name of company: Sichuan Liehu Technology Co., Ltd.

Address of company: National University Science and Technology Park,

59 Qinglong Road, Mianyang, Sichuan, P.R.China

Postcode: 621010

We, Sichuan Liehu Technology Co., Ltd., hereby certify that: The scientific research results of Ph.D dissertation of Huo Jianwen (department of Robotics Systems and Mechatronics in Bauman Moscow State Technical University) have been applied in the motion control for our self-developed UAVs and

1. Construct a local map via UGV laser radar and a global map via UAV machine vision. Establish the feature set of global and local maps. The values that are unknown during map matching are determined via the least square method. Subsequent to map matching, the map constructed using UAV is applied to global path planning of UGV, and the map constructed using UGV is applied to local path planning. This effectively solves the problem that the UAV will use the woods as a closed obstacle when shooting at high altitude, and after the UAV shooting is completed, an obstacle suddenly appears at a certain point, but the obstacle is not on the global map.

2. Use Polya's Enumeration Theorem to enumerate the formation structure related to the shape of obstacles in the global map, so that the formation structure of multiple robots can flexibly adapt to the constraints of the surrounding environment. In the target formation structure, the target position of a single robot is determined to ensure the minimum linear motion of the robot.

3. Use the finite state machine theory to control the formation switching of multiple robots under different obstacles. When multi-robots are switching in formation, an anti-collision algorithm is designed based on the principle of Skew lines, thus avoiding the collision between robots at a certain path intersection.

UGVs:

lo., Ltd.

Certificate of application of scientific research results

Name of organization: School of Information Engineering, Southwest University of Science and Technology Address of organization: 59 Qinglong Road. Mianyang, Sichuan, P.R.China Postcode: 621010

We, School of Information Engineering, Southwest University of Science and Technology, hereby certify that:

The scientific research results of Ph.D dissertation oflTiio Jianwen (department of Robotics Systems and Mechatronics in Bauman Moscow State Technical University) have been applied to the teaching practice of our <Multi-Robot Motion Control »course:

1. Establish the UAV/UGV coordinate conversion relationship. Build a local map via UGV laser radar and a global map via UAV machine vision information. Also, construct the feature set of global and local maps. The values that are unknown during map matching are determined via the least square method.

2. Use the improved A* algorithm for global planning on the global map, and the dynamic window method for local planning on the local map, so as to reduce costs.

3. Use Polya's Enumeration Theorem to enumerate the formation structure related to the shape of obstacles in the global map. so that the formation structure of multiple robots can flexibly adapt to the constraints of the surrounding environment. In the target formation structure, the target position of a single robot is determined to ensure the minimum linear motion of the robot.

4. Use finite state machine theory to control the switching of multi-robot formations under different obstacles. When multi-robot switch formations, the principle of skew lines is used to design an anti-collision algorithm between robots to avoid collisions between robots at a certain path intersection.