Алгоритмы и программное обеспечение системы управления и технического зрения диагностического мобильного робота на основе глубокого обучения и нейро-нечетких технологий тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Мсаллам Майди

• Мсаллам Майди
• кандидат наук
• 2024

Оглавление диссертации кандидат наук Мсаллам Майди

Введение

1 Состояние изученности и постановка проблемы исследований

1.1 Литературный обзор системы технического зрения роботов

1.1.1 Компоненты системы технического зрения

1.1.2 Этапы обработки данных в системе технического зрения

1.1.3 Системы технического зрения с трехмерными входными данными

1.1.4 Задачи системы технического зрения

1.1.4.1 Регистрация облаков точек и построение 3D-карты окружающей среды

1.1.4.2 Семантическая сегментация

1.2 Литературный обзор нейро-нечеткой технологии

1.2.1 Нечеткая логика и нечеткие системы

1.2.2 Нейро-нечеткие структуры

1.3 Классификация

1.3.1 Глубокое обучение

1.3.2 Классификация объектов, представленных с помощью облаков точек30

1.3.3 Наборы данных, предназначенные для классификации 3D-объектов

1.3.4 Подходы к повышению точности классификации

1.3.4.1 Увеличение данных

1.3.4.2 Ансамбли классификаторов

1.4 Литературный обзор системы управления роботом

1.4.1 Мультикоптеры

1.4.2 Внутренний и внешний контуры управления

1.4.3 Алгоритмы управления мультикоптерами

1.4.4 Планирование пути движения робота

1.5 Преимущества и недостатки существующих методов

1.6 Постановка проблемы исследований

2 Математическая постановка предлагаемых методов и алгоритмов

2.1 Описание диагностического робота-колеса

2.2 Разработка системы технического зрения диагностического робота

2.2.1 Алгоритм создания новых синтезированных данных для улучшения производительности классификаторов глубокого обучения

2.2.1.1 Введение в трехмерную геометрию

2.2.1.2 Подготовка входных объектов

2.2.1.3 Этапы предлагаемого алгоритма

2.2.1.4 Модификация предложенного алгоритма для выполнения точного HSR

2.2.1.5 Анализ сложности предложенного алгоритма

2.2.1.6 Новый алгоритм с низкой сложностью для выполнения HSR с использованием сеток занятости

2.2.1.7 Сравнение предложенного алгоритма для создания синтезированных данных с другими алгоритмами

2.2.2 Улучшение точности классификации с использованием ансамбля классификаторов на основе нейро-нечеткой технологии

2.2.3 Алгоритм регистрации облаков точек для построения трехмерной карты окружающей среды

2.2.3.1 Описание предлагаемого алгоритма для регистрации 3D-облаков точек

2.2.3.2 Методика построения эталонных данных для оценки производительности алгоритмов регистрации облаков точек

2.2.3.3 Новая метрика для оценки производительности регистрации облаков точек на основе сеток занятости

2.3 Разработка системы управления роботом

2.3.1 Математическая модель диагностического робота

2.3.1.1 Принцип работы мультикоптеров

2.3.1.2 Уравнения движения гексакоптера

2.3.2 Управление роботом в воздушном режиме работы

2.3.3 Управление роботом в наземном режиме работы

2.3.4 Выбор режима работы робота с помощью нейро-нечеткой технологии

2.3.5 Алгоритм для оценки значения коэффициента подъемной силы

мультикоптера и его применение в адаптивном управлении роботом

2.3.6 Эффективный и практический алгоритм для планирования пути

движения робота

2.4 Выводы второй главы

3 Программная реализация предложенных методов и алгоритмов

3.1 Разработка среды имитационного моделирования

3.2 Программная реализация системы технического зрения робота

3.2.1 Повышение точности распознавания объектов

3.2.1.1 Создание новых наборов данных для повышения точности распознавания 3D-объектов

3.2.1.2 Анализ точности классификации в зависимости от угла возвышения камеры

3.2.1.3 Повышение точности классификации с использованием новых сгенерированных наборов данных

3.2.1.4 Прогнозирование и повышение точности классификаторов в реальных приложениях

3.2.1.5 Оценка сложности HSR с использованием сеток занятости

3.2.1.6 Повышение точности классификации с помощью ансамблей классификаторов

3.2.2 Построение трехмерной карты окружающей среды путем регистрации облаков точек

3.2.2.1 Создание эталонных данных для оценки производительности алгоритмов регистрации

3.2.2.2 Описание моделирования и полученные результаты

3.2.2.3 Анализ результатов регистрации облаков точек

3.3 Программная реализация системы управления роботом

3.3.1 Реализация алгоритмов управления роботом

3.3.1.1 Робот в воздушном режиме работы

3.3.1.2 Робот в наземном режиме работы

3.3.1.3 Сравнение наземного и воздушного режимов работы

3.3.2 Реализация предложенного алгоритма для адаптивного управления высотой робота

3.3.3 Реализация предложенного алгоритма для планирования пути движения робота

3.4 Выводы третьей главы

4 Комплекс программного обеспечения для проверки и анализа функционирования робота

4.1 Программа для управления роботом в операторном режиме работы

4.2 Программа для построения трехмерной карты окружающей среды

4.3 Программа для распознавания трехмерных объектов

4.4 Программа для планирования пути движения робота

4.5 Выводы четвертой главы

Заключение

Список литературы

Приложение А Результаты лабораторных экспериментов

Приложение Б Справка о внедрении результатов диссертации

Введение

Введение диссертации (часть автореферата) на тему «Алгоритмы и программное обеспечение системы управления и технического зрения диагностического мобильного робота на основе глубокого обучения и нейро-нечетких технологий»

Актуальность темы исследования

На поверхности Земли много регионов, в которых существуют опасные материалы и объекты, примером которых являются участки территории, загрязненные химическими или радиоактивными материалами в результате стихийных бедствий или человеческой ошибки, например, ядерная авария на атомной электростанции «Фукусима-дайити» в Японии в 2011 г. и Чернобыльская катастрофа в 1986 году. Кроме того, в результате вооруженных конфликтов на территории часто остаются взрывоопасные объекты, такие как снаряды и мины, которые представляют угрозу не только для жизни местных жителей, но и жизни экспертов, занимающихся задачами по обнаружению опасных объектов. Следовательно, возникла острая потребность в интеллектуальных автономных роботах, способных работать даже в сложных условиях для выполнения опасных задач [5, 23, 24], что, в свою очередь, сохраняет жизнь жителей, и ограничивает распространение опасных материалов на соседние территории.

Степень разработанности темы исследования

В начале 1970-х гг. стали появляться мобильные роботы, способные выполнять задачи по измерению и обработке данных, такие как Shakey the Robot (N.J. Nilsson), the Stanford Cart (H.P. Moravec) и др. [31], при этом предпринимались активные попытки для того, чтобы снабдить роботов системой технического зрения (СТЗ), которая позволяет получать, обрабатывать и анализировать визуальные данные для выполнения таких задач, как построение карты окружающей среды и распознавание объектов [96, 171, 172, 173]. Также предпринимались огромные усилия, чтобы сделать роботов способными работать автономно с помощью системы адаптивного управления, которая позволяет роботу перемещаться безопасно в неизвестных и динамических средах. Некоторые работы были предназначены для работы во внутренних средах, например [94, 115], а другие были предназначены для внешних сред, например [54, 68, 133, 143].

В начале 2000-х гг. появилось большое количество работ, посвященных разработке квадрокоптеров, благодаря их многочисленным преимуществам, таким как механическая простота, гибкость, способность зависать над определенным местом и маневрировать вблизи препятствий [51, 57, 66, 72, 84, 89, 91, 166, 182]. Кроме того, в течение последнего десятилетия наблюдается большая тенденция к развитию гексакоптеров, которые обеспечивают еще большую стабильность, точность и безопасность во время полета. В этой области стоит отметить исследования Т^. АЫе^е, который представил общую математическую модель, которую можно использовать для разработки мультикоптеров любого типа. Мультикоптеры уже используются в большом количестве приложений [38, 137], таких как проверка инфраструктуры, спасательные миссии, обнаружение опасных объектов и др.

В последние годы был разработан ряд роботов, способных работать как в воздухе, так и по поверхности земли, где основным компонентом таких роботов является мультикоптер. Тут следует отметить работу А. Ка1аП;ап, М. Spenko [88], в которой был спроектирован робот, состоящий из квадрокоптера, окруженного цилиндрической решеткой, которая обеспечивает защиту и позволяет роботу передвигаться по поверхности земли. Одним из основных недостатков данного робота является сложность изменения своего направления в наземном режиме работы. Также следует отметить работу Л.А. Торгашова, В.И. Гуцула, С.В. Романенко [21], в которой был разработан робот с использованием гексакоптера, где два из шести пропеллеров были установлены на горизонтальной оси окружающей решетки с возможностью их вращения на определенные углы вокруг этой оси, что позволяет роботу менять свое направление на месте. Среди наиболее важных работ в этой области также следует отметить работу В.И. Гуцула, В.И. Сырямкина, В.Н. Ильичева, Д.А. Угрюмова, М.В. Сырямкина [23], в которой был разработан робот-колесо, состоящий из гексакоптера, окруженного цилиндрической решеткой. Кроме того, робот имеет беспроводную связь с компьютеризированным рабочим местом, которое позволяет отправлять команды роботу, получать от него данные, анализировать и отображать их в режиме реального времени. Более того, робот

снабжен стереокамерой для получения 3D визуальных данных, что, в свою очередь, позволяет обнаруживать препятствия, распознавать объекты, и строить 3D-представление рабочей зоны. Робот также оснащен набором датчиков для обнаружения химического и радиоактивного загрязнения [5]. Данный робот в настоящее время находится в международной лаборатории Систем технического зрения НИ ТГУ, и имеется острая потребность в его программной разработке с точки зрения адаптивного управления и обработки визуальных данных. Разработка системы управления и системы технического зрения робота-колеса является основной темой исследования в данной диссертационной работе.

В последние годы был разработан набор эффективных технологий с высокой производительностью для обработки и анализа данных на основе искусственных нейронных сетей. Такие технологии можно использовать для разработки системы управления и СТЗ робота-колеса, наиболее важными из них являются:

1. Технология глубокого обучения, основанная в принципе на многослойных нейронных сетях, которые в последнее десятилетие показали очень высокую точность при распознавании изображений, и привели к решению более сложных задач, таких как распознавание 3D-объектов [13, 71, 113, 153]. Модели глубокого обучения уже используются во многих приложениях, включая компьютерное зрение, анализ медицинских изображений, распознавание речи и др. [132]. С 2015 года стало появляться большое количество моделей глубокого обучения, посвященных обработке данных, представленных с использованием облаков точек. Тут следует отметить работу D. Maturana, S. Scherer, которые представили модель VoxNet [113], а также работу R.Q. Charles, S. Hao, M. Kaichun, L.J. Guibas, в которой была представлена модель PointNet [140]. По сей день все еще появляется большое количество работ, посвященных разработке новых систем и моделей на основе технологии глубокого обучения [39, 116, 139].

2. Нейро-нечеткая технология, представляющая собой гибридную структуру, сочетающую в себе преимущества искусственных нейронных сетей и нечетких систем [13]. В этой области важно отметить исследования Л.А. Заде, который в 1965 году представил нечеткую логику [175, 178], представляющую собой многозначную

логику, где значения истинности могут быть любые вещественные числа в интервале [0, 1], что позволяет обрабатывать неоднозначные и неточные данные. Одним из наиболее важных результатов нечеткой логики и нечетких множеств являются системы нечеткого вывода (СНВ). В начале 1990-х годов стало появляться множество работ по автоматическому обучению СНВ с использованием алгоритмов обучения нейронных сетей в так называемых нейро-нечетких системах (ННС). В литературе представлено большое количество различных структур нейро-нечетких систем. Одной из наиболее широко используемых архитектур является ANFIS, представленная J.S. Jang. ННС уже используются в большом количестве приложений, таких как управление, распознавание объектов, принятие решений, робототехника и т.д. [41, 86, 104, 170]. ННС также используются на различных этапах обработки данных в СТЗ, например для уменьшения шума, обнаружения краев, кластеризации и классификации [13, 37, 53, 102, 97]. В течение последних шести лет в литературе наблюдается большой интерес к проблеме объединения глубоких нейронных сетей и нечетких систем в так называемые глубокие нейро-нечеткие системы, которые посвящены решению сложных задач по обработке данных высокой размерности [63].

Таким образом, из вышесказанного ясно, что существует острая необходимость в разработке интеллектуальных мобильных роботов, способных работать самостоятельно и выполнять опасные задачи. Для достижения этой цели робот должен быть оснащен передовой системой технического зрения, способной получать, обрабатывать и анализировать 3D визуальные данные. Робот также должен быть оснащен системой управления, способной воспользоваться результатами системы технического зрения, чтобы перемещать робота автономно и безопасно в окружающей среде. Поэтому было принято решение начать с того, чтобы разработать алгоритмы системы управления и системы технического зрения робота-колеса, а также разработать программное обеспечение, позволяющее практическую реализацию предложенных алгоритмов и методов, что позволяет роботу функционировать автономно и выполнять поставленные перед ним задачи.

Требования к разработке системы управления и системы технического зрения обсуждаются более подробно в главах представленной диссертационной работы.

Цель и задачи диссертационной работы

Целью данной работы является разработка алгоритмов системы управления и системы технического зрения диагностического мобильного робота-колеса, функционирующего автономно в наземном и в воздушном режимах в рабочей зоне и распознающего объекты. Для достижения цели работы были поставлены следующие задачи:

1) Провести обширный литературный обзор для оценки применения нейро-нечеткой технологии для синтеза системы управления и СТЗ.

2) Разработать алгоритмы СТЗ, включая алгоритмы распознавания объектов с использованием технологии глубокого обучения.

3) Синтезировать структурные и функциональные схемы диагностического робота.

4) Разработать общие алгоритмы управления и алгоритмы адаптивного управления диагностическим роботом.

5) Разработать программное обеспечение функционирования робота и СТЗ.

Научная новизна результатов

1) Предложен новый алгоритм для создания синтезированных выборок данных с целью оценки и анализа производительности моделей глубокого обучения и повышения их точности. Новые сгенерированные данные в отличие от общедоступных синтезированных данных характеризуются небольшим размером, необходимым для их хранения на жестком диске, и сходством с реальными данными, что позволяет прогнозировать и улучшать точность классификаторов в реальных приложениях. Кроме того, предложен алгоритм для удаления скрытых поверхностей с использованием сеток занятости, который позволяет генерировать синтезированные данные с большим количеством точек очень быстро по сравнению с существующими методами.

2) Предложен алгоритм для регистрации облаков точек и построения 3D-карты окружающей среды. Предложенный алгоритм устраняет один из недостатков

алгоритма ICP, заключающийся в сходимости к локальному минимуму, так как алгоритм обеспечивает первоначальную оценку оптимального решения задачи регистрации. Более того, по сравнению с методом фазовой корреляции (англ. Phase Correlation), предложенный алгоритм имеет меньшую вычислительную сложность и более высокую точность, поскольку использует вертикальные плоскости 3D-сцены для коррекции вращения вокруг вертикальной оси, что, в свою очередь, позволяет рассчитывать смещения по осям х и у отдельно. Кроме того, была предложена новая метрика на основе сеток занятости для оценки точности регистрации. Предложенная метрика характеризуется низкой сложностью, что ускоряет процесс регистрации, особенно когда количество точек очень большое.

3) Предложены алгоритмы управления диагностическим роботом в воздушном и наземном режимах работы, и представлены его структурные и функциональные схемы. Предложенные алгоритмы включают как внутренний, так и внешний контуры управления. Алгоритм управления роботом-колесом в наземном режиме работы отличается способностью управления углами поворота пропеллеров вокруг горизонтальной оси. Более того, предложено решение проблемы выбора наиболее подходящего режима работы на основе нейро-нечеткой технологии. Также проведено сравнение наземного и воздушного режимов работы на основе средней потребляемой энергии.

4) Предложен новый алгоритм, названный BeeNet, для планирования пути движения робота в режиме реального времени. Предложенный алгоритм сочетает в себе преимущества алгоритмов, основанных на дискретизации пространства, и алгоритмов, основанных на графах. Кроме того, проведено сравнение производительности предложенного алгоритма с алгоритмом RRT, который представляет собой один из лучших и наиболее широко используемых алгоритмов. Результаты показали, что предложенный алгоритм BeeNet значительно быстрее, чем RRT, и позволяет получать более короткие пути.

5) Предложен алгоритм для адаптивного управления роботом, позволяющий поддерживать высоту полета робота при изменении его массы, например, при сбрасывании маячков для разметки опасных участков территории. Алгоритм

основан на оценке значения коэффициента подъемной силы пропеллеров, что позволяет оценить значение угловой скорости пропеллеров, необходимой для зависания. Предложенный алгоритм отличается от существующих алгоритмов адаптивного управления способностью решать задачу управления высотой полета с помощью ПИД-регулятора, который характеризуется простотой и легкостью настройки его параметров, в то время как существующие методы требуют больших вычислительных ресурсов и сложных процессов настройки.

6) Разработан комплекс ПО для моделирования работы диагностического робота, проверки совместной работы системы управления с системой технического зрения, и тестирования предложенных алгоритмов в режиме реального времени. Комплекс ПО сочетает в себе преимущества МайаЬ и CoppeliaSim, для этого разработан интерфейс между ними путем добавления новых функций для контроля рабочей зоны и состояния робота, а также для получения данных. В состав комплекса входят следующие программы: программа сбора 3D облаков точек объектов и построения набора данных, программа сбора эталонных изображений рабочей зоны, программа построения 3D-карты рабочей зоны, программа распознавания 3D-объекты и программа планирования пути движения робота.

Основные положения, выносимые на защиту

1) Алгоритм создания новых синтезированных выборок данных для оценки и повышения точности классификаторов глубокого обучения, отличающийся от аналогов тем, что сгенерированные данных похожие на реальные данные, что позволяет прогнозировать и повышать точность классификаторов в реальных приложениях. Сгенерированные данные позволили повысить точность классификации на 1 - 5,5 % при тестировании на общедоступных синтезированных наборах данных, и на 20 - 40 % при тестировании на реальных данных.

2) Алгоритм регистрации 3D-облаков точек и построения 3D-карты окружающей среды, содержащий блок обнаружения плоскостей в 3D-сцене, блок вычисления гистограмм распределения точек, и блок вычисления корреляционной функции результирующих гистограмм. Алгоритм решил проблему сходимости к

локальному минимуму широко используемого алгоритма 1СР и повысил его точность в 6,7 - 62,5 раза.

3) Алгоритм BeeNet для планирования пути движения робота, содержащий блок построения дерева случайным образом между начальным и целевым состояниями, и блок создания пути из построенного дерева; отличающийся от аналогов тем, что использует шестиугольную сетку для выборки пространства, и присваивает приоритеты возможным переходам в зависимости от направления целевой точки относительно текущей точки. Алгоритм характеризуется высокой скоростью и высоким качеством получаемых путей, его скорость больше в 3 - 5 раз, чем скорость алгоритма RRT, а длина результирующего пути на 20 % меньше.

4) Комплекс ПО для моделирования функционирования робота и тестирования предложенных алгоритмов, содержащий программу управления роботом в операторном режиме работы, программу построения 3D-карты окружающей среды, программу распознавания 3D-объектов, и программу планирования пути движения робота. ПО характеризуется способностью отправки команд роботу, получения данных о его состоянии, получения стереоизображений, выполнения всей необходимой обработки, и отображения результатов в режиме реального времени.

Методы исследования

Для решения поставленных задач использованы методы оптимизации, методы моделирования, теория вероятностей и случайных процессов, методы статистического анализа, методы глубокого обучения, теория нечетких множеств и систем, теоремы 3D-геометрии, методы представления 3D-данных, методы поиска в пространстве состояний и методы математического моделирования.

Теоретическая и практическая значимость работы

1) Исследование, проведенное для получения математической модели робота-колеса, и математические формулы, представленные в рамках предложенных алгоритмов управления, расширяют существующие представления о системе управления гексакоптерами, роботом-колесом и подобными роботами.

2) Результаты предложенного алгоритма для удаления скрытых поверхностей на основе сеток занятости могут быть использованы в большом количестве приложений, таких как компьютерная графика и игры, благодаря своей высокой скорости.

3) Новые наборы данных, сгенерированные в диссертационной работе, могут быть использованы для оценки производительности общедоступных моделей глубокого обучения по распознаванию трехмерных объектов, что позволяет ранжировать эти модели и определять лучшие из них.

4) Результаты предложенного алгоритма адаптивного управления высотой полета робота могут быть применены к мультикоптерам любого типа и в различных приложениях, таких как доставка товаров и военные приложения.

5) Разработанный комплекс программного обеспечения может быт использован для проектирования и тестирования мобильных и промышленных роботов любого типа в режиме реального времени.

6) Результаты исследования внедрены в научно-исследовательские и инновационные проекты международной лаборатории «Системы технического зрения» научного управления НИ ТГУ (приложение Б).

Достоверность полученных результатов

Достоверность полученных результатов подтверждается принятием математического доказательства для получения представленных уравнений, правильным использованием рассмотренных методов исследования, анализом полученных результатов и сравнением их с результатами существующих методов.

Личный вклад автора

Общая концепция исследования принадлежит научному руководителю В. И. Сырямкину, а разработка алгоритмов и методик, разработка программного обеспечения, создание компьютерной модели робота, получение результатов и их анализ являются личным вкладом автора. В совместных публикациях профессору В. И. Сырямкину принадлежат постановка задач и указание основных направлений исследования, а работы, связанные с подготовкой текстов публикации, написанием

программ, получением и анализом результатов принадлежат автору диссертации, за исключением последних шести работ в списке публикаций.

Соответствие паспорту специальности

Содержание диссертации соответствует специальности 2.3.5. Математическое и программное обеспечение вычислительных систем, комплексов и компьютерных сетей (технические науки) по направлению исследований «Модели, методы и алгоритмы проектирования, анализа, трансформации, верификации и тестирования программ и программных систем» (п. 1 паспорта специальности), «Модели, методы, архитектуры, алгоритмы, языки и программные инструменты организации взаимодействия программ и программных систем» (п. 3 паспорта специальности), «Модели, методы, архитектуры, алгоритмы и программные средства человеко-машинных интерфейсов, компьютерной графики, визуализации, обработки изображений» (п. 7 паспорта специальности).

Апробация результатов диссертации

Основные результаты работы и отдельные ее вопросы докладывались и обсуждались на следующих международных научных конференциях:

IX Международная конференция школьников, студентов, аспирантов, молодых ученых «Ресурсоэффективные системы в управлении и контроле: взгляд в будущее» (11-13 ноября 2020 г.) г. Томск.

XVII Международная школа-конференция студентов, аспирантов и молодых ученых «ИННОВАТИКА-2021» (22-23 апреля 2021 г.) г. Томск.

X Международная конференция школьников, студентов, аспирантов, молодых ученых «Ресурсоэффективные системы в управлении и контроле: взгляд в будущее» (09-11 ноября 2021 г.) г. Томск.

IV Международный форум «Интеллектуальные системы 4-й промышленной революции» (15-16 декабря 2021 года) г. Томск.

XVIII Международная школа-конференция студентов, аспирантов и молодых ученых «ИННОВАТИКА-2022» (21-22 апреля 2022 г.) г. Томск.

V Международный форум «Интеллектуальные системы 4-й промышленной революции» (24-25 ноября 2022 г.) г. Томск.

XIX Международная школа-конференции студентов, аспирантов и молодых ученых «ИННОВАТИКА-2023» (21-22 апреля 2023 г.) г. Томск.

Публикации

По теме диссертации опубликовано 24 работы, в том числе 2 статьи в журналах, входящих в Перечень рецензируемых научных изданий, в которых должны быть опубликованы основные научные результаты диссертаций на соискание ученой степени кандидата наук, на соискание ученой степени доктора наук (из них 1 статья в зарубежном научном журнале, входящем в Web of Science), 1 статья в сборнике материалов конференций, представленном в зарубежном издании, входящем в Scopus, 1 статья в прочем научном журнале, 18 статей в сборниках материалов международных научных конференций, форумов; получено 2 свидетельства о государственной регистрации программ для ЭВМ.

Структура и объем диссертации

Диссертация состоит из введения, четырех глав, заключения, списка литературы и двух приложений. Общий объем диссертации составляет 161 страниц; иллюстративный материал представлен 70 рисунками и 9 таблицами; список литературы содержит 182 наименований.

Благодарности

Автор выражает глубокую признательность научному руководителю доктору технических наук, профессору Владимиру Ивановичу Сырямкину за помощь и поддержку на всех этапах работы. Автор также искренне благодарит инженера Семена Александровича Клестова за большую поддержку и техническую помощь.

1 Состояние изученности и постановка проблемы исследований

В данной главе представляется всесторонний литературный обзор по различным темам, которые исследуются в данной работе для достижения поставленной цели. Обзор включает четыре основные темы: системы технического зрения, нейро-нечеткие системы, классификация и системы управления мультикоптерами. Затем представляется общая оценка существующих методов.

1.1 Литературный обзор системы технического зрения роботов

Зрительная система относится к системе, отвечающей за визуальное восприятие человека или других живых организмов, она считается эталоном для проектирования искусственных систем зрения, где используется компьютер для имитации ее функций, включая способность учиться, делать выводы и предпринимать действия на основе визуального ввода. Компьютерное зрение представляет собой науку о восприятии и понимании окружающего мира с помощью изображений и видео, так что создается модель мира, которая позволяет системе искусственного интеллекта (ИИ) выполнять соответствующие действия [71, 80].

В случае, когда система компьютерного зрения рассматривается как основная часть системы управления интеллектуальной машиной, такой как роботы, то она называется системой технического зрения (СТЗ), которая включает в себя две взаимодействующие части, одна для визуального восприятия и другая для управления [1]. Выходом СТЗ является не только информация об объектах в 3D-сцене, но и может быть решение об успешности или неудаче того или иного процесса, которое, в свою очередь, может быть преобразовано в управляющие сигналы. Итак, в СТЗ применяется теория управления, и особое внимание уделяется ее реализации в режиме реального времени. Кроме того, в СТЗ можно модифицировать условия окружающей среды, такие как освещение. Следовательно, СТЗ позволяет развивать адаптивное управление роботом и повышать его способность выполнять поставленные задачи [1, 9, 17]. Системы технического

зрения используются во многих областях, таких как промышленность, научные исследования, медицинские диагностические системы, службы безопасности, разведка в космосе или под водой и т.д. [33, 69].

История роботов с СТЗ восходит к началу 1970-х годов, когда был разработан проект «Shakey the Robot», который является первым универсальным мобильным роботом, и был оснащен телекамерой и мог снимать изображения, обрабатывать их и распознавать некоторые объекты в рабочей зоне. В то же время был разработан проект промышленного робота «Freddy the Robot» [31], который был оснащен видеокамерой и тоже мог распознавать некоторые объекты в рабочей зоне.

Начиная со второй половины 1980-х годов стало появляться большое количество работ, посвященных проектированию СТЗ для выполнения различных задач. Некоторые работы были связаны с проектированием СТЗ для внешних сред, например [171, 172], а другие работы, были посвящены внутренним средам, т.е. внутри зданий [96, 173]. В 1990-е годы можно выделить две основные тенденции развития СТЗ мобильных роботов, первая из которых связана с навигацией во внутренних средах, например FINALE [94], и NEURO-NAV [115]. А вторая тенденция связана с навигацией во внешних средах, начиная с Navlab 1 до Navlab 10 [68], в дополнение к другим системам, таким как RALPH [143], AURORA [54] и др.

С начала 2000-х годов наблюдается тенденция в программно-аппаратном проектировании встраиваемых СТЗ, которые работают в режиме реального времени и характеризуются малыми размерами, низким энергопотреблением, низкой ценой и высокой производительностью. Такие встроенные СТЗ можно использовать на борту даже в небольших мобильных роботах [49, 93].

Список литературы диссертационного исследования кандидат наук Мсаллам Майди, 2024 год

Список литературы

1. Адаптивные системы технического зрения: монография / В. И. Сырямкин [и др.]. - 2-е изд., доп. - М. : РУСАЙНС, 2019. - 448 с.

2. Гетьман А. И. Обзор методов классификации сетевого трафика с использованием машинного обучения / А. И. Гетьман, М. К. Иконникова // Труды Института системного программирования РАН. - 2020. - Т. 32, № 6. - С. 137-154. -DOI 10.15514/ISPRAS-2020-32(6)-11.

3. Гонахчян В. И. Алгоритм удаления невидимых поверхностей на основе программных проверок видимости // Труды Института системного программирования РАН. - 2018. - Т. 30, № 2. - С. 81-98. - DOI 10.15514/ISPRAS-2018-30(2)-5.

4. Гудфеллоу Я. Глубокое обучение / Я. Гудфеллоу, И. Бенджио, А. Курвилль. - 2-е изд., испр. - М. : ДМК, 2018. - 652 с. - ISBN 978-5-97060-618-6.

5. Информационно-измерительные системы с адаптивными преобразованиями. Управление гибкостью функционирования / В. И. Сырямкин [и др.]. - М. : Директ-Медиа, 2022. - 448 с.

6. Карпенко А. П. Современные алгоритмы поисковой оптимизации. Алгоритмы, вдохновленные природой / А. П. Карпенко. - Москва : Московский государственный технический университет имени Н.Э. Баумана (национальный исследовательский университет), 2014. - 448 с. - ISBN 978-5-7038-3949-2.

7. Кашницкий Ю. С. Ансамблевый метод машинного обучения, основанный на рекомендации классификаторов / Ю. С. Кашницкий, Д. И. Игнатов // Интеллектуальные системы. Теория и приложения. - 2015. - Т. 19, № 4. - С. 37-55.

8. Лемешко Б. Ю. Методы оптимизации : конспект лекций / Б. Ю. Лемешко, Б. Ю. Лемешко ; М-во образования и науки Российской Федерации, Новосибирский гос. технический ун-т, Фак. прикладной математики и информатики. - Новосибирск : НГТУ, 2009. - ISBN 978-5-7782-1202-2.

9. Математические методы информатики в задачах и примерах. опыт применения в проектировании сложных систем: учебное пособие / О. А. Авдеюк [и

др.] ; под ред.: Ю. П. Мухи, В. И. Сырямкина. - Томск : Изд-во Том. ун-та, 2012. -484 с.

10. Мсаллам М. Методика регистрации 3Д облаков точек с использованием коррекции плоскостей и корреляции гистограмм / М. Мсаллам, В. И. Сырямкин // Прикаспийский журнал: управление и высокие технологии. - 2023. - № 1 (61). - С. 73-89.

11. Мсаллам М. Повышение производительности классификации трехмерных облаков точек за счет увеличения данных / М. Мсаллам, В. И. Сырямкин // Интеллектуальные системы 4-й промышленной революции : сборник материалов V Международного форума. Томск, 24-25 ноября 2022. - Томск, 2023. - С. 70-72.

12. Мсаллам М. Система технического зрения интеллектуального робота для мониторинга и разметки опасных территорий / М. Мсаллам, В. И. Сырямкин // Телекоммуникации. - 2022. - № 8. - С. 28-33.

13. Нейро-нечеткие методы в интеллектуальных системах обработки и анализа многомерной информации / Т. В. Абрамова [и др.]. - Томск : Из-во Том. ун-та, 2014. - 442 с.

14. Рябинин К. В. Вычислительная геометрия и алгоритмы компьютерной графики. Работа с 3D-графикой средствами OpenGL : Учебное пособие для студентов, обучающихся по направлению подготовки бакалавров «Прикладная математика и информатика» / К. В. Рябинин ; Пермский государственный национальный исследовательский университет. - Пермь : Пермский государственный национальный исследовательский университет, 2017. - 100 с. -ISBN 978-5-7944-2722-6.

15. Селянкин В. В. Анализ и обработка изображений в задачах компьютерного зрения : Учебное пособие для магистрантов, аспирантов и специалистов в области обработки и распознавания изображений, компьютерного зрения / В. В. Селянкин, С. В. Скороход ; Южный федеральный университет. - Таганрог : Южный федеральный университет, 2015. - 82 с.

16. Сырямкин В. И. Корреляционно-экстремальные радионавигационные системы / В. И. Сырямкин, В. С. Шидловский. - Томск : Из-во Том. ун-та, 2010. -316 с.

17. Сырямкин В. И. Информационные устройства и системы в робототехнике и мехатронике: учеб. пособие / В. И. Сырямкин. - Томск : Из-во Том. ун-та, 2016. -524 с.

18. Сырямкин В. И. «Цифровой двойник» - интеллектуальный робот / В. И. Сырямкин, Н. А. Уваров, В. А. Гуцал, М. Мсаллам // Инноватика-2021 : сборник материалов XVII Международной школы-конференции студентов, аспирантов и молодых ученых. Томск, 22-23 апреля 2021. - Томск, 2021. - С. 90-92.

19. Сырямкин В. И. Цифровые двойники ландшафта территорий / В. И. Сырямкин, С. А. Клестов, М. Мсаллам, П. Э. Маргиев // Инноватика-2022 : сборник материалов XVIII Международной школы-конференции студентов, аспирантов и молодых ученых. Томск, 21-22 апреля 2022. - Томск, 2022. - С. 195-197.

20. Сырямкин В. И. Интеллектуальные системы технического зрения на основе цифровых двойников / В. И. Сырямкин, С. А. Клестов, Н. А. Уваров, М. М. Сырямкин, М. Мсаллам, В. А. Гуцал // Инноватика-2022 : сборник материалов XVIII Международной школы-конференции студентов, аспирантов и молодых ученых. Томск, 21-22 апреля 2022. - Томск, 2022. - С. 198-200.

21. Торгашов Л. А. Разработка и создание робототехнической платформы повышенной проходимости, как элемент обеспечения ликвидации чрезвычайных ситуаций / Л. А. Торгашов, В. И. Гуцул, С. В. Романенко // Векторы благополучия: экономика и социум. - 2013. - Т. 4, № 10. - С. 104-108.

22. Ульянов С. В. Разработка системы стереозрения для мобильного робота / С. В. Ульянов, А. Г. Решетников, К. В. Кошелев // Программные продукты и системы. - 2017. - № 3. - С. 435-438.

23. Патент № 2661295. Российская Федерация, МПК: B25J 5/00 (2006.01). Устройство для определения и разметки участков территории с химическим и радиоактивным заражением / В. И. Гуцул [и др.] ; патентообладатель НИ ТГУ. - № 2017127974 : заявл. 04.08.2017 : опубл. 13.07.2018, Бюл. № 20. - 23 с.

24. Патент № 2707644. Российская Федерация, МПК: B25J 5/00, B25J 19/00, F17D 5/00 (2006.01). Трубопроводный диагностический робот / В. И. Сырямкин [и др.] ; патентообладатель НИ ТГУ. - № 2018129047 : заявл. 07.08.2018 : опубл. 28.11.2019, Бюл. № 34. - 22 с.

25. Свидетельство о регистрации программы для ЭВМ № 2023617193. Создание нового синтетического набора данных для распознавания 3D-объектов / Мсаллам М. (RU), Сырямкин В. И. (RU), Клестов С. А. (RU); правообладатель: Клестов С. А. (RU), Мсаллам М. (RU), Сырямкин В. И. (RU). - Заявка № 2023611035; дата поступления - 16.01.2023; дата государственной регистрации в Реестре программ для ЭВМ - 06.04.2023.

26. Свидетельство о регистрации программы для ЭВМ № 2023617210. Применение нейро-нечеткой технологии для повышения производительности распознавания объектов за счет объединения нескольких классификаторов / Мсаллам М. (RU), Сырямкин В. И. (RU), Клестов С. А. (RU); правообладатель: Клестов С. А. (RU), Мсаллам М. (RU), Сырямкин В. И. (RU). - Заявка № 2023610733; дата поступления - 16.01.2023; дата государственной регистрации в Реестре программ для ЭВМ - 06.04.2023.

27. A generalized deep learning approach for local structure identification in molecular simulations / R. S. DeFever [et al.] // Chemical Science. - 2019. - Vol. 10, № 32. - P. 7503-7515.

28. A large-scale hierarchical multi-view RGB-D object dataset / K. Lai [et al.] // 2011 IEEE International Conference on Robotics and Automation, Shanghai, 9-13 May 2011. - 2011. - P. 1817-1824.

29. A prototype of an autonomous controller for a quadrotor UAV / I. D. Cowling [et al.] // 2007 European Control Conference (ECC), Kos, 2-5 July 2007. - 2007. - P. 4001-4008.

30. A survey of path planning algorithms for mobile robots / K. Karur [et al.] // Vehicles. - 2021. - Vol. 3, № 3. - P. 448-468.

31. A versatile computer-controlled assembly system / A. P. Ambler [et al.] // IJCAI-73: Proceedings of the 3rd International Joint Conference on Artificial Intelligence, Stanford, CA, August 1973. - Stanford, 1973. - P. 298-307.

32. AA-ICP: Iterative closest point with Anderson acceleration / A. L. Pavlov [et al.] // 2018 IEEE International Conference on Robotics and Automation (ICRA), Brisbane, QLD, 21-25 May 2018. - 2018. - P. 3407-3412.

33. Adaptive medical diagnostic systems / A. Sh. Bureev [et al.]. - Sofia : Prof. Marin Drinov Publishing House of Bulgarian Academy of Sciences, 2016. - 258 p.

34. (AF)2-S3Net: Attentive feature fusion with adaptive feature selection for sparse semantic segmentation network / R. Cheng [et al.] // Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Nashville, TN, 20-25 June 2021. - 2021. - P. 12547-12556.

35. Alderete T. S. Simulator aero model implementation / T. S. Alderete ; NASA Ames Research Center, Moffett Field, California. - 1995. - 21 p.

36. Ali F. Fuzzy Gaussian classifier for combining multiple learners / F. Ali, N. El Gayar, S. El Ola // 2010 The 7th International Conference on Informatics and Systems (INFOS), Cairo, 28-30 March 2010. - 2010. - P. 1-6.

37. An improved Sobel edge detection method based on generalized type-2 fuzzy logic / C. I. Gonzalez [et al.] // Soft Computing - 2016. - Vol. 20, № 2. - P. 773-784.

38. Artale V. Mathematical modeling of hexacopter / V. Artale, C. L. R. Milazzo, A. Ricciardello // Applied Mathematical Sciences. - 2013. - Vol. 7, № 97. - P. 4805-4811.

39. Ben-Shabat Y. 3DmFV: Three-dimensional point cloud classification in realtime using convolutional neural networks / Y. Ben-Shabat, M. Lindenbaum, A. Fischer // IEEE Robotics and Automation Letters. - 2018. - Vol. 3, № 4. - P. 3145-3152.

40. Benchmarking robustness of 3d point cloud recognition against common corruptions / J. Sun [et al.] // arXiv preprint arXiv:2201.12296 / Cornel University. -Ithaca, 2022. - 23 p. - URL: https://arxiv.org/abs/2201.12296 (access date: 12.05.2023).

41. Berenji H. R. Learning and tuning fuzzy logic controllers through reinforcements / H. R. Berenji, P. Khedkar // IEEE Transactions on Neural Networks. - 1992. - Vol. 3, № 5. - P. 724-740.

42. Besl P. J. A method for registration of 3-D shapes / P. J. Besl, N. D. McKay // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1992. - Vol. 14, №. 2. - P. 239-256.

43. Biber P. The normal distributions transform: A new approach to laser scan matching / P. Biber, W. Straßer // Proceedings 2003 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2003)(Cat. No. 03CH37453), Las Vegas, NV, 27-31 Oct. 2003. - 2003. - Vol. 3. - P. 2743-2748.

44. Bishop C. M. Pattern recognition and machine learning / C. M. Bishop, N. M. Nasrabadi. - New York : Springer, 2006. - 738 p.

45. Blej M. Comparison of Mamdani-type and Sugeno-type fuzzy inference systems for fuzzy real time scheduling / M. Blej, M. Azizi // International Journal of Applied Engineering Research. - 2016. - Vol. 11, № 22. - P. 11071-11075.

46. Boosting 3D object detection via object-focused image fusion / H. Yang [et al.] // arXiv preprint arXiv:2207.10589 / Peking University. - Beijing, 2022. - 20 p. - URL https://arxiv.org/abs/2207.10589 (access date: 12.05.2023).

47. Bouabdallah S. Design and control of quadrotors with application to autonomous flying: PhD thesis / S. Bouabdallah ; Faculty of Engineering Sciences and Techniques, Swiss Federal Institute of Technology Lausanne. - Lausanne, 2007. - 155 p.

48. Bradski G. Learning OpenCV: Computer vision with the OpenCV library / G. Bradski, A. Kaehler. - California : O'Reilly Media, 2008. - 555 p.

49. Bruce J. Fast and inexpensive color image segmentation for interactive robots / J. Bruce, T. Balch, M. Veloso // Proceedings. 2000 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2000)(Cat. No. 00CH37113), Takamatsu, Oct. 2000. - 2000. - Vol. 3. - P. 2061-2066.

50. Cao N. Inner-outer loop control for quadrotor UAVs with input and state constraints / N. Cao, A. F. Lynch // IEEE Transactions on Control Systems Technology. -2016. - Vol. 24, № 5. - P. 1797-1804.

51. Castillo P. Real-time stabilization and tracking of a four-rotor mini rotorcraft / P. Castillo, A. Dzul, R. Lozano // IEEE Transactions on Control Systems Technology. -2004. - Vol. 12, № 4. - P. 510-516.

52. Census Income [Electronic resource] // The UCI Machine Learning Repository.

- URL https://archive.ics.uci.edu/ml/datasets/census+income (date of access: 25.03.2022).

53. Cetisli B. Development of an adaptive neuro-fuzzy classifier using linguistic hedges: Part 1 // Expert Systems with Applications. - 2010. - Vol. 37, № 8. - P. 60936101.

54. Chen M. AURORA: A vision-based roadway departure warning system / M. Chen, T. Jochem, D. Pomerleau // Proceedings 1995 IEEE/RSJ International Conference on Intelligent Robots and Systems. Human Robot Interaction and Cooperative Robots, Pittsburgh, 05-09 August 1995. - 1995. -Vol. 1. - P. 243-248.

55. Chen Y. Object modeling by registration of multiple range images / Y. Chen, G. Medioni // 1991 IEEE International Conference on Robotics and Automation, Sacramento, CA, 9-11 April 1991. - 1991. - Vol. 3. - P. 2724-2729.

56. Choy C. Deep global registration / C. Choy, W. Dong, V. Koltun // Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, WA, 13-19 June 2020. - 2020. - P. 2514-2523.

57. Coal mine rescue robots based on binocular vision: a review of the state of the art / G. Zhai [et al.] // IEEE Access. - 2020. - Vol. 8. - P. 130561-130575. - URL: https://ieeexplore.ieee.org/document/9141234 (access date: 15.03.2022).

58. Cococcioni M. A TSK fuzzy model for combining outputs of multiple classifiers / M. Cococcioni, B. Lazzerini, F. Marcelloni // IEEE Annual Meeting of the Fuzzy Information, 2004. Processing NAFIPS'04, Banff, AB, 27-30 June 2004. - 2004. - Vol. 2.

- P. 871-876.

59. Cohen-Or D. A survey of visibility for walkthrough applications / D. Cohen-Or [et al.] // IEEE Transactions on Visualization and Computer Graphics. - 2003. - Vol. 9, № 3. - P. 412-431.

60. CT-ICP: Real-time elastic LiDAR odometry with loop closure / P. Dellenbach [et al.] // 2022 International Conference on Robotics and Automation (ICRA), Philadelphia, 23-27 May 2022. - 2022. - P. 5580-5586.

61. Deep learning for 3D point clouds: A survey / Y. Guo [et al.] // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2020. - Vol. 43, № 12. - P. 4338-4364.

62. Deep learning on point clouds and its application: A survey / W. Liu [et al.] // Sensors. - 2019. - Vol. 19, № 19. - URL: https://www.mdpi.com/1424-8220/19/19/4188 (access date: 25.03.2022).

63. Deep neuro-fuzzy system application trends, challenges, and future perspectives: A systematic survey / N. Talpur [et al.] // Artificial Intelligence Review. - 2023. - Vol. 56, № 2. - P. 865-913.

64. Deep projective 3D semantic segmentation / F. J. Lawin [et al.] // CAIP2017: 17th International Conference Computer Analysis of Images and Patterns, Ystad, 22-24 Aug. 2017. - 2017. - P. 95-107.

65. Deng L. Deep learning: methods and applications / L. Deng, D. Yu // Foundations and Trends in Signal Processing. - 2014. - Vol. 7, № 3-4. - P. 197-387.

66. Design of a four-rotor aerial robot / P. Pounds [et al.] // The Australian Conference on Robotics and Automation (ACRA 2002), Auckland, May 2002. - 2002. - P. 145-150.

67. Design of a robotic vision system / A. Biason [et al.] // AMST'05 Advanced Manufacturing Systems and Technology: Proceedings of the Seventh International Conference. - Vienna, 2005. - P. 257-265.

68. DeSouza G. N. Vision for mobile robot navigation: A survey / G. N. DeSouza, A. C. Kak // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2002. -Vol. 24, № 2. - P. 237-267.

69. Digital processing of aerospace images / S. V. Gorbachev [et al.]. - 1st ed. -London : Red Square Scientific, 2018. - 244 p.

70. Dijkstra E. A note on two problems in connexion with graphs // Numerische Mathematik. - 1959. - Vol. 1. - P. 269-271. - URL: https://link.springer.com/article/ 10.1007/BF01386390 (access date: 12.05.2023).

71. Elgendy M. Deep learning for vision systems / M. Elgendy. - Manning Publications, 2020. - 480 p.

72. Engel J. Scale-aware navigation of a low-cost quadrocopter with a monocular camera / J. Engel, J. Sturm, D. Cremers // Robotics and Autonomous Systems. - 2014. -Vol. 62, № 11. - P. 1646-1656.

73. Evaluation of the Azure Kinect and its comparison to Kinect v1 and Kinect v2 / M. Tolgyessy [et al.] // Sensors. - 2021. - Vol. 21, № 2. - URL: https://www.mdpi.com/ 1424-8220/21/2/413 (access date: 25.03.2022).

74. Farley A. How to pick a mobile robot simulator: A quantitative comparison of CoppeliaSim, Gazebo, MORSE and Webots with a focus on accuracy of motion / A. Farley, J. Wang, J. A. Marshall // Simulation Modelling Practice and Theory. - 2022. -Vol. 120. - URL: https://www.sciencedirect.com/science/article/abs/pii/S1569190X220 01046?via%3Dihub (access date: 25.03.2022)..

75. Fauvel M. Decision fusion for the classification of urban remote sensing images / M. Fauvel, J. Chanussot, J. A. Benediktsson // IEEE Transactions on Geoscience and Remote Sensing. - 2006. - Vol. 44, № 10. - P. 2828-2838.

76. Fischler M. A. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography / M. A. Fischler, R. C. Bolles // Communications of the ACM. - 1981. - Vol. 24, № 6. - P. 381-395.

77. Fisher R. A. The use of multiple measurements in taxonomic problems // Annals of Eugenics. - 1936. - Vol. 7, № 2. - P. 179-188.

78. Fogelberg J. Navigation and autonomous control of a hexacopter in indoor environments : master's thesis / J. Fogelberg ; Department of Automatic Control, Lund University. - Lund, 2013. - 81 p.

79. Go-ICP: A globally optimal solution to 3D ICP point-set registration / J. Yang [et al.] // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2015. - Vol. 38, № 11. - P. 2241-2254.

80. Gonzalez R. C. Digital Image Processing / R. C. Gonzalez, R. E. Woods. - New Jersey : Prentice Hall, 2002. - 793 p.

81. Graham B. 3D semantic segmentation with submanifold sparse convolutional networks / B. Graham, M. Engelcke, L. Van Der Maaten // 2018 IEEE/CVF Conference on

Computer Vision and Pattern Recognition, Salt Lake City, UT, 18-23 June 2018. - 2018. -P. 9224-9232.

82. Hart P. E. A formal basis for the heuristic determination of minimum cost paths / P. E. Hart, N. J. Nilsson, B. Raphael // IEEE Transactions on Systems Science and Cybernetics. - 1968. - Vol. 4, № 2. - P. 100-107.

83. Ibrahim N. S. A. Review on path planning algorithm for unmanned aerial vehicles / N. S. A. Ibrahim, F. A. Saparudin // Indonesian Journal of Electrical Engineering and Computer Science. - 2021. - Vol. 24, № 2. - P. 1017-1026.

84. Idrissi M. A review of quadrotor unmanned aerial vehicles: applications, architectural design and control algorithms / M. Idrissi, M. Salami, F. Annaz // Journal of Intelligent & Robotic Systems. - 2022. - Vol. 104, № 2. - P. 1-33.

85. Jaillet L. Transition-based RRT for path planning in continuous cost spaces / L. Jaillet, J. Cortés, T. Siméon // 2008 IEEE/RSJ International Conference on Intelligent Robots and Systems, Nice, 22-26 Sep. 2008. - 2008. - P. 2145-2150.

86. Jang J. S. ANFIS: adaptive-network-based fuzzy inference system // IEEE Transactions on Systems, Man, and Cybernetics. - 1993. - Vol. 23, № 3. - P. 665-685.

87. Jaritz M. Multi-view PointNet for 3D scene understanding / M. Jaritz, J. Gu, H. Su // 2019 IEEE/CVF International Conference on Computer Vision Workshops, Seoul, 27-28 Oct. 2019. - 2019. - P. 3995-4003.

88. Kalantari A. Design and experimental validation of HyTAQ, a hybrid terrestrial and aerial quadrotor / A. Kalantari, M. Spenko // 2013 IEEE International Conference on Robotics and Automation, Karlsruhe, 6-10 May 2013. - Karlsruhe, 2013. - P. 4445-4450.

89. Kanellakis C. Survey on computer vision for UAVs: Current developments and trends / C. Kanellakis, G. Nikolakopoulos // Journal of Intelligent & Robotic Systems. -2017. - Vol. 87, № 1. - P. 141-168.

90. Karaman S. Sampling-based algorithms for optimal motion planning / S. Karaman, E. Frazzoli // The International Journal of Robotics Research. - 2011. - Vol. 30, № 7. - P. 846-894.

91. Kendoul F. Survey of advances in guidance, navigation, and control of unmanned rotorcraft systems // Journal of Field Robotics. - 2012. - Vol. 29, № 2. - P. 315-378.

92. Kim S. Mesh clustering and reordering based on normal locality for efficient rendering / S. Kim, C. H. Lee // Symmetry. - 2022. - Vol. 14, № 3. - URL: https://www.mdpi.com/2073-8994/14/3Z466 (access date: 25.03.2023).

93. Konolige K. Small vision systems: Hardware and implementation // Robotics Research: the 8th International Symposium. - New York, 1998. - Vol. 8. - P. 203-212.

94. Kosaka A. Fast vision-guided mobile robot navigation using model-based reasoning and prediction of uncertainties / A. Kosaka, A. C. Kak // CVGIP: Image Understanding. - 1992. - Vol. 56, № 3. - P. 271-329.

95. KPConv: Flexible and deformable convolution for point clouds / H. Thomas [et al.] // 2019 IEEE/CVF International Conference on Computer Vision Workshops, Seoul, 27-28 Oct. 2019. - 2019. - P. 6411-6420.

96. Kriegman D. J. Stereo vision and navigation in buildings for mobile robots / D. J. Kriegman, E. Triendl, T. O. Binford // IEEE Transactions on Robotics and Automation. - 1989. - Vol. 5, № 6. - P. 792-803.

97. Krishnapuram R. A possibilistic approach to clustering / R. Krishnapuram, J. M. Keller // IEEE Transactions on Fuzzy Systems. - 1993. - Vol. 1, № 2. - P. 98-110.

98. Kuffner J. J. RRT-connect: An efficient approach to single-query path planning / J. J. Kuffner, S. M. LaValle // Proc. 2000 ICRA. Millennium Conference. IEEE International Conference on Robotics and Automation. Symposia Proceedings (Cat. No. 00CH37065), San Francisco, CA, 24-28 April 2000. - 2000. - Vol. 2. - P. 995-1001.

99. Kuncheva L. Combining pattern classifiers: methods and algorithms / L. Kuncheva. - 2nd ed. - New Jersey : John Wiley & Sons, 2014. - 384 p.

100. Kuncheva L. On combining multiple classifiers by fuzzy templates / L. Kuncheva, J. C. Bezdek, M. A. Sutton // 1998 Conference of the North American Fuzzy Information Processing Society-NAFIPS (Cat. No. 98TH8353), Pensacola Beach, FL, 2021 August 1998. - 1998. - P. 193-197.

101. LaValle S. M. Rapidly-exploring random trees: Progress and prospects / S. M. LaValle, J. J. Kuffner // Algorithmic and Computational Robotics: New Directions 2000 WAFR. - N. Y., 2001. - P. 303-307.

102. Lee C. S. Weighted fuzzy mean filters for image processing / C. S. Lee, Y. H. Kuo, P. T. Yu // Fuzzy Sets and systems. - 1997. - Vol. 89, № 2. - P. 157-180.

103. Liao Y. KITTI-360: A novel dataset and benchmarks for urban scene understanding in 2D and 3D / Y. Liao, J. Xie, A. Geiger // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2023. - Vol. 45, № 3. - P. 3292-3310.

104. Lin C. T. Neural-network-based fuzzy logic control and decision system / C. T. Lin, C. S. G. Lee // IEEE Transactions on Computers. - 1991. - Vol. 40, № 12. - P. 13201336.

105. Lombard M. SolidWorks 2013 bible / M. Lombard. - Indiana : John Wiley & Sons, 2013. - 1296 p.

106. Lozano-Perez T. An algorithm for planning collision-free paths among polyhedral obstacles / T. Lozano-Perez, M. A. Wesley // Communications of the ACM. -1979. - Vol. 22, № 10. - P. 560-570.

107. Machine learning using synthetic and real data: similarity of evaluation metrics for different healthcare datasets and for different algorithms / R. Heyburn [et al.] // Data Science and Knowledge Engineering for Sensing Decision Support: Proc. of the 13th International FLINS Conference (FLINS 2018), Belfast, 21-24 August 2018. - 2018. - P. 1281-1291.

108. Madani T. Backstepping control for a quadrotor helicopter / T. Madani, A. Benallegue // 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems, Beijing, 9-13 Oct. 2006. - 2006. - P. 3255-3260.

109. Mamdani E. H. An experiment in linguistic synthesis with a fuzzy logic controller / E. H. Mamdani, S. Assilian // International Journal of Man-Machine Studies. -1975. - Vol. 7, № 1. - P. 1-13.

110. Mandatory Hardware Configuration [Electronic resource] // ArduPilot. - URL https://ardupilot.org/copter/docs/configuring-hardware.html (date of access: 15.12.2021)

111. Mane S. B. Real time obstacle detection for mobile robot navigation using stereo vision / S. B. Mane, S. Vhanale // International Conference on Computing, Analytics and Security Trends (CAST), Pune, 19-21 Dec. 2016. - 2016. - P. 637-642.

112. Math. Graphics. Programming. [Electronic resource] // MathWorks. - URL https://www.mathworks.com/products/matlab.html (date of access: 12.05.2023)

113. Maturana D. VoxNet: A 3D convolutional neural network for real-time object recognition / D. Maturana, S. Scherer // 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Hamburg, Sep. 2015. - 2015. - P. 922-928.

114. Mendel J. M. Advances in type-2 fuzzy sets and systems // Information Sciences. - 2007. - Vol. 177, № 1. - P. 84-110.

115. Meng M. NEURO-NAV: a neural network based architecture for vision-guided mobile robot navigation using non-metrical models of the environment / M. Meng, A. C. Kak // [1993] Proceedings IEEE International Conference on Robotics and Automation. Atlanta, GA, 2-06 May 1993. - Atlanta, 1993. - P. 750-757.

116. Mohammadi S. S. PointView-GCN: 3D shape classification with multi-view point clouds / S. S. Mohammadi, Y. Wang, A. Del Bue // 2021 IEEE International Conference on Image Processing (ICIP), Anchorage, Alaska, 19-22 Sep. 2021. - 2021. - P. 3103-3107.

117. Msallam M. Improving a device for identifying and marking parts of territory with chemical and radioactive contamination / M. Msallam, V. I. Syryamkin // Journal of Physics: Conference Series. - 2021. - Vol. 1843 : X International Scientific and Practical Conference Information and Measuring Equipment and Technologies (IMET) 2020. Tomsk, Russia, November 24-26, 2020. - Article number 012013. - 9 p. - URL: https://iopscience.iop.org/article/10.1088/1742-6596/1843/1/012013/pdf (access date: 08.11.2023).

118. Msallam M. Application of neuro-fuzzy technology in technical vision systems / M. Msallam, V. I. Syryamkin // Ресурсоэффективные системы в управлении и контроле: взгляд в будущее : сборник научных трудов IX Международной конференции школьников, студентов, аспирантов, молодых ученых. Томск, 11-13 ноября 2020. - Томск, 2021. - С. 255-259.

119. Msallam M. Functional description of a terrestrial-aerial robot to detect and mark dangerous areas / M. Msallam, V. I. Syryamkin // Инноватика-2021 : сборник материалов XVII Международной школы-конференции студентов, аспирантов и молодых ученых. Томск, 22-23 апреля 2021. - Томск, 2021. - С. 146-150.

120. Msallam M. Designing a machine vision system for a mobile robot to detect and mark dangerous areas / M. Msallam, V. I. Syryamkin // Инноватика-2021 : сборник материалов XVII Международной школы-конференции студентов, аспирантов и молодых ученых. Томск, 22-23 апреля 2021. - Томск, 2021. - С. 151-155.

121. Msallam M. Classification of 3D objects represented by point clouds / M. Msallam, V. I. Syryamkin // Ресурсоэффективные системы в управлении и контроле: взгляд в будущее : сборник научных трудов X Международной конференции школьников, студентов, аспирантов, молодых ученых. Томск, 09-11 ноября 2021. -Томск, 2022. - С. 256-260.

122. Msallam M. Point clouds - a method to represent objects in 3D space / M. Msallam, V. I. Syryamkin // Ресурсоэффективные системы в управлении и контроле: взгляд в будущее : сборник научных трудов X Международной конференции школьников, студентов, аспирантов, молодых ученых. Томск, 09-11 ноября 2021. -Томск, 2022. - С. 260-264.

123. Msallam M. RL-PointClouds - a new synthetic dataset to classify 3D objects / M. Msallam, V. I. Syryamkin // Интеллектуальные системы 4-й промышленной революции : сборник материалов IV Международного форума. Томск, 15-16 декабря 2021. - Томск, 2022. - С. 88-90.

124. Msallam M. Comparison of classical and deep learning classifiers for 3D objects recognition / M. Msallam, V. I. Syryamkin // Интеллектуальные системы 4-й промышленной революции : сборник материалов IV Международного форума. Томск, 15-16 декабря 2021. - Томск, 2022. - С. 92-94.

125. Msallam M. Construction of a 3D point cloud from a pair of 2D images of a calibrated stereo camera / M. Msallam, V. I. Syryamkin // Интеллектуальные системы 4-й промышленной революции : сборник материалов IV Международного форума. Томск, 15-16 декабря 2021. - Томск, 2022. - С. 95-97.

126. Msallam M. Construction of 3D map by point clouds registration / M. Msallam, V. I. Syryamkin // Инноватика-2022 : сборник материалов XVIII Международной школы-конференции студентов, аспирантов и молодых ученых. Томск, 21-22 апреля 2022. - Томск, 2022. - С. 183-188.

127. Msallam M. Fuzzy inference systems: basics and applications / M. Msallam, V. I. Syryamkin // Инноватика-2022 : сборник материалов XVIII Международной школы-конференции студентов, аспирантов и молодых ученых. Томск, 21-22 апреля 2022. - Томск, 2022. - С. 246-251.

128. Msallam M. Application of fuzzy inference systems to improve classification performance / M. Msallam, V. I. Syryamkin // Инноватика-2022 : сборник материалов XVIII Международной школы-конференции студентов, аспирантов и молодых ученых. Томск, 21-22 апреля 2022. - Томск, 2022. - С. 252-257.

129. Msallam M. A Quick Review of 3D Point Cloud Semantic Segmentation / M. Msallam, V. I. Syryamkin // Интеллектуальные системы 4-й промышленной революции : сборник материалов V Международного форума. Томск, 24-25 ноября 2022. - Томск, 2023. - С. 127-128.

130. Msallam M. An algorithm for estimating the lift constant of a multirotor and its application to adaptive control / M. Msallam, V. I. Syryamkin // Инноватика-2023 : сборник материалов XIX Международной школы-конференции студентов, аспирантов и молодых ученых. Томск, 21-22 апреля 2023. - Томск, 2023. - С. 202208.

131. Msallam M. BeeNet - A fast and efficient algorithm for robot path planning / M. Msallam, V. I. Syryamkin // Инноватика-2023 : сборник материалов XIX Международной школы-конференции студентов, аспирантов и молодых ученых. Томск, 21-22 апреля 2023. - Томск, 2023. - С. 209-214.

132. Murphy K. P. Machine learning: a probabilistic perspective / K. P. Murphy. -London : The MIT press, 2012. - 1104 p.

133. NAVLAB: an autonomous navigation testbed : tech. report, CMU-RI-TR-87-24 / K. Dowling [et al.] ; Robotics Institute, Carnegie Mellon University. - Pittsburgh : Carnegie Mellon University, 1987. - 44 p.

134. nuScenes: A multimodal dataset for autonomous driving / H. Caesar [et al.] // 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, WA, 13-19 June 2020. - 2020. - P. 11621-11631.

135. On automatic data augmentation for 3D point cloud classification / W. Zhang [et al.] // arXiv preprint arXiv:2112.06029 / Institute for Infocomm Research. - Singapore, 2021. - 15 p. - URL: https://arxiv.org/abs/2112.06029 (access date: 12.05.2023).

136. On combining classifiers / J. Kittler [et al.] // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1998. - Vol. 20, № 3. - P. 226-239.

137. PID controller applied to hexacopter flight / A. Alaimo [et al.] // Journal of Intelligent & Robotic Systems. - 2014. - Vol. 73, № 1. - P. 261-270.

138. PointASNL: Robust point clouds processing using nonlocal neural networks with adaptive sampling / X. Yan [et al.] // 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, WA, 13-19 June 2020. - 2020. - P. 5589-5598.

139. PointGPT: Auto-regressively Generative Pre-training from Point Clouds / G. Chen [et al.] // arXiv preprint arXiv:2305.11487 / Beijing Institute of Technology. -Beijing, 2023. - 12 p. - URL: https://arxiv.org/abs/2305.11487 (access date: 12.05.2023).

140. PointNet: Deep learning on point sets for 3D classification and segmentation / C. R. Qi [et al.] // 2017 IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, HI, 21-26 July 2017. - 2017. - P. 652-660.

141. PointNet++: Deep hierarchical feature learning on point sets in a metric space /

C. R. Qi [et al.] // NIPS'17: Proceedings of the 31st International Conference on Neural Information Processing Systems, Long Beach, CA, 4-9 Dec. 2017. - 2017. - P. 5105-5114.

142. Polyak B. T. Introduction to optimization / B. T. Polyak. - N. Y. : Optimization software, 1987. - 438 p.

143. Pomerleau D. Rapidly adapting machine vision for automated vehicle steering /

D. Pomerleau, T. Jochem // IEEE Expert. - 1996. - Vol. 11, № 2. - P. 19-27.

144. Pomerleau F. A review of point cloud registration algorithms for mobile robotics / F. Pomerleau, F. Colas, R. Siegwart // Foundations and Trends® in Robotics. -2015. - Vol. 4, № 1. - P. 1-104.

145. Prince S. J. D. Understanding Deep Learning / S. J. D. Prince. - The MIT Press, 2023. - 544 p.

146. Probabilistic roadmaps for path planning in high-dimensional configuration spaces / L. E. Kavraki [et al.] // IEEE transactions on Robotics and Automation. - 1996. -Vol. 12, № 4. - P. 566-580.

147. Registration of laser scanning point clouds: A review / L. Cheng [et al.] // Sensors. - 2018. - Vol. 18, № 5. - URL: https://www.mdpi.com/1424-8220/18/5/1641 (access date: 25.03.2023).

148. Retrieving articulated 3-D models using medial surfaces / K. Siddiqi [et al.] // Machine Vision and Applications. - 2008. - Vol. 19, № 4. - P. 261-275.

149. Robust matching of occupancy maps for odometry in autonomous vehicles / M. Dimitrievski [et al.] // GRAPP 2016: Proceedings of the 11th Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications (VISIGRAPP 2016), Rome, 27-29 Feb. 2016. - 2016. - Vol. 3. - P. 626-633.

150. Rumelhart D. E. Learning representations by back-propagating errors / D. E. Rumelhart, G. E. Hinton, R. J. Williams // Nature. - 1986. - Vol. 323, № 6088. - P. 533536.

151. Rusinkiewicz S. Efficient variants of the ICP algorithm / S. Rusinkiewicz, M. Levoy // Proceedings Third International Conference on 3-D Digital Imaging and Modeling, Quebec City, May 2001. - 2001. - P. 145-152/

152. Santos M. Intelligent fuzzy controller of a quadrotor / M. Santos, V. Lopez, F. Morata // 2010 IEEE international conference on intelligent systems and knowledge engineering, Hangzhou, 15-16 Nov. 2010. - 2010. - P. 141-146.

153. Schmidhuber J. Deep learning in neural networks: An overview // Neural Networks. - 2015. - Vol. 61. - P. 85-117. - URL: https://www.sciencedirect.com/ science/article/pii/S0893608014002135 (access date: 12.03.2023).

154. SemanticKITTI: A dataset for semantic scene understanding of LiDAR sequences / J. Behley [et al.] // 2019 IEEE/CVF International Conference on Computer Vision Workshops, Seoul, 27-28 Oct. 2019. - 2019. - P. 9297-9307.

155. Shang, C. C. Coal mine robot binocular vision recognition system based on fuzzy neural network / C. C. Shang, H. W. Ma // Proceedings of the 2015 International Conference on Electrical, Automation and Mechanical Engineering (EAME 2015), Phuket Island, 26-27 July 2015. - 2015. - P. 95-98.

156. ShapeNet: An information-rich 3d model repository / A. X. Chang [et al.] // arXiv preprint arXiv:1512.03012. - 2015. - 11 p. - URL: https://arxiv.org/abs/1512.03012 (access date: 12.05.2023).

157. Shorten C. A survey on image data augmentation for deep learning / C. Shorten, T. M. Khoshgoftaar // Journal of Big Data. - 2019. - Vol. 6, № 1. - P. 1-48.

158. Sitte J. Methodic design of robot vision systems / J. Sitte, P. Winzer // IEEE ICMA 2007: IEEE International Conference on Mechatronics and Automation, Harbin, 5-8 August 2007. - 2007. - P. 1758-1763.

159. Sivanandam S. N. Introduction to fuzzy logic using MATLAB / S. N. Sivanandam, S. Sumathi, S. N. Deepa. - Berlin : Springer, 2007. - 430 p.

160. Squeezesegv2: Improved model structure and unsupervised domain adaptation for road-object segmentation from a LiDAR point cloud / B. Wu [et al.] // 2019 International Conference on Robotics and Automation (ICRA), Montreal, 20-24 May 2019.

- 2019. - P. 4376-4382.

161. Stentz A. Optimal and efficient path planning for partially-known environments // Proceedings of the 1994 IEEE international conference on robotics and automation, San Diego, CA, 8-13 May 1994. - 1994. - P. 3310-3317.

162. Sugeno M. An introductory survey of fuzzy control // Information Sciences. -1985. - Vol. 36, № 1-2. - P. 59-83.

163. Syryamkin V. I. A method to create real-like point clouds for 3D object classification / V. I. Syryamkin, M. Msallam, S. A. Klestov // Frontiers in Robotics and AI.

- 2023. - Vol. 9. - Article number 1077895. - 17 p. - URL: https://www.^ontiersin.org/articles/10.3389/frobt.2022.1077895/full (access date: 08.11.2023).

164. Tahani H. Information fusion in computer vision using the fuzzy integral / H. Tahani, J. M. Keller // IEEE Transactions on Systems, Man, and Cybernetics. - 1990. -Vol. 20, № 3. - P. 733-741.

165. The connected-component labeling problem: A review of state-of-the-art algorithms / L. He [et al] // Pattern Recognition. - 2017. - Vol. 70. - P. 25-43. - URL: https://www.sciencedirect.com/science/article/pii/S0031320317301693 (access date: 02.05.2023).

166. The Stanford Testbed of autonomous rotorcraft for multi agent control (STARMAC) / G. Hoffmann [et al.] // The 23rd Digital Avionics Systems Conf. (IEEE Cat. No. 04CH37576), Salt Lake City, UT, 28-28 Oct. 2007. - 2004. - Vol. 2. - 10 p.

167. 3D ShapeNets: A deep representation for volumetric shapes / Z. Wu [et al.] // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Boston, MA, 7-12 June 2015. - 2015. - P. 1912-1920.

168. 2DPASS: 2D priors assisted semantic segmentation on LiDAR point clouds / X. Yan [et al.] // Computer Vision - ECCV 2022 : 17th European conference, Tel Aviv, 23-27 October. - Berlin, 2022. - 2022. - P. 677-695.

169. Unsupervised feature learning for classification of outdoor 3D scans / M. De Deuge [et al.] // Proceedings of Australasian Conference on Robotics and Automation (ACRA 2013), Sydney, 2-4 Dec. 2013. - 2013. - Vol. 2, № 1.

170. Vieira J. Neuro-fuzzy systems: a survey / J. Vieira, F. M. Dias, A. Mota // 5th WSEAS NNA International Conference on Neural Networks and Applications (NNA '04), Udine, 31-31 Oct 2003. - 2004. - P. 1-6.

171. Vision and navigation for the Carnegie-Mellon Navlab / C. Thorpe [et al.] // IEEE Trans. on Pat. Analysis and Machine Int. - 1988. - Vol. 10, № 3. - P. 362-373.

172. VITS-A vision system for autonomous land vehicle navigation / M. A. Turk [et al.] // IEEE Trans. on Pat. Analysis and Machine Int. - 1988. - Vol. 10, № 3. - P. 342-361.

173. William M. Visual estimation of 3-D line segments from motion - A mobile robot vision system / M. William, III Wells // IEEE Transactions on Robotics and Automation. - 1988. - Vol. 5, № 6. - P. 820-825.

174. Xu R. Sliding mode control of a quadrotor helicopter / R. Xu, U. Ozguner // Proceedings of the 45th IEEE Conference on Decision and Control, San Diego, CA, 13-15 Dec. 2006. - 2006. - P. 4957-4962.

175. Zadeh L. A. Fuzzy sets // Inf. and Control. - 1965. - Vol. 8, № 3. - P. 338-353.

176. Zadeh L. A. A fuzzy-set-theoretic interpretation of linguistic hedges // Journal of Cybernetics. - 1972. - Vol. 2, № 2. - P. 4-34.

177. Zadeh L. A. Outline of a new approach to the analysis of complex systems and decision processes // IEEE Transactions on Systems, Man, and Cybernetics. - 1973. - Vol. 3, № 1. - P. 28-44.

178. Zadeh L. A. The concept of a linguistic variable and its application to approximate reasoning—I // Information Sciences. - 1975. - Vol. 8, № 3. - P. 199-249.

179. Zadeh L. A. Fuzzy logic= computing with words // IEEE Transactions on Fuzzy Systems. - 1996. - Vol. 4, № 2. - P. 103-111.

180. Zadeh L. A. A new direction in AI: Toward a computational theory of perceptions // AI Magazine. - 2001. - Vol. 22, № 1. - P. 73-73.

181. Zhang J. Fast and robust iterative closest point / J. Zhang, Y. Yao, B. Deng // IEEE Trans. on Pattern Analysis and Machine Int. - 2022. - Vol. 44, № 7. - P. 3450-3466.

182. Zhao R. Inner/outer-loop control of a drone under disturbances and uncertainties: a sliding mode control approach: master's thesis / R. Zhao ; The Department of Mechanical and Industrial engineering, Northeastern University. - Boston, 2020. - 74 p.

151

Приложение А (обязательное) Результаты лабораторных экспериментов

В данном приложении представляются результаты лабораторной работы, проведенной в ходе данной исследовательской работы. Сначала представляется описание компонентов робота, потом приводятся этапы их сборки. Затем представляются результаты получения стереоизображений и расчета соответствующих им облаков точек, а также результаты регистрации полученных облаков точек с использованием предложенного алгоритма, который был представлен в подразделе 2.2.3.

А1 Описание компонентов робота

Как уже известно, робот в основном состоит из гексакоптера, окруженного цилиндрической решеткой и связанного по беспроводной связи с компьютеризированным рабочем местом. Гексакоптер, в свою очередь, состоит из основных компонентов и навесного оборудования. В состав основных компонентов входят устройство управления, приемник, автопилот, рама, бесщеточные двигатели с ESCs и пропеллерами, аккумуляторная батарея, разъемы, провода, гайки и винты. В дополнение к плате распределения питания (PDB от англ. Power Distribution Board) и GPS-приемнику. Компоненты навесного оборудования добавляются в зависимости от поставленной задачи, например, датчики различных типов, такие как оптические датчики, звуковые датчики, датчики температуры и так далее. Навесное оборудование также включает в себя блок телеметрии, стабилизатор gimbal и передатчик видеосигнала. Далее внимание уделяется только основным компонентам гексакоптера.

В лабораторной работе был использован автопилот Ardupilot APM 2.8, показанный на рисунке А.1, основная задача которого заключается в получении команд от оператора через приемник и преобразование их в управляющие сигналы, которые передаются на двигатели через ESCs. Автопилот содержит акселерометр, гироскоп, магнитометр и высокопроизводительный барометр.

АО - А8: аналоговые

входы / цифровые выходы : Порт USB

,—'—, :..................

Порт телеметрии!

Выходы на моторы

о0 12345678

'-Analog-'->

>4RDUC0P TER

к

Входы от приемника

1 й Reset FORWARD

Порт электропитания

Порт для GPS-приемника

Рисунок А.1 - Автопилот Ardupilot APM 2.8

В лабораторной работе также было использовано устройство управления RadioLink AT9, показанное на рисунке А.2, которое посредством своих джойстиков и переключателей позволяет отправлять команды гексакоптеру, который, в свою очередь, получает сигналы с использованием приемника RadioLink R9DS, показанного на рисунке А.3.

Рисунок А.2 - Устройство управления RadioLink AT9

Дальность связи между устройством управления и приемником в воздухе 1,5 Km, несущая частота 2,4 GHz, тип модуляции QPSK, полоса пропускания канала 5 MHz, а количество каналов 9 в обычном режиме работы.

___|-----------------------1

/ ] Сигнал

-'""{......VCC......"I

GND......|

Канал 9

Рисунок А.3 - Приемник RadioLink R9DS

Для построения робота были использованы также шесть бесщеточных двигателей TAROT 4006 620KV, каждый из которых подключен к регулятору скорости HOBBYWING Platinum 30A Pro 2-6S ESC. На рисунках А.4 и А.5 показаны соединения двигателя и ESC соответственно. На каждом двигателе закреплен пропеллер, который доступен в двух типах в зависимости от направления вращения двигателя, как показано на рисунке А.6.

Сигнал

Рисунок А.4 - Бесщеточный двигатель TAROT 4006 620KV

Также был использован GPS-приемник Ublox NEO-7M с компасом, функцией которого является определение положения гексакоптера, что позволяет роботу выполнять множество задач, таких как возвращение в точку начала полета в случае потери связи, перемещение к целевой точке и работа в автономном режиме.

Рисунок А.5 - Регулятору скорости HOBBYWING Platinum 30A Pro 2-6S ESC

Рисунок А.6 - Два типа пропеллеров

А2 Сборка компонентов робота

Перед сборкой робота необходимо привязать пульт к приемнику, выполнив следующие шаги: 1) разместить пульт близко к приемнику в пределах 1 метра; 2) включить пульт, затем включить приемник; 3) нажать на кнопку привязки на приемнике в течение одной секунды, пока индикатор приемника не начнет мигать, после чего привязка будет выполнена автоматически.

На рисунке А.7 показана блок-схема соединения основных компонентов гексакоптера. Робот собирается по следующим этапам:

1) подключить ESCs к PDB, чтобы подать на них питание;

2) собрать раму и закрепить ее на горизонтальной оси цилиндрической решетки робота;

3) закрепить двигатели на раме;

4) подключить двигатели с ESCs, при этом следует отметить, что VCC двигателя соединяется с VCC ESC, а GND двигателя соединяется либо с GND, либо с сигналом ESC, в зависимости от желаемого направления вращения двигателя;

Рисунок А.7 - Блок-схема соединения основных компонентов гексакоптера

5) закрепить автопилот на раме, желательно на антивибрационном демпфере, чтобы уменьшить его вибрации и защитить его в случае аварии;

6) подключить входы автопилота к каналам приемника и закрепить приемник на раме;

7) подключить выходы автопилота к ESCs;

8) закрепить пропеллеры на двигателях;

9) установить прошивку автопилота, что обычно делается с помощью программного обеспечения Mission Planner, которое можно скачать из Интернета, затем установить на компьютер и запустить. Автопилот подключается к компьютеру с помощью USB-кабеля.

В меню «Setup» в Mission Planner выбирается «Install Firmware Legacy», где выбирается тип аппарата, как показано на рисунке А.8. После окончания загрузки программы осуществляется связь с автопилотом через кнопку «CONNECT» в правом верхнем углу, где надо выбрать номер порта и скорость передачи данных, как показано на рисунке А.8.

После успешного соединения автопилота с компьютером появится меню «Mandatory Hardware», из которого можно выполнить множество функций, таких как калибровка компаса, акселерометра, и радиосвязи, а также выбор режимов работы аппарата и т.д., как показано на рисунке А.9. Подробная процедура выполнения различных калибровок описана в [110]. После завершения настроек нажимается на кнопку «DISCONNECT», и отключится автопилот от компьютера;

Я Mission Planner 1.3.74 build 1.3.7563.27684

й- «5 -it сэ

DATA PLAN SETUP CONFIG SIMULATION HELP

^fíPUPU-QT

Install Firmware Logucy

» Optional Hardware

порт

ArduPlane V4.0.9 ArduCopter V4.0.7 Quad ArduCopter V4.07Hea ArduCopter V4.0.70cta Quad ArduSub V4.0J

Скорость передачи данных

AntennaTradcer V 1.1.0 ArduCopter V4.0.7 hdi ArduCopter V4.0.7 Tri ArduCopter V4.0.7 Y6 ArduCopter V4.07 Oda Missionp|anne^

Please dick the images above for "Flight versions* ЯКЕ li^y^fc e Firmware License.

Are you sure you want to upload ArduCopter V4.0.7 Hexa?

Download firmwares Load customfirmware afirmwares Force Bootloader Pick previous firmware

Images by Max Levine

Рисунок А.8 - Интерфейс настройки автопилота в Mission Planner

I Mission Planner 1.3.74 build 1.3.7563.27684 ArduCopter V3.2.1 (36b405fb)

о

— t | t-n—l

DATA PLAN SETUP CONFIG SIMULATION Install Firmware rFrame Type-

» Mandatory Hardwai

Accel Calibration

Radio Calibration

ESC Calibration

» Optional Hardware

NOTE: X and H are NOT interchangable the prop rotation changes

NOTE: This is the Y6B and prop rotation changes from the old Y6A

Рисунок А.9 - Меню калибровки различных компонентов автопилота

10) установить цилиндрическую решетку робота на горизонтальную ось;

11) подключить аккумулятор, затем включить робота, перемещая левый джойстик пульта вниз и вправо на несколько секунд.

На рисунке А.10 показано окончательное соединение компонентов гексакоптера. А на рисунке А.11 показан робот после его сборки и запуска.

Рисунок А.10 - Окончательное соединение компонентов гексакоптера

Рисунок А.11 - Робот во время движения по поверхности земли

А3 Получение и обработка 3D-изображений

В данном подразделе представляются результаты экспериментов, проведенных в лаборатории по получению цветных изображений, изображений глубины и 3D облаков точек, а также результаты применения предложенного алгоритма регистрации облаков точек на полученных данных.

В лабораторной работе использовалась камера ИпеС; ХЬох 360, которая была предназначена в первую очередь для игровой индустрии, но вскоре она стала использоваться и в исследовательском сообществе для выполнения различных задач, таких как обнаружение и распознавание объектов, виртуальная реальность, человеко-машинное взаимодействие и др. Выпущено несколько версий камеры:

Kinect vi, Kinect v2 и Azure Kinect. В настоящее время в литературе существует очень большое количество работ, результаты которых получены с использованием различных версий камеры Kinect [73].

В лаборатории была использована камера Kinect vi, которая измеряет глубину, проецируя инфракрасное излучение известной структуры на затем получая отраженные лучи с помощью датчика глубины в камере и оценивая глубину. Камера позволяет получать цветные изображения с разрешением 640*480 при 30 fps и 1280*960 при 12 fps. Камера также позволяет получать изображения глубины с разрешениями 640*480, 320*240, и 80*60. Ширина поля зрения составляет 57 градусов по горизонтали и 43 градуса по вертикали. Диапазон измерения данных глубины составляет 0,4 - 4 m от камеры. Камеру можно подключить к компьютеру через адаптер, обеспечивающий как питание, так и передачу данных. На рисунке А.12 показана использованная камера Kinect vi.

Рисунок А.12 - Камера КтеС;, использованная в лабораторной работе

В МайаЬ был написан набор инструкций для получения изображений, расчета 3D облаков точек, и установки разрешения изображений и угла наклона камеры. На рисунке А.13 показан пример цветного изображения, снятого камерой, в дополнение к соответствующему изображению глубины и 3D цветному облаку точек, где было выбрано разрешение изображений 640*480.

^^^ л I ^-1--1--1-г

(1) (2) (3)

1 - цветное изображение; 2 - изображение глубины; 3 - 3D облако точек Рисунок А.13 - Пример изображений, снятых камерой, в дополнение к соответствующему 3D-облаку точек

В ходе лабораторной работы был тестирован алгоритм регистрации облаков точек, предложенный в подразделе 2.2.3. Для этого было снято видео рассматриваемой внутренней среды, а облака точек последовательных кадров были зарегистрированы и объединены вместе для построения 3D-представления окружающей среды. На рисунке А.14 показаны фиксированное и движущееся облака точек, рассчитанные из двух разных кадров, а также показано их относительное положение до выполнения регистрации. На рисунках А.15 и А.16 показаны некоторые этапы предложенного алгоритма, где обнаруживаются горизонтальная и вертикальная плоскости и корректируются их направления. После регистрации объединяется фиксированное облако точек с зарегистрированным движущимся облаком точек. Результат объединения показан на рисунке А.17, где также показан результат регистрации и объединения ряда последовательных кадров.

-1.5 " , -0-5 1 .,5

(1) (2) (3)

1 - фиксированное облако точек; 2 - движущееся облако точек; 3 - относительное

положение облаков точек перед регистрацией Рисунок А.14 - Пример фиксированного и движущегося облаков точек

Moving ptCioud Moving ptCloud after normal correction

Рисунок А.15 - Обнаружение плоскости пола и коррекция ее направления

Рисунок А.16 - Обнаружение вертикальной плоскости и коррекция ее

направления

1 * (m)

(1) (2)

1 - результат регистрации двух кадров; 2 - результат регистрации множества

последовательных кадров Рисунок А.17 - Результаты регистрации

161

Приложение Б

(справочное)

Справка о внедрении результатов диссертации

УТВЕРЖДАЮ

Проректор по научной и инновационной деятельности НИ ТГУ

д-р физ.-мат. наук, профессор

и

/Ворож 023 г.

Ворожцов А. Б.

_" сентября 2

Акт внедрения результатов диссертационной работы Мсаллам Майди Фархан «Алгоритмы п программное обеспечение системы адаптивного управления универсальным диагностическим роботом путём распознавания изображений различных размерностей и цвстностен на основе нейро-нечётких глубоких технологий», представленной на соискание ученой степени кандидата технических наук

Комиссия Национального Исследовательского Томского Государственного Университета (НИ ТГУ) в составе:

председателя - Юрченко Алексея Васильевича, доктора технических наук, профессора, старшего научного сотрудника Международной лаборатории систем технического зрения. Научного управления НИ ТГУ. и членов комиссии:

- Сырямкина Владимира Ивановича, доктора технических паук, профессора, Заслуженного работника вышей школы Российской Федерации (РФ). Заслуженного изобретателя РФ, заведующего Международной лабораторией систем технического зрения, Научного управления НИ ТГУ, директора центра (превосходства) «Интеллектуальные Технические Системы»;

- Клестова Семена Александровича, младшего научного сотрудника Международной лаборатории системы технического зрения. Научного управления НИ ТГУ.

рассмотрела материалы диссертации Мсаллам Майди Фархан и установила, что в научно-исследовательских и инновационных проектах Международной лаборатории систем технического зрения. Научного управления НИ ТГУ использованы следующие разделы диссертации:

2.3.1. Математическая модель диагностического робота.

3. Разработка программного обеспечения для реализации предложенных методов и алгоритмов.

4.1. Комплекс программ для проверки и анализа функциональности робота. Приложение А. Результаты лабораторных экспериментов. Указанные материалы диссертации использованы при выполнении работ по проекту РНФ (Российского Научного Фонда) и темы «Диагностические Роботы».

Председатель Члены комиссии

• Юрченко А. Б.

-У 1( Р - ' '•оА Сырямкин В. И.

Клестов С. А.

ВЕРНО

ВЕДУЩИЙ Д0КУМЕНТ0ВЕД