Алгоритмы адаптивного реактивного и проактивного гибридного управления манипуляционными роботами тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Артемов Кирилл

• Артемов Кирилл
• кандидат наук
• 2022

Оглавление диссертации кандидат наук Артемов Кирилл

Реферат

Synopsis

Введение

Глава 1. Мотивация исследований: практическая актуальность

1.1 Характеристика современных задач в робототехнике

1.2 Безопасное физическое взаимодействие: сенсоры и метрики

1.3 Основные подходы реактивного и проактивного управления

1.4 Возможности и ограничения известных методов управления манипуляционными роботами

Глава 2. Обобщенная постановка задачи

2.1 Манипуляционный робот как объект управления

2.2 Задачи управления манипуляционными роботами

2.3 Структурная схема системы управления современным манипуляционным роботом

Глава 3. Гибридный реактивный алгоритм визуального серворегулирования без прямого измерения

направления корректировки положения

3.1 Постановка задачи

3.2 Синтез алгоритма управления

3.2.1 Подсистема грубого позиционирования

3.2.2 Подсистема точной подстройки

3.2.3 Подсистема переключений

3.3 Апробация

3.4 Выводы по главе

Глава 4. Алгоритм динамического определения размера

области безопасных перемещений робототехнических

систем на основе экстероцептивных данных

4.1 Постановка задачи

Стр.

4.2 Синтез алгоритма

4.2.1 Определение зоны безопасности робота ^д

4.2.2 Определение буферной зоны препятствия do

4.2.3 Динамическая метрика безопасности ё,

4.3 Выводы по главе

Глава 5. Гибридный проактивный алгоритм

энергетически-осведомленного адаптивного импедансного управления движением с

переключениями на основе динамики системы

5.1 Базовый подход

5.2 Синтез алгоритма

5.2.1 Подсистема переключений

5.2.2 Стадия 1: свободное движение

5.2.3 Стадия 2: торможение

5.2.4 Стадия 3: податливые движения

5.2.5 Анализ свойства пассивности полной системы

5.2.6 Апробация

5.3 Выводы по главе

Глава 6. Проактивный алгоритм

энергетически-осведомленного адаптивного импедансного управления в операционном пространстве с настройкой параметров регулятора на

основе модели абсолютно упругого удара

6.1 Базовый подход

6.2 Синтез алгоритма

6.3 Апробация

6.4 Выводы по главе

Заключение

Список литературы

Приложение А. Матрица Якоби видеосенсора

Тексты публикаций

Введение диссертации (часть автореферата) на тему «Алгоритмы адаптивного реактивного и проактивного гибридного управления манипуляционными роботами»

Реферат Общая характеристика работы

Актуальность темы. Внедрение робототехники находит новые рынки и приложения. Появляются задачи, связанные с необходимостью работы в динамическом и неструктурированном окружении, где в том числе возможны физические контакты с человеком. Для работы в таких условиях сформировался целый класс роботов - коллаборативных, для которых был разработан специальный стандарт ISO/TS 15066:2016, устанавливающий требования к безопасности конструкции и алгоритмов управления.

Анализ текущих решений в области систем управления и коллабора-тивных роботов показал, что большинство при детектировании столкновения просто останавливаются. Следовательно, актуальна разработка адаптивных реактивных и проактивных систем управления, в которых планирование действий и принятие решений опирается на данные сенсоров с разнообразными модальностями. Реактивное управление здесь означает, что измерения с датчиков напрямую влияют на управляющее воздействие. В то время, как в проак-тивном управлении измерения используются для прогнозирования будущего поведения системы и принятия соответствущих решений о характере управления системой. Реализация таких систем, должна позволить роботам, сохраняя свою производительность, оставаться безопасными.

Степень разработанности темы. Задача управления коллаборатив-ными роботами в неструктурированном пространстве является открытой. Существует ряд методов, которые решают отдельные задачи в области планирования траекторий движения и энергетически-осведомленного управления роботами, однако не существует универсального решения. Данная диссертационная работа посвящена развитию методов позиционно-силового управления на основе интероцептивных и экстероцептивных измерений датчиков, что

существенно повышает универсальность системы управления механическими системами, в целом.

Целью работы является развитие методов позиционно-силового управления сложными физическими системами в неструктурированном окружении с использованием интероцептивной и экстероцептивной сенсорной информации.

Для достижения поставленной цели необходимо было решить следующие задачи:

1. Разработать алгоритм поиска в условиях ограничений на доступные измерения.

2. Разработать гибридный алгоритм позиционного управления механическими системами на основе нелинейных комбинированных регуляторов и алгоритма поиска в условиях ограничений на доступные измерения.

3. Разработать гибридный алгоритм согласованной настройки скалярных коэффициентов обратной связи пассифицирующих регуляторов для механических систем по накладываемым статическим ограничениям и текущим значениям энергии и мощности в замкнутой системе в условиях неопределенностей.

4. Разработать алгоритм согласованной настройки матриц коэффициентов обратной связи многоканальных пассифицирующих динамических регуляторов на основе накладываемых статических ограничений и текущих энергии и мощности в замкнутой системе.

5. Разработать способ динамического вычисления метрики безопасности по данным интероцептивных и экстероцептивных датчиков для организации переключений в гибридной системе управления движением робототехнических систем в неструктурированном окружения, с целью повышения безопасности их эксплуатации и взаимодействия с человеком оператором.

6. Разработать метод на основе машины состояний для реализации гибридных схем адаптивного импедансного энергетически-осведомленного проактивного управления коллаборативными роботами в условиях априори не моделируемых физических взаимодействия между роботом и окружающей средой.

Научная новизна: Научная новизна диссертационного исследования определяется на границе специальностей 05.13.01 - «Системный анализ, управление и обработка информации (технические системы)» (2.3.1. Системный

анализ, управление и обработка информации, статистика) и 05.02.05 - «Роботы, мехатроника и робототехнические системы» (2.5.4. Роботы, мехатроника и робототехнические системы) и состоит в следующем:

а. Для специальности 05.13.01 - «Системный анализ, управление и обработка информации (технические системы)» (2.3.1. Системный анализ, управление и обработка информации, статистика):

— предложен оригинальный гибридный алгоритм позиционного управления механическими системами в условиях ограничений на доступные измерения, позволяющий за счет объединения нелинейных комбинированных регуляторов, сводящих систему в ограниченную окрестность желаемого состояния, и эвристических алгоритмов локального поиска добиться за конечное время сколь угодно малой ошибки слежения;

— предложен оригинальный гибридный алгоритм согласованной настройки скалярных коэффициентов обратной связи пассифи-цирующих регуляторов для механических систем по накладываемым статическим ограничениям и текущим значениям энергии и мощности в замкнутой системе в условиях сигнальных неопределенностей;

— разработана модификация алгоритма адаптации по накладываемым статическим ограничениям и текущим значениям энергии и мощности управляемой механической системы применительно к согласованной настройке матриц коэффициентов обратной связи многоканальных пассифицирующих динамических регуляторов в условиях сигнальных неопределенностей.

б. Для специальности 05.02.05 - «Роботы, мехатроника и робототехнические системы» (2.5.4. Роботы, мехатроника и робототехнические системы):

— предложен способ вычисления оригинальной динамической метрики безопасности по данным интероцептивных и экс-тероцептивных датчиков для организации переключений в гибридной системе управления движением робототехнических систем в неструктурированном окружении, с целью повышения безопасности их эксплуатации и взаимодействия с человеком-оператором;

— разработан оригинальный метод на основе машины состояний для адаптивного импедансного энергетически-осведомленного проактивного управления коллаборативными роботами в операционном пространстве в условиях априори не моделируемых физических взаимодействий между роботом и окружающей средой, в том числе при совместной работе человека и робота.

В целом, полученные в диссертационной работе результаты направлены на повышение качества управления, производительности и физической безопасности функционирования манипуляционных роботов в условиях неструктурированного динамически изменяющегося окружающего пространства, в том числе при взаимодействии роботов с человеком.

Практическая значимость диссертационной работы заключается: с точки зрения систем управления, в развитии методов адаптивного гибридного управления широким классом многоканальных нелинейных систем, динамика которых описывается в виде дифференциальных уравнений второго порядка - уравнений движения. С точки зрения управления робототехническими и мехатронными системами, решаются актуальные задачи развития сенсорно-моторной координации роботов. В целом, научная и практическая значимость диссертационной работы состоит в разработке, программной реализации и апробации методов и алгоритмов реактивного и проактивного управления движением, когда благодаря использованию данных датчиков различных модальностей в контуре управления для организации переключений и настройке коэффициентов обратной связи удается либо повысить при имеющихся ограничениях скорость и точность достижения цели управления, либо без потери производительности одновременно обеспечить соответствие системы требованиям по безопасности функционирования. Кроме того, результаты диссертационной работы вносят вклад в развитии технологической роботизации в широком спектре отраслей, где требуется решать задачи манипуляции: шлифовка и полировка, сборка агрегатов, перенос грузов, обслуживание станков, фасовка и упаковка, контроль качества, нанесение клеев, герметиков, покраска и т. п.

Методология и методы исследования. Для решения поставленных целей и задач использовались современные методы теории управления, методы синтеза регуляторов, методы пассификации систем, методы идентификации динамических параметров систем, методы компьютерного зрения. Для верифи-

кации полученных теоретических результатов использовалось компьютерное моделирование в программных пакетах MATLAB/Simulink, pybullet, методы программирования сложных систем управления в реальном времени.

Положения, выносимые на защиту:

1. Гибридный алгоритм позиционного управления механическими системами в условиях ограничений на доступные измерения на основе нелинейных комбинированных регуляторов и эвристических алгоритмов локального поиска;

2. Гибридный алгоритм согласованной настройки скалярных коэффициентов обратной связи пассифицирующих регуляторов для механических систем на основе статических ограничений и текущих энергии и мощности;

3. Модификация алгоритма адаптации по накладываемым статическим ограничениям и текущим энергии и мощности управляемой механической системы применительно к согласованной настройке матриц коэффициентов обратной связи многоканальных пассифицирующих динамических регуляторов;

4. Опособ вычисления оригинальной динамической метрики безопасности по данным интероцептивных и экстероцептивных датчиков для организации переключений в гибридной системе управления движением робототехнических систем в неструктурированном окружении, с целью повышения безопасности их эксплуатации и взаимодействия с человеком-оператором;

5. Метод на основе машины состояний для адаптивного импедансного энергетически-осведомленного проактивного управления коллабора-тивными роботами в операционном пространстве в условиях априори не моделируемых физических взаимодействий между роботом и окружающей средой, в том числе при совместной работе человека и робота.

Выносимые на защиту положения лежат на границе специальностей и относятся: положения 1, 2 и 3 к специальности 05.13.01 - «Системный анализ, управление и обработка информации (технические системы)» (2.3.1. Системный анализ, управление и обработка информации, статистика), а положения

4 и 5 к специальности 05.02.05 - «Роботы, мехатроника и робототехнические системы» (2.5.4. Роботы, мехатроника и робототехнические системы).

Достоверность полученных в диссертационном исследовании результатов подтверждается корректностью использования математического аппарата и строгостью математических доказательств; представленными в работе результатами численного моделирования; опубликованными научными работами в рецензируемых изданиях и докладами в том числе на международных конференциях.

Апробация работы. Основные результаты опубликованы в 9 изданиях, докладывались на 7 конференциях в том числе международных, а 2 работы опубликованы в научных журналах:

— 2020 International Conference Nonlinearity, Information and Robotics, NIR

2020 (международная конференция «Нелинейность, Информация и Робототехника», 3-4 декабря 2020, Казань, Россия) [1].

— 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems, IROS 2021 (международная конференция по интеллектуальным роботам и системам, 4-5 ноября 2021, Прага, Чехия) [2].

— 2021 International Conference Nonlinearity, Information and Robotics, NIR

2021 (международная конференция «Нелинейность, Информация и Робототехника», 26-29 августа 2021, Казань, Россия) [3; 4].

— 2021 Journal of Physics: Conference Series, 6-8 октября 2020, Санкт-Петербург, Россия [5].

— 2019 24th International Conference on Methods and Models in Automation and Robotics (MMAR), 26-29 августа 2019, Мендзыздрое, Польша [6].

— 2018 IEEE Industrial Cyber-Physical Systems (ICPS), 15-18 мая 2018, Санкт-Петербург, Россия [7].

— Известия высших учебных заведений. Приборостроение 2022 №3 [8; 9].

Результаты работы использовались при выполнении НИР: «Методы искусственного интеллекта для киберфизических систем» (НИР Университета ИТМО №620164, от 01.09.2020), «Разработка адаптивных методов очувствления, планирования и управления движением биомехатронных систем» (НИР, финансируемая ПАО «Сбербанк», соглашение 20.07.2020), «Разработка алгоритмов и систем управления сервисными роботами с использованием средств компьютерного зрения и человеко-машинного взаимодействия» (НИР, финансируемая ПАО «Сбербанк»,, соглашение от 01.03.2020), «Разработка алгоритмов

и систем управления сервисными роботами с использованием средств компьютерного зрения и человеко-машинного взаимодействия» (НИР, финансируемая ПАО «Сбербанк»,, соглашение от 01.03.2020), «Исследование методов искусственного интеллекта для систем очувствления и управления сервисными роботами» (НИР, финансируемая ПАО «Сбербанк», соглашение от 01.03.2020), «Разработка адаптивных методов очувствления, планирования и управления движением биомехатронных систем» (грант «Российского научного фонда», соглашение №17-79-20341 от 25.07.2017), «Разработка квантовой защищенной гибридной платформы для безопасного управления распределенными киберфи-зическими системами» (НИР, Университет ИТМО, №718196).

Личный вклад. Автор самостоятельно проводил анализ литературы по теме, участвовал в определении целей, задач, выборе и использовании математического аппарата, лично получил основные результаты диссертационного исследования, выносимые на защиту и включающие основные утверждения, провел апробацию, а также лично публиковал результаты в научных статьях.

Публикации. Основные результаты по теме диссертации изложены в 9 печатных изданиях, 2 из которых изданы в журналах, рекомендованных ВАК, 7 — в публикациях индексируемых Web of Science и Scopus.

Объем и структура работы. Диссертация состоит из введения, 6 глав и заключения. Полный объём диссертации составляет 200 страниц, включая 26 рисунков и 2 таблицы. Список литературы содержит 76 наименований.

Содержание работы

Во введении обосновывается актуальность исследований, проводимых в рамках данной диссертационной работы, приводится обзор научной литературы по изучаемой проблеме, формулируется цель, ставятся задачи работы, излагается научная новизна и практическая значимость представляемой работы.

Первая глава посвящена анализу практически актуальных задач в области разработки алгоритмов управления коллаборативными манипуляционными роботами в условиях неструктурированного окружающего пространства. Дается характеристика современных задач в робототехнике для промышленных

и сервисных роботов. Приводится анализ существующих решений в области обеспечения физической безопасности взаимодействия роботов с человеком на основе интероцептивных и экстероцептивных сенсоров и специальных метрик безопасности. Описываются известные подходы к реактивному и проактивно-му управлению манипуляционными роботами. Далее, опираясь на проведенный анализ, приводятся возможности и ограничения современных методов управления манипуляционными роботами.

Вторая глава посвящена обобщенной постановке задачи. Устанавливается класс объектов управления типа манипуляционный робот, динамика которого описывается уравнением вида:

м + С тш + яШ) = т(г) + те(ъ), (1)

где Е Е и ¡¡(Ъ) Е — обобщенные координаты, скоро-

сти и ускорения системы, М(с[(Ь)) Е Шпхп, С(д(Ь)Е Кпхп и д(д(Ь)) Е — матрицы инерции, Кориолисовых и ценробежных сил и вектор гравитации, соответственно, управляющие воздействия т(Ъ) Е и внешние силы и моменты, действующие на систему, те(Ъ) Е Предполагается, что М(д ,С(д,д(д(1)) — гладкие функции относительно д(1),д(1).

В рамках диссертационного исследования, задачи управления задаются в декартовом пространстве. Приводится связь между конфигурационным и декартовым пространствами через решения прямой и обратной задач кинематики.

Далее выделяются наиболее общие задачи, математические постановки которых эксплуатируются в диссертационном исследовании далее в рамках разработки алгоритмов управления. Сначала вводится задача траекторного управления:

Цх*(1) - х(Щ < Ах, Ш>ТХ, (2)

где х(Ъ) Е 8Е(3) — траектория рабочего инструмента робота, х*(Ъ) Е 8Е(3) — желаемая траектория рабочего инструмента, для которой априори неизвестно аналитическое описание, при этом х*(Ъ) Е X, X — область пространства, доступная для рабочего инструмента, Тх > 0 — константа времени сходимости.

Далее вводится задача прямого управления по силе:

||/*(1) - /(*)|| < д7, Ш>Т;, (3)

где вектор сил и моментов / = [¡х,/у,/г, тх, ту, т^] Е Ж(3), /*(Ъ) = +

а\Ъ) Е 8Е(3) — желаемая сила взаимодействия рабочего инструмента робота

и внешней среды с заданным профилем, определяемым некоторыми параметрами ао,а\, /*(р) € F, F — множество допустимых профилей силы, Tf > 0 — константа времени сходимости.

Последней вводится задача непрямого управления по силе (управление податливостью):

Ке

\х(г)\\ = \\xit) — ха(г)\\ < — (х — хе),У > т,

(4)

мДг) + в^(г) + ках(1) = ад,

где Мл, Кг2 € К6х6 — определяют желаемое поведение системы (жесткость и демпфирование) при физическом контакте с внешней средой, х(1) € К6 — текущее положение рабочего инструмента, х€ К6 — некоторая желаемая траектория движения, € К6 — желаемая сила взаимодействия между

рабочим инструментом робота и окружающей средой, Ке(х — хе) — сила взаимодействия с окружающей средой, где Ке € К6х6 — жесткость материала внешнего препятствия, Т > 0 — константа времени сходимости.

И наконец, приводится обобщенное описание системы управления, способной решать формулируемые задачи в условиях неструктурированного окружающего пространства.

Третья глава посвящена решению задачи позиционного управления, а именно разработке гибридного реактивного алгоритма визуального серворегу-лирования без прямого измерения направления корректировки положения.

Рассматривается позиционирование рабочего инструмента манипуляцион-ного робота относительно визуальной цели, отслеживаемой видеосенсором, с учетом ряда допущений:

Допущение 1. База робота неподвижна.

Допущение 2. Целевой объект, отслеживаемый видеосенсором неподвижен.

Допущение 3. Датчики жестко закреплены на последнем звене мани-пуляционного робота.

Допущение 4. Измерению доступно только р* € К2г (желаемое положение визуальных маркеров), в то время как д* (желаемое положение робота в конфигурационном пространстве) и х* в системе координат связанной с базой робота (желаемое положение рабочего инструмента в операционном пространстве) неизвестны.

^е

1Рс

Рисунок 1 — Пояснения к обозначениям областей измерений и погрешностей

датчиков

Допущение 5. Для измерения доступны векторы текущих положений и скоростей визуальных маркеров видеосенсора р({) = [хр, ур}Т € К2г и р(Ь) € К2г, г — количество отслеживаемых на изображении объектов (точки, линии, углы и т. д.), Ьр(р, Z) € К2гх6 — матрица Якоби видеосенсора, Z -расстояние между сенсором и целевым объектом, где погрешность этих измерений рс; и скалярный сигнал з^) с погрешностью измерений р5, где р5 ^ рс.

Допущение 6. Область допустимых значений для измерений видеосенсора р(Ь) € Хс, при этом погрешность измерений рс € ХРс, ХРс € Хс. Область допустимых значений измерений сигналов с точного датчика з^) € Х8, при этом погрешность измерений р5 € ХРа, ХРа € Х5. Связь между измерениями двух датчиков Х8 € Хс, Хрв ^ Хрс. На рисунке 1 приведена графическая иллюстрация.

Для объекта управления в виде (1), ставится цель управления:

\\х*—х(Щ ^ Ь(р8), У >ТХ, (5)

где х* — желаемое пространственное положение рабочего инструмента, 6(р5) > 0 — ограниченная область, Тх > 0 — константа времени.

Далее, опираясь на допущение 5, для достижения цели управления (5) строится двухстадийная система управления на основе измерений двух сенсоров: (стадия 1) подсистемой грубого позиционирования и (стадия 2) подсистемой точной подстройки.

На стадии 1 применяется метод визуального серворегулирования, цель которого:

\\р(щ = \\р*— р(г)\\ = 0, у >тр, (6)

где р(1) € К2г — вектор измеряемых координат в пространстве изображения, р* € К2г — вектор желаемых координат в пространстве изображении, г — количество отслеживаемых на изображении объектов (точки, линии, углы и т. д.), Тр > 0 — константа времени.

Далее, вводится ряд допущений:

Допущение 7. Существует и единственно такое д*, что р* = р(д*).

Допущение 8. Матрица Якоби .1р(д,р^) бесконечно дифференцируема для любого д и имеет полный ранг г&пк^р^тР^)} = п, где п — количество степеней свободы робота.

Для управления на стадии 1 применяется регулятор:

ТШ = Jр )КР - в4 + 9(0), (7)

где К Е К2гх2г и В Е Кпхп — симметричные положительно определенные диагональные матрицы, JJ(д,р,Е) = Ьр(р^)сУп(уд(Ь))Зп{д(£), Ьр(р,Е) и Jn(д(^) — матрицы Якоби для изображения видеосенсора и робота, соответственно, сУп(у— матрица преобразования пространственной скорости между системой координат камеры и последнего звена робота. Откуда, уравнение замкнутой системы (1), (7) имеет вид:

(8)

d q <i

dt q M (g)-i[jp(g,p, Z )T Kp - Bg

Далее доказывается, что система (8) является локально асимптотически устойчивой, и цель управления (6) достигается.

Следствие 1. Из выполнения цели управления (6) следует выполнение условия:

||ж*- х(Щ ^ 6(рс), Ш>ТХ, (9)

где 6(рс) — область, ограниченная точностью измерений сигналов видеосенсора, рс — погрешность измерений видеосенсора, ТХ > 0 — константа времени.

По условию задачи, для стадии 2, в обратной связи используется скалярный сигнал измерения. А значит для достижения цели (5) не представляется возможным использовать метод серворегулирования и закон управления вида (7). Предлагается использовать эвристический алгоритм локального поиска в условиях действия следующих допущений:

Допущение 9. Измерения s(t) лежат в интервале значений [0%, 100%]. Допущение 10. Для s(t) недоступно вычисление Vs(xs,ys), где xs,ys Е

X

Допущение 11. Измерения s(t) доступны в ограниченной области пространства Xs такой, что XPs ^ XPc,XPs Е Xs ^ 6(ps) ^ 6(рс).

Для управления на основе сигнала s(t) строится азимутальная система управления (управление по двум углам). Отсюда, модель объекта (1) переписывается с учетом следующих соображений: gs = Sg Е R2,gs = Sg Е R2

и (¡а = 3(I € К2 — обобщенные координаты, скорости и ускорения для азимутальной системы позиционирования, М8(с¡) = 3М((¡), С8((}, ) = 3С((}, ), дв(я) = 3д(о), Tff,2 = 3т € К2 — соответствующие управляющие воздействия, 3 € ^п — диагональная матрица для выбора управляемых степеней свободы робота, 3^ = 1 — если степень свободы управляемая, иначе 3^ = 0, для % € [12 .. .п}т. Редуцированная модель записывается, как:

М8+ С,(д,(1), Ш)д3(1) + да(яа(г)) = тп^). (10)

Далее, для (10) и регулятора:

тя>2Й = К8[Ч*(1) — Яа$)] —Ва да(1)+ д3{д (I)), (11)

где К3 € К2х2 и Ва € К2х2 — диагональные положительно определенные матрицы коэффициентов усиления, и — измеряемое состояние робота, формируется задающий сигнал:

д*(г) = ^>0 + л(з(г)), (12)

где д,%0 = 3д(Ь1) — конфигурация робота в момент времени Ь\, когда произошло переключение на подсистему точного позиционирования, Л(•) — смещение обобщенных координат робота, определяемые из предложенного эвристического алгоритма поиска, (¡8 := (¡() = д*^) — (^{Ь).

Утверждение 1. Редуцированная система (10) совместно с регулятором (11) асимптотически устойчива.

Для сигнала в^) вводится новый эвристический алгоритм поиска и подсистема переключений между стадиями 1 и 2, в форме правил:

т = \тff>l{я(t), Ъ>о), если \ \х* — х(г)\ \ > 8(рс) \т//>2{до, Явй), иначе \ \х* — х(Щ < 6(рс)

где д0 и — зафиксированные положения соответствующих подсистем, т//д — сигналы управления для подсистемы грубого позиционирования, т//>2 — сигналы управления для подсистемы точной подстройки.

Утверждение 2. Алгоритм 1 обеспечивает поиск области с минимальным значением сигнала з(х8, у^ с учетом погрешности измерителя р5 за конечное время, где ха, уа — направления смещений системы (10), (11).

В конце главы приводятся результаты численного моделирования разработанного алгоритма, где каждые 10 секунд происходит переключение между

Алгоритм 1: Эвристический алгоритм поиска "Змейка:

Инициализация:q(0) = q0;s(0) = 100; т = т0; Aq0 = [Aqi, 0] Вход: s(t), Ш = кТ,к е No; Выход: q(k);

до тех пор, пока s(k) > ps выполнять если l > m тогда

Aq = Rs A qo ;A qo = Aq; 1 = 0;

если m > 1 тогда

| m = m - 1;

конец

иначе

q(k) = q(k - 1) + Aq; s(k) = s(t);

если s(k) > s(k-1) тогда

I 1 = 1+1;

конец конец конец

T.

стадиями по сценарию: (1) достигается цель управления (9), (2) затем достигается цель управления (5), (3) изменяется конфигурация робота (5), что ведет к переходу к (1). На графиках представлены переходные процесс для каждой из подсистем: стадии 1, стадии 2, подсистемы переключений.

1 о

0.4' 0

-0.4 ( 40'

20

2000 1000 0, 100 50 0

-Логический сигнал переключения)

in 20 94 30

20 25 30 35

-Aii

-Д<?2

25 30 34

4ЖЯ

10 15 20 25 30 35

lJ U 1_

га

О 5 10 15 20 25 30 35

t. С

1000

500

Mt)

Ро

V*

-0.1

0 1000

а) б)

Рисунок 2 — а) Временные диаграммы с переключениями между подсистемами б) Работа алгоритма на интервале времени [0,10] сек

—р(*) • Ро

Л \ «.

\ и

\\

\>

\

—р® • Ро —*

/

>

/

500

Ро р*

О 1000

а) б)

Рисунок 3 — а) Работа алгоритма на интервале времени [10,20] сек, б) Работа

алгоритма на интервале времени [20,30] сек

юоо

500

-р(*)

Ро

р*

1000

500

-рЮ

Ро р*

1000 0.1 * 0 1000

а) ' б)

Рисунок 4 — а) Работа алгоритма на интервале времени [30,40] сек, б) Работа

алгоритма на интервале времени [40,50] сек

В четвертой главе приводится решение задачи разработки алгоритма динамического определения размера области безопасных перемещений робото-технических систем на основе экстероцептивных данных.

Рассматривается задача относительного движения и взаимодействия робота и препятствия, на примере системы в виде:

тк хп (г) — ¥с (г) + ^ (г),

о,

?! (г) —

Хя< Хо Ш,

(14)

кт(х0- хК(г)), хК(г) > х0

где тп — масса, х^(Ь),х^(Ь),хп(Ь) Е К — положение, скорость и ускорение робота, ¥с(^ Е К — управляющее воздействие (сила), Р^(I) Е К — внешнее возмущение по входу (сила реакции между роботом и препятствием), кт — кяко/(кя + к0), ки и ко — параметры, характеризующие жесткость материалов корпуса робота и поверхности препятствия, соответственно.

Список литературы диссертационного исследования кандидат наук Артемов Кирилл, 2022 год

ЛИТЕРАТУРА

1. Chaumette F., Hutchinson S., Visual servo control. i. basic approaches. IEEE Robotics & Automation Magazine. 2006. Vol. 13. № 4. P. 82-90.

2. Haddadin S., Urbanek H., Parusel S., Burschka D., Roßmann J., AlbuSchaffer A., Hirzinger G. Real-time reactive motion generation based on variable attractor dynamics and shaped velocities. IEEE/RSJ International Conference on Intelligent Robots and Systems. 2010. P. 3109-3116.

3. Artemov K., Kolyubin S. Design and Validation of Two-Stage Motion Control System for By-Air Quantum Key Distribution. Regular and Chaotic Dynamics. 2020 (принята)

4. Vanderborght B., Albu-Schaffer A., Bicchi A., Burdet E., Caldwell D.G., Carloni R., Catalano M., Eiberger O., Friedl W., Ganesh G., et al. Variable impedance actuators: A review. Robotics and autonomous systems. 2013. Vol. 61. № 12. P. 1601-1614.

K. Artemov, S. Kolyubin, (ITMO University, Saint Petersburg)

Control of Collaborative Robots in a Dynamic Environment According to the Data of the Technical Vision System

The report examines the problem of trajectory planning and motion control for collaborative manipulation robots in a dynamic environment based on the data of the computer vision system. The key result is the algorithm for trajectory planning and motion control in real time based on the method of potential fields in conditions of external forces acting on the robot. The obtained results were tested by means of computer simulation using the example of the KUKA iiwa manipulator.

КОМПЬЮТЕРНОЕ ЗРЕНИЕ И ПЛАНИРОВАНИЕ ДВИЖЕНИЯ РОБОТОВ В ЗАДАЧАХ МАНИПУЛИРОВАНИЯ

COMPUTER VISION AND ROBOT MOVEMENT PLANNING IN MANIPULATION TASKS

УДК 004.021

DOI: 10.17586/0021-3454-2022-65-3-185-193

АЛГОРИТМ

МОДИФИЦИРОВАННОГО ИНТЕЛЛЕКТУАЛЬНОГО ДВУНАПРАВЛЕННОГО СЛУЧАЙНОГО ДЕРЕВА

ДЛЯ ПЛАНИРОВАНИЯ ДВИЖЕНИЯ АНТРОПОМОРФНЫХ МАНИПУЛЯТОРОВ

И. С. Довгополик1*, К. Артемов1, О. И. Борисов1, С. Забихифар2, А. Н. Семочкин2

1 Университет ИТМО, Санкт-Петербург, Россия [e-mail] 2 Сбербанк, Москва, Россия

Аннотация. Рассматривается алгоритм планирования движения многозвенной робототехнической системы в пространстве с препятствиями. Основные требования, предъявляемые к данной задаче, — высокое быстродействие и эффективное использование памяти в процессе работы. Представлен алгоритм планирования пути на основе метода двунаправленного быстроисследующего случайного дерева с использованием подхода, исключающего добавление новых вершин к дереву, если по их расположению в пространстве можно однозначно определить нецелесообразность их использования для построения пути. Эта модификация позволяет ускорить планирование движения и уменьшить объем памяти, необходимой для хранения данных об анализе пространства.

Ключевые слова: планирование пути, быстроисследующие случайные деревья, исключение неиспользуемых вершин, iCub

Ссылка для цитирования: Довгополик И. С., Артемов К., Борисов О. И., Забихифар С., Семочкин А. Н. Алгоритм модифицированного интеллектуального двунаправленного случайного дерева для планирования движения антропоморфных манипуляторов // Изв. вузов. Приборостроение. 2022. Т. 65, № 3. С. 185—193. DOI: 10.17586/0021-3454-2022-65-3-185-193.

MODIFIED INTELLIGENT BIDIRECTIONAL RANDOM TREE ALGORITHM FOR PLANNING THE MOVEMENT OF ANTHROPOMORPHIC MANIPULATORS

I. S. Dovgopolik1*, K. Artemov1, O. I. Borisov1, S. Zabihifar2, A. N. Semochkin2

1 ITMO University, St. Petersburg, Russia [e-mail] 2 Sberbank, Moscow, Russia

Abstract. An algorithm for planning the movement of a multi-link robotic system in an environment with obstacles is considered. The main requirements for this task are high performance and efficient memory usage during operation. An algorithm for path planning based on the method of a bidirectional fast-investigating random tree is presented. An approach is used which excludes addition of new vertices to the tree if their location in space can unambiguously conclude that it is inappropriate to use them in the path construction. This modification makes it possible to speed up movement planning and reduce the amount of memory needed to store the environment analysis data.

© Довгополик И. С., Артемов К., Борисов О. И., Забихифар С., Семочкин А. Н., 2022

Keywords: path planning, rapidly-exploring random trees, exclusion of unused vertices, iCub Forcitation: Dovgopolik I. S., Artemov K., Borisov O. I., Zabihifar S., Semochkin A. N. Modified intelligent bidirectional random tree algorithm for planning the movement of anthropomorphic manipulators. Journal of Instrument Engineering. 2022. Vol. 65, N 3. P. 185—193 (in Russian). DOI: 10.17586/0021-3454-2022-65-3-185-193.

Введение. Проблема планирования движения составляет большинство задач, выполняемых роботами. Эта проблема актуальна как для мобильных роботов, так и для многозвенных, которые выполняют поиск пути для взаимодействия с объектами окружающей среды, для захвата объектов и манипулирования ими. Задача планирования движения в первую очередь заключается в определении траектории перемещения, к которой предъявляются три основных требования [1]. Во-первых, траектория должна проходить от заданной начальной точки к заданной конечной точке; во-вторых, она должна проходить только через свободную часть рабочего пространства — какие-либо пересечения с зонами, занятыми препятствиями, недопустимы; в-третьих, полученная траектория должна быть оптимальной по параметру, который определяется спецификой задачи.

Для многих роботов, в частности антропоморфных, важным требованием является автономность, что накладывает значительные ограничения на вычислительную мощность и объем доступной для работы внутренней памяти. Задачу планирования движения можно назвать рутинной для робототехнической системы, поэтому она должна выполняться быстро и не требовать применения значительных ресурсов. В настоящей статье предлагается решение данной задачи, для чего необходимо:

— исследовать линейку алгоритмов быстроисследующих случайных деревьев (Rapidly Exploring Random Trees — RRT);

— провести моделирование работы линейки алгоритмов и оценить эффективность использования памяти;

— усовершенствовать лучший по результатам моделирования алгоритм и использовать его для сокращения объема памяти;

— оценить эффективность работы модифицированного алгоритма.

Алгоритм RRT и его модификации. Алгоритм, предложенный в [2], работает следующим образом. Исходными данными являются начальная и целевая конфигурации робота и данные о пространстве. Первая вершина дерева — это начальная конфигурация. В пространство добавляется случайная точка на расстоянии, равном шагу алгоритма от текущей точки. Если проверка пройдена, вершина и линия добавляются в дерево. Если случайная и целевая точки совпадают, построение траектории выполнено. В противном случае действия повторяются. Структурная схема алгоритма представлена на рис. 1. В этом методе не используются алгоритмы оптимизации при определении траектории.

В [3] представлен оптимальный вариант RRT, при котором траектория строится таким образом, чтобы сумма стоимостей перехода между вершинами дерева от начальной точки к конечной была минимальной. Когда количество случайных точек стремится к бесконечности, этот подход обеспечивает асимптотически оптимальное решение, понимаемое как решение, наиболее близкое к оптимальному по сравнению с другими решениями [4].

Для ускорения процесса поиска траектории было предложено двунаправленное быстро-исследующее случайное дерево [5]. В этом алгоритме инициализируются два дерева, одно — из начальной точки траектории, второе — из конечной точки. Если какие-либо вершины первого и второго деревьев находятся на расстоянии, равном или меньшем, чем шаг алгоритма, и между этими вершинами нет областей ограничения, деревья соединяются. Структурная схема этого алгоритма представлена на рис. 2. Такой подход позволяет увеличить скорость по-

строения траектории и уменьшить объем требуемой памяти, поскольку уменьшается необходимое количество итераций для успешного определения пути.

Начало

Рис. 2

В работах [6, 7] предложен модифицированный подход, в котором реализован способ выбора вершин для присоединения. Модификация получила название „интеллектуальное двунаправленное быстроисследующее случайное дерево". Алгоритм определяет, к какому из деревьев целесообразно добавить случайную точку, и оценивает расстояние между нею и ближайшей вершиной дерева. Вершина присоединяется к ближайшему дереву. Структурная схема алгоритма представлена на рис. 3.

Подход, предусматривающий ограничение области поиска для увеличения скорости планирования и уменьшения объема используемой памяти, представлен в [8]. Подпространство для поиска пути предложено определять как фигуру эллипсоидальной формы, размеры которой определяются линейным расстоянием между начальной и конечной точками траектории и длиной первого пути, который найден в пространстве посредством оригинального алгоритма. Такое подпространство должно уменьшаться, постепенно „складываясь" в прямую, соединяющую начало и конец траектории, что необходимо для поиска оптимального решения. Во избежание необходимости поиска решения стандартным алгоритмом ИЯТ, в [9] был предложен подход к поиску траектории путем инициализации случайных точек

в пространстве группами. В данном случае построение подпространства для поиска опирается только на линейное расстояние между начальной и конечной точками траектории. Случайные точки инициализируются группами, каждая из которых содержит п точек. Если после инициализации всех точек не был найден ни один путь, подпространство поиска расширяется и вновь инициализируются п точек. После того как первый путь был найден, подпространство начинает сужаться после инициализации каждой группы точек. Такой подход имеет выраженные недостатки — необходимость расширения области поиска и вероятность отсутствия пути в подпространстве из-за ограниченного количества инициализированных точек.

Начало

Рис. 3

Методы на основе ИЯТ приобретают широкое распространение [1, 10, 11]. Для определения траектории не нужно анализировать все пространство, достаточно лишь часть, соответственно не требуется большой объем памяти. С увеличением размерности пространства сложность вычислений почти не возрастает, что особенно важно для многозвенных робото-технических систем.

Моделирование работы алгоритмов ЯИТ. Эксперимент проводился для двух вариантов начальной и конечной точек траектории робота в конфигурационном пространстве. Показателем используемого объема памяти является количество вершин. Траектории, построенные с использованием алгоритмов двунаправленного КЯТ и интеллектуального двунаправленного ИЯТ, представлены на рис. 4, а, б соответственно (здесь ql, q2, д3 — углы поворота сочленений робота).

а)

100 80 60 40 20 0

б)

100

80

60

40

20

ql, ... 0

0 200

-50

100

160

-100

Рис. 4

О

о

Анализ рисунков показывает, что каждый алгоритм создает большое количество ветвей дерева, которые можно назвать заведомо неиспользуемыми. Подразумевается, что в процессе поиска пути в графе они никогда не будут востребованы в качестве составляющих частей траектории, поскольку построены не в пространстве между начальной и конечной точками траектории. Таким образом, часть памяти, используемая для хранения дерева, может быть освобождена путем исключения этих ветвей.

Модифицированное интеллектуальное двунаправленное ЯЯТ. Для сокращения используемого объема памяти необходимо организовать добавление к дереву вершин, которые располагаются в пространстве между начальной и конечной точками траектории. Это геометрическая задача, рассмотрим ее для двухмерного пространства. Предположим, что новая случайная конфигурация расположена в пространстве между начальной и конечной точками пути, для четкого определения ее положения введем критерий оценки. Рассмотрим рис. 5, а, где qstart7 и д81аг12 — деревья, инициализированные из начальной и конечной точек траектории соответственно, qrand — случайная конфигурация, qnear7 и qnear2 — ближайшие к случайной конфигурации вершины инициализированных деревьев. Соединив qnear7, qnear2 и qrand в треугольник, получим углы а1 и а2, которые являются острыми.

Рис. 5

Рассмотрим другой вариант (рис. 5, б) — новая случайная конфигурация расположена вне пространства между инициализированными деревьями. Если повторить аналогичные предыдущему варианту операции, получим углы а1 и а2, при этом а1 — тупой угол, а2 — острый. Также из рисунка следует, что в случае присоединения случайной точки к дереву qstart2 новая ветвь будет построена в пространстве между инициализированными деревьями, но если присоединить точку к дереву qstart7, то новая ветвь будет построена в сторону от пространства между начальной и конечной точками траектории, т.е. такая ветвь будет заведомо ложной. Таким образом, если в качестве критерия оценки расположения случайной точки выбирать углы а1 и а2, то можно однозначно оценивать целесообразность ее присоединения к дереву и исключать заведомо ненужные вершины.

Структурная схема предлагаемого модифицированного алгоритма представлена на рис. 6. Осуществляется инициализация деревьев из начальной и конечной точек траектории. Затем определяется угол расширения дерева, по умолчанию равный 90°, что позволяет обходить вертикальные препятствия перед деревом. Однако необходимо проверить, не окружено ли дерево препятствиями так, что обойти их, учитывая ограничение на значение этого угла, невозможно.

Начало

Рис. 6

Для проверки предлагается следующий алгоритм (рис. 7). От стартовой точки дерева qstart опускаются две перпендикулярные к линии qstart-qgoal и друг к другу прямые. Выполняется поиск пересечения этих прямых с препятствиями. Если есть пересечение, то выполняется поиск крайних точек сфер и сравнение их отдаленности от qstart. На расстоянии, равном шагу алгоритма от самой удаленной точки, вводится другая точка и осуществляется построение треугольника abc, что позволяет определить угол расширения aiim , который вычисляется

с использованием теоремы косинусов по формуле

i г.2 , „2 „2 Л

qgoal

Шаг а

Рис. 7

Следующий этап модифицированного алгоритма — проверка возможности соединения деревьев. Если соединение возможно, то происходит построение траектории, если же невозможно, то инициализируется случайная точка, выполняется поиск ближайших соседей и оп-

ределяются углы а,. Если угол а, не превышает значения угла расширения, то точка добавляется как вершина дерева и запускается следующая итерация.

Представленный модифицированный алгоритм исключает построение лишних ветвей дерева, что позволяет ускорить процесс планирования движения и снизить объем используемой памяти. Для определения степени улучшения этих показателей проводятся моделирование и сравнительный анализ алгоритмов.

Сравнение алгоритмов. Сцена для проведения эксперимента представляет собой антропоморфного робота ЮиЬ, стену с окном, стол с предметами (рис. 8).

Рис. 8

Задача робота — переместить руку с захваченным предметом через препятствие (горизонтальное или вертикальное) без столкновений с объектами окружающей среды. Для решения задействуется три сочленения робота: два в плече и одно в локте. Это необходимо для визуализации конфигурационного пространства, в котором происходит планирование, поскольку пространство размерностью выше трех визуализировать невозможно, а управления этими тремя сочленениями достаточно для перемещения руки по всему рабочему пространству. Каждый алгоритм запускается 10 раз для каждой задачи. На рис. 9, а—в представлены несколько траекторий, полученных по результатам работы алгоритмов: а — двунаправленного ИЯТ; б — интеллектуального двунаправленного ИЯТ; в — модифицированного интеллектуального двунаправленного ИЯТ. а) 9з,

100 80 60 40 20

0 100

80 60

40

20 0

92,

100

-60 91, ■

-40 0

92,

\ 50

---С "

-100

-60

-20

0 91,

в)

93,

100 80 60 40 20 0

9ь

150

0 -40 80

100

92, ■ °

Рис. 9

О

О

0

о

о

о

о

50

0

Проанализировав представленные рисунки, можно сделать вывод, что алгоритм модифицированного интеллектуального двунаправленного быстроисследующего случайного дерева выполняет построение траектории без лишних ветвей в отличие от других алгоритмов, которые заполняют ими пространство. Показатели работы алгоритмов для задачи с горизонтальным (horisont obstacle — HO) и вертикальным (vertical obstacle — VO) препятствиями представлены в таблице.

Алгоритм Среднее время планирования, с Среднее число вершин Количество успешных реализаций, % Длина пути в конфигурационном пространстве, о.е.

НО VO НО VO НО VO НО VO

RRT 938 703 3724 2343 50 50 640 691

Двунаправленное RRT 41 35 580 457 90 90 570 541

Интеллектуальное

двунаправленное RRT 55 71 604 633 90 90 530 623

Модифицированное

интеллектуальное

двунаправленное RRT 13 5 147 53 100 100 500 411

Анализ таблицы показывает, что модифицированный алгоритм имеет лучшие показатели, чем любой другой из рассмотренных. Этот алгоритм позволяет быстрее находить траекторию и использует меньший объем памяти. Показатель стоимости (длины) пути означает, что для заданного числа случайных точек алгоритм находит более короткое решение.

Заключение. Представлен новый алгоритм планирования пути для робототехнических систем — модифицированное интеллектуальное двунаправленное быстроисследующее случайное дерево; используется подход, исключающий добавление лишних вершин к деревьям на основе оценивания их положения в пространстве планирования. Данный алгоритм превосходит предыдущие модификации по скорости обнаружения пути и эффективности использования памяти.

СПИСОК ЛИТЕРАТУРЫ

1. Лю В. Методы планирования пути в среде с препятствиями (обзор) // Математика и математическое моделирование. 2018. № 1. С. 15—58. DOI: 10.24108/mathm.0118.0000098.

2. LaValle S. М. Rapidly-exploring random trees : A new tool for path planning // The Annual Research Report. Iowa State University, 1998. October.

3. Karaman S., Frazzoli E. Sampling-based algorithms for optimal motion planning // Intern. Journal of Robotics Research. 2011. Vol. 30. P. 846—894.

4. Левин Б. Р. Теоретические основы статической радиотехники. М.: Радио и связь, 1989. 656 с.

5. Jordan M., Perez A. Optimal bidirectional rapidly-exploring random trees // Tech. Rep. MITCSAIL-TR-2013-021. Massachusetts Institute of Technology, Cambridge, MA. 2013. August.

6. Qureshi A. H., Ayaz Y. Intelligent bidirectional rapidly-exploring random trees for optimal motion planning in complex cluttered environments // ArXiv. 2015. Vol. abs/1703.08944.

7. Tahir Z., Qureshi A. H., Ayaz Y., Nawaz R. Potentially guided bidirectionalized RRT* for fast optimal path planning in cluttered environments // Robotics Auton. Syst. 2018. Vol. 108. P. 13—27.

8. Gammell J., Srinivasa S., Barfoot T. Informed RRT*: Optimal sampling-based path planning focused via direct sampling of an admissible ellipsoidal heuristic // IEEE/RSJ Intern. Conf. on Intelligent Robots and Systems. 2014. P. 2997—3004.

9. Burget F., Bennewitz M., Burgard W. Bi2RRT*: An efficient sampling-based path planning framework for task-constrained mobile manipulation // IEEE/RSJ Intern. Conf. on Intelligent Robots and Systems (IROS). 2016. P. 3714—3721.

10. Kingston Z., Moll M., Kavraki L. Exploring implicit spaces for constrained sampling-based planning // Intern. Journal of Robotics Research. 2019. Vol. 38. P. 1151—1178.

11. Hauser K. Motion and Path Planning. Berlin, Heidelberg: Springer, 2020. P. 1—11.

Илья Сергеевич Довгополик

Кирилл Артемов

Олег Игоревич Борисов

СейедХассан Забихифар Александр Николаевич Семочкин

Сведения об авторах

магистр; Университет ИТМО, факультет систем управления и робототехники, лаборатория биомехатроники и энергоэффективной робототехники; инженер; E-mail: [e-mail] аспирант; Университет ИТМО, факультет систем управления и робототехники, лаборатория биомехатроники и энергоэффективной робототехники; инженер-исследователь; E-mail: [e-mail] канд. техн. наук; Университет ИТМО, факультет систем управления и робототехники, лаборатория биомехатроники и энергоэффективной робототехники; доцент; E-mail: [e-mail] канд. техн. наук; ПАО „Сбербанк", лаборатория робототехники; инженер-разработчик; E-mail: [e-mail] канд. физ.-мат. наук, доцент; ПАО „Сбербанк", лаборатория робототехники; гл. инженер-разработчик; E-mail: [e-mail]

Поступила в редакцию 28.12.21; одобрена после рецензирования 10.01.22; принята к публикации 18.01.22.

REFERENCES

1. Liu W. Mathematics and Mathematical Modelling, 2018, no. 01, pp. 15-58, DOI: 10.24108/mathm.0118.0000098.

2. LaValle S. TR 98-11, Computer Science Dept., Iowa State University, October 1998.

3. Karaman S. and Frazzoli E. The International Journal of Robotics Research, 2011, vol. 30, pp. 846-894.

4. Levin B.R. Teoreticheskiye osnovy staticheskoy radiotekhniki (Theoretical Foundations of Static Radio Engineering), Moscow, 1989, 656 p. (in Russ.)

5. Jordan M. and Perez A. Tech. Rep. MITCSAIL-TR-2013-021, Computer Science and Artificial Intelligence Laboratory, Massachusetts Institute of Technology, Cambridge, MA, August 2013.

6. Qureshi A.H. and Ayaz Y. ArXiv, 2015, vol. abs/1703.08944.

7. Tahir Z., Qureshi A.H., Ayaz Y., and Nawaz R. Robotics Auton. Syst., 2018, vol. 108, pp. 13-27.

8. Gammell J., Srinivasa S., and Barfoot T. 2014 IEEE/RSJ International Conference on Intelligent Robots and Systems, 2014, pp. 2997-3004.

9. Burget F., Bennewitz M., and Burgard W. IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2016, pp. 3714-3721.

10. Kingston Z., Moll M., and Kavraki L. The International Journal of Robotics Research, 2019, vol. 38, pp. 1151-1178.

11. Hauser K. Motion and Path Planning, Berlin, Heidelberg, Springer, 2020, pp. 1-11.

Data on authors

MSc; ITMO University, Faculty of Control Systems and Robotics, International Laboratory of Biomechatronics and Energy-Efficient Robotics; Engineer; E-mail: [e-mail]

Post-Graduate Student; ITMO University, Faculty of Control Systems and Robotics, International Laboratory of Biomechatronics and Energy-Efficient Robotics; Engineer-Researcher; E-mail: [e-mail]

PhD; ITMO University, Faculty of Control Systems and Robotics, International Laboratory of Biomechatronics and Energy-Efficient Robotics; Associate Professor; E-mail: [e-mail]

PhD; Sberbank, Robotics Laboratory; Engineer-Designer; E-mail: [e-mail]

PhD, Associate Professor; Sberbank, Robotics Laboratory; Chief Engineer-Designer; E-mail: [e-mail]

Ilya S. Dovgopolik —

Kirill Artemov —

Oleg I. Borisov —

Seyedhassan Zabihifar —

Aleksandr N. Semochkin —

Received 28.12.21; approved after reviewing 10.01.22; accepted for publication 18.01.22.

УДК 004.896

DOI: 10.17586/0021-3454-2022-65-3-194-203

СЕГМЕНТАЦИЯ ОБЪЕКТОВ С ФУНКЦИЕЙ ДООБУЧЕНИЯ

И. Д. Ненахов1*, К. Артемов1, С. Забихифар2, А. Н. Семочкин2, С. А. Колюбин1

1 Университет ИТМО, Санкт-Петербург, Россия *[e-mail]

2 Сбербанк, Москва, Россия

Аннотация. Рассматриваются способы расширения набора распознаваемых классов объектов для задачи их сегментирования, где необходимо построить маску объекта, а также узнать его класс. Для первой задачи использованы методы, не зависящие от классов предметов и являющиеся наиболее устойчивыми к изменениям формы; для второй задачи проанализированы методы, основанные на итеративном обучении (iterative learning), и методы метрического обучения (metric learning). Второй подход выбран в качестве основного, и для него протестированы различные архитектуры нейронных сетей. Проведена классификация объектов с использованием алгоритма k ближайших соседей. В качестве набора данных для обучения нейронной сети использован набор COIL-100, а после обученная модель протестирована на собственном наборе данных. Проведенные эксперименты показывают, что используемый метод позволяет обрабатывать 7-8 изображений в секунду на видеокарте GTX 1050 ti с 4 Гбайт видеопамяти с точностью классификации в 99 %.

Ключевые слова: метрическое обучение, итеративное обучение, сегментация, классификация, сверточ-ные нейронные сети, робототехника, распознавание изображений

Ссылка для цитирования: Ненахов И. Д., Артемов К., Забихифар С., Семочкин А. Н., Колюбин С. А. Сегментация объектов с функцией дообучения // Изв. вузов. Приборостроение. 2022. Т. 65, № 3. С. 194—203. DOI: 10.17586/0021-3454-2022-65-3-194-203.

OBJECTS SEGMENTATION WITH RETRAINING FUNCTION

I. D. Nenakhov1*, K. Artemov1, S. Zabihifar2, A. N. Semochkin2, S. A. Kolyubin1

1 ITMO University, St. Petersburg, Russia Россия [e-mail] 2 Sberbank, Moscow, Russia

Abstract. Ways to expand the set of recognized object classes for the task of segmenting them, where it is necessary to build an object mask, as well as to find out its class, are considered. For the first task, methods that do not depend on the classes of subjects and are the most resistant to shape changes were used; for the second task, methods based on iterative learning and methods of metric learning are analyzed. The second approach is chosen as the main one, and various neural network architectures are tested for it. The classification of objects using the k nearest neighbors algorithm is carried out. The C0IL-100 set is used as a data set for training a neural network, and after that the trained model was tested on its own data set. The experiments show that the method used allows processing 7-8 images per second on a GTX 1050 ti graphics card with 4 GB of video memory with a classification accuracy of 99%.

Keywords: metric learning, iterative learning, segmentation, classification, convolutional neural networks, robotics, image recognition

For citation: Nenakhov I. D., Artemov K., Zabihifar S., Semochkin A. N., Kolyubin S. A. Objects segmentation with retraining function. Journal of Instrument Engineering. 2022. Vol. 65, N 3. P. 194—203 (in Russian). DOI: 10.17586/00213454-2022-65-3-194-203.

Введение. Распознавание образов является одним из ключевых навыков человека для восприятия окружающего мира. Аналогично, роботу для имитации человека необходимо понимать, что его окружает. Как для человека основным органом чувств является зрение, так и

© Ненахов И. Д., Артемов К., Забихифар С., Семочкин А. Н., Колюбин С. А, 2022

для робота основная часть информации о мире поступает через видеокамеры в виде двухмерных изображений. Однако недостаточно только получать данные с камер, их необходимо надлежащим образом обрабатывать.

Сегментация изображений — одна из основных задач в компьютерном зрении. Данная задача, как и большинство задач компьютерного зрения, сегодня решается с помощью алгоритмов, основанных на сверточных нейронных сетях (CNN), активное развитие которых отмечается в последнее десятилетие с достижением высоких показателей производительности компьютеров и, в частности видеокарт.

Компьютерное зрение в гуманоидной робототехнике имеет несколько отличительных характеристик и задач, отделяющих его от других областей компьютерного зрения, основанных на глубоком обучении. Автономный робот должен быть способен эффективно взаимодействовать со средой, предназначенной для человека, в частности, различать предметы в изменяющемся окружении и быть способным итеративно обучаться распознаванию объектов.

В настоящей статье рассматриваются различные методы итеративного обучения и исследуется методика метрического обучения, а также предлагается алгоритм, минимизирующий участие человека в процессе адаптации к новым классам объектов.

Распознавание образов. Основные архитектуры сверточных нейронных сетей. Операция свертки заключается в применении скользящего фильтра (как правило, малого размера) по изображению. Сама по себе свертка применима для нахождения примитивов: линий, углов, точек и т.д. Однако если использовать свертку не на исходном изображении, а на результате свертки этого изображения с каким-либо фильтром, то можно находить более сложные образы.

Первой удачной архитектурой сверточной нейронной сети является Alexnet [1], в 2013 г. превзошедшая классические алгоритмы в соревновании по классификации изображений на наборе данных ImageNet. Наряду со сверточными слоями в Alexnet применяются слой пулин-га и полносвязный слой. Первый уменьшает размер карты признаков, деля тензор на сетку и выбирая среднее или максимальное его значение в элементах каждой ячейки. Полносвязный слой служит для классификации полученных высокоуровневых признаков.

Впоследствии нейронные сети стали все более глубокими. В очень глубоких нейронных сетях наблюдается проблема угасания градиента по мере его прохождения во время обновления весов. Нововведением архитектуры ResNet (2015) [2] является добавление обходных соединений. На определенных слоях создается соединение, пропускающее сигнал через несколько следующих слоев с последующей конкатенацией.

С увеличением глубины сети возрастает как вычислительная сложность, так и объем занимаемой памяти. Архитектура MobileNet [3] создавалась как компактная версия глубокой нейронной сети. В такой архитектуре для уменьшения пространственных размеров вектора используются блоки со свертками с шагом 2, а не пулинг, как применялось прежде. Также отличительной особенностью MobileNet является малый объем занимаемой памяти (16 Мбайт).

Сегментация изображений. Описанные выше архитектуры сверточных сетей применяются не только для классификации, но и служат остовом (backbone) моделей для остальных задач, таких как детектирование и сегментация. Рассмотрим подробнее задачу сегментации изображений.

При семантической сегментации ставится задача каждому пикселу входного изображения присвоить класс объекта, к которому он относится. При этом если два объекта одного класса соприкасаются, то на выходе модели нельзя определить их границу. Задача сегментации объектов (instance segmentation) решает эту проблему. Наряду с классом объекта необходимо определить, к какому объекту относится пиксел.

Наиболее успешное и популярное решение в задаче сегментации объектов — Mask R-CNN [4] является модификацией двухфазового (two-stage) детектора объектов Faster R-CNN [5]. На первом этапе изображение обрабатывается backbone-сетью. Далее берутся результаты с различных слоев этой сети и подаются в сеть для предсказания регионов (Region Proposal Network — RPN), которая выделяет области, где может содержаться объект. На этапе RoIAling для каждого региона выделяется соответствующая ему карта признаков из карты признаков исходного изображения. Каждый найденный регион затем классифицируется полносвязными слоями и при наличии объекта уточняются границы региона и осуществляется поиск его маски. Эти три этапа производятся параллельно на признаках, полученных back-Ьопе-моделью. Структура модели Mask R-CNN приведена на рис. 1.

_„ Class

CNN

RolAling

RPN

Box

Рис. 1

Адаптация классификации объектов к расширению набора классов. Поставленную задачу можно сформулировать следующим образом. Пусть имеется исходное конечное множество объектов Nx = {nx1, nx2, ... nxn} и множество соответствующих объектам классов Ny = {ny1, ny2, ... nyk}. Также имеется счетное множество Mx = {mx1, mx2, ...} дополнительных заранее не определенных объектов с соответствующими метками классов My = {my1, my2, ...}, мощность которого также заранее не известна, но может быть оценена сверху как m*. Множества Ny и My не пересекаются, N nM = 0. Изначально алгоритм должен быть способен классифицировать объекты из множества классов C0 с Ny. При этом в процессе работы алгоритма в явном виде в качестве новых обучающих данных могут выступать объекты, относящиеся к произвольному классу из множества My, требующие запуска процесса адаптации алгоритма. Следовательно, на каждой 7-й итерации обучения алгоритм должен адаптироваться и расширять множество классифицируемых классов С7 = C7-1+{my7}. В конечном счете требуется решить задачу классификации объектов из множества N и M максимальной мощностью (n+m*) с точностью не ниже заданной:

T + T

A = TP-—,

к + m *

где Tp — количество истинно положительных прогнозов, Tn — количество истинно отрицательных прогнозов, а (к + m*) — количество объектов в выборке.

В настоящее время существует две области машинного обучения, способные решить данную задачу: итеративное обучение (iterative learning) и метрическое обучение (metric learning).

Итеративное обучение. Процесс обучения состоит в определении оптимальных параметров модели. Для каждого обучающего примера оптимальные параметры различаются, и цель обучения — найти такие параметры, которые позволят получить удовлетворительное решение на всем множестве обучающих данных. Для этого при обучении данные выбираются в случайном порядке. Но когда данные поступают последовательно, оптимальные параметры, найденные в текущей итерации, при последующих итерациях сойдутся к другим значениям. Таким образом, модель потеряет способность распознавать объекты предшествующих итераций. Этот эффект называется катастрофическим забыванием.

В сверточных нейронных сетях разработано множество методов итеративного обучения, направленных на преодоление катастрофического забывания. Их можно разделить на три вида. Первые — регуляризационные подходы [6, 7], ограничивающие возможность изменения наиболее „важных" весов; вторые — архитектурные подходы [8, 9], которые основываются на изменении архитектуры после каждого обученного класса; третьи [10] — подходы, никак не влияющие на параметры сети, но использующие часть данных от прежних классов для „напоминания" в последующих итерациях обучения. Также существуют работы [11], в которых рассматривается комбинация этих методик. Однако применение методик итеративного обучения сопряжено с достаточно длительным временем обучения или необходимостью изменять модель при каждой итерации.

Метрическое обучение. Задача метрического обучения — построить такой экстрактор признаков, чтобы векторы, соответствующие данным одного класса, находились близко друг к другу в пространстве признаков, а векторы, соответствующие данным разных классов, — далеко друг от друга. При этом в экстракторе не содержится информации о том, какому именно классу принадлежат входные данные.

Экстрактор признаков можно представить в виде функции, которая отображает входное

изображение на пространство признаков фиксированной размерности — F : Rwhc ^ Rz, где w, h, c — размерность изображений, z — размерность итогового пространства признаков. Таким образом, каждому изображению ставится в соответствие вектор f е Rz.

Для обучения такого экстрактора разработана функция потерь триплета (triplet loss) [12]

k +m

Loss = X[llfT-f||2 -J -f|l2 +a i=1

r-a rp

принимающая на вход тройку векторов: опорный f , положительный jf и отрицательный

f" . Расстояние от опорного вектора до положительного должно быть меньше, чем от опорного до отрицательного как минимум на величину а . При этом за положительный принимается вектор, класс которого совпадает с классом опорного, а за отрицательный — вектор, класс которого не совпадает с классом опорного. Далее необходимо сохранить векторы, представляющие изображения набора данных, и впоследствии производить классификацию новых изображений с помощью алгоритма k ближайших соседей (k-Nearest Neighbors — kNN).

Метод k ближайших соседей — один из наиболее тривиальных алгоритмов машинного обучения для классификации и регрессии. Изначально сохраняются точки обучающей выборки в пространстве признаков. Затем задается параметр k, указывающий на количество соседей, среди которых будет проводиться классификация. Для каждого тестового объекта находятся k ближайших соседей в пространстве признаков и присваивается класс, наиболее часто встречающийся среди найденных соседей.

Реализация процесса сегментации с возможностью дообучения. Описание алгоритма. Так как алгоритмы метрического обучения позволяют быстро добавлять новые объекты, то было решено использовать обученный по данной методике экстрактор признаков и алгоритм kNN для классификации объектов, а для сегментации— Mask R-CNN. При этом экстрактор признаков, сеть для прогноза регионов и голова сети для определения маски предмета (mask head) в модели Mask R-CNN при обучении не имеют информации о классах предметов, поэтому возможно использовать эти компоненты для сегментации изображения без классификации. Найденные объекты после удаления фона подаются в экстрактор признаков и с помощью алгоритма kNN производится их классификация.

Тестирование алгоритма. Для решения задачи классификации были протестированы несколько архитектур экстракторов признаков: ResNet50, MobileNetV3_small, MobileNetV3_large.

Архитектура ResNet была выбрана, так как является одной из современных (state-of-the-art) моделей из набора данных ImageNet. Архитектуры MobileNet — легковесные модели, в некоторых задачах склонные к лучшей обобщающей способности, чем громоздкие аналоги.

Также имеет значение размерность выходного вектора — чем он больше, тем больший объем информации можно закодировать им и тем точнее будет классификация. Однако вместе с ростом размерности увеличивается размер файла, в котором хранятся ранее полученные признаки, а также увеличивается объем оперативной памяти во время работы программы.

Каждый из используемых экстракторов признаков формирует вектор заданной размерности. Для регулирования размерности после экстрактора признаков был добавлен один полносвязный слой с количеством нейронов, равным желаемой размерности вектора. В данном эксперименте были протестированы векторы следующих размерностей: 16, 32, 64 и 128 элементов.

Для тестирования был выбран набор данных COIL-100 [13]. Примеры объектов показаны на рис. 2. Набор данных содержит 100 объектов по 72 изображения на каждый. Для обучения были выбраны первые 50 объектов из набора данных. Обучение проводилось на протяжении 10 эпох. Для тестирования использовались оставшиеся 50 объектов. Работа алгоритмов оценивалась с помощью видеокарты Nvidia RTX 3080. Результаты обучения различных архитектур приведены в таблице.

у s w

u

э 1 1

-——^

Рис. 2

Архитектура Размерность вектора Точность, % Время обучения, с Время обработки одного изображения, мс

Resnet50 16 97,9 293 10

MobileNetV3 small 16 96,9 303 8

MobileNetV3 large 16 98,1 321 11

Resnet50 32 98,8 409 10

MobileNetV3 small 32 98,7 307 8

MobileNetV3 large 32 99,1 321 10

Resnet50 64 99,1 413 10

MobileNetV3 small 64 99,2 309 8

MobileNetV3 large 64 99,5 324 10

Resnet50 128 99,4 418 10

MobileNetV3 small 128 99,2 312 8

MobileNetV3 large 128 99,5 327 10

Resnet50 256 99,6 426 10

MobileNetV3 small 256 99,3 319 8

MobileNetV3 large 256 99,6 333 10

Resnet50 512 99,4 435 10

MobileNetV3 small 512 99,4 331 9

MobileNetV3 large 512 99,6 347 10

Как видно из таблицы, более легковесные архитектуры немного превосходят Яе8№1 по точности и значительно по скорости обучения и времени обработки. Архитектура Яе8№1 по сравнению в МоЫ1е№1 имеет большее число параметров. Следовательно, модель может „запомнить" больше обучающих примеров вместо выведения закономерностей, тем самым более склонна к переобучению. Этим объясняется несколько меньшая точность Яе8№1 по сравнению с МоЫ1е№1;.

Размерность пространства признаков оказывает влияние как на точность и скорость классификации, так и на объем памяти для хранения признаков. При увеличении размерности модель имеет больше способов разнести в пространстве точки разных классов, что повышает точность. В то же время расчет расстояния между двумя точками в таком пространстве будет занимать больше времени. Также кратно возрастает объем памяти для хранения векторов признаков.

Проецирование векторов признаков из 128-мерного пространства на плоскость с помощью алгоритма снижения размерности Ишар представлено на рис. 3. Визуализация отображает точки, соответствующие векторам тестовой части (50 объектов) набора данных. Точки, соответствующие одному классу, сгруппированы друг с другом, тогда как точки разных классов находятся на значительном расстоянии друг от друга практически для всех классов объектов.

г

4

к

ч

о

я

_ ' ——

'-i

1 Г i *

- о il __S-

*

У *

г

**

Рис. 3

Тестирование алгоритма на реальных объектах. После тестирования алгоритма на заранее подготовленном наборе данных был проведен эксперимент с использованием реальных объектов: кружка (cup), коробка (box), кубик (cube), компьютерная мышь (mouse) и антисептик (cleaner).

Для каждого объекта было снято видео длительностью 15 с, показывающее объект с разных сторон. Далее изображения были разделены на обучающую и тестовую части в соотношении 70 на 30. Обучающие 70 % изображений были использованы для получения векторов в пространстве признаков и обучения алгоритма k ближайших соседей, а оставшиеся 30 % — для оценки классификации. Точность обученной системы составила 98 %.

В то время как обученные классы объектов модель определяет с удовлетворительной точностью, в базовой конфигурации она часто распознает незнакомые предметы как обученные, т.е. имеют место ложно-положительные срабатывания. В этом случае необходимо фильтровать результаты классификации в соответствии с процентным соотношением количества объектов спрогнозированного класса среди k ближайших соседей, чтобы исключить объекты, находящиеся между кластерами известных классов. При тестировании алгоритма был выбран порог в 80 %. Также могут появиться объекты, все ближайшие соседи которых принадлежат к одному классу, но расстояние до первого из них велико. Тогда считается, что объект не принадлежит ни к одному известному классу. При тестировании был выбран порог для

косинусного расстояния в 0,2. Примеры сегментации для объектов из набора данных представлены на рис. 4.

Результаты 2D визуализации обучающих данных в пространстве признаков представлены на рис. 5. Можно заметить, что за редким исключением репрезентации различных объектов явно разделены. Используя видеокарту Nvidia GTX 1050ti с 4 Гбайт видеопамяти, алгоритм способен обрабатывать 7-8 изображений в секунду.

Рис. 4

mouse cube ф box . cup ■ cleaner

jf—

Рис. 5

При реализации данного алгоритма были использованы фреймворки Detectron2 [14] и PyTorch [15] и библиотека Pytorch Metric learning [16].

Алгоритм автоматического дообучения. Ключевой особенностью робототехники является минимизация участия человека в рабочем процессе. При поступлении объектов новых классов робот должен быть способен распознавать эти объекты как не принадлежащие ни к одному известному классу и запускать процесс адаптации к ним. При наличии манипулятора и видеокамеры, робот может осуществить это по алгоритму, структурная схема которого приведена на рис. 6.

Как только появляется объект, вектор которого лежит дальше установленного порога йп, запускается процесс проверки: определяются координаты центра объекта в 3D-пространстве и выполняются N снимков этого объекта с разных ракурсов. Если среди векторов собранных изображений среднее минимальных расстояний dt min меньше dn, то объекту присваивается

наиболее частый класс и собранные векторы добавляются в обучающую выборку. В противном случае запускается процесс дообучения: производится R снимков объекта, определяются их векторы признаков, которые затем добавляются в базу данных с меткой класса j+1, где j — текущее количество обученных классов. Из эвристических соображений следует выбирать параметры N и R таким образом, чтобы N < R, так как для уточнения классификации необходимо, как правило, меньше данных, чем на дообучение.

is '¿к

Рис. 6

Заключение. Исследована возможность применения предобученной модели для сегментации Mask R-CNN и обучения метрики для решения задачи расширения распознаваемых классов. В отличие от методики итеративного обучения данный метод не подвержен влиянию катастрофического забывания, а также не требует времени на дообучение.

Перспективные исследования связаны с соединением экстрактора признаков в Mask R-CNN и классификатора для ускорения работы алгоритма, а также с уменьшением количества сохраняемых точек в пространстве признаков и удалением выбросов в данных. Для улучшения качества сегментации планируется обучить Mask R-CNN на наборе данных, приспособленном для задач мобильной робототехники.

СПИСОК ЛИТЕРАТУРЫ

1. Krizhevsky A., Sutskever I., Hinton G. E. ImageNet Classification with Deep Convolutional Neural Networks // Advances in Neural Information Processing Systems / Ed.: F. Pereira, C. J. C. Burges, L. Bottou, K. Q. Weinberger. Curran Associates Inc., 2012. Vol. 25. P. 1097—1105.

2. Deep Residual Learning for Image Recognition / Kaiming He, Xi-Angyu Zhang, Shaoqing Ren, Jian Sun // CoRR. 2015. Vol. ab-s/1512.03385. [Электронный ресурс]: <http://arxiv.org/abs/1512.03385>.

3. MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications / A. G. Howard, Menglong Zhu, Bo Chen et al. // CoRR. 2017. Vol. abs/1704.04861. [Электронный ресурс]: <http://arxiv.org/abs/1704.04861>.

4. Mask R-CNN / Kaiming He, G. Gkioxari, P. Doll ar, R. B. Girshick // CoRR. 2017. Vol. abs/1703.06870. [Электронный ресурс]: <http://arxiv.org/abs/1703.06870>.

5. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks / Shaoqing Ren, KaimingHe, R. Girshick, Jian Sun // Advances in Neural Information Processing Systems / Ed.: C. Cortes, N. Lawrence, D. Lee et al. Curran Associates Inc., 2015. Vol. 28. P. 91—99. [Электронный ресурс]: <https://proceedings.neurips.cc/paper/2015/file/14bfa6bb14875e45bba028a21ed38046-Paper.pdf.15>.

6. Kirkpatrick J., Pascanu R., Rabinowitz N. et al. Overcoming catastrophic forgetting in neural networks // Proc. of the National Academy of Sciences. 2017. N 114(13). P. 3521—3526.

7. Zenke F., Poole B., Ganguli S. Continual Learning Through Synaptic Intelligence // Proc. of the 34th Intern. Conf. on Machine Learning. Sydney, Australia. 2017. Vol. 70. P. 3987—3995,

8. Lomonaco V., Maltoni D. C0Re50: A New Dataset and Benchmark for Continuous Object Recognition // Proc. of the 1st Annual Conf. on Robot Learning. PMLR. 2017. Vol. 78. P. 17—26.

9. Progressive Neural Networks / A. A. Rusu, N. C. Rabinowitz, G. Desjardins, H. Soyer, J. Kirkpatrick, K. Kavukcuoglu, R. Pascanu, R. Hadsell. // arXiv preprint arXiv:1606.04671, 2016.

10. Hayes T. L., Cahill N. D., Kanan C. Memory Efficient Experience Replay for Streaming Learning // arXiv preprint arXiv:1809.05922, 2018.

11. Rebuff S. A., Kolesnikov A., Sperl G., Lampert C. H. iCaRL: Incremental Classifier and Representation Learning // IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), Honolulu, Hawaii. 2017.

12. Hoffer E., Nir A. Deep metric learning using Triplet network // Intern. Workshop on Similarity-Based Pattern Recognition. Springer, Cham, 2015.

13. Columbia Object Image Library (C0IL-100) / S. A. Nene, S. K. Nayar, H. Murase. // Tech. Report CUCS-006-96. 1996. February.

14. Wu Yuxin. Detectron2, 2019. [Электронный ресурс]: <https://github.com/facebookresearch/detectron2>.

15. Pytorch: An Imperative Style, High-Performance Deep Learning Library / A. Paszke, S. Gross, F. Massa et al. // Advancesin Neural Information Processing Systems 32 / Ed.: H. Wallach,H. Larochelle, A. Beygelzimer et al. Curran Associates Inc., 2019. P. 8024—8035.

16. Musgrave K. ., Belongie S., Lim S.-N. Pytorch metric learning // arXiv preprint, arXiv:2008.09164, 2020.

Сведения об авторах

Иван Дмитриевич Ненахов — студент; Университет ИТМО, факультет систем управления и робо-

тотехники, лаборатория биомехатроники и энергоэффективной робототехники; E-mail: [e-mail]

Кирилл Артемов — аспирант; Университет ИТМО, факультет систем управления и ро-

бототехники, лаборатория биомехатроники и энергоэффективной робототехники; инженер-исследователь; E-mail: [e-mail]

СейедХассан Забихифар — канд. техн. наук; ПАО „Сбербанк", лаборатория робототехники; ин-

женер-разработчик; E-mail: [e-mail]

Александр Николаевич Семочкин — канд. физ.-мат. наук, доцент; ПАО „Сбербанк", лаборатория робототехники; гл. инженер-разработчик; E-mail: [e-mail]

Сергей Алексеевич Колюбин — д-р техн. наук, доцент; Университет ИТМО, факультет систем

управления и робототехники, лаборатория биомехатроники и энергоэффективной робототехники; вед. научный сотрудник; E-mail: [e-mail]

Поступила в редакцию 28.12.21; одобрена после рецензирования 11.01.22; принята к публикации 18.01.22.

REFERENCES

1. Krizhevsky A., Sutskever I., Hinton G.E. Advances in Neural Information Processing Systems, 2012, vol. 25, pp. 1097-1105, https://proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf.

2. He K., Zhang X., Ren Sh., Sun J. CoRR, 2015, vol. abs/1512.03385.http://arxiv.org/abs/1512.03385.

3. Howard A.G., Zhu M., Chen B. et al. CoRR, 2017, vol. abs/1704.04861, http://arxiv.org/abs/1704.04861.

4. He K., Gkioxari G., Doll'ar P., Girshick R.B. CoRR, 2017, vol. abs/1703.06870, http://arxiv.org/abs/1703.06870.

5. Ren Sh., He K., Girshick R., Sun J. Advances in Neural Information Processing Systems, 2015, vol. 28, pp. 91-99, https://proceedings.neurips.cc/paper/2015/file/14bfa6bb14875e45bba028a21ed38046-Paper.pdf.15.

6. Kirkpatrick J., Pascanu R., Rabinowitz N., Veness J., Desjardins G., Rusu A.A., Milan K., Quan J., Ramalho T., Grabska-Barwinska A., Hassabis D., Clopath C., Kumaran D., and Hadsell R. Overcoming catastrophic forgetting in neural networks, 2017, no. 13(114), pp. 3521-3526.

7. Zenke F., Poole B., and Ganguli S. Proceedings of the 34th International Conference on Machine Learning, Sydney, Australia, 2017, vol. 70, pp. 3987-3995.

8. Lomonaco V. and Maltoni D. Proceedings of the 1st Annual Conference on Robot Learning, PMLR, 2017, vol. 78, Proceedings of Machine Learning Research, pp. 17-26.

9. Rusu A.A., Rabinowitz N.C., Desjardins G., Soyer H., Kirkpatrick J., Kavukcuoglu K., Pascanu R., and Hadsell R. arXiv preprint, arXiv:1606.04671, 2016.

10. Hayes T.L., Cahill N.D., and Kanan Ch. arXiv preprint, arXiv:1809.05922, 2018.

11. Rebuffi S.-a., Kolesnikov A., Sperl G., and Lampert Ch.H. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, Hawaii, 2017.

12. Hoffer E. and Nir A. International Workshop on Similarity-Based Pattern Recognition, Springer, Cham, 2015.

13. Nene S.A., Nayar S.K., and Murase H. Columbia Object Image Library (COIL-100), Technical Report CUCS-006-96, February 1996.

14. Wu Y. Detectron2, https://github.com/facebookresearch/detectron2, 2019.

15. Paszke A., Gross S., Massa F. et al. Advancesin Neural Information Processing Systems 32, Curran Associates, Inc., 2019, pp. 8024-8035.

16. Musgrave K., Belongie S., and Lim S.-N. arXiv preprint, arXiv:2008.09164, 2020.

Data on authors

— Student; ITMO University, Faculty of Control Systems and Robotics, International Laboratory of Biomechatronics and Energy-Efficient Robotics; E-mail: [e-mail]

— Post-Graduate Student; ITMO University, Faculty of Control Systems and Robotics, International Laboratory of Biomechatronics and Energy-Efficient Robotics; Engineer-Researcher; E-mail: [e-mail]

— PhD; Sberbank, Robotics Laboratory; Engineer-Designer; E-mail: [e-mail]

— PhD, Associate Professor; Sberbank, Robotics Laboratory; Chief Engineer-Designer; E-mail: [e-mail]

— Dr. Sci., Associate Professor; ITMO University, Faculty of Control Systems and Robotics, International Laboratory of Biomechatronics and Energy-Efficient Robotics; Leading Researcher; E-mail: [e-mail]

Received 28.12.21; approved after reviewing 11.01.22; accepted for publication 18.01.22.

Ivan D. Nenakhov

Kirill Artemov

Seyedhassan Zabihifar Aleksandr N. Semochkin Sergey A. Kolyubin

Trajectory control of the wheeled mobile robots in

dynamic environment

1st Botao Zhang

school of Automation Hangzhou Dianzi University Hangzhou, China [e-mail]

4th Valery V. Grigoriev

2nd Aleksandr Y. Krasnov

faculty of Control Systems and Robotics ITMO University St. Petersburg, Russia [e-mail]

3rd Sergey A. Chepinskiy

faculty of Control Systems and Robotics ITMO University St. Petersburg, Russia [e-mail]

5th Kirill A. Artemov 6th Duzhesheng Liao

faculty of Control Systems and Robotics faculty of Control Systems and Robotics faculty of Control Systems and Robotics

ITMO University ITMO University ITMO University

St. Petersburg, Russia St. Petersburg, Russia St. Petersburg, Russia

[e-mail] [e-mail] [e-mail]

7th Shengyi Zhang

faculty of Control Systems and Robotics ITMO University St. Petersburg, Russia [e-mail]

8th Jian Wang

school of Automation Hangzhou Dianzi University Hangzhou, China [e-mail]

Abstract—This article deals with the problem of the trajectory control of wheeled mobile robots in presence of moving external objects. A procedure of the controllers design based on stabilisation of geometric manifolds using transformation of the mathematical model to the task-oriented basis without velocities measure is proposed. Efficiency of proposed algorithms is proven by numerical simulation results and experimental implementation on wheeled mobile robot.

Index Terms—trajectory control, mobile robot, differential geometry, nonlinear stabilization

I. INTRODUCTION

Methods for solving the problems of motion control of mobile robotic systems with respect to a given trajectory can be divided into two main approaches: program control and trajectory control.

The methods of the first group are based on the synthesis of the tracking system. The driver generates a reference signal, based on the readings of the sensors are measured directly or deviations of the current position of the control object from the desired are calculated, the values of which enter the controller. As control laws, proportional or proportionalintegral regulators are used. The trajectory was set, as a rule, in a parametric way. One of the first options for such a description was the parametrization of the trajectory by time [3], [22]. However, in the work [7] it was proved that such a

This work was supported by Government of Russian Federation (Grant 08-08).

This work was supported in part by the Key Research and Development Program of Zhejiang Province(No. 2019C04018).

method of parameterization can lead to a deterioration in the quality of regulation if the control object has an unstable null dynamics. These limitations were overcome by parameterizing the trajectory with another parameter, for example, the local coordinate. Now this approach remains prevalent in the field of motion control based on the synthesis of tracking systems and has received many different variations. Currently, one of the most frequently used is the approach called in the literature Line-Of-Sight [10], which is based on principles based on a formalized description of the work of the helmsman in controlling the movement of ships. In addition, the concept of a virtual vehicle [20] is quite widely used. A virtual vehicle is associated with the movement of a real control object through some virtual connections. Such an approach easily implements motion control algorithms along polynomial trajectories, which provide improved planning quality and better accuracy of following a given trajectory. The approach to the synthesis of motion control systems as tracking systems has such advantages as low computational complexity and high quality of control, however, it does not provide invariance properties for the realized trajectory.

The methods of the second group are based on stabilization problems. Moreover, the problem of constructing equations of motion is formulated as the problem of constructing differential equations based on integral manifolds. The first suggested a similar formulation Erugin [4]. His proposed method for solving the problem posed is to find the right-hand sides of a differential equation using the method of successive differentiation of an integral curve. The development of this

978-1-7281-0933-6/19/$31.00 ©2019 IEEE 269

direction has been the subject of research by Galiullin [2]. The task here was set as the construction of differential equations describing the motion of dynamic systems. The advantage of this approach is the possibility of constructing an equation realizable with the desired parameters, as well as the fact that the procedure takes into account the requirements for the properties of stability or optimality of the desired motion. The main flaw in this approach is the ambiguity of the solution. Also, methods for synthesizing trajectory control algorithms based on set stabilization are actively developed using the passification [16], and also based on the vector field [21].

Also, a number of methods formulate the tasks of trajectory motion control as the task of stabilizing an attractor in the output space of the control object. The desired trajectory, which is usually given implicitly [26] acts as an attractor. Such a formulation of the problem allows one to ensure the invariance of a given trajectory, which can significantly improve the accuracy of following a given trajectory. Initially, a similar formulation of the problem was made in the article [8], where it was applied to the problem of stabilizing oscillations. This approach was developed in the works of A. A. Kolesnikov who proposed the concept of synergistic analysis and synthesis of control objects. Based on it, a method of analytical design of aggregated controllers [19] was created. With this approach, the movement is carried out on the specified manifolds using the "inner" control signals, i.e. not using power control, but using natural dynamics. The advantage of this method of synthesis of trajectory control is that it has the property of robustness to parametric perturbations. A negative feature of this method is the difficulty in choosing a target invariant manifold. But nevertheless, in the general case such a system has the property of local asymptotic stability.

I. V. Miroshnik proposed a methodology based on the methods of differential geometry and transformation of the mathematical model of the control object to the task-oriented coordinates [1], [24], [25]. In this case, for the mathematical model of the control object, a coordinate transformation is chosen that creates an attractor in the output space. In the context of the formulation of the problem of trajectory control of motion, the desired trajectory is taken as an attractor, described by the output coordinates. After the conversion is completed, it remains to find a solution to the problem of stabilizing this attractor, which is significantly less labor-intensive than the task of synthesizing the tracking system. The method assumes a non-linear transformation of the mathematical model of the control object to a task-oriented basis, which makes it possible to reduce the complex task of the trajectory control of the motion of a multichannel system to a set of stabilization problems of several single-channel subsystems. This approach allows the extension of the problem statement as a trajectory control problem in the presence of static or moving obstacles. In this case, the motion trajectory may be in the basis of an external moving object. The technique was continued in the works [5], [6], [12], [17], [18], [27], [29], [30] and was the basis of this article results.

Another actively developing method for the synthesis of

trajectory control algorithms is based on the transversal linearization method [14], [23]. Under certain conditions, such an approach can produce results similar to the method of conversion to a task-oriented basis. It is based on the transformation of the mathematical model of the control object to the description of the transversal and tangential components of the dynamics and their independent control.

II. MAIN RESULTS

This article discusses the problem of synthesis of algorithms for trajectory control of the motion of a wheeled mobile robot along a given trajectory in presence of moving obstacles in the operating area. Generally wheeled mobile robots can be divided to five types with respect to their degree of mobility 1 < Sm < 3 which can be determined as the number of degrees of freedom that can be controlled without reorientation of steering wheels and degree of steerability 0 < 5s < 2 which can be determined as the number of steering wheels [9].

The position of the wheeled mobile robot is defined using the its Cartesian coordinates x and y and orientation angle $ of the moving Cartesian basis XmYm relative to the absolute Cartesian basis XbYb. The transformation from a fixed basis to an absolute one is carried out using the rotation matrix „, T cos $ sin $ T ($)

— sin ê cos ê formation from absolute

which determines coordinates transframe XbYb to fixed frame XmYm. Consider the mathematical model of wheeled mobile robot [9] in following form:

q = B(q)v,

(1) (2)

where q = [x y & ^J] e R3+Se is the state vector of wheeled mobile robot, fis e RSa is vector of the rotation angles of steering wheels, v = [vT vJ] e Rs, u e RSm+Ss is the control vector and matrix B(q) has "T (&) Ql

structure ~ J " R(Ps), where matrix R(ps) characterizes

a specific "wheeled mobile robot configuration.

The required trajectory S can be set as a geometric manifold, described implicitly as the function of Cartesian coordinates of the wheeled mobile robot

<p(x,y) = 0,

(3)

where ip(x,y) is smooth function. Introduce into consideration the orthogonal deviation resulting from the violation of the condition (3):

e(x,y) = p(x,y), (4)

which obviously takes a zero value for all pairs (x, y) e S.

The essence of the method proposed in this paper is to convert the mathematical model to the task-oriented coordinates s and e, where the first coordinate corresponds to the required tangential velocity relative to a required trajectory, and the second coordinate is the orthogonal deviation of the center of mass of the control object from the required trajectory . In other words, two coordinate transformations are performed: