Информационное и программно-алгоритмическое обеспечение автономной калибровки бортовой камеры мобильного робота тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Цой Татьяна Григорьевна

• Цой Татьяна Григорьевна
• кандидат наук
• 2023

Оглавление диссертации кандидат наук Цой Татьяна Григорьевна

Введение

Глава 1. Обзор и анализ современного состояния исследований

1.1. Калибровка камеры

1.2. Информационное обеспечение калибровки камер

1.2.1. Координатные метки

1.2.2. Калибровочные объекты

1.3. Алгоритмическое обеспечение калибровки камер

1.3.1. Методы калибровки камер

1.3.2. Алгоритмы калибровки камер

1.3.3. Генерация пространственных расположений калибровочных объектов

1.4. Программное обеспечение для калибровки камеры с использованием калибровочных объектов

1.5. Анализ перспектив автоматизации процесса калибровки камеры

Глава 2. Разработка информационного и алгоритмического обеспечения автономной калибровки бортовой камеры робота

2.1. Концептуальная модель информационного и программно-алгоритмического обеспечения

2.2. Критерии оценки эффективности информационного обеспечения

2.2.1. Критерии оценки координатных меток

2.2.2. Критерии оценки калибровочных объектов

2.2.3. Рекомендации по калибровке камер

2.2.4. Принципы построения эффективного калибровочного объекта

2.3. Алгоритмическое обеспечение

2.3.1. Анализ кинематики манипулятора «Сервосила Инженер»

2.3.2. Алгоритм определения эффективных конфигураций манипулятора

2.3.2.1. Анализ рабочего пространства

2.3.2.2. Анализ конфигураций манипулятора

2.3.2.3. Алгоритм генерации конфигураций манипулятора

2.3.2.4. Алгоритм определения эффективных конфигураций манипулятора

2.3.3. Алгоритм автономной калибровки бортовой камеры

Глава 3. Программное обеспечение автономной калибровки камеры

3.1. Программное и аппаратное обеспечение

3.1.1. Аппаратная составляющая робототехнических систем

3.1.2. Экспериментальные стенды

3.1.3. Реализация алгоритмов в среде МайаЬ

3.1.4. Программное обеспечение для координатных меток

3.2. Методы и объекты экспериментальных исследований

3.3. Программа экспериментальных исследований для координатных меток

3.3.1. Условия проведения испытаний для оценки координатных меток и алгоритмов калибровки

3.3.2. Виды испытаний

3.3.3. Проведение экспериментальных исследований координатных меток

3.4. Результаты экспериментальных исследований

3.4.1. Виртуальные исследования

3.4.2. Лабораторные исследования

3.5. Программное обеспечение автономной калибровки камеры

Глава 4. Валидация программных средств: результаты экспериментов

4.1. Программа экспериментальных исследований

4.1.1. Виды испытаний

4.1.2. Проведение экспериментальных исследований алгоритмов калибровки

4.2. Результаты экспериментальных исследований

4.2.1. Виртуальные исследования

4.2.2. Лабораторные исследования

4.2.3. Анализ экспериментальных исследований

Заключение

Список литературы

Приложение А. Перечень публикаций соискателя по теме исследования

Приложение Б. Экспериментальное определение объектов для перекрытия

Введение

В настоящее время мировой рынок роботов переживает значительный рост. Роботизация практически всех отраслей экономики вызвана в первую очередь необходимостью подъёма производительности труда, снижения влияния человеческого фактора и повышения качества выпускаемой продукции [ 1 ]. Одной из самых актуальных задач робототехники является задача разработки многофункциональных роботов повышенной проходимости для выполнения различных работ, в том числе работ в тяжёлых и опасных условиях.

Наиболее распространёнными видами таких робототехнических систем (РТС) являются наземные мобильные роботы, которые могут быть оснащены различными датчиками. Существует множество критериев, которые можно использовать для классификации наземных мобильных РТС, включая сферу применения, функциональные и конструктивные характеристики [2]. Мобильные РТС используются в широком диапазоне приложений, включая инспекцию и мониторинг безопасности площадных и протяжённых объектов наземной инфраструктуры; передвижение по различным подстилающим поверхностям в условиях неопределённостей внешней среды; поисково-спасательные работы; визуализацию и картографирование; индустрию развлечений [170]. Мобильные роботы нашли применение в таких сферах как промышленность, сельское хозяйство, научные исследования, сфера обслуживания, военное дело, обеспечение безопасности и правопорядка. Актуальность внедрения мобильных робототехнических комплексов во многих сферах вызвана социальными и демографическими причинами, экологической и эпидемиологической обстановкой в мире. Так, к примеру, мобильные роботы находят широкое применение в области здравоохранения, где они показали эффективность в борьбе с коронавирусной инфекцией [44].

В современных научно-исследовательских работах обсуждаются вопросы проектирования манипуляторов для роботов [9], группового взаимодействия мобильных роботов [7], управления движением [8, 11, 13], навигации [4], создания интерфейсов для коммуникации с роботом [119], планирования движения в средах с препятствиями [179, 5], использования систем технического зрения [163, 12, 47, 166, 187] и другие. Основные требования, предъявляемые к мобильным РТС, включают в себя способности выполнять задачи очувствления, передвижения, познания и навигации [170]. Одной из ключевых

подсистем РТС любого типа является система очувствления - получение информации об окружающей среде и о собственном состоянии робота. Данный процесс осуществляется путём измерений физического состояния робота и параметров окружающей среды, используя различные датчики, и последующего извлечения значимой информации из полученных данных.

Важным научным направлением в робототехнике является оснащение мобильных РТС автономными подсистемами. Повышение уровня автономности РТС требует грамотного использования бортовых датчиков, которые требуют периодической калибровки. Набор бортовых датчиков варьируется в зависимости от типов и задач РТС. В подавляющем большинстве случаев РТС оснащается не менее, чем одной камерой. Калибровка камер является обязательной процедурой для возможности последующего использования алгоритмов компьютерного зрения, комплексирования и обработки информации [139]. На техническое состояние камеры оказывают негативное влияние факторы окружающей среды, и в процессе выполнения поставленных задач в сложных условиях, при физическом взаимодействии мобильной РТС с объектами и вибрациях корпуса, могут произойти смещение или повреждение камер [104]. В результате сбивается калибровка камер, что негативно сказывается на качестве передаваемого изображения и затрудняет последующее исправление дисторсии изображений программными средствами [26].

В настоящее время калибровка бортовых камер робота осуществляется человеком в ручном режиме с использованием набора специального, зачастую, дорогостоящего, оборудования [80]. Условия работы мобильной РТС могут не позволить оперативно осуществить калибровку в ручном режиме, например, при поисково-спасательных операциях или исследовании других планет - и делают задачу автономной калибровки камер РТС крайне актуальной. Повышение качества информации, передаваемой камерой, путём автономной калибровки повышает эффективность работы РТС без необходимости возвращения робота в стационарный бокс для ручной калибровки, экономит время и ресурсы, повышает автономность робота. Более того, с учетом взрывного роста актуальности применения роевых роботов в последние годы в военных и гражданских целях [38], возможность осуществления одновременной автономной калибровки бортовых камер всех членов роя является критической, так как ручная калибровка существенно тормозит оперативный ввод РТС для исполнения миссий.

Таким образом, создание базового (включая планирование маршрута, навигацию, реактивное поведение и пр.) и специализированного функционалов мобильных РТС имеет критическое значение для успешного выполнения задач, поставленных перед РТС.

Объектом исследования является информационное и программно-алгоритмическое обеспечение автономной калибровки камер мобильной РТС, где автономность процесса повышает эффективность работы, расширяет возможности и область применения РТС, оснащённых бортовыми камерами.

Предметом исследования являются калибровочные объекты (КО) и алгоритмы управления автономной калибровкой камер мобильной РТС, обеспечивающие более высокое качество передаваемого изображения.

Цели и задачи исследования.

Целью работы является повышение эффективности калибровки бортовых камер автономных мобильных РТС путём разработки и реализации эффективного информационного и программно-алгоритмического обеспечения.

Для достижения указанной цели в работе необходимо было решить следующие задачи:

1. Анализ существующих решений, КМ, КО, методов и алгоритмов калибровки камер, разработка концептуальной модели информационного и программно-алгоритмического обеспечения автономной калибровки бортовой камеры мобильного робота. Выбор и обоснование критериев для оценки КМ и КО для использования при автономной калибровке бортовых камер и соответствующего информационного обеспечения.

2. Разработка уникальных методики и программы экспериментальных исследований КМ, позволяющих провести сравнительный анализ КМ в виртуальной и лабораторной средах, на основе выбранных критериев, с целью определения семейств, подсемейств и идентификаторов КМ наиболее эффективных для решения задачи калибровки камер. Проведение экспериментальных исследований в соответствии c разработанной программой. Сравнительный анализ результатов экспериментальных исследований.

3. Разработка уникального алгоритма определения эффективных конфигураций манипулятора мобильного робота для осуществления калибровки закрепленной на манипуляторе камеры с использованием КО (установленного на поверхности робота), повышающего качество последующей калибровки за счет отсеивания небезопасных и избыточных конфигураций.

4. Разработка нового планарного КО и алгоритма автономной калибровки бортовой камеры мобильного робота, повышающих эффективность калибровки, и программных средств, реализующих алгоритм автономной калибровки бортовой камеры с использованием нового КО. Интеграция разработанных программных средств в систему управления мобильного робота «Сервосила Инженер».

5. Разработка уникальных методики и программы экспериментальных исследований «Анализ калибровки» для оценки разработанного КО, алгоритма и программных средств для автономной калибровки камеры робота «Сервосила Инженер». Проведение экспериментальных исследований существующих и нового КО, апробация алгоритмов калибровки в виртуальной и лабораторной средах для робота «Сервосила Инженер» в соответствии c программой экспериментальных исследований. Сравнительный анализ экспериментальных результатов.

Методы исследования.

Для решения поставленных задач в работе использованы методы информатики, программной инженерии, теоретической механики и теории автоматического управления, методы математического и компьютерного моделирования, программирования. Реализованное ПО для экспериментальных исследований в виртуальной среде использует ПО Matlab, Робототехническую Операционную Систему (ROS) и симулятор Gazebo, экспериментальные исследования проведены на роботах UR5e и «Сервосила Инженер».

Научная новизна полученных результатов исследования:

1. Впервые предложена концептуальная модель информационного и программно-алгоритмического обеспечения автономной калибровки бортовой камеры мобильного робота.

2. Впервые предложены критерии и система оценивания КМ и КО, отличающиеся от существующих наличием обоснования и учётом особенностей структуры КМ и КО.

3. Разработан новый алгоритм информационного обеспечения набора эффективных конфигураций манипулятора мобильного робота на основе решения задачи прямой кинематики, необходимых для осуществления калибровки закреплённой на манипуляторе бортовой камеры с использованием КО, установленного на поверхности робота. В отличие от существующих алгоритмов, новый алгоритм оптимизирует выбор кадров для калибровки относительно расстояния между положениями камеры, учитывает сингулярные положения манипулятора и равновесие РТС в процессе калибровки.

4. Разработаны новые КО, построенный на основе КМ, и алгоритм автономной калибровки камеры для него. Сравнительный анализ семейств, подсемейств и идентификаторов КМ по результатам комплексных экспериментов в виртуальной и лабораторной средах с использованием предложенных критериев оценки позволил выделить наиболее перспективное семейство КМ, которое и было использовано для создания нового КО. Объединение стандартного КО шахматной доски и надежно распознаваемого перспективного семейства КМ обеспечило повышение эффективности автономной калибровки камеры РТС, что подтверждается виртуальными и натурными экспериментами.

Теоретическая и практическая значимость работы.

Теоретическая значимость работы заключается в новых моделях, информационном и алгоритмическом обеспечении определения конфигураций манипулятора мобильной РТС, нового КО и алгоритма автономной калибровки бортовых камер РТС. Предложенные критерии для оценки КМ и КО в совокупности с разработанными методиками и программами экспериментальных исследований в виртуальной и реальной средах обеспечивают объективный сравнительный анализ КМ и КО.

Практическая значимость работы заключается в разработке программных средств, представленных в виде библиотеки «LIRS-CЫHBoard», реализующих разработанные алгоритмы управления автономной калибровкой камеры мобильного робота. Предложенное информационное и программно-алгоритмическое обеспечение может быть использовано при проектировании системы управления автономной калибровки других РТС.

Результаты, выдвигаемые для защиты:

1. Концептуальная модель информационного и программно-алгоритмического обеспечения для системы автономной калибровки бортовой камеры мобильного робота с использованием КО.

2. Комплексная система оценивания эффективности КМ, использующая ряд качественных критериев оценивания КМ.

3. Методика и программа экспериментальных исследований КМ для оценки эффективности семейства, подсемейства и идентификаторов КМ по ряду критериев.

4. Комплексная система оценивания эффективности КО, использующая качественные критерии оценивания КО и свёрточные функции.

5. Методика и программа экспериментальных исследований «Анализ калибровки» для оценки эффективности КО по ряду критериев.

6. Алгоритм определения эффективного набора конфигураций манипулятора мобильного робота для калибровки закреплённой на манипуляторе камеры с использованием КО, установленного на поверхности робота.

7. Новый КО «Доска LIRS-ChiliBoard» (^ГО^) для калибровки камеры.

8. Алгоритм автономной калибровки бортовой камеры мобильного робота.

9. Программное обеспечение автономной калибровки бортовой камеры мобильного РТС «Сервосила Инженер».

Положения, выносимые на защиту:

1. Предложенная концептуальная модель информационного и программно-алгоритмического обеспечения позволяет сформулировать задачу разработки системы автономной калибровки бортовой камеры мобильного робота с использованием КО.

2. Методика и программа экспериментальных исследований КМ, созданные с использованием предложенного перечня качественных критериев оценивания КМ, позволяют провести сравнительный анализ существующих КМ и определить оптимальные по ряду критериев семейства, подсемейства и идентификаторы КМ. Методика и программа экспериментальных исследований «Анализ калибровки», использующие предложенный перечень качественных критериев оценивания КО, позволяют провести сравнительный анализ КО по ряду критериев.

3. Разработанный новый алгоритм определения набора эффективных конфигураций манипулятора мобильного робота, отличающийся оптимизацией выбора кадров для калибровки относительно расстояния между положениями камеры, с учетом сингулярных положений манипулятора и равновесия РТС в процессе калибровки, позволяет осуществить калибровку закреплённой на манипуляторе камеры с использованием КО, установленного на поверхности робота.

4. Предложенные новые КО и алгоритм калибровки решают задачу автономной калибровки бортовой камеры мобильного робота. Созданная программная библиотека «LIRS-ChiliBoard», реализующая функционал разработанного алгоритма автономной калибровки камеры, позволяет успешно осуществить калибровку при помощи произведённого КО. Результаты виртуальных и натурных испытаний подтверждают адекватность алгоритма. Качество калибровки с использованием предложенного КО превосходит качество калибровки с использованием других КО.

Достоверность научных положений, основных выводов и результатов работы базируется на анализе состояния исследований в данной области, согласованности теоретических выводов с результатами экспериментальной проверки алгоритмов.

Введение диссертации (часть автореферата) на тему «Информационное и программно-алгоритмическое обеспечение автономной калибровки бортовой камеры мобильного робота»

Апробация работы.

Основные результаты работы докладывались и обсуждались на следующих научных международных, всероссийских конференциях и семинарах в период с 2019 по 2023 г:

1. Международная научная конференция «IEEE 8th International Conference on Automation, Robotics and Applications (ICARA)», 18-20 февраля 2022 г;

2. Международная научная конференция «IEEE Siberian Conference on Control and Communications (SIBCON)», 13-15 мая 2022 г., г. Томск, Россия;

3. Международная научная конференция «International Conference on Artificial Life and Robotics (ICAROB)», 20-23 января 2022 г., Оита, Япония;

4. Международная научная конференция «IEEE Siberian Conference on Control and Communications (SIBCON)», 13-15 мая 2021 г., г. Казань, Россия;

5. Международная научная конференция «International Joint Conference on Neural Networks (IJCNN)», 19-24 июля 2020 г.;

6. Международная научная конференция «Developments in eSystems Engineering (DeSE)», 7-10 октября 2019 г., г. Казань, Россия;

7. XIV Всероссийская научно-практическая конференция «Перспективные системы и задачи управления», 1-5 апреля 2019 г., г. Нальчик, Россия;

8. V Всероссийский научно-практический семинар «Беспилотные транспортные средства с элементами искусственного интеллекта» (БТС-ИИ-2019), 22-24 мая 2019, г. Санкт-Петербург, Россия;

9. Международная научная конференция «14th International Conference on Electromechanics and Robotics «Zavalishin's Readings», 17-20 апреля 2019 г., г. Курск, Россия;

10. Международная научная конференция «Developments in eSystems Engineering», 2-5 сентября 2018 г., г. Кембридж, Великобритания.

Соответствие диссертации паспорту научной специальности.

Полученные результаты соответствуют п. 1 «Разработка компьютерных методов и моделей описания, оценки и оптимизации информационных процессов и ресурсов, а также средств анализа и выявления закономерностей на основе обмена информацией пользователями и возможностей используемого программно-аппаратного обеспечения» и п. 17 «Разработка методов обеспечения надежной обработки информации и обеспечения помехоустойчивости информационных коммуникаций для целей передачи, хранения и защиты информации; разработка основ теории надёжности и безопасности использования информационных технологий» паспорта специальности 2.3.8 - «Информатика и информационные процессы» (технические науки).

Публикации.

По результатам проведённых исследований опубликовано 1 3 печатных работ, из которых 1 0 изданы в периодических научных изданиях, индексируемых в международных наукометрических базах данных Web of Science и Scopus, 2 - в тезисах докладов (всероссийского семинара «Беспилотные транспортные средства с элементами искусственного интеллекта» и всероссийской научно-практической конференции

«Перспективные системы и задачи управления»), и получено 1 свидетельство о государственной регистрации программы для ЭВМ.

Личный вклад автора.

Основные научные результаты получены лично соискателем. Постановка задачи исследования осуществлялась совместно с научным руководителем Магидом Е.А. Личный вклад диссертанта в работы, выполненные в соавторстве, состоит в разработке моделей, методов, алгоритмов, архитектуры ПО, методик и программ экспериментальных исследований, сборе и анализе данных, а также в представлении результатов исследований для опубликования.

Объем и структура диссертационной работы.

Диссертационная работа состоит из введения, четырёх глав, заключения, списка литературы и двух приложений. Объем работ составляет 167 печатных страниц, 54 рисунка, 25 таблиц. Список литературы содержит 196 наименований.

В первой главе представлен анализ существующих подходов к решению проблем создания систем функционирования мобильных РТС. В главе приведены обзор существующих семейств КМ и КО, анализ существующих методов калибровки камер и КО. Определён перечень наиболее перспективных семейств КМ и популярных методов калибровки с использованием КО, которые были использованы для дальнейшего сравнительного исследования. Сформулированы проблемы, возникающие при использовании существующих КМ и КО, сделаны выводы о необходимости формирования комплексной системы оценки эффективности КМ и КО. Обсуждаются вопросы калибровки камеры робота с использованием внешнего КО и КО, установленного на поверхности мобильного робота, оценены перспективы создания нового КО и автоматизации процесса калибровки камеры с целью повышения результативности калибровки и уровня автономности РТС.

Вторая глава посвящена теоретической части проведённых исследований. Описана концептуальная модель информационного и программно-алгоритмического обеспечения автономной калибровки бортовой камеры мобильного робота и ряд критериев для КМ, которые позволяют провести эмпирическое сравнение различных существующих семейств КМ, провести ранжирование КМ по различным характеристикам и выбрать семейства, подсемейства и конкретные идентификаторы, которые будут наиболее эффективными для решения задачи, поставленной пользователем. Изложены рекомендации для подготовки необходимого для калибровки информационного и программно-алгоритмического обеспечения и для непосредственного проведения калибровки камеры. В главе представлены принципы формирования нового КО и ряд критериев для эмпирического сравнения различных

существующих КО для алгоритмов калибровки. Сформулированы алгоритмы определения эффективных конфигураций манипулятора и автономной калибровки бортовой камеры мобильного робота.

Третья глава посвящена аппаратным и программным средствам для решения задач автономной калибровки камеры мобильного робота, реализующим теоретические результаты Главы 2, и экспериментальным исследованиям КМ в виртуальной и лабораторной средах. Предложены методика и программа экспериментальных исследований КМ («Анализ КМ»), состоящие из двух частей: часть «В» относится к исследованиям в виртуальной среде, часть «Л» - в лабораторной среде. Описаны разработанные экспериментальные стенды для виртуальной среды и для натурных испытаний. Представлены проведённые в соответствии с частями «В» и «Л» эксперименты и их анализ. Анализ результатов экспериментов выявил, что КМ семейства Chilitags являются наиболее сбалансированными по всем критериям. По результатам экспериментов было выбрано семейство КМ Chilitags для дальнейшего использования при создании нового КО «доска LIRS-ChiliBoard». Описана реализация нового алгоритма автономной калибровки для КО «доска LIRS-ChiliBoard» и его интеграция алгоритмов в систему управления мобильного РТС «Сервосила Инженер».

В четвёртой главе представлены экспериментальная валидация программных средств для решения задач автономной калибровки камеры мобильного робота в виртуальной и лабораторной средах на РТС «Сервосила Инженер» и сравнительный анализ результатов экспериментов, продемонстрировавший эффективность предложенных в диссертационной работе решений. Предложенные модели и алгоритм автономной калибровки камеры при помощи разработанного КО реализованы в программной библиотеке «LIRS-ChiliBoard» и протестированы в виртуальных и лабораторных средах. Предложены методика и программа экспериментальных исследований «Анализ калибровки» для оценки разработанного КО с использованием созданных алгоритмов и программных средств системы управления калибровки бортовой камеры робота «Сервосила Инженер», для виртуального стенда и лабораторных (натурных) испытаний. В соответствии с данными программами были проведены эксперименты.

В заключении подведены итоги выполненной исследовательской работы.

Исследования, отраженные в диссертационной работе, проведены в рамках научно-исследовательских работ (НИР) при поддержке Российского фонда фундаментальных исследований (РФФИ): проект №18-58-45017 «Автономная калибровка бортовых камер робототехнической системы с использованием координатных меток, нанесённых на поверхность робота» (Цой Т.Г. - основной исполнитель; международный проект выполнен

совместно с Индийским технологическим институтом Дели (Indian Institute of Technology Delhi)) и проект №20-38-90257 «Разработка нового калибровочного шаблона и алгоритма калибровки для бортовых камер мобильного робота» (Цой Т.Г. - единственный исполнитель). Результаты работы использовались при реализации НИР при поддержке РФФИ, проект №1958-70002 «Информационная система управления чрезвычайными ситуациями в зонах наводнений и оползней при помощи распределённой гетерогенной группы роботов» (Цой Т.Г. - основной исполнитель; международный проект выполнен совместно с Университетом Махидол (Mahidol University), Киотским университетом (Kyoto University) и Университетом Рицумейкан (Ritsumeikan University)). Разработанное информационное и программно-алгоритмическое обеспечение интегрировано в учебный процесс Казанского (Приволжского) федерального университета, в лабораториях кафедры интеллектуальной робототехники. Созданный виртуальный стенд для сравнения КМ в симуляторе Gazebo имеет свидетельство о государственной регистрации программы для ЭВМ №2022685988 от 30.12.2022 г.

Глава 1. Обзор и анализ современного состояния исследований

Среди мобильных РТС, которые активно применяются в различных областях, выделяются мобильные РТС, оснащённые датчиками, при помощи которых роботы получают информацию об окружающей среде. Датчики позволяют применять алгоритмы локализации, картографирования, планирования пути в окружающей среде, обнаружения препятствий и их объезд, использование возможностей систем технического зрения (СТЗ) для исследования окружающей среды в режиме реального времени, включая динамические среды, в которых окружающие объекты могут постоянно перемещаться.

1.1. Калибровка камеры

Технологии технического зрения, направленные на повышение точности передаваемого изображения и видеопотока разрабатываются с 1960-х годов. За последние два десятилетия компьютерное зрение зарекомендовало себя как отдельная междисциплинарная область информатики, которая включает в себя аспекты обработки изображений и видео, используемые в искусственных визуальных системах для автоматического анализа, интерпретации и понимания сцен. Развитие СТЗ тесно связано с развитием робототехники, поскольку интеллектуальные автономные РТС должны быть оснащены системой очувствления, способной анализировать поле зрения робота в режиме реального времени и переводить визуальную информацию в символическую и/или количественную информацию для системы управления роботами. СТЗ используются в различных сферах, повышая безопасность в общественных местах и на промышленных объектах, эффективность автоматизации производства, здравоохранения, сельского хозяйства, строительной сферы, интегрируются в сфере развлечений [92, 118].

Надёжность и отказоустойчивость сложных РТС напрямую связана с надёжной работой бортовых датчиков РТС, которые требуют периодической калибровки в рамках типового технического обслуживания. Стандартный набор бортовых датчиков РТС может существенно варьироваться в зависимости от конкретных типов и целевых задач РТС, но в подавляющем большинстве случаев в состав набора включено не менее одного оптического датчика. В настоящее время именно камеры являются самым распространенным оптическим датчиком, используемым в робототехнике.

Калибровка бортовых камер РТС является необходимым этапом для получения более точной информации о геометрических свойствах окружения и обязательной процедурой для возможности использования алгоритмов компьютерного зрения, успешного

комплексирования и последующей обработки информации, которые, в свою очередь, являются ключевыми элементами для решения основополагающих задач автономного управления РТС. Концепция калибровки камеры включает в себя вычисление внешних и внутренних параметров камеры, в результате чего эталонная величина оптических сигналов на входе будет согласована с показаниями выходной величины. При правильно проведённой калибровке СТЗ гарантирует наиболее высокое качество изображений, обеспечивающих точность выполнения операций РТС.

В настоящее время процедура калибровка камер РТС осуществляется в ручном режиме специально обученным человеком в лабораторных условиях, с использованием сложного и дорогостоящего калибровочного оборудования; в основном, используется классический метод на базе планарного КО с шаблоном «шахматная доска». Однако, в результате эксплуатации РТС, особенно при работе в неблагоприятных условиях, со временем происходят изменения параметров камеры, например, под воздействием механических сил или химических реакций. На техническое состояние камеры оказывают негативное влияние факторы окружающей среды, например дождь, ветер, пыль. В процессе выполнения поставленных задач в сложных условиях, при физическом взаимодействии мобильной РТС с объектами и вибрациях корпуса, может произойти смещение или повреждение камер. В результате сбивается калибровка камер, что в свою очередь негативно сказывается на качестве передаваемого изображения и затрудняет последующее исправление дисторсии (Рис. 1.1 (а)) изображений программными средствами. Подобные негативные изменения вызывают необходимость проведения повторной диагностики технического состояния РТС и калибровки камер, что затруднительно в полевых условиях.

(а) (б)

Рис. 1.1. (а) Пример кадра, полученного с камеры мобильного робота «Сервосила Инженер» с радиальным искажением; (б) Трехмерный КО «шахматная доска», используемый в лаборатории интеллектуальных робототехнических систем (ЛИРС) КФУ для калибровки камер робота «Сервосила Инженер».

Калибровка камеры - это процесс вычисления параметров математической модели камеры путём проведения экспериментов с использованием КО или естественных признаков сцены. Калибровка может выполняться с использованием статичных кадров, полученных камерой, или прямого видеопотока с камеры. Целью калибровки является оценка параметров модели, которые позволяют установить связь между естественными единицами измерения камеры (положениями пикселей на изображении) и единицами измерения реального мира в евклидовом пространстве. Корректная калибровка повышает точность извлечения метрической информации о сцене с изображений. Процесс калибровки можно разделить на следующие основные этапы:

1. Моделирование - построение математической модели, аппроксимирующей оптическое поведение реального устройства.

2. Сбор калибровочных данных - обнаружение особых признаков на изображениях, используемых для вычисления соответствий между пикселями и трёхмерной сценой. В качестве особых точек на кадре выделяются углы, участки переходов градиентов (в том числе тени и цветовые градиенты) и др.

3. Калибровка - аналитический или итеративный (оптимизационный) метод вычисления значений параметров заданной модели камеры.

Различают внутренние и внешние параметры камеры, которые позволяют проецировать объекты из трёхмерного пространства на плоскость двумерного изображения (перспективная проекция [172]). Внутренние параметры камеры моделируют внутреннюю геометрию и оптические характеристики визуального сенсора, определяют каким образом отражённые от объектов лучи света проходят через линзу на плоскость изображения. Они включают в себя фокусное расстояние (расстояние между плоскостью изображения и центром проекции/линзы), координаты оптического центра, коэффициент искривления осей изображения и коэффициенты дисторсии линзы камеры [175]. Внешние параметры определяют пространственное расположение (или позу) системы координат камеры относительно системы координат мира. Пространственное расположение включает в себя две составляющие - позицию (вектор перемещения, 3 параметра) и ориентацию (матрица поворота, 9 параметров) в трёхмерном пространстве. Внешние параметры связывают глобальную систему координат с системой координат камеры, определяя трансформацию между ними. В классической теории калибровки считается, что внутренние параметры камер неизменяемы. Однако на практике, в процессе эксплуатации камеры эти параметры склонны к изменениям, например, из-за продолжительных вибраций в процессе движения РТС.

Модель камеры является математической моделью, которая аппроксимирует поведение физического устройства некой системой уравнений [42]. Модель цифровой камеры представляется в виде системы уравнений коллинеарности, которая при необходимости расширяется нелинейными параметрами, например дисторсией линзы. Модели камер разделяют на центральные и нецентральные. В центральных камерах лучи от объектов трёхмерной сцены пересекаются в единственной точке - в центре проекции. В нецентральных камерах каждый пиксель изображения ассоциируется с лучом в пространстве [75, 165]. Наиболее распространенными являются центральные модели камер. Центральные модели подразделяют на:

1. Модель камеры на основе перспективной проекции учитывает нелинейные компоненты дисторсии линзы. При расчётах строится система уравнений коллинеарности, при решении которых производится более точная оценка параметров методом оптимизации - решается задача наименьших квадратов.

2. Проективная модель камеры характеризуется двумя матрицами - фундаментальной и существенной. Нелинейности в параметрах камеры довольно сложно интегрировать в модель.

Наиболее популярной моделью представления перспективной проекции является модель идеальной камеры, называемой камера-обскура. В ней лучи света проходят через бесконечно малое отверстие (апертуру). Изображение формируется на базе перспективной проекции точек трёхмерной сцены на плоскость изображения (Рис. 1.2). Уравнения проекции точек описываются в однородных системах координат проективной геометрии, что позволяет представлять точки на бесконечности конечными значениями координат. Перспективная проекция имеет следующий матричный вид:

и \Гх 0 и0 - хс

р = 0 Гу Ро Ус (11)

1 - 0 0 1 с

где (хс, ус, гс) - координаты точки в трёхмерной системе координат камеры (в метрах); (и, р) - координаты проекции точек на плоскость изображения (в пикселях); (и0, р0) - оптический центр, через который проходит оптическая ось; (/х,/у) - фокусное расстояние камеры по направлениям х и у (в пикселях). Физическое понятие фокусного расстояния подразумевает наличие лишь одной величины / = = /у В математической модели вводятся две величины, так как пиксели матрицы изображения (в редких случаях) могут быть неквадратными, то есть

Рис. 1.2. Перспективная проекция точки Р = (хс, гс, гс) на плоскость изображения в виде точки (и, р). Адаптировано из онлайн документации ОрвпСУ [132].

Модель камеры-обскуры использует матрицу проецирования точек трёхмерного пространства в пиксельное пространство. Матрица проецирования Р объединяет в себе внутренние и внешние параметры камеры и представляется следующим образом [45]:

Рзх4 = К-

3X3

[^3x3 ^3x1] [ 0 1 ]'

К3X3 =

У = /х £ап а щ

г «1 V 1

= Р

3x4

0 0

Г 1

Уш

1

/у 0

1

(1.2)

где 5 - коэффициент масштабирования; Kзx3 - матрица внутренних параметров модели камеры; у - коэффициент искривления осей изображения в случае, если оси не ортогональны; (х^, ущ, - координаты точки в трёхмерной глобальной системе координат мира; Rзx3 и ¿3x1 - внешние параметры ориентации и позиции, определяющие преобразование мировой системы координат в оптическую систему координат камеры. В первую очередь производится преобразование координат точки из мировой системы координат (хщ, ущ, в систему координат камеры (хс, ус, гс) . Далее, осуществляется перспективная проекция точки на плоскость изображения.

Матрица внутренних параметров Kзx3 содержит пять ключевых элементов. На практике, в большинстве случаев коэффициент у принимается за ноль, а фокусные расстояния по осям

5

изображения1 одинаковы (то есть пиксели имеют форму квадрата, /х = /у). Каждый пиксель соответствует лучу света, исходящего от точки трёхмерной сцены до оптического центра камеры. В процессе перспективной проекции информация о расстоянии до точки сцены неизбежно теряется, и её можно вычислить триангуляцией точки с использованием нескольких изображений, взятых с различных пространственных положений камеры.

Нелинейные параметры камеры, описывающие дисторсию линзы, не входят в классическую модель камеры-обскуры. Тем не менее, на реальных камерах присутствуют различного рода деформации, в том числе дисторсия. Поэтому, в более сложных математических моделях камер процесс проецирования выглядит как последовательность преобразований, которая включает в себя и наложение дисторсии. В рамках диссертационной работы дисторсия не рассматривается по причине существования нескольких типов дисторсии (радиальная, тангенциальная, призменная), каждая из которых может описываться различными математическими моделями дисторсии. Более того, различные типы дисторсии могут объединяться, образуя огромное пространство параметров для экспериментов, а сама дисторсия может задаваться большим множеством значений параметров, что превращает задачу изучения влияния дисторсии на качество калибровки камер в отдельную научно-исследовательскую тему.

Наиболее простые модели камер основаны на линейных трансформациях без моделирования деформации линзы. Примером является модель Холла [78], которая задаёт матрицу преобразования между сценой и изображением в виде следующего матричного уравнения:

" хй ' -АЦ А12 А13 А14

5 Уй = А21 А22 А23 А24

1 1- А31 А32 А33 А34

Г хщ 1 Ущ

1

(13)

где 5 - коэффициент масштабирования, А^ - элементы матрицы перспективной трансформации, (хщ,ущ,гщ) - координаты точки в трёхмерной системе координат мира, (хф Уй) - искаженные дисторсией координаты точки на изображении. Данная модель является неявной - внутренние и внешние параметры камеры не заданы в явном виде в уравнениях. Тем не менее, модель учитывает линейные и нелинейные параметры камеры.

1 Физическое устройство камеры не подразумевает наличие двух фокусных расстояний. Это математическая абстракция, которая позволяет учитывать искажение пикселей матрицы реальной камеры.

1.2. Информационное обеспечение калибровки камер

В диссертационной работе используется два объекта информационного обеспечения калибровки камеры: координатные метки (КМ) и калибровочные объекты (КО). В данном разделе описываются существующие КМ и КО, а их использование для калибровки относится к алгоритмическому обеспечению калибровки камер и представлено в разделе 1.3.

1.2.1. Координатные метки

Система КМ (англ. «Fiducial marker system», СКМ) - система двумерных графических изображений, которые автоматически идентифицируются соответствующим алгоритмом обнаружения и распознавания КМ [62]. КМ, отслеживающиеся при помощи СТЗ, широко распространены в приложениях дополненной реальности и робототехники, где они выполняют задачи локализации, стабилизации поля зрения, идентификации объектов, калибровки и другие. Существует большое количество вариаций КМ: от простых форм, содержащих расположенные в определенной последовательности точки, до сложных, представляющих собой графическое изображение квадратной, прямоугольной, круглой или даже произвольной формы, сформированное по определённым правилам.

Выбор конкретной СКМ зависит от поставленной задачи [85]. Например, в промышленных средах при маркировке изготавливаемых деталей для кодирования информации могут использоваться системы MaxiCode или QR; при этом, эти КМ не могут обеспечить достаточного количества характерных точек для вычисления пространственного расположения и поэтому не подходят для задач локализации. Для других приложений, например, для задачи поиска определённого промаркированного объекта в окружающей среде, важна возможность обнаружения КМ в широком поле зрения, в том числе при наличии умеренного искажения получаемых камерой изображений; такие КМ хранят меньше информации, но более надёжны с точки зрения их обнаружения и идентификации.

Большинство КМ имеют квадратную форму, которая содержит уникальные двумерные бинарные (чёрно-белые) изображения, заключенные внутри чёрной рамки (Рис. 1.4). Бинарность изображения уменьшает чувствительность КМ к условиям освещения [85]. При обнаружении камерой потенциальной КМ внешняя чёрная рамка изображения локализует КМ, а затем внутреннее изображение позволяет провести идентификацию КМ относительно множества уникальных представителей КМ, зарегистрированных в словаре СКМ. КМ имеет несколько особых точек, которые позволяют вычислить пространственное расположение КМ и ориентацию камеры, наблюдающей КМ, в пространстве; четыре угловые точки внутреннего

изображения КМ помогают однозначно определить пространственное расположение КМ относительно откалиброванной камеры. Дополнительно, у многих СКМ определенное число бит во внутреннем изображении КМ используется для кодирования избыточной информации, что позволяет обнаруживать и корректировать часть ошибок, возникающих в процессе захвата и предобработки изображения. КМ имеют два этапа обнаружения [63]:

1) Поиск и определение уникальных особенностей КМ - например, квадратной формы КМ и четырёх угловых точек;

2) Проверка внутреннего изображения потенциальной КМ для определения, является ли обнаруженный объект меткой и соответствует ли он одному из уникальных представителей КМ, хранящихся в словаре СКМ.

(1) Левый верхний угол КМ

(2) Правый верхний угол КМ

(3) Левый верхний угол внутреннего изображения КМ

Список литературы диссертационного исследования кандидат наук Цой Татьяна Григорьевна, 2023 год

Список литературы

1. Бондарева Н. Н. Состояние и перспективы развития роботизации: в мире и России // МИР (Модернизация. Инновации. Развитие). - 2016. - Т. 7, № 3(27). - с. 49-57.

2. Васильев А. В. Обобщённая классификация мобильных роботов // Extreme Robotics. -2014. - Т. 1, № 1. - с. 41-45.

3. ГОСТ Р 55710-2013. «Освещение рабочих мест внутри зданий» [Электронный ресурс]. -URL: https://docs.cntd.ru/document/1200105707 (дата обращения: 02.08.2023).

4. Ермолов И. Л., Илюхин Ю. В., Собольников С. А. Планирование траекторий движения в группе автономных мобильных коммуникационных роботов // Вестник МГТУ Станкин. -2012. - Т. 4. - с. 96-100.

5. Интеллектуальное планирование траекторий подвижных объектов в средах с препятствиями : монография. / Белоглазов, Д. А. [и др.] - М.: Физматлит, 2014. - 295 с.

6. Источник с описанием основных систематических ошибок калибровки [Электронный ресурс]. - URL: https://www.ensenso.eom/manual/3.1/guides/calibration/ accuracy/commonerrors.html (дата обращения: 27.07.2023)

7. Каляев И. А., Гайдук А. Р., Капустян С. Г. Модели и алгоритмы коллективного управления в группах роботов : монография. - М.: Физматлит, 2009. - 280 с.

8. Пшихопов В. Х., Медведев М. Ю. Групповое управление движением мобильных роботов в неопределенной среде с использованием неустойчивых режимов // Информатика и автоматизация. - 2018. - Т. 5, № 60. - с. 39-63.

9. Ронжин А. Л., Ву Д. К., Нгуен В. В., Соленая О. Я. (2017). Концептуальная и алгоритмические модели совместного функционирования роботизированной платформы и набора БЛА при выполнении аграрных операций // Четвертый Всероссийский научно-практический семинар "Беспилотные транспортные средства с элементами искусственного интеллекта" (БТС-ИИ-2017). - 2017. - с. 183-192.

10. Свидетельство о государственной регистрации программы для ЭВМ №2022685988. Программа экспериментального виртуального стенда для сравнения координатных меток в симуляторе Gazebo [Текст] / Т. Г. Цой, Р. Н. Сафин, Е. А. Магид; заявитель и правообладатель Фед. гос. автоном. образоват. учреждение высш. об-раз. Казанский фед. ун-т. - № 2022684160; заявл. 07.12.2022; зарег. 30.12.2022. - 1 с.

11. Черноусько Ф. Л., Болотник Н. Н. Мобильные роботы, управляемые движением внутренних тел // Труды института математики и механики УрО РАН. - 2010. - Т. 16, № 5. - с. 213-222.

12. Юдин Д. А., Проценко В. В., Постольский Г. Г., Кижук А. С., Магергут, В. З. Система технического зрения для автоматического ориентирования и позиционирования мобильного робота / Д. А. Юдин, В. В. Проценко, Г. Г. Постольский, А. С. Кижук, В. З. Магергут // Робототехника и техническая кибернетика. - 2014. - Т. 1. - с. 70-75.

13. Яцун С. Ф., Чжо П. В., Мальчиков А. В., Савин С. И. Экспериментальные исследования мобильного гусеничного робота при прямолинейном движении // Известия Юго-Западного государственного университета. Серия: Техника и технологии. - 2013. - Т. 1. -с. 85-90.

14. Abdel-Aziz Y., Karara H. Direct linear transformation into object space coordinates in close-range photogrammetry, in proc. symp. close-range photogrammetry // Urbana-Champaign. -1971. - с. 1-18.

15. Agrawal M., Davis L. S. Camera calibration using spheres: A semi-definite programming approach // IEEE. - 2003. - с. 782.

16. ALVAR home page [Электронный ресурс]. - URL: www.vtt.fi/multimedia/alvar.html (дата обращения: 24.08.2023).

17. AprilTag [Электронный ресурс]. - URL: https://github.com/AprilRobotics/apriltag (дата обращения: 24.08.2023).

18. ar_track_alvar [Электронный ресурс]. - URL: https://github.com/ros-perception/ar_track_alvar (дата обращения: 24.08.2023).

19. ARTagDetection [Электронный ресурс]. - URL: https://github.com/brenocq/ARTagDetection (дата обращения: 24.08.2023).

20. ARToolKit [Электронный ресурс]. - URL: https://sourceforge.net/projects/artoolkit/ (дата обращения: 24.08.2023).

21. ARToolKit5 [Электронный ресурс]. - URL: https://github.com/artoolkit/ARToolKit5 (дата обращения: 02.08.2023)

22. artoolkitplus [Электронный ресурс]. - URL: https://github.com/paroj/artoolkitplus (дата обращения: 24.08.2023).

23. ArUco [Электронный ресурс]. - URL: https://sourceforge.net/projects/aruco/ (дата обращения: 24.08.2023).

24. Atcheson B., Heide F., Heidrich W. Caltag: High precision fiducial markers for camera calibration // VMV. - 2010. - Т. 10. - с. 41-48.

25. Autocalibration components [Электронный ресурс]. - URL: https://drive.google.com/file/d/1dNtzW2WAqI9ptiiQapE8WITOjQ-7FPEt/view?usp=sharing (дата обращения: 02.08.2023)

26. Ayoub F. et al. Influence of camera distortions on satellite image registration and change detection applications // IGARSS 2008-2008 IEEE International Geoscience and Remote Sensing Symposium. - IEEE, 2008. - Т. 2. - с. II-1072-II-1075.

27. Bartneck Ch. From Fiction to Science-A cultural reflection of social robots // ACM Conference on Human Factors in Computing Systems: Workshop on Shaping Human-Robot Interaction. -2004. - с. 1-4.

28. Bencina R. Improved Topological Fiducial Tracking in the reacTIVision System / R. Bencina, M. Kaltenbrunner, S. Jordá // IEEE Computer Society Conf. on Computer Vision and Pattern Recognition. - 2005. - с. 99-106.

29. Benligiray B., Topal C., Akinlar C. STag: A stable fiducial marker system // Image and Vision Computing. - Elsevier, 2019. - Т. 89. - с. 158-169.

30. Bergamasco F. Pi-Tag: a fast image-space marker design based on projective invariants / F. Bergamasco, A. Albarelli // Machine Vision and Applications. - 2012. - с. 1295-1310.

31. Bergamasco F. Rune-tag: A high accuracy fiducial marker with strong occlusion resilience / F. Bergamasco, A. Albarelli, E. Rodola, A. Torsello // In Computer Vision and Pattern Recognition (CVPR), 2011 IEEE Conference on. - 2011. - с. 113-120.

32. Bonnard Q. et al. Chilitags 2: Robust fiducial markers for augmented reality and robotics // CHILI, EPFL, Switzerland. - 2013.

33. BoofCV [Электронный ресурс]. - URL: https://boofcv.org/index.php?title=Main_Page. (дата обращения: 29.01.2022).

34. Bookstein A., Kulyukin V. A., Raita T. Generalized hamming distance // Information Retrieval. - 2002. - Т. 5. - с. 353-375.

35. Borkowski D., Das P., Tao F. C. Selection of a processor for a Portable MaxiCode Reader // Proceedings of IEEE 6th Digital Signal Processing Workshop. - IEEE, 1994. - с. 7-10.

36. Bouguet J. Y. Camera calibration toolbox for matlab [Электронный ресурс]. - URL: http://www.vision.caltech.edu/bouguetj/calib_doc/. - 2004. (дата обращения: 24.08.2023)

37. Bu L. et al. Concentric circle grids for camera calibration with considering lens distortion // Optics and Lasers in Engineering. - 2021. - Т. 140. - С. 106527.

38. Calderón-Arce C., Brenes-Torres J. C., Solis-Ortega R. Swarm robotics: Simulators, platforms and applications review // Computation. - 2022. - Т. 10, № 6. - с. 80.

39. Calib.io. [Электронный ресурс] https://calib.io/ (дата обращения: 24.08.2023)

40. Caltag [Электронный ресурс]. - URL: https://github.com/brada/caltag (дата обращения: 24.08.2023).

41. Calvet L. et al. Detection and accurate localization of circular fiducials under highly challenging conditions // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. - 2016. - с. 562-570.

42. Camera Models Explained [Электронный ресурс]. - URL: https://calib.io/blogs/knowledge-base/camera-models (дата обращения: 18.11.2021).

43. Cantag [Электронный ресурс]. - URL: https://github.com/acr31/cantag (дата обращения: 24.08.2023).

44. Cardona M. et al. Mobile robots application against covid-19 pandemic // 2020 IEEE ANDESCON. - IEEE, 2020. - с. 1-5.

45. Chen Q., Wu H., Wada T. Camera calibration with two arbitrary coplanar circles // European Conference on Computer Vision. - Springer, 2004. - с. 521-532.

46. chilitags [Электронный ресурс]. - URL: https://github.com/chili-epfl/chilitags (дата обращения: 24.08.2023).

47. Corke P. I., Jachimczyk W., Pillat R. Robotics, vision and control: fundamental algorithms in MATLAB. - Berlin : Springer, 2011. - Т. 73. - с. 2.

48. Corke P. Robotics toolbox [Электронный ресурс]. - URL: http://www.petercorke. com/Robotics%20Toolbox.html (дата обращения: 02.08.2023)

49. Craig J. J. Introduction to robotics // Pearson Educacion, 2006. - 408 с.

50. Czitrom V. One-factor-at-a-time versus designed experiments // The American Statistician. -1999. - Т. 53, № 2. - с. 126-131.

51. Datta A., Kim J.-S., Kanade T. Accurate camera calibration using iterative refinement of control points // 2009 IEEE 12th International Conference on Computer Vision Workshops, ICCV Workshops. - IEEE, 2009. - с. 1201-1208.

52. de Formiga A. et al. An assessment of data matrix barcode recognition under scaling, rotation and cylindrical warping // Proceedings of the 2011 ACM Symposium on Applied Computing. -2011. - с. 266-267.

53. De Ma S. A self-calibration technique for active vision systems // IEEE Transactions on Robotics and Automation. - IEEE, 1996. - Т. 12, № 1. - с. 114-120.

54. DeGol J., Bretl T., Hoiem D. Chromatag: A colored marker and fast detection algorithm // Proceedings of the IEEE International Conference on Computer Vision. - 2017. - с. 1472-1481.

55. Ding L., Goshtasby A. On the Canny edge detector // Pattern Recognition. - Elsevier, 2001. - Т. 34, № 3. - с. 721-725.

56. Dos Santos Cesar D. B. et al. An evaluation of artificial fiducial markers in underwater environments // OCEANS 2015-Genova. - IEEE, 2015. - с. 1-6.

57. Ensenso [Электронный ресурс]. - URL: https://www.ensenso.com (дата обращения: 02.08.2023)

58. Faigl J. et al. Low-cost embedded system for relative localization in robotic swarms // 2013 IEEE International Conference on Robotics and Automation. - IEEE, 2013. - с. 993-998.

59. Faugeras O. D. The calibration problem for stereo // IEEE Conf. on Computer Vision and Pattern Recognition. - 1986. - с. 15-20.

60. Faugeras O. D., Luong Q.-T., Maybank S. J. Camera self-calibration: Theory and experiments // European conference on computer vision. - Springer, 1992. - с. 321-334.

61. Fiala M. ARTag Revision 1. A Fiducial Marker System Using Digital Techniques / M. Fiala // National Research Council Publication. - 2004. - Т. 47419. - с. 1-47.

62. Fiala M. ARTag, a fiducial marker system using digital techniques // 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05). - IEEE, 2005. -Т. 2. - с. 590-596.

63. Fiala M. Comparing ARTag and ARToolKit Plus Fiducial Marker Systems // IEEE Int.Workshop on Haptic Audio Visual Environments and their Applications. - 2005. - с. 148153.

64. Fiala M., Shu C. Self-identifying patterns for plane-based camera calibration // Machine Vision and Applications. - Springer, 2008. - Т. 19, № 4. - с. 209-216.

65. Flohr D., Fischer J. A lightweight ID-based extension for marker tracking systems // IEEE Conf. on Computer Vision and Pattern Recognition. - 2007.

66. Fryer J. G., Brown D. C. Lens distortion for close-range photogrammetry // Photogrammetric engineering and remote sensing. - 1986. - Т. 52. - с. 51-58.

67. ftag2 [Электронный ресурс]. - URL: https://github.com/anqixu/ftag2 (дата обращения: 24.08.2023).

68. Gao J. Z., Prakash L., Jagatesan R. Understanding 2d-barcode technology and applications in m-commerce-design and implementation of a 2d barcode processing solution // 31st Annual International Computer Software and Applications Conference (COMPSAC 2007). - IEEE, 2007. - Т. 2. - с. 49-56.

69. Garrido-Jurado S. et al. Automatic generation and detection of highly reliable fiducial markers under occlusion // Pattern Recognition. - 2014. - Т. 47, № 6. - с. 2280-2292.

70. Geiger A. et al. Automatic camera and range sensor calibration using a single shot //2012 IEEE international conference on robotics and automation. - IEEE, 2012. - с. 3936-3943.

71. Getschmann C., Echtler F. Seedmarkers: Embeddable markers for physical objects // Proceedings of the Fifteenth International Conference on Tangible, Embedded, and Embodied Interaction. - 2021. - c. 1-11.

72. Goldfarb N. et al. Open source Vicon Toolkit for motion capture and Gait Analysis // Computer Methods and Programs in Biomedicine. - 2021. - T. 212. - c. 106414.

73. Goose S. et al. SEAR: Towards a mobile and context-sensitive speech-enabled augmented reality // Proceedings. IEEE International Conference on Multimedia and Expo. - IEEE, 2002. - T. 1. -c. 849-852.

74. Goyal K., Sethi D. An analytical method to find workspace of a robotic manipulator // Journal of mechanical engineering. - 2010. - T. 41, № 1. - c. 25-30.

75. Grossberg M. D., Nayar S. K. A general imaging model and a method for finding its parameters // Proceedings Eighth IEEE International Conference on Computer Vision. ICCV 2001. - IEEE, 2001. - T. 2. - c. 108-115.

76. Ha H. et al. Deltille grids for geometric camera calibration // Proceedings of the IEEE International Conference on Computer Vision. - 2017. - c. 5344-5352.

77. Habermehl D. et al. Evaluation of different fiducial markers for image-guided radiotherapy and particle therapy // Journal of radiation research. - Oxford University Press, 2013. - T. 54. -№ suppl_1. - c. i61-i68.

78. Hall E. L. et al. Measuring curved surfaces for robot vision // Computer. - 1982. - № 12. - c. 4254.

79. Harris C. et al. A combined corner and edge detector // Alvey vision conference. - Citeseer, 1988.

- T. 15, № 50. - c. 10-5244.

80. Hayat A. A., Boby R. A., Saha S. K. A geometric approach for kinematic identification of an industrial robot using a monocular camera // Robotics and computer-integrated manufacturing.

- 2019. - T. 57. - c. 329-346.

81. Heikkila J. Geometric camera calibration using circular control points // IEEE Transactions on pattern analysis and machine intelligence. - IEEE, 2000. - T. 22, № 10. - c. 1066-1077.

82. Heikkila J., Silven O. A four-step camera calibration procedure with implicit image correction // Proceedings of IEEE computer society conference on computer vision and pattern recognition.

- IEEE, 1997. - c. 1106-1112.

83. Heikkila T. et al. Flexible hand-eye calibration for multi-camera systems // Proceedings. 2000 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2000) (Cat. № 00CH37113). - IEEE, 2000. - T. 3. - c. 2292-2297.

84. Higashino S., Nishi S., Sakamoto R. ARTTag: aesthetic fiducial markers based on circle pairs // ACM SIGGRAPH 2016 Posters. - 2016. - c. 1-2.

85. Hirzer M. Marker Detection for Augmented Reality Applications // Project Image Analysis Graz. - 2008. - c. 1-25.

86. Hoare C. A. Quicksort // The computer journal. - 1962. - T. 5, № 1. - c. 10-16.

87. Hu Z., Wu F. A review on some active vision based camera calibration techniques // Chinese Journal of Computers-Chinese Edition. - SCIENCE PRESS, 2002. - T. 25, № 11. - c. 11491156.

88. Huang B. et al. A fast and flexible projector-camera calibration system // IEEE Transactions on Automation Science and Engineering. - IEEE, 2020. - T. 18, №3. - c. 1049-1063.

89. Huang L., Zhang Q., Asundi A. Camera calibration with active phase target: improvement on feature detection and optimization // Optics letters. - Optical Society of America, 2013. - T. 38, № 9. - c. 1446-1448.

90. Illingworth J., Kittler J. A survey of the Hough transform // Computer vision, graphics, and image processing. - Elsevier, 1988. - T. 44, № 1. - c. 87-116.

91. Jiang J. et al. An accurate and flexible technique for camera calibration // Computing. - Springer, 2019. - T. 101, № 12. - c. 1971-1988.

92. Kakani V. et al. A critical review on computer vision and artificial intelligence in food industry // Journal of Agriculture and Food Research. - 2020. - T. 2. - c. 100033.

93. Kalaitzakis M. et al. Fiducial markers for pose estimation // Journal of Intelligent & Robotic Systems. - Springer, 2021. - T. 101, № 4. - c. 1-26.

94. Kaltenbrunner M., Bencina R. reacTIVision: a computer-vision framework for table-based tangible interaction // Proceedings of the 1st international conference on Tangible and embedded interaction. - 2007. - c. 69-74.

95. Kannala J., Brandt S. S. A generic camera model and calibration method for conventional, wide-angle, and fish-eye lenses // IEEE transactions on pattern analysis and machine intelligence. -IEEE, 2006. - T. 28, № 8. - c. 1335-1340.

96. Kato H. Marker tracking and hmd calibration for a video-based augmented reality conferencing system / H. Kato, M. Billinghurst // In Proc. IEEE and ACM Int. Workshop on Augmented Reality. - 1999. - c. 85-94.

97. Klokmose C. N. et al. BullsEye: High-precision fiducial tracking for table-based tangible interaction // Proceedings of the Ninth ACM international conference on interactive tabletops and surfaces. - 2014. - c. 269-278.

98. Kogan D. Optimal Choregraphy [Электронный ресурс] // Optimal Choregraphy. - 2021. -URL: http://mrcal.secretsauce.net/tour.html#choreography (дата обращения: 03.11.2021).

99. Korthals T. et al. Fiducial Marker based Extrinsic Camera Calibration for a Robot Benchmarking Platform // 2019 European Conference on Mobile Robots (ECMR). - IEEE, 2019. - с. 1-6.

100. Kostâk M., Slaby A. Designing a simple fiducial marker for localization in spatial scenes using neural networks // Sensors. - 2021. - Т. 21, № 16. - с. 5407.

101. Krajnik T. et al. A practical multirobot localization system //Journal of Intelligent & Robotic Systems. - 2014. - Т. 76. - с. 539-562.

102. Krajnik T. et al. External localization system for mobile robotics // 2013 16th International Conference on Advanced Robotics (ICAR). - IEEE, 2013. - с. 1-6.

103. Krogius M., Haggenmiller A., Olson E. Flexible layouts for fiducial tags // 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). - IEEE, 2019. -с. 1898-1903.

104. Kromanis R., Kripakaran P. A multiple camera position approach for accurate displacement measurement using computer vision // Journal of Civil Structural Health Monitoring. - 2021. - Т. 11, № 3. - с. 661-678.

105. Lavest J.-M., Viala M., Dhome M. Do we really need an accurate calibration pattern to achieve a reliable camera calibration? // European Conference on Computer Vision. - Springer, 1998. - с. 158-174.

106. Lerma J. L., Cabrelles M. A review and analyses of plumb-line calibration // The Photogrammetric Record. - Wiley Online Library, 2007. - Т. 22, № 118. - с. 135-150.

107. Li J., Duan P., Wang J. Binocular stereo vision calibration experiment based on essential matrix // 2015 IEEE International Conference on Computer and Communications (ICCC). -IEEE, 2015. - с. 250-254.

108. Li L. et al. Experimental analysis and improvement on camera calibration pattern // Optical Engineering. - International Society for Optics and Photonics, 2014. - Т. 53, № 1. -с. 013104.

109. Li S., Xu C., Xie M. A robust O (n) solution to the perspective-n-point problem // IEEE transactions on pattern analysis and machine intelligence. - IEEE, 2012. - Т. 34, № 7. - с. 14441450.

110. Li Y. et al. A novel marker system in augmented reality // Proceedings of 2012 2nd International Conference on Computer Science and Network Technology. - IEEE, 2012. -с. 1413-1417.

111. Liang Z. et al. Sub-pixels corner detection for camera calibration // TRANSACTIONS-CHINA WELDING INSTITUTION. - CHINA INTERNATIONAL BOOK TRADING CORP., 2006. - T. 27, № 2. - c. 102.

112. Lightbody P., Krajník T., Hanheide M. An efficient visual fiducial localisation system // ACM SIGAPP Applied Computing Review. - 2017. - T. 17, № 3. - c. 28-37.

113. Lim J. S. Two-dimensional signal and image processing // Englewood Cliffs, N.J. : Prentice Hall, 1990. - 694 p.

114. Lin Y. et al. Infrastructure-based multi-camera calibration using radial projections // European Conference on Computer Vision. - Springer, 2020. - c. 327-344.

115. Liu Y., Su X. Camera calibration with planar crossed fringe patterns // Optik. - Elsevier, 2012. - T. 123, № 2. - c. 171-175.

116. López de Ipina D. et al. TRIP: A low-cost vision-based location system for ubiquitous computing // Personal and Ubiquitous Computing. - 2002. - T. 6. - c. 206-219.

117. Lopez M. et al. Deep single image camera calibration with radial distortion // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. - 2019. - c. 1181711825.

118. Luo H. et al. Convolutional neural networks: Computer vision-based workforce activity assessment in construction // Automation in Construction. - 2018. - T. 94. - c. 282-289.

119. Ma J. et al. A novel EOG/EEG hybrid human-machine interface adopting eye movements and ERPs: Application to robot control // IEEE transactions on biomedical engineering. - 2014. - T. 62, № 3. - c. 876-889.

120. Magid E., Ozawa K., Tsubouchi T., Koyanagi E., Yoshida T. Rescue robot navigation: static stability estimation in random step environment // Simulation, Modeling, and Programming for Autonomous Robots: First International Conference, SIMPAR 2008. - Springer Berlin Heidelberg, 2008. - Proceedings 1. - c. 305-316.

121. Magid E., Tsubouchi T. Static balance for rescue robot navigation: Discretizing rotational motion within random step environment. In Simulation, Modeling, and Programming for Autonomous Robots: Second International Conference, SIMPAR 2010. - Springer Berlin Heidelberg, 2010. - Proceedings 2. - c. 423-435.

122. Magid E., Tsubouchi T., Koyanagi E., Yoshida T. Static balance for rescue robot navigation: Losing balance on purpose within random step environment // 2010 IEEE/RSJ International Conference on Intelligent Robots and Systems. - IEEE, 2010. - c. 349-356.

123. Mallon J., Whelan P. F. Which pattern? Biasing aspects of planar calibration patterns and detection methods // Pattern recognition letters. - Elsevier, 2007. - T. 28, № 8. - c. 921-930.

124. Marchand E., Spindler F., Chaumette F. ViSP for visual servoing: a generic software platform with a wide class of robot control skills // IEEE Robotics and Automation Magazine. -IEEE, 2005. - Т. 12, № 4. - с. 40-52.

125. Maybank S. J., Faugeras O. D. A theory of self-calibration of a moving camera // International journal of computer vision. - 1992. - Т. 8, № 2. - с. 123-151.

126. Mei C., Rives P. Single view point omnidirectional camera calibration from planar grids // Proceedings 2007 IEEE International Conference on Robotics and Automation. - IEEE, 2007. - с. 3945-3950.

127. Moon S., Gurvinder S. Virk. Survey on iso standards for industrial and service robots // 2009 ICCAS-SICE. - IEEE, 2009. - с. 1878-1881.

128. Naimark L., Foxlin E. Circular data matrix fiducial system and robust image processing for a wearable vision-inertial self-tracker // Proceedings. International Symposium on Mixed and Augmented Reality. - IEEE, 2002. - с. 27-36.

129. Nissler C. et al. A method for hand-eye and camera-to-camera calibration for limited fields of view // 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). - IEEE, 2017. - с. 5868-5873.

130. Nitsche M. et al. WhyCon: an efficient, marker-based localization system // IROS Workshop on Aerial Open-source Robotics. - 2015.

131. Olson E. AprilTag: A robust and flexible visual fiducial system // 2011 IEEE International Conference on Robotics and Automation. - IEEE, 2011. - с. 3400-3407.

132. OpenCV Docs [Электронный ресурс]. - URL: https://docs.opencv.org (дата обращения: 02.08.2023)

133. Patru G.-C., Pirvan A.-I., Rosner D., Rughinis R.-V. Fiducial marker systems overview and empirical analysis of ArUco, AprilTag and CCTag // U.P.B. Sci. Bull., Series C. - 2023. -Т. 85, no. 2. - с. 49-62.

134. Peng S., Sturm P. Calibration wizard: A guidance system for camera calibration based on modelling geometric and corner uncertainty // Proceedings of the IEEE/CVF International Conference on Computer Vision. - 2019. - с. 1497-1505.

135. Peric D. et al. Geometric calibration of multi-sensor image fusion system with thermal infrared and low-light camera // Electro-Optical Remote Sensing, Photonic Technologies, and Applications VIII; and Military Applications in Hyperspectral Imaging and High Spatial Resolution Sensing II. - SPIE, 2014. - Т. 9250. - с. 160-168.

136. Pfister A. et al. Comparative abilities of Microsoft Kinect and Vicon 3D motion capture for gait analysis // Journal of medical engineering & technology. - 2014. - Т. 38, № 5. - с. 274280.

137. pi-tag-detector [Электронный ресурс]. - URL: https://github.com/mpetroff/pi-tag-detector (дата обращения: 24.08.2023).

138. Plain-Jones C. Data matrix identification // Sensor Review. - 1995. - Т. 15, № 1. - с. 1215.

139. Poulin-Girard A.-S., Thibault S., Laurendeau D. Influence of camera calibration conditions on the accuracy of 3D reconstruction // Optics express. - Optical Society of America, 2016. - Т. 24, № 3. - с. 2678-2686.

140. Prinzler M. H. et al. Metric for comparison of generic camera calibration // Reflection, Scattering, and Diffraction from Surfaces VI. - International Society for Optics and Photonics, 2018. - Т. 10750. - с. 107500I.

141. Qi W., Li F., Zhenzhong L. Review on camera calibration // 2010 Chinese Control and Decision Conference. - IEEE, 2010. - с. 3354-3358.

142. Rankin A. et al. Unmanned ground vehicle perception using thermal infrared cameras // Unmanned Systems Technology XIII. - Spie, 2011. - Т. 8045. - с. 19-44.

143. reacTIVision [Электронный ресурс]. - URL: https://github.com/mkalten/reacTIVision (дата обращения: 24.08.2023).

144. reacTIVision 1.5.1 [Электронный ресурс]. - URL: https://reactivision.sourceforge.net (дата обращения: 02.08.2023)

145. Rehder J. et al. Extending kalibr: Calibrating the extrinsics of multiple IMUs and of individual axes // 2016 IEEE International Conference on Robotics and Automation (ICRA). -IEEE, 2016. - с. 4304-4311.

146. Rekimoto J., Ayatsuka Y. CyberCode: designing augmented reality environments with visual tags // Proceedings of DARE 2000 on Designing augmented reality environments. - 2000.

- с. 1-10.

147. Remondino F., Fraser C. Digital camera calibration methods: considerations and comparisons // International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. - ISPRS, 2006. - Т. 36, № 5. - с. 266-272.

148. Ren Y., Hu F. Camera Calibration with Pose Guidance // ICASSP 2021-2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). - IEEE, 2021.

- с. 2180-2184.

149. REP-103 [Электронный ресурс]. - URL: https://www.ros.org/reps/rep-0103.html (дата обращения: 02.08.2023)

150. Reuter A. Blurtags: spatially varying psf estimation without-of-focus patterns / A. Reuter, H.-P. Seidel, I. Ihrke // In 20th International Conference on Computer Graphics, Visualization and Computer Vision 2012, WSCG'2012. - 2012. - с. 239-247.

151. Rice A. C. Cantag: an open source software toolkit for designing and deploying marker-based vision systems / A. C. Rice, A. R. Beresford, R. K. Harle // In Pervasive Computing and Communications, 2006. PerCom 2006. Fourth Annual IEEE International Conference on. - 2006. - с. 10.

152. Richardson A., Strom J., Olson E. AprilCal: Assisted and repeatable camera calibration // 2013 IEEE/RSJ International Conference on Intelligent Robots and Systems. - IEEE, 2013. -с. 1814-1821.

153. Ricolfe-Viala C., Sanchez-Salmeron A.-J. Camera calibration under optimal conditions // Optics Express. - Optical Society of America, 2011. - Т. 19, № 11. - с. 10769-10775.

154. Rojtberg P. User guidance for interactive camera calibration // International Conference on Human-Computer Interaction. - Springer, 2019. - с. 268-276.

155. Rojtberg P., Kuijper A. Efficient pose selection for interactive camera calibration // 2018 IEEE International Symposium on Mixed and Augmented Reality (ISMAR). - IEEE, 2018. -с. 31-36.

156. ROS Noetic Ninjemys [Электронный ресурс]. - URL: wiki.ros.org/noetic (дата обращения: 02.08.2023)

157. ROS.org Wiki [Электронный ресурс]. - URL: wiki.ros.org/ar_track_alvar (дата обращения: 02.08.2023)

158. Roweis S. Levenberg-marquardt optimization // Notes. - University Of Toronto, 1996. -Т. 52.

159. RUNEtag [Электронный ресурс]. - URL: https://github.com/artursg/RUNEtag (дата обращения: 24.08.2023).

160. Sachin C., Sucan I., Cousins S. Moveit![ros topics] // IEEE Robotics & Automation Magazine 19. - 2012. - с. 18-19.

161. Sagitov A. et al. ARTag, AprilTag and CALTag Fiducial Marker Systems: Comparison in a Presence of Partial Marker Occlusion and Rotation. // ICINCO (2). - 2017. - с. 182-191.

162. Sattar J. et al. Fourier tags: Smoothly degradable fiducial markers for use in human-robot interaction // Fourth Canadian Conference on Computer and Robot Vision (CRV'07). - IEEE, 2007. - с. 165-174.

163. Scaramuzza D. Omnidirectional camera calibration toolbox for Matlab [Электронный ресурс]. - URL: http://asl. epfl. ch/-scar-amuz/0CaniGdibratiori/Scaramuz2a_0CamCaIib.zip. (дата обращения: 24.08.2023)

164. Schillebeeckx I. et al. The geometry of colorful, lenticular fiducial markers //2015 International Conference on 3D Vision. - IEEE, 2015. - с. 487-499.

165. Schops T. et al. Why having 10,000 parameters in your camera model is better than twelve // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. -2020. - с. 2535-2544.

166. Schweiger F. et al. Maximum Detector Response Markers for SIFT and SURF // VMV.

- 2009. - Т. 10. - с. 145-154.

167. Sels S. et al. Camera calibration using gray code // Sensors. - Multidisciplinary Digital Publishing Institute, 2019. - Т. 19, № 2. - с. 246.

168. Shabalina K. et al. Comparing fiducial marker systems occlusion resilience through a robot eye // 2017 10th international conference on developments in eSystems engineering (DeSE). - IEEE, 2017. - с. 273-278.

169. Shibaikin S. D., Alekseev E. G. Software library for the lighting fixtures optical characteristics calculation by the computer-aided design system Kompas 3d // Light & engineering. - 2021. - Т. 29, № 3. - с. 78-85.

170. Siegwart R., Nourbakhsh I. R., Scaramuzza D. Introduction to autonomous mobile robots.

- MIT press, 2011. - 472 с.

171. Sturm P. F., Maybank S. J. On plane-based camera calibration: A general algorithm, singularities, applications // Proceedings. 1999 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (Cat. No PR00149). - IEEE, 1999. - Т. 1. - с. 432-437.

172. Suriansky J., Cmarada M. Analysis of methods for camera calibration in 3D scanning systems // Annals & Proc. of DAAAM Int. - 2012. - Т. 23, № 1. - с. 0365-0368.

173. Tan L. et al. Automatic camera calibration using active displays of a virtual pattern // Sensors. - Multidisciplinary Digital Publishing Institute, 2017. - Т. 17, № 4. - с. 685.

174. Triggs B. Autocalibration from planar scenes // European conference on computer vision.

- Springer, 1998. - с. 89-105.

175. Tsai R. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses // IEEE Journal on Robotics and Automation. - 1987. - Т. 3, № 4. - с. 323-344.

176. Tsoy T. et al. Validation of Fiducial Marker Systems Performance with Rescue Robot Servosila Engineer Onboard Camera in Laboratory Environment // 2019 12th International Conference on Developments in eSystems Engineering (DeSE). - IEEE, 2019. - с. 495-499.

177. Urban S., Leitloff J., Hinz S. Improved wide-angle, fisheye and omnidirectional camera calibration // ISPRS Journal of Photogrammetry and Remote Sensing. - Elsevier, 2015. - Т. 108. - с. 72-79.

178. Wagner D., Schmalstieg D. Artoolkitplus for pose tracking on mobile devices // Computer Vision Winter Workshop. - 2007.

179. Wagner G., Choset H. Subdimensional expansion for multirobot path planning // Artificial intelligence. - 2015. - Т. 219. - с. 1-24.

180. Wang B. LFTag: A scalable visual fiducial system with low spatial frequency // 2020 2nd International Conference on Advances in Computer Technology, Information Science and Communications (CTISC). - IEEE, 2020. - с. 140-147.

181. Wang H. et al. Hierarchical fiducial marker design for pose estimation in large-scale scenarios // Journal of Field Robotics. - 2018. - Т. 35, № 6. - с. 835-849.

182. Wang J., Olson E. AprilTag 2: Efficient and robust fiducial detection // 2016 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). - IEEE, 2016. - с. 41934198.

183. Wang Y. M., Li Y., Zheng J. B. A camera calibration technique based on OpenCV // The 3rd International Conference on Information Sciences and Interaction Sciences. - IEEE, 2010. -с. 403-406.

184. Weng J. et al. Camera calibration with distortion models and accuracy evaluation // IEEE Transactions on pattern analysis and machine intelligence. - 1992. - Т. 14, № 10. - с. 965-980.

185. whycon [Электронный ресурс]. - URL: https://github.com/lrse/whycon (дата обращения: 24.08.2023).

186. Woodwark J. Augmented reality // Computer-Aided Design. - 1993. - Т. 25, № 8. - с. 466-467.

187. Yamazaki K. et al. 3-d object modeling by a camera equipped on a mobile robot // IEEE International Conference on Robotics and Automation, 2004. Proceedings. ICRA'04. 2004. -IEEE, 2004. - Т. 2. - с. 1399-1405.

188. Yu G., Hu Y., Dai J. Topotag: A robust and scalable topological fiducial marker system // IEEE transactions on visualization and computer graphics. - IEEE, 2020. - Т. 27, № 9. - с. 3769-3780.

189. Zhan Q., Wang X. Hand-eye calibration and positioning for a robot drilling system // The International Journal of Advanced Manufacturing Technology. - 2012. - T. 61, № 5-8. - c. 691701.

190. Zhang X., Fronz S., Navab N. Visual marker detection and decoding in ar systems: A comparative study // Proceedings. International Symposium on Mixed and Augmented Reality. - IEEE, 2002. - c. 97-106.

191. Zhang Z. A flexible new technique for camera calibration // IEEE Trans. on pattern analysis and machine intelligence. - 2000. - T. 22, № 11. - c. 1330-1334.

192. Zhang Z. Camera calibration with one-dimensional objects // Eur. Conf. on Computer Vision. - Springer, Berlin, Heidelberg, 2002. - c. 161-174.

193. Zhang Z. Camera Calibration, Chapter 2 // Emerging Topics in Computer Vision. - 2004.

194. Zhang Z. Camera calibration: a personal retrospective // Machine Vision and Applications. - 2016. - T. 7, № 27. - c. 963-965.

195. Zhang Z. et al. DeepTag: A General Framework for Fiducial Marker Design and Detection // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2022. - T. 45, № 3. - c. 2931-2944.

196. Zollner H., Sablatnig R. Comparison of methods for geometric camera calibration using planar calibration targets. - 2004. - c. 237-244.

Приложение А. Перечень публикаций соискателя по теме исследования.

В рецензируемых научных изданиях:

1. Цой, Т.Г. Оценка систем координатных меток с использованием бортовой камеры мобильного робота «Сервосила Инженер» в условиях закрытых помещений [Текст] / Т. Г. Цой // Известия ЮФУ. Технические науки. - 2022. - № 3. - с. 289-299 (РИНЦ).

2. Цой, Т.Г. Пилотные виртуальные эксперименты по сравнению систем координатных меток ARUCO и APRILTAG на устойчивость к вращению [Текст] / А.А. Закиев, R. C. Шабалина, Т. Г. Цой, Е. А. Магид // V Всероссийский научно-практический семинар «Беспилотные транспортные средства с элементами искусственного интеллекта». - 2019. - с. 211-220 (РИНЦ).

3. Tsoy, T. Exhaustive simulation approach for a virtual camera calibration evaluation in Gazebo [Text] / T. Tsoy, R. Safin, E. A. Martinez-Garcia, S. D. Roy, S. K. Saha, E. Magid // IEEE 8th International Conference on Automation, Robotics and Applications. - 2022. - с. 233-238 (Scopus/РИНЦ).

4. Tsoy, T. Recommended criteria for qualitative comparison of fiducial markets performance [Text] / T. Tsoy, R. Safin, R. Sultanov, H. Li, E. Magid // Siberian Conference on Control and Communications. - 2022. - с. 1-5 (Scopus).

5. Tsoy, T. Estimation of 4-DoF manipulator optimal configuration for autonomous camera calibration of a mobile robot using on-board templates [Text] / T. Tsoy, R. Safin, E. Magid, S. K. Saha // The 15th Siberian Conference on Control and Communications. - 2021. - с. 9438925. DOI: 10.1109/SIBCON50419.2021.9438925 (Scopus/WoS/ РИНЦ).

6. Tsoy, T. Embedded ArUco: a novel approach for high precision UAV landing [Text] / A. Khazetdinov, A. Zakiev, T. Tsoy, M. Svinin, E. Magid //The 15th Siberian Conference on Control and Communications. - 2021. - с. № 9438855 (Scopus/WoS/РИНЦ)

7. Tsoy, T. Virtual Experiments on ArUco and AprilTag Systems Comparison for Fiducial Marker Rotation Resistance under Noisy Sensory Data [Text] / A. Zakiev, T. Tsoy, K. Shabalina, E. Magid, S. K. Saha// Proceedings of the International Joint Conference on Neural Networks. - 2020. -с. 1-6 (Scopus/WoS/РИНЦ).

8. Tsoy, T. Validation of Fiducial Marker Systems Performance with Rescue Robot Servosila Engineer Onboard Camera in Laboratory Environment [Text] / T. Tsoy, A. Zakiev, K. Shabalina, R. Safin, E. Magid, S. K. Saha // Proceedings of 12th International Conference on Development in eSystems

Engineering: Robotics, Sensors and Industry 4.0. - 2019. - с. 495-499. DOI: 10.1109/DeSE.2019.00096 (Scopus/ WoS/ РИНЦ).

9. Tsoy, T. Pilot Virtual Experiments on ArUco and ArTag Systems Comparison for Fiducial Marker Rotation Resistance [Text] / A. Zakiev, K. Shabalina, T. Tsoy, E. Magid // Proceedings of 14th International Conference on Electromechanics and Robotics "Zavalishin's Readings". - 2019. - с. 45546 (Scopus/РИНЦ).

10. Tsoy, T. Numerical Solution Approach for the ROBOTIS OP2 Humanoid Hand Inverse Kinematics [Text] / L. Zagidullin, T. Tsoy, R. Meshcheryakov, K.-H. Hsia, E. Magid // International Conference on Artificial Life and Robotics. - 2022. - с. 682-685 (Scopus/РИНЦ).

11. Tsoy, T. E-ASIA Joint Research Program: development of an international collaborative informational system for emergency situations management of food and land slide disaster areas [Text] / E. Magid, F. Matsuno, J. Suthakorn, M. Svinin, Y. Bai, T. Tsoy, R. Safn, R. Lavrenov, A. Zakiev, H. Nakanishi, M. Hatayama, T. Endo // Artificial Life and Robotics. - 2022. - Т. 27, № 4. - с. 613-623 (Scopus/WoS).

12. Tsoy, Т. Real-time Video Server Implementation for a Mobile Robot [Text] / E. Magid, R. Lavrenov, T. Tsoy, M. Svinin, R. Safin // The 11th International Conference on the Developments in eSystems Engineering. - 2018. - с. 180-185 (Scopus/WoS/РИНЦ).

В других изданиях:

13. Цой, Т.Г. Разработка системы оптимальной передачи видеоданных с камер мобильного робота Сервосила Инженер [Текст] / Р. Н. Сафин, Т. Г. Цой, Р.О. Лавренов, Е. А. Магид // XIV Всероссийская научно-практическая конференция «Перспективные системы и задачи управления». - 2019. - с. 304-313.

Свидетельство о государственной регистрации программы для ЭВМ:

14. Свидетельство о государственной регистрации программы для ЭВМ №2022685988. Программа экспериментального виртуального стенда для сравнения координатных меток в симуляторе Gazebo [Текст] / Т. Г. Цой, Р. Н. Сафин, Е. А. Магид; заявитель и правообладатель Фед. гос. автоном. образоват. учреждение высш. образ. Казанский фед. ун-т. - № 2022684160; заявл. 07.12.2022; зарег. 30.12.2022. - 1 с.

Приложение Б. Экспериментальное определение объектов для перекрытия

Эксперименты проводились с целью определения типовой формы и размера объектов, которые в реальных условиях могут загрязнить линзу калибруемой камеры или нанесенный на корпус мобильного робота КО. Далее в виртуальных и лабораторных экспериментах по случайному перекрытию площади КМ и КО генерировались черные и белые объекты («пятна», «кляксы»), соответствующие полученным в ходе натурных экспериментов по форме и размеру.

Для проведения экспериментов в качестве загрязняющего материала использовалась акриловая краска синего цвета (Рис. Б.1 (а)), размешанная с водой. В качестве загрязняемого материала использовалась белая плотная бумага для черчения формата A3 и белая офисная бумага с желтым оттенком «SvetoCopy Eco» формат A4. В ходе экспериментов окрашенная вода набиралась в пипетку и одна капля выпускалась с различной высоты в направлении загрязняемой поверхности (бумаги). Было проведено по 10 экспериментов для высоты 0.1, 0.2, 0.3 и 0.4 м. На Рис. Б.1 (б) представлены полученные результаты при использовании бумаги для черчения для высоты 0.3 м (два верхних ряда) и 0.4 м (два нижних ряда). На Рис. Б.2 представлен пример (одного из трех листов) полученных результатов при использовании офисной бумаги для черчения для высоты 0.1 м (обведены красным маркером), 0.2 м (обведены зеленым маркером), 0.3 м (обведены желтым маркером), и 0.4 м (обведены черным маркером).

(а) (б)

Рис. Б.1. (а) Акриловая краска, использовавшаяся в экспериментах. (б) Эксперименты на бумаге для черчения, два верхних ряда - высота падения загрязняющей жидкости 0.3 м, два нижних - 0.4 м.

Рис. Б.2. Эксперименты на офисной бумаги для черчения для высоты 0.1 м (обведены красным маркером), 0.2 м (обведены зеленым маркером), 0.3 м (обведены желтым маркером), и 0.4 м (обведены черным маркером).