Алгоритмы и методы применения многокамерных систем кругового обзора в контуре управления мобильного робота тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Варлашин Виктор Витальевич

• Варлашин Виктор Витальевич
• кандидат наук
• 2024

Оглавление диссертации кандидат наук Варлашин Виктор Витальевич

Введение

1 Современное состояние систем технического зрения мобильных роботов

на базе систем кругового обзора

1.1 Средства систем технического зрения

1.2 Методы систем технического зрения

1.3 Применение систем технического зрения в транспортных средствах и мобильных роботах

1.4 Пульты дистанционного управления

1.5 Использование камер в условиях телеоператорного управления

1.6 Моноскопические системы кругового обзора

1.7 Стереоскопические системы кругового обзора

1.8 Функции системы кругового обзора в условиях телеоператорного управления

1.9 Выводы и постановка задач

2 Моделирование систем кругового обзора

2.1 Программное обеспечение для моделирования

2.2 Разработка имитационной модели системы кругового обзора

2.3 Настраиваемые параметры виртуальной компьютерной модели

2.4 Моделирование камер со сверхширокоугольными объективами

2.5 Исследование проекционных моделей камер

2.6 Выводы

3 Система кругового обзора в контуре телеоператорного управления мобильного робота

3.1 Программное обеспечение режима дополненной реальности

3.2 Режим построения панорамы

3.3 Режим дополненной реальности

3.4 Экспериментальные исследования разработанного программного обеспечения

3.5 Построение вида от третьего лица

3.6 Выводы

4 Разработка и исследование критериев выбора поверхности для проецирования изображений

4.1 Критерии оценки качества отображения видеосцены

4.2 Метод адаптации параметров проецирования

4.3 Адаптация параметров проецирования для других вариантов поверхностей

4.4 Применение адаптации в реальных системах

4.5 Выводы

5 Система кругового обзора в контуре автономного управления мобильного робота

5.1 Рассматриваемая конфигурация стереопары

5.2 Моделирование стереопары со сверхширокоугольными объективами

5.3 Алгоритм устранения искажений сверхширокоугольных объективов

5.4 Исследование точности устранения искажений

5.5 Калибровка стереопары с ортогонально ориентированными сверхширокоугольными объективами .... Ошибка! Закладка не определена.

5.6 Исследование точности оценки расстояния до объектов

5.7 Эксперимент с реальными камерами со сверхширокоугольными объективами

5.8 Выводы

Заключение

Список сокращений и условных обозначений

Список литературы

Список иллюстративного материала

Приложение А (справочное) Акт о внедрении результатов диссертационной

работы

Введение

Введение диссертации (часть автореферата) на тему «Алгоритмы и методы применения многокамерных систем кругового обзора в контуре управления мобильного робота»

Актуальность темы диссертации

Мобильные роботы (МР) являются одним из направлений робототехники, которое находит всё более широкое применение в промышленности, транспорте, здравоохранении, быту и других областях человеческой деятельности. МР перемещаются в различных средах и условиях, включая опасные и недоступные для человека [1]. Управление движением МР может осуществляться в операторном, супервизорном, автономном режимах и в их комбинации. В любом из отмеченных режимов существенное место в системе управления (СУ) МР занимает аппаратное и программно-алгоритмическое обеспечение системы сбора, обработки, интерпретации и отображения информации об объектах окружения МР в ближней зоне. На основании этой информации оператором или бортовой системой управления выполняется принятие навигационного решения о тактике движения МР и его исполнительных устройств.

Решение задач локальной навигации МР и персональной навигации его исполнительных устройств опирается во многом на системы технического зрения (СТЗ). СТЗ в составе МР используются для решения, в частности, задач получения и обработки визуальной информации об объектах окружения МР, передачи информации системе управления и/или оператору на пульт дистанционного управления (ПДУ) [2]. При дистанционном управлении (ДУ) МР в сложной недетерминированной среде оператор МР сталкивается с трудностями, возникающими вследствие недостаточной информативности получаемого изображения сцены. В робототехнических системах, способных работать в автономном режиме, требования к глубине обработки визуальной информации существенно возрастает, так как она должна быть включена в контур автономного управления. В настоящее время МР используют комбинацию дистанционного и автономного контуров управления, поэтому разработка алгоритмов и методов для СТЗ, применение которой будет эффективно как в телеуправляемых, так и в автономных МР, является актуальной.

Одним из перспективных направлений исследований являются алгоритмы и

методы использования систем технического зрения кругового обзора (СКрО) [3] в составе МР наземного (поверхностного) перемещения. Такие системы являются эффективным средством получения оперативной информации об окружении МР и могут, благодаря возможности получения оценки расстояние до объектов окружения, использоваться как средство измерения для принятия решений в задачах навигации и формирования образа сцены с дополненной реальностью (ДР) при визуализации информации на ПДУ оператора. Возможность создания цифрового трёхмерного образа регистрируемой с помощью СКрО сцены позволяет использовать СКрО в составе системы автономной навигации МР.

Разработкой СКрО с ДР в составе систем помощи оператору мобильной платформы и трёхмерной оцифровки сцены занимаются зарубежные (Стэндфордский университет (Lian T., Farrell J., Wandell B.) [4], Оксфордский университет (Chavan S., Shete V.) [5]), и российские (ФГАОУ ВО КФУ (Афанасьев И. М., Магид Е. А.) [6], ИПМ им. Келдыша (Валиев И.В., Волобой А.Г.) [7], НУК СМ МГТУ им Н.Э. Баумана (Девятериков Е. А., Михайлов Б. Б.) [8], СПб ФИЦ РАН [9] (Павлюк Н. А., Ковалев А. Д., Смирнов П. А.), РТУ МИРЭА (Тренина Е. О.) [10], СПбГЭТУ «ЛЭТИ» (Шишанов С. В., Мякиньков А. В.) [11], ГНЦ РФ ЦНИИ РТК(Васильев И. А., Смирнова Е. Ю., Степанов Д. Н.) [12]) робототехнические исследовательские институты, а также ведущие автомобилестроительные компании (Nissan, Hyundai, BMW и др.) [13].

Степень разработанности темы

Системы кругового обзора являются подмножеством более широкого класса систем компьютерного зрения с несколькими полями зрения.

Системы компьютерного зрения с несколькими полями зрения представляют современное активно развивающееся направление исследований. Исследователями рассматриваются задачи: применения систем объёмного зрения для управления движением МР с использованием методов измерения координат точек поверхностей объектов сцены по изображениям с камер (Володин Ю. С. [14]), применения специализированных полусферических широкоугольных оптико-электронный преобразователей в паре с одометрической системой для определения

параметров движения подвижных объектов (Фан Чан Данг Хоа [15]), применения зеркально-линзовых оптических систем для построения панорамных изображений (Куртов А. В. [16]). создания панорамных оптико-электронных систем кругового обзора с составным (фасеточным) угловым полем для обнаружения целей и измерения их азимутальных координат (Шатова Е. А. [17]), построения фотосхем и обзорных изображений местности с получаемых с установленных на беспилотные летательные аппараты двух-объективных камер (Васильев А. И. [18]).

Направления современных исследований в области разработки конструкции и алгоритмов систем компьютерного зрения на базе СКрО представлены двумя группами:

1 Системы, применяемые в составе пилотируемых (в автотранспорте это системы помощи водителю (англ. ADAS - Advanced driver-assistance systems) и беспилотных платформ (телеуправляемые МР).

2 Системы, применяемые в автономных беспилотных платформах (беспилотные наземные транспортные средства - автономные МР).

Основной задачей, решаемой в первой группе, является формирование с использованием эффектов ДР наиболее информативного для решения задачи управления изображения МР или транспортного средства (ТС) и окружающего его пространства на экране монитора. Для этого используется отображение на плоском экране монитора результата центрального проецирования изображений, зафиксированных и объединённых по выбранным правилам СКрО на заданную крив олинейную пов ерхно сть.

В работе [19] проводится демонстрация изображения на экране монитора вариантов применяемого «для получения более «реалистичного» отображения на мониторе» центрального проецирования изображений СКрО на поверхности различной формы. Субъективность оценки внешнего вида изображения не даёт возможности выбрать наилучшую форму поверхности и требует разработки рационально обоснованного способа оценки качества выводимого на экран монитора изображения.

Вторая группа исследований посвящена разработке методов оцифровки рабочего пространства МР или ТС для осуществления автономной навигации и/или решения задачи SLAM. Использование сверхширокоугольных объективов в составе СКрО потенциально позволяет использовать смежные пары камер для получения информации о расстоянии до точек поверхностей объектов. В работе [20] рассматриваются вопросы возможности получения цифрового трёхмерного образа сцены с использованием ортогонально ориентированных камер со сверхширокоугольными объективами. В работе справедливо отмечается, что современные математические модели камер позволяют устранять искажения, вносимые сверхширокоугольными объективами в периферические области изображений. Однако вопросы влияния дисторсии fisheye-объективов в зоне стереоэффекта, образующейся на краях изображений, на точность восстановления расстояний с помощью ортогональной стереопары остались за рамками публикации.

Ряд работ посвящён применению искусственных нейронных сетей (ИНС) для решения задачи стереосопоставления изображений, полученных с использованием систем кругового обзора, из которых можно выделить [21] и [22] - проекты, связанные с созданием ИНС для решения задачи стереосопоставления изображений, получаемых СКрО с камерами со сверхширокоугольными объективами. Современное состояние аппаратной реализации ИНС не позволяет применить их для решения задачи стереосопоставления изображений. Программная реализация таких ИНС требует применения в составе бортовой системы управления (БСУ) МР или ПДУ производительных вычислителей, что приводит к увеличению энергопотребления и уменьшению времени автономной работы МР или ПДУ.

Цель и задачи работы

Целью диссертационной работы является разработка и обоснование алгоритмов и способов обработки изображений, получаемых с многокамерной СКрО МР со сверхширокоугольными объективами, пригодных для применения в составе как операторного контура управления МР, так и автономного контура

управления БСУ. Для достижения цели в работе сформулированы и решены следующие задачи:

1 Анализ СКрО на основе камер со сверхширокоугольными объективами, с акцентом на использование СКрО в робототехнике и в автомобилестроении (в системах помощи водителю).

2 Разработка и исследование способов представления информации, получаемой с камер СКрО на основе камер со сверхширокоугольными объективами для повышения эффективности информационного взаимодействий оператора с МР в режиме телеуправления на основе методов виртуальной и дополненной реальности.

3 Разработка и исследование способов количественной оценки качества преобразования для представления на экране монитора изображений с камер СКрО в режиме ДР.

4 Разработка и исследование способов построения карты глубины и облака точек, соответствующих объектам рабочего пространства, по изображениям стереопар, образованных смежными камерами СКрО на основе камер со сверхширокоугольными объективами и формирования трёхмерного образа объектов окружающего МР пространства.

5 Разработка специальных программных средств компьютерного моделирования СКрО для проведения параметрических исследований имитационных моделей с целью повышения эффективности применения СКрО.

Объект исследования

Многокамерная система технического зрения кругового обзора мобильного робота на основе четырех ортогонально ориентированных камер со сверхширокоугольными объективами с пересекающимися полями зрения.

Предмет исследования

Алгоритмы и методы обработки и представления визуальной информации, регистрируемой СКрО, для применения в контуре управления МР

Научная новизна

1 Предложен способ объективной оценки качества отображения на экране

монитора ПДУ регистрируемого СКрО окружающего МР пространства. Способ основан на критерии близости положения точек изображения, получаемого с камер СКрО модели, с точками, полученными в результате проецирования изображений с камер при формировании изображения на экране монитора ПДУ в режиме ДР.

2 Разработан новый алгоритм обработки кадров пары смежных ортогонально ориентированных камер со сверхширокоугольными объективами из состава СКрО для получения пары ректифицированных изображений с возможностью последующей обработки и построения карты глубины и облака точек в областях пересечения полей зрения камер.

3 Разработаны имитационные компьютерные модели СКрО, учитывающие конструктивные особенности МР, способ размещения камер на борту МР, а также их внутренние характеристики.

Теоретическая значимость исследования

Теоретическая значимость исследования заключается в развитии методов обработки и объективной оценки качества визуализации получаемой с помощью системы компьютерного зрения информации для использования в контуре системы операторного и автономного управления МР.

Практическая значимость исследования

Практическая значимость исследования состоит в возможности применения его результатов для разработки содержащих СТЗ СУ телеуправляемых и автономных МР. Предложенные в исследовании модели и методы позволят повысить качество информационного взаимодействия оператора с МР и обеспечить возможность, автономной навигации вновь разрабатываемых МР.

Разработанный способ оценки качества воспроизведения окружающего пространства позволяет сравнивать различные варианты проекционных моделей, применяемых при формировании изображения в режиме ДР на ПДУ оператора, а также выполнять оптимизацию параметров проекционных моделей. Предложенный способ не зависит от выбора точек для сопоставления, а разработанная виртуальная компьютерная модель позволяет использовать полученные при калибровке камер СКрО параметры для формирования

имитационной модели МР с СКрО и решения задачи оптимизации параметров проецирования и выбора наилучшей для восприятия оператором формы поверхности (преобразования изображения) в зависимости от конструктивных особенностей МР.

Разработанный алгоритм обработки кадров для получения ректифицированных изображений основан на использовании аппроксимационных моделей камер, описывающих систему «матрица-объектив» как единое целое. Используемый в работе подход в общем случае не зависит от применяемой аппроксимационной модели, что позволяет говорить о его универсальности. Использованный в работе подход с применением табличных преобразований (англ. LUT, Look-up table) соответствия пиксельных координат выходного изображения входному позволяет свести задачу стереосопоставления к классической, для которой применимы широко распространённые подходы, основанные на триангуляции и эпиполярной геометрии, что позволяет снизить требования к бортовому вычислителю автономного МР.

Методология и методы исследования

При исследовании качества воспроизведения сцены для определения наилучших значений параметров моделей используются методы однокритериальной и многокритериальной оптимизации. При обработке результатов экспериментов используются статистические методы обработки экспериментальных данных. Для программной реализации компьютерных моделей использованы методы структурного и объектно-ориентированного анализа и программирования. Предложенные решения апробированы с помощью виртуальных компьютерных экспериментов на имитационных моделях конкретных СТЗ, в частности, СКрО с камерами со сверхширокоугольными объективами. Выполнены натурные эксперименты для подтверждения результатов виртуальных компьютерных экспериментов.

Положения, выносимые на защиту

1 Предложен способ объективного сравнения качества преобразований для проецирования на экран монитора изображений с камер СКрО в режиме дополненной реальности.

2 Разработан алгоритм ректификации изображений с камер со сверхширокоугольными объективами в областях наибольших искажений.

3 Разработан метод построения карты глубины по изображениям, получаемых со смежных камер СКрО со сверхширокоугольными объективами.

4 Разработана имитационная компьютерная модель многокамерной СКрО с элементами ДР с задаваемыми внутренними и внешними параметрами СТЗ

Степень достоверности полученных результатов

Достоверность научных положений, представленных в работе, результаты исследований и основных выводов подтверждается теоретическими исследованиями и анализом существующих в данной области, согласования теоретических материалов с результатами виртуальных исследований предложенных методов и критериев с использованием верифицируемых имитационных моделей, а также публикацией основных результатов диссертации в журналах, рекломендованных ВАК, докладах на всероссийских и международных научных конференциях и реализацией в проектах конкретных систем технического зрения различного назначения.

Апробация работы

Разработанные компьютерные модели и критерии были успешно применены в создании новых систем управления роботами (диссертационное исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта №2 20-3890094 «Исследование методов оценки расстояний до объектов окружающей среды с использованием системы кругового обзора мобильных роботов»). Результаты исследования использовались в рамках выполнения НИОКТР АААА-А17-117060110052-8 «Разработка системы интеллектуального управления и навигации мобильного робототехнического комплекса на основе применения технологий дополненной и виртуальной реальности» [23]. Результаты исследования внедрялись в ходе инициативного проекта, выполненного федеральным государственным автономным научным учреждением «Центральный научно-исследовательский и опытно-конструкторский институт робототехники и технической кибернетики» (приложение А).

Основные положения и результаты диссертационной работы докладывались

в 2018 - 2022 годах на Международной научной конференции по электромеханике и робототехнике «Завалишинские чтения»-2019 (г. Курск), 29-ой Международной научно-технической конференции «Экстремальная робототехника и конверсионные тенденции», 33-ей Международной научно-технической конференции «Экстремальная робототехника» (г. Санкт-Петербург).

Публикации

По материалам диссертации опубликовано шесть печатных работ, включая три публикаций в научных журналах, рекомендованных ВАК («Мехатроника, автоматизация, управление», «Робототехника и техническая кибернетика»), одну публикацию в издание, индексируемом в WoS/Scopus.

Личный вклад автора

Основные научные положения, математические и имитационные модели, критерии, практические решения, результаты моделирования и теоретические выводы сформулированы и выполнены автором лично.

Соответствие диссертации паспорту научной специальности

Содержание диссертации соответствует паспорту специальности 2.5.4. Роботы, мехатроника и робототехнические системы по пунктам:

- п.4. Математическое и полунатурное моделирование мехатронных и робототехнических систем, включая взаимодействие со средой, анализ их характеристик, оптимизация и синтез по результатам моделирования;

- п.6. Математическое и программное обеспечение, компьютерные методы и средства обработки информации в реальном времени в роботах, робототехнических и мехатронных системах;

- п.10. Интерфейсы и методы взаимодействия человека с роботами. Методы эффективной и безопасной совместной работы человека и роботов. Коллаборативные роботы.

Структура и объем работы

Диссертация состоит из введения, пяти глав, заключения, списка сокращений и обозначений, списка литературы, списка иллюстративного материала и одного приложения. Содержание работы изложено на 163 страницах, включает 104 рисунка и 17 таблиц. Библиографический список насчитывает 167 наименований.

1 Современное состояние систем технического зрения мобильных роботов на базе систем кругового обзора

Системы технического зрения (СТЗ) являются одним из главных источников информации в мобильных роботах (МР) и автономных транспортных средствах (ТС). Развитие автоматических систем управления (СУ) в условиях телеоператорного и автономного управления невозможно без получения и анализа информации о внешней обстановке в режиме реального времени. Применяемые в СТЗ сенсоры имеют различные физические принципы, лежащие в основе их работы, а также методы обработки информации. Ниже представлен краткий обзор средств и методов СТЗ.

1.1 Средства систем технического зрения

Обзор современных СТЗ [24; 25] показывает широкое разнообразие применяемых в них устройств и принципов их работы. Применяемые в составе СТЗ устройства можно разделить на следующие группы по типу:

- камеры (видимого и инфракрасного спектров, в том числе термальные) и пассивные стереокамеры.

- активные стереокамеры (камеры со структурированной подсветкой);

- дальномеры (ультразвуковые и лазерные);

- радары;

- лидары;

- времяпролетные камеры.

Обзор числа публикаций по каждому направлению, согласно данным с сайта www.semanticscholar.org, показал, что интерес к каждой области растет с каждым годом. На рисунках 1.1 - 1.6 представлены распределения числа публикаций по соответствующим поисковым запросам. Результаты приводятся в виде двух гистограмм: общее число публикаций по годам (гистограмма серого цвета), и число

публикаций по направлениям компьютерные науки и инженерная деятельность. Результаты по запросам соответствуют релевантной схеме выдачи результатов и не позволяют в полной мере судить о статистике (в частности, в результаты выдачи могут попадать статьи, не относящиеся к теме поиска), но очевидна тенденция с увеличением числа исследований по всем направлениям. В таблицах 1.1 и 1.2 представлена статистика числа публикаций по группам СТЗ.

Обзор научно-технической литературы показывает, что в большинстве случаев в составе МР и автономных ТС применяются комбинации различных сенсоров, что позволяет добиться большей эффективности при решении задач управления и навигации. Ниже представлен краткий обзор возможностей устройств различных типов.

Таблица 1.1 - Статистика по количеству публикаций

по группам СТЗ

Группа Камеры Стерео-камеры Дальномеры Радары Лидары Времяпро-летные камеры

Число запросов (общее), тыс. 1060,0 175,0 6,2 665,0 185,0 613,0

Число запросов (по направлениям), тыс. 426,0 62,0 2,5 192,0 23,9 217,0

Таблица 1.2 - Статистика по количеству статей по группам СТЗ с добавлением ключевых слов «компьютерное зрение» в запрос

Группа Камеры Стерео-камеры Дальномеры Радары Лидары Времяпро-летные камеры

Число запросов (общее), тыс. 222,0 153,0 130,0 143,0 133,0 20,7

Число запросов (по направлениям), тыс. 157,0 114,0 98,8 106,0 100,0 16,7

О

__

2022 1940

_

1931 2022 1940 2022

а) б)

Рисунок 1.1 - Гистограммы распределения: а) для запроса «камера» (англ. camera), б) для запроса «камера компьютерное зрение» (англ. camera computer vision)

а

а

ill

о

1950

2022

1959

2022

а) б)

Рисунок 1.2 - Гистограммы распределения: а) для запроса «стереокамера» (англ. stereocamera), б) для запроса «стереокамера компьютерное зрение»

(англ. stereocamera computer vision)

О-

_

о

1964

—О

2022 1940

2022

а) б)

Рисунок 1.3 - Гистограммы распределения: а) для запроса «дальномер» (англ. rangefinder), б) для запроса «дальномер компьютерное зрение» (англ. rangefinder computer vision)

О-_о_о

1942 2022 1940 2022

а) б)

Рисунок 1.4 - Гистограммы распределения: а) для запроса «радар» (англ. radar), б) для запроса «радар компьютерное зрение» (англ. radar computer vision)

О

_

1971

2022

1940

2022

а) б)

Рисунок 1.5 - Гистограммы распределения: а) для запроса «лидар» (англ. lidar), б) для запроса «лидар компьютерное зрение» (англ. lidar computer vision)

о

_

о

2022

■О

1931 2022 1969 2022

а) б)

Рисунок 1.6 - Гистограммы распределения: а) для запроса «времяпролетная камера» (англ. time of flight camera), б) для запроса « времяпролетная камера компьютерное зрение» (англ. time of flight camera computer vision)

191801151918011719180115191801151918011519180115191801151918

2202132632313002323130

Лидар (LiDAR)

LiDAR (сокращение от англ. Light Detection and Ranging - «обнаружение и определение дальности с помощью света») — это технология дистанционного зондирования, которая используется для измерения расстояний. Лидар является активным датчиком, в состав которого входит источник излучения для подсветки объектов. Лидар основан на принципе измерения времени пролета (англ. TOF, time of flight), сначала происходит излучение импульса с помощью лазера, а затем фиксация времени, когда отраженный от объекта импульс детектируется приемником. В дальнейшем измерения используются для создания трехмерных образов (моделей) объектов окружающей среды. Современные лидары способны выполнять 150000 измерений в секунду на больших (свыше 250м) дистанциях [26]. Лидары активно используют в автономных ТС благодаря их высокой точности и надежности, они могут создавать плотные облака точек (англ. point cloud), необходимые для таких методов, как SLAM (англ. Simultaneous localization and mapping, одновременная локализация и построение карты) [27].

Радары

Радар — это технология, которая использует радиоволны для измерения расстояния и направления на объекты, а также скорости объектов. Радар работает по принципу электромагнитного излучения, работающего в различных частотных диапазонах (например, 24 ГГц, 77 ГГц, 79 ГГц). Более высокая частота дает более высокое разрешение, что позволяет системе радиолокационных датчиков различать несколько объектов в режиме реального времени. Радиолокационные датчики имеют малую и среднюю дальности действия (50-100 м), однако некоторые радары способны обнаруживать объекты на расстоянии более 150 м [28]. Радары предлагают много преимуществ для автономных транспортных средств благодаря их надежности в различных погодных и временных условиях окружающей среды. В отличие от LiDAR, радары значительно дешевле и гораздо более доступны. Радары используются в современных ТС, которые содержат системы ADAS (англ. advanced driver assistance systems, усовершенствованные

системы помощи водителю). Эти системы предназначены для обеспечения функций круиз-контроля, обнаружения столкновений и автоматического вождения. Еще одной важной особенностью радаров является то, что они также способны определять движение обнаруживаемых объектов [29].

Камеры

Камеры работают по принципу пассивных датчиков света для создания цифрового образа захватываемой области. Камеры способны обнаруживать как движущиеся, так и статические объекты. Основное преимущество камер перед датчиками любого другого типа заключается в том, что они способны фиксировать цвета объектов, что дает возможность автономным ТС и роботам с использованием алгоритмов технического зрения решать такие задачи, как обнаружение, распознавание и классификация объектов, а также осуществлять с сегментацию окружающего пространства. В автономных ТС камеры позволяют идентифицировать дорожные знаки, светофоры, разметку и другие объекты. Камеры могут работать в различных диапазонах электромагнитного излучения (видимый и инфракрасный спектры, а так же тепловое излучение).

Получаемые по камерам изображения представляют собой двумерный образ пространства, поэтому для измерения расстояний до объектов применяют пары камер (стереопары) или пары, основанные на камере и источнике света - камеры со структурированной подсветкой [30].

Важным преимуществом камер над другими устройствами в составе СТЗ МР и автономных ТС является их низкая стоимость и высокая доступность, однако обработка и интерпретация информации, поступающей с камер, требует высокой вычислительной мощности вычислителя БСУ.

Список литературы диссертационного исследования кандидат наук Варлашин Виктор Витальевич, 2024 год

Список литературы

1 ЭКСТРЕМАЛЬНАЯ РОБОТОТЕХНИКА // Международная научно-техническая конференция: труды. - 2021. - № 1(32). - 352 с.

2 Пульты дистанционного управления мобильными робототехническими комплексами наземного базирования / Д.Р. Аюпова [и др.] // Экстремальная робототехника. - 2021. - Т. 1. - № 1. - С. 177-196. - Текст: непосредственный.

3 Панорамные системы кругового обзора / Л.Н. Архипова [и др.] // Оптический журнал. - 2016. - Т. 83. - №. 6. - С. 20-31. - Текст: непосредственный.

4 Lian T. Image systems simulation for 360 camera rigs / Lian T., Farrell J., Wandell B. // Electronic Imaging. - 2018. - Т. 2018. - №. 5. - Pp. 353-1-353-5. - Текст: непосредственный.

5 Chavan S. Three dimensional surround view system / Chavan S., Shete V. // International Journal of Electronics, Electrical and Computational System. - 2017. - Т. 6. - Text: unmediated.

6 Афанасьев И.М. Системы кругового обзора и интеллектуального анализа панорамного видеонаблюдения для помощи водителю / И.М. Афанасьев, Е.А. Магид // IV междунар. науч.-практ. конференция «Современные проблемы безопасности жизнедеятельности: интеллектуальные транспортные системы»: материалы, Казань, 25-26 февраля 2016 года. - Казань: Научный центр безопасности жизнедеятельности, 2016. - С. 52-60. - Текст: непосредственный.

7 Валиев И.В. Моделирование монитора кругового обзора / И.В. Валиев, А.Г. Волобой // 20-ая междунар. конференция по компьютерной графике и зрению «ГРАФИКОН-2010»: труды, 2010. - С.269-272. - Текст: непосредственный.

8 Девятериков Е.А. Система технического стереозрения для измерения координат мобильного робота / Е.А. Девятериков, Б.Б. Михайлов // Механика, управление и информатика. - 2012. - № 3(9). - С. 71 -78. - Текст: непосредственный.

9 Павлюк Н.А. Математическое обеспечение системы стереозрения роботизированной платформы для решения задачи навигации / Н А. Павлюк, А.Д.

Ковалев, П.А. Смирнов // Экстремальная робототехника. - 2020. - Т. 1, № 1. - С. 19-27. - Текст: непосредственный.

10 Тренина Е.О. Надежность процесса автокалибровки системы кругового обзора / Е.О. Тренина // Российская науч.-техн. конференция с междунар. участием «Инновационные технологии, в электронике и приборостроении»: сборник докладов, 05-12 апреля 2021 г. - Т. 1. - Москва: МИРЭА - Российский технологический университет, 2021. - С. 249-254. - Текст: непосредственный.

11 Шишанов С.В. Система кругового обзора для транспортных средств на основе сверхширокополосных датчиков / С. В. Шишанов, А. В. Мякиньков // Известия высших учебных заведений России. Радиоэлектроника. - 2015. - № 2. -С. 55-61. - Текст: непосредственный.

12 Васильев И.А. Комплекс интеллектуальной навигации амфибийного спасательного средства / И.А. Васильев, Е.Ю. Смирнова, Д.Н. Степанов // Робототехника и техническая кибернетика. - 2015. - №. 2. - С. 30-33. - Текст: непосредственный.

13 Nissan Motor Co: [site]. - URL: www.nissan-global .com/EN/TECHNOLOGY/ OVERVIEW/ avm.html (дата обращения: 31.10.2017). - Text: electronic.

14 Володин Ю.С. Телевизионная система объемного зрения для управления движением мобильного робота: диссертация на соискание ученой степени кандидата технических наук // Москва. - 2011. - 208 с. - Текст: непосредственный.

15 Фан Чан Данг Хоа. Информационно-измерительные системы для определения параметров движения подвижных объектов на основе полусферических оптико-электронных преобразователей: диссертация на соискание ученой степени кандидата технических наук // Тула. - 2015. - 173 с. -Текст: непосредственный.

16 Куртов А.В. Разработка и исследование оптических систем с зеркально-линзовым панорамным компонентом: специальность 05.11.07 "Оптические и оптико-электронные приборы и комплексы": диссертация на соискание ученой степени кандидата технических наук / Куртов Анатолий Владимирович. - Москва, 2001. - 144 с. - Текст: непосредственный.

17 Шатова Е.А. Разработка и исследование оптико-электронных систем кругового обзора с дискретным фасеточным угловым полем: специальность 05.11.07 "Оптические и оптико-электронные приборы и комплексы": диссертация на соискание ученой степени кандидата технических наук / Шатова Екатерина Алексеевна. - Москва, 2010. - 160 с. - Текст: непосредственный.

18 Васильев А.И. Программное и алгоритмическое обеспечение систем компьютерного видения с несколькими полями зрения: специальность 05.13.11 "Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей": диссертация на соискание ученой степени кандидата физико-математических наук / Васильев Антон Игоревич. - Москва, 2013. - 116 с. - Текст: непосредственный.

19 Yeh Y.-T Driver Assistance System Providing an Intuitive Perspective View of Vehicle Surrounding / Yeh Y.-T [et al.] // ACCV Workshops (2), Springer. 2014. Pp. 403-417. - Text: unmediated.

20 Zhang B. The study of calibration and epipolar geometry for the stereo vision system built by fisheye lenses / Baofeng Zhang [et al.] // Proc. SPIE 9406, Intelligent Robots and Computer Vision XXXII: Algorithms and Techniques, 94060M (8 February 2015). - Text: unmediated.

21 Pan J. Orthogonally-Divergent Fisheye Stereo / Pan J. [et al.] // Advanced Concepts for Intelligent Vision Systems. ACIVS 2018. Lecture Notes in Computer Science, vol 11182. Springer, Cham. https://doi.org/10.1007/978-3-030-01449-0_10. -Text: electronic.

22 Won C. Sweepnet: Wide-baseline omnidirectional depth estimation / Won C., Ryu J., Lim J. // 2019 International Conference on Robotics and Automation (ICRA). -IEEE, 2019. - Pp. 6073-6079. - Text: unmediated.

23 Разработка системы интеллектуального управления и навигации мобильного робототехнического комплекса на основе применения технологий дополненной и виртуальной реальности // ЕГИСУ НИОКТР: [сайт]. - URL: https://rosrid.ru/nioktr/detail/2AO6K6NBVAGCVMPNA3IDHX4O (дата обращения: 31.08.2022). - Текст: электронный.

24 Campbell S. Sensor technology in autonomous vehicles: A review / Campbell S. [et al.] // 2018 29th Irish Signals and Systems Conference (ISSC). - IEEE, 2018. - Pp. 1-4. - Text: unmediated.

25 Li P. Common sensors in industrial robots: A review / Li P., Liu X. // Journal of Physics: Conference Series. - IOP Publishing, 2019. - T. 1267. - №. 1. - P. 012036. - Text: unmediated.

26 Ilas C. Perception in Autonomous Ground Vehicles-A Review // Proc. of ECAI Conf. - Pp. 1-6. - Text: unmediated.

27 Noraain M.S. Verification of 3-D LiDAR data for use in Monte Carlo Ray Tracing method / A. Hamid J.R., Kamaruddin M.H. // 11th International Symposium Exhibition & Geoinformation (ISG) 2012. - Text: unmediated.

28 Lee J. A fully-integrated 77-GHz FMCW radar transceiver in 65-nm CMOS technology / Lee J. [et al.] // IEEE Journal of Solid-State Circuits. - 2010. - T. 45. - №. 12. - Pp. 2746-2756. - Text: unmediated.

29 Rohling H. Radar waveform for automotive radar systems and applications / Rohling H., Moller C. // 2008 IEEE Radar Conference. - IEEE, 2008. - Pp. 1-4. - Text: unmediated.

30 Forbes A. Structured light / Forbes A., de Oliveira M., Dennis M. R. // Nature Photonics. - 2021. - T. 15. - №. 4. - Pp. 253-262. - Text: unmediated.

31 Park W. J. Parking space detection using ultrasonic sensor in parking assistance system / Park W. J. [et al.] // 2008 IEEE intelligent vehicles symposium. - IEEE, 2008. -Pp. 1039-1044. - Text: unmediated.

32 Murphy K. Rao-Blackwellised particle filtering for dynamic Bayesian networks / Murphy K., Russell S. // Sequential Monte Carlo methods in practice. -Springer, New York, NY, 2001. - Pp. 499-515. - Text: unmediated.

33 Hess W. Real-time loop closure in 2D LIDAR SLAM / Hess W. [et al.] // 2016 IEEE international conference on robotics and automation (ICRA). - IEEE, 2016. - Pp. 1271-1278. - Text: unmediated.

34 Huletski A. Vinyslam: an indoor slam method for low-cost platforms based on the transferable belief model / Huletski A., Kartashov D., Krinkin K. // 2017 IEEE/RSJ

International Conference on Intelligent Robots and Systems (IROS). - IEEE, 2017. - Pp. 6770-6776. - Text: unmediated.

35 Parekh D. A Review on Autonomous Vehicles: Progress, Methods and Challenges / Parekh D. [et al.] // Electronics. - 2022. - Т. 11. - №. 14. - P. 2162. - Text: unmediated.

36 Сайкин А.М. Развитие наземных беспилотных транспортных средств, систем помощи водителю и компонентов по данным патентных публикаций / А.М. Сайкин [и др.] // Интеллектуальные транспортные системы. - 2017. - С. 110-119. -Текст: непосредственный.

37 Alatise M.B. A review on challenges of autonomous mobile robot and sensor fusion methods / M.B. Alatise, G.P. Hancke // IEEE Access. - 2020. - Т. 8. - Pp. 3983039846. - Text: unmediated.

38 Panigrahi P.K. Localization strategies for autonomous mobile robots: A review / Panigrahi P.K., Bisoy S.K. // Journal of King Saud University-Computer and Information Sciences. - 2021. - Text: unmediated.

39 Shalal N. A review of autonomous navigation systems in agricultural environments / Shalal N. [et al.]. - 2013. - Text: unmediated.

40 Li J. 2D LiDAR and camera fusion in 3D modeling of indoor environment / Li J., He X., Li J. // 2015 National Aerospace and Electronics Conference (NAECON). -IEEE, 2015. - Pp. 379-383. - Text: unmediated.

41 Bischoff B. Fusing vision and odometry for accurate indoor robot localization / Bischoff B. [et al.] // 2012 12th International Conference on Control Automation Robotics & Vision (ICARCV). - IEEE, 2012. - Pp. 347-352. - Text: unmediated.

42 Jeon D. UKF data fusion of odometry and magnetic sensor for a precise indoor localization system of an autonomous vehicle // 2016 13th International Conference on Ubiquitous Robots and Ambient Intelligence (URAI). - IEEE, 2016. - Pp. 47-52. - Text: unmediated.

43 Юревич Е.И. Основы робототехники, 4 изд. - БХВ-Петербург, 2018. -Текст: непосредственный.

44 Лазаренко В.П. Метод создания сферических панорам из изображений, полученных всенаправленными оптико-электронными системами / В.П. Лазаренко

[и др.] // Научно-технический вестник информационных технологий, механики и оптики, Т. 16. № 1. СПБ: ИТМО, 2016. - С. 46-53. - Текст: непосредственньщ

45 Utsugi K. A Camera Revolver for Improved Image Stitching / Utsugi K., Moriya T. // MVA. - 2002. - Pp. 261-264. - Text: unmediated.

46 SceneCam Solution: [site]. - URL: http://www.optoteam.at/fileadmin/optoteam/PDF/Forensics/ 018%20SceneCam_Brochu re_EN.pdf (дата обращения: 03.06.2023). - Text: electronic.

47 Panoscan MK-3 Panoramic: [site]. - URL: http://www.panoscan.com/MK3/MK3Spec.html (дата обращения: 03.06.2023). - Text: electronic.

4S State-of-the-art tools for your digital e-marketing // Roundshot VR Drive Metric: [site]. - URL:

http://www.roundshot.com/xml_1/internet/en/application/d77/d1120/f1129.cfm (дата обращения: 03.06.2023). - Text: electronic.

49 Прудников Н.В. Панорамные оптико-электронные устройства кругового и секторного обзора / Н.В. Прудников, В.Б. Шлишевский // Вестник СГУГиТ (Сибирского государственного университета геосистем и технологий). - 2016. - №2. 1 (33). - С. 148-161. - Текст: непосредственный.

50 Mazhar O. Design and calibration of a specialized polydioptric camera rig / Mazhar O. [et al.] // Frontiers in ICT. - 2017. - Т. 4. - P. 19. - Text: unmediated.

51 Krishnan G. Cata-fisheye camera for panoramic imaging / Krishnan G., Nayar S.K. // 2008 IEEE Workshop on Applications of Computer Vision. - IEEE, 2008. - Pp. 1-8. - Text: unmediated.

52 Mariottini G.L. Image-based visual servoing for nonholonomic mobile robots with central catadioptric camera / Mariottini G.L., Prattichizzo D., Oriolo G. // Proceedings 2006 IEEE International Conference on Robotics and Automation, 2006. ICRA 2006. - IEEE, 2006. - Pp. 538-544. - Text: unmediated.

53 Aliakbarpour H. Visual servoing of mobile robots using non-central catadioptric cameras / Aliakbarpour H., Tahri O., Araujo H. // Robotics and Autonomous Systems. - 2014. - Т. 62. - №. 11. - Pp. 1613-1622. - Text: unmediated.

54 Gurrieri L.E. Acquisition of omnidirectional stereoscopic images and videos of dynamic scenes: a review / Gurrieri L.E., Dubois E. // Journal of Electronic Imaging. -2013. - Т. 22. - №. 3. - P. 030902. - Text: unmediated.

55 Schreer O. Geometrical design concept for panoramic 3D video acquisition / Schreer O. [et al.] // 2012 Proceedings of the 20th European Signal Processing Conference (EUSIPCO). - IEEE, 2012. - Pp. 2757-2761. - Text: unmediated.

56 Ricoh Theta S: [site] URL: https://www.ricoh.com/release/2016/pdf/1013_thetasc_E.pdf (дата обращения: 03.06.2023). - Text: electronic.

57 Samsung Gear 360: [site]. - URL: http://www.samsung.com/global/galaxy/gear-360/specs/ (дата обращения: 03.06.2023). - Text: electronic.

58 LG 360 Cam: [site]. - URL: https://www.cnet.com/products/lg-360-cam/specs/ (дата обращения: 03.06.2023). - Text: electronic.

59 IC Allie Home: [site]. - URL: http://www.vesternet.com/downloads/dl/file/id/1390/product/2490/alliecam_presentatio n_brochure_2016.pdf (дата обращения: 03.06.2023). - Text: electronic.

60 Nokia OZO URL: https://store.ozo.nokia.com/media/custom/upload/Nokia_OZO_Specifications_2017-02-20.pdf (дата обращения: 03.06.2023). - Text: electronic.

61 GoPro Odyssey: [site]. - URL: https://xinreality.com/wiki/Odyssey (дата обращения: 03.06.2023). - Text: electronic.

62 GoPro Omni: [site]. - URL: https://shop.gopro.com/EMEA/omni-all-inclusive-pdp-tech-specs-all.html?format=ajax (дата обращения: 03.06.2023). - Text: electronic.

63 Samsung 360 round camera system: [site]. - URL: https://news.samsung.com/global/experience-samsung-360-round-a-high-quality-camera-for-creating-and-livestreaming-3d-content-for-virtual-reality-vr (дата обращения: 03.06.2023). - Text: electronic.

64 PointGrey: [site]. - URL: www.ptgrey.com (дата обращения: 31.08.2023). -Text: electronic.

65 Southwell D. Panoramic stereo / D. Southwell [et al.] // In Proc. IEEE Int. Conf. Pattern Recognition, Vol. 1, pp. 378-382 (1996). - Text: unmediated.

66 Eduardo L.I. Omni-directional stereo vision with a hyperbolic double lobed mirror / Eduardo L.I., Cabral Jose C., de Souza Junior M.C.H. // Proceedings of IEEE International Conference on Pattern Recognition. - 2004. - Pp. 1-4. - Text: unmediated.

67 Gluckman J. Real-time omnidirectional and panoramic stereo / J. Gluckman, S. Nayar, and K. Thoresz // In Proc. of DARPA Image Understanding Workshop, Vol. 1, pp. 299-303 (1998).

68 Stürzl W. The quality of catadioptric imaging application to omnidirectional stereo / W. Stürzl, H. Dahmen, and H. A. Mallot // Lec. Notes Comput. Sci. 3021, pp. 614-627 (2004). - Text: unmediated.

69 Kawanishi T. Generation of high-resolution stereo panoramic images by omnidirectional imaging sensor using hexagonal pyramidal mirrors / T. Kawanishi [et al.] // In Proc. of the 14th Int. Conf. on Pattern Recognition, pp. 485-489 (1998). - Text: unmediated.

70 Spacek L. Coaxial omnidirectional stereopsis / Spacek L. // In Computer Vision (ECCV), Vol. 3024, pp. 354-365, Springer, Berlin, Heidelberg (2004). - Text: unmediated.

71 Multiview generation for 3D digital signage // Fraunhofer Heinrich Hertz Institute: [site]. - URL: http://www.hhi.fraunhofer.de/fields-of-competence/imageprocessing/applications/multiview-generation-for-3d-digital-signage .html (дата обращения: 31.08.2023). - Text: electronic.

72 Weissig C. /Advances in multimedia modeling / C. Weissig [et al.] // Lec. Notes Comput. Sci. 7131, pp. 671-681 (2012). - Text: unmediated.

73 Peleg S. Cameras for stereo panoramic imaging / S. Peleg, Y. Pritch, and M. Ben-Ezra // In Proc. IEEE Computer Vision and Pattern Recognition, Vol. 1, pp. 208-214 (2000). - Text: unmediated.

74 Патент № 3225651. Methods of stereoscopic reproduction of images / W.A. Clay, (1965). - Text: unmediated.

75 Shimada D. Extract and display moving object in all direction byusing stereo omnidirectional system (SOS) / D. Shimada [et al.] // In Proc. the 3rd Int. Conf.on 3-D Digital Imaging and Modeling, Vol. 1, pp. 42-47 (2001). - Text: unmediated.

76 Tanahashi H. Development of a stereo omnidirectional imaging system (SOS) / H. Tanahashi [et al.] // In Proc. of the 26th Conf. of. - Text: unmediated

77 Gurrieri L.E. Stereoscopic cameras for the real-time acquisition of panoramic 3d images and videos / L.E. Gurrieri and E. Dubois // Proc. SPIE 8648, 86481W (2013). - Text: unmediated.

78 Firoozfam P. A conical panoramic stereo imaging system for 3-D scene reconstruction / P. Firoozfam, S. Negahdaripour, and C. Barufaldi // In Proc. of OCEANS 2003, Vol. 4, pp. 2303-2308 (2003). - Text: unmediated.

79 Negahdaripour S. Utilizing panoramic views for visually guided tasks in underwater robotics applications / S. Negahdaripour [et al] // In MTS/IEEE Oceans01, Vol. 4, pp. 2593-2600 (2001). - Text: unmediated.

80 Patent № 2008/0298674 A1 U.S. Conellan Panoramic stereoscopic camera / R.G. Baker, F.A. Baker, and J.A. Conellan, (2008). - Text: unmediated.

81 Patent № 2012/0105574 U.S. Panoramic stereoscopic camera / H.H. Baker and P. Constantin, (2010). - Text: unmediated.

82 Huang H.-C. Panoramic stereo imaging system with automatic disparity warping and seaming / H.-C. Huang and Y.-P. Hung // Graphical Models Image Process. 60(3), pp. 196-208 (1998). - Text: unmediated.

83 Yamada K. Generation of high-quality stereo panoramas using a three-camera panorama capturing system / K. Yamada [et al.] // J. Inst. Image Inf. Televis. Eng. 55(1), pp. 151-158 (2001). - Text: unmediated.

84 Tzavidas S. Multicamera setup for generating stereo panoramic video / S. Tzavidas and A. Katsaggelos // Proc. SPIE 4661, pp. 47-58 (2002). - Text: unmediated.

85 Afshari H. Hardware implementation of an omnidirectional camera with realtime 3D imaging capability / H. Afshari [et al] // In 3DTV Conf.: The True Vision— Capture, Transmission and Display of 3D Video, Vol. 1, pp. 1-4 (2011). - Text: unmediated.

86 Patent № 6947059 U.S. Stereoscopic panoramic image capture device / D. Pierce [et al.], (2005). - Text: unmediated.

87 Patent № 7796152B2 U.S. Multi-dimensional imaging / T. Grover (2010). -Text: unmediated.

88 Azuma R.T. A survey of augmented reality //Presence: teleoperators & virtual environments. - 1997. - Т. 6. - №. 4. - Pp. 355-385. - Text: unmediated.

89 Auysakul J. Composite 3D synthesis of video processing for around view monitor applications / Auysakul J., Xu H., Zhao W. // 2017 4th International Conference on Systems and Informatics (ICSAI). - IEEE, 2017. - pp. 1308-1312.

90 Kadous M.W. Effective user interface design for rescue robotics / Kadous M.W. [et al.] // HRI, 2006. - Text: unmediated.

91 Song Y. Development of an omnidirectional vision system for environment perception / Y. Song [et al.] // IEEE International Conference on Robotics and Biomimetics (ROBIO 2014), Bali, 2014, pp. 695-700. - Text: unmediated.

92 Shi Q. Design and implementation of an omnidirectional vision system for robot perception / Qing Shi [et al.] // Mechatronics, Volume 41, 2017, pp 58-66. - Text: unmediated.

93 Sato T. Spatio-temporal bird's-eye view images using multiple fish-eye cameras / Sato T. // Proceedings of the 2013 IEEE/SICE International Symposium on System Integration, Kobe, 2013, pp. 753-758. - Text: unmediated.

94 Lim S. Wrap-around View Equipped on Mobile Robot / Sun Lim, Sewoong Jun, and Il-Kyun Jung // World Academy of Science, Engineering and Technology International Journal of Electronics and Communication Engineering, Vol:6, No:3, 2012. - Text: unmediated.

95 Il-Kyun J. A Remote Robot Control System based on AVM using Personal Smart Device / Jung, Il-Kyun [et al.]. - 2013. - Text: unmediated.

96 Okura F. Free-viewpoint Mobile Robot Teleoperation Interface Using View-dependent Geometry and Texture / Fumio Okura [et al.] // ITE Transactions on Media Technology and Applications. 2014. Pp. 82-93. - Text: unmediated.

97 Бжихатлов И. А. Моделирование робототехнических систем в программе V-REP // учебно-методическое пособие / ИА Бжихатлов. - Санкт-Петербург: Университет ИТМО. - 2018.

98 Solidworks: [site]. - URL: https://www.solidworks.com/ru (дата обращения: 01.12.2019). - Text: electronic.

99 Gazebo: [site]. - URL: http://gazebosim.org (дата обращения: 01.12.2022). -Text: electronic.

100 CoppeliaSim: [site]. - URL: http://coppeliarobotics.com/ (дата обращения: 01.12.2022). - Text: electronic.

101 ROS, пакет RVIZ: [site]. - URL: http://wiki.ros.org/rviz (дата обращения:

01.12.2018). - Text: electronic.

102 Simulator L.G.S.V.L. LGSVL Simulator // An Autonomous Vehicle Simulator: [site]. - URL: https://www.lgsvlsimulator.com/ (дата обращения:

18.09.2019). - Text: electronic.

103 Aerial Informatics and Robotics Platform // Microsoft Research: [site]. -URL: https://www.microsoft.com/en-us/research/project/aerial-informatics-robotics-platform/ (дата обращения: 18.09.2019). - Text: electronic.

104 Team C.A.R.L.A. // CARLA Simulator: [site]. - URL: http://carla.org/ (дата обращения: 18.09.2019). - Text: electronic.

105 Nvidia Drive Constellation: [site]. - URL: https://resources.nvidia.com/en-us-auto-constellation/drive-constellation (дата обращения: 18.12.2020). - Text: electronic.

106 ЦНИИ РТК: [сайт]. - URL: https://rtc.ru/solution/kapitan/ (дата обращения: 18.12.2020). - Текст: электронный.

107 Turtlebot: [сайт]. - URL: https://www.turtlebot.com/turtlebot3/ (дата обращения: 06.07.2023). - Text: electronic.

108 Shapiro, L.G. Computer Vision. Upper Saddle River / Shapiro, L.G. and Stockman, G.C., NJ: Prentice-Hall, 2001. - Text: unmediated.

109 Brown D. Decentering distortion of lenses // Photogrammetric engineering. -1996. - Т. 32. - №. 3. - С. 444-462.

110 Conrady A. E. Lens-systems, decentered // Monthly Notices of the Royal Astronomical Society, Vol. 79, p. 384-390. - 1919. - Т. 79. - С. 384-390.

111 Samsung NX Lens Guide Available at: [site]. - URL: http://www.samsung.com/ru/pdf/NX_Lens_Guide_120606.pdf (дата обращения: 28.11.2017). - Text: electronic.

112 Русинов М.М. Техническая оптика // Машиностроение. Ленинградское отделение. - 1979. - 488 с. - Текст: электронный.

113 Патент № 5313306 США. Omniview motionless camera endoscopy system / Kuban D.P. - 1994. - Text: unmediated.

114 Clapa J. A fisheye distortion correction algorithm optimized for hardware implementations / Clapa J. [et al.] // 2014 Proceedings of the 21st International Conference Mixed Design of Integrated Circuits and Systems (MIXDES). - IEEE, 2014.

- Pp. 415-419. - Text: unmediated.

115 Расширение Dome Tools // Unity Asset Store: [site]. - URL: https://assetstore.unity.com/packages/vfx/shaders/fullscreen-camera-effects/dome-tools-62664 (дата обращения: 07.06.2022). - Text: electronic.

116 Маслов, А. В. Система кругового обзора мобильного робота / А. В. Маслов, В. В. Варлашин // Неделя науки СПбПУ : материалы научной конференции с международным участием, СПб. - 2018. - С. 71-74.

117 Brown M. Automatic Panoramic Image Stitching using Invariant Features / Brown M., Lowe D.G. // Int. J. Comput. Vision 74 (1). 2007. Pp. 59-73. - Text: unmediated.

118 Sakharkar V.S. Image stitching Techniques-an overview / Sakharkar V.S., Gupta S.R. // International Journal of Computer Science and Applications. - Vol. 6, No.2.

- 2013. Pp. 324-330. - Text: unmediated.

119 Szeliski R. Image Alignment and Stitching: A Tutorial // FNT in Computer Graphics and Vision 2 (1). - 2006. Pp. 1-104. - Text: unmediated.

120 Kashyap V. Real-time, Quasi Immersive, High Definition Automotive 3D Surround View System / Kashyap V., Agrawal P., Akhbari F // Int'l Conf. IP, Comp. Vision, and Pattern Recognition. 2017. Pp. 10-16. - Text: unmediated.

121 Zhang Z. A flexible new technique for camera calibration // IEEE Transactions on pattern analysis and machine intelligence. - 2000. - Т. 22. - №. 11. -Pp. 1330-1334. - Text: unmediated.

122 Система кругового обзора с технологией дополненной реальности для управления мобильными роботами / В. В. Варлашин, М. А. Ершова, В. А. Буняков, О. А. Шмаков // Экстремальная робототехника. - 2018 - Т. 1 - № 1 - С. 442-450.

123 Варлашин В.В. Система кругового обзора реального времени для мобильных робототехнических комплексов / В. В. Варлашин, М. А. Ершова, В. А. Буняков, О. А. Шмаков // Мехатроника, автоматизация, управление. - 2019 - Т. 20 - № 3 - С. 162-170.

124 Varlashin, V. Real-time surround view system for mobile robots / V. Varlashin, A. Semakova, O. Shmakov // Smart Innovation, Systems and Technologies. -2020 - Vol. 154 - P. 465-476

125 Куршаков Г.А. Разработка виртуальной модели системы кругового обзора мобильного робота: выпускная квалификационная работа бакалавра: 15.03.06 / Куршаков Георгий Александрович. - СПб., 2020. - 76 с.

126 Adel E. Image Stitching System Based on ORB Feature-Based Technique and Compensation Blending / Adel E., Elmogy M. // International Journal of Advanced Computer Science and Applications, vol.6, 2015. - Pp. 55-62. - Text: unmediated.

127 Yang Z A flexible vehicle surround view camera system by central-around coordinate mapping model / Yang Z. [et al.] // Multimedia Tools and Applications. 2018. vol.78. Pp. 11983-12006. - Text: unmediated.

128 Gao Y 3-D Surround View for Advanced Driver Assistance Systems / Gao Y. [et al.] // IEEE Transactions on Intelli-gent Transportation Systems. 2018. Vol.19. Pp. 320-328. - Text: unmediated.

129 Варлашин, В. В. Оптимизация параметров проецирования системы кругового обзора с использованием реперных меток / В. В. Варлашин, А. В. Лопота // Мехатроника, автоматизация, управление. - 2022 - Т. 23 - № 2 - С. 97-103.

130 Kuo T.Y. 3D Around View Mon-itoring System for automobiles / Kuo T.Y. [et al.] // ICCE, IEEE. 2017. - Pp. 271-272. - Text: unmediated.

131 Sung K. Development of Image Synthesis Al-gorithm with Multi-Camera / Sung K., Lee J., An J. // VTC Spring, IEEE. 2012. Pp. 1-5. - Text: unmediated.

132 Auysakul J. Development of Hemi-Cylinder Plane for Panorama View in Around View Monitor Applications / Auysakul J., Xu H., Zhao W. // 2016 International

Conference on Computational Intelligence and Applications (ICCIA). 2016. Pp. 26-30. -Text: unmediated.

133 Lowe D.G. Object recognition from local scale-invariant features // Proceedings of the Seventh IEEE International Conference on Computer Vision. 1999. vol.2. Pp. 1150-1157. - Text: unmediated.

134 Bay H. SURF: Speeded up robust fea-tures / Bay H., Tuytelaars Y., Van Gool L. // Computer Vision-ECCV. 2006. Vol. 3951. Pp. 404-417. - Text: unmediated.

135 Rublee E. ORB: An efficient alternative to SIFT or SURF // 2011 International Conference on Computer Vision. 2011. Pp. 2564-2571. - Text: unmediated.

136 Garrido-Jurado S. Automatic generation and detection of highly reliable fiducial markers under occlusion / Garrido-Jurado S. // Pattern Recognition. 2014. Vol.47. Pp. 2280-2292. - Text: unmediated.

137 Reid J.B. Digital system models: An investigation of the non-technical challenges and research needs // Conference on Systems Engineering Research. - 2016.

- Text: unmediated.

13S Grieves M. Digital twin: manufacturing excellence through virtual factory replication. 2014 // White Paper. - 2017. - Text: unmediated.

139 Esan O. Review on autonomous indoor wheel mobile robot navigation systems / Reid J B., Rhodes D.H. // 2020 International Conference on Artificial Intelligence, Big Data, Computing and Data Communication Systems (icABCD). - IEEE, 2020. - С. 1-6. - Text: unmediated.

140 Rahmani B. Review of vision-based robot navigation method / Rahmani B. [et al.] //IAES International Journal of Robotics and Automation. - 2015. - Т. 4. - N°. 4.

- Text: unmediated.

141 Hartley R.I., Zisserman A. Multiple View Geometry in Computer Vision / Hartley R.I., Zisserman A. // Second. — Cambridge University Press, ISBN: 0521540518, 2004. - Text: unmediated.

142 Вахитов А. Обзор алгоритмов стереозрения / А. Вахитов, Л. Гуревич, Д. Павленко // Стохастическая оптимизация в информатике. - 2008. - Т. 4, Х 1. -Текст: непосредственный.

143 Nobuyuki K.. Obstacle detection for a bipedal walking robot by a fisheye stereo / Nobuyuki K., Fumio K., Mitsuharu M// IEEE/SICE International Symposium on System Integration, SII 2013. Pp. 119-125. 10.1109/SII.2013.6776672. - Text: unmediated.

144 Roxas M. Variational Fisheye Stereo / Roxas M., & Oishi T. // IEEE Robotics and Automation Letters, 5(2), pp. 1303-1310. (2020). - Text: unmediated.

145 Cloud photogrammetry with dense stereo for fisheye cameras / Beekmans C. [et al.] // Atmospheric Chemistry and Physics 16 (2016): 14231-14248. - Text: unmediated.

146 C. Häne L Real-Time Direct Dense Matching on Fisheye Images Using Plane-Sweeping Stereo / C. Häne L. Heng, G.H. Lee A. // 2014 2nd International Conference on 3D Vision, 2014, pp. 57-64, doi: 10.1109/3DV.2014.77. - Text: electronic.

147 Zhang Y. Dense stereo fish-eye images using a modified hemispherical ASW algorithm / Yakun Zhang [et al.] // Journal of the Optical Society of America A, vol.38, no.4, pp. 476, 2021. - Text: unmediated.

148 Ohashi A. Fisheye stereo camera using equirectangular images / Akira [et al.] // 2016 11th France-Japan & 9th Europe-Asia Congress on Mechatronics (MECATRONICS) /17th International Conference on Research and Education in Mechatronics (REM), pp.284-289, 2016. - Text: unmediated.

149 Ohashi A. Stereo rectification for equirectangular images / Akira Ohashi [et al.] // 2017 IEEE/SICE International Symposium on System Integration (SII), pp.535540, 2017. - Text: unmediated.

150 Jing Li Fisheye image rectification for efficient large-scale stereo / Jing Li [et al.] // 2016 3rd International Conference on Systems and Informatics (ICSAI), pp.881885, 2016. - Text: unmediated.

151 Yamano F .Improving the accuracy of a fisheye stereo camera with a disparity offset map / Fumito Yamano [et al.] // 2018 12th France-Japan and 10th Europe-Asia Congress on Mechatronics, pp.94-97, 2018. - Text: unmediated.

152 Варлашин В.В. Методика построения карты глубины по изображениям пары ортогонально ориентированных камер со сверхширокоугольными

объективами / В. В. Варлашин // Робототехника и техническая кибернетика. - 2022 - Т.10 - № 3 - С 236-240.

153 Gao. W. Dual-fisheye omnidirectional stereo / W. Gao and S. Shen // 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2017, pp. 6715-6722, doi: 10.1109/IROS.2017.8206587. - Text: electronic.

154 Gao W. Autonomous aerial robot using dual-fisheye cameras / Gao, Wenliang [et al.] // Journal of Field Robotics. (2020). 37. 10.1002/rob.21946. - Text: electronic.

155 Zhang B. The study of calibration and epipolar geometry for the stereo vision system built by fisheye lenses / Baofeng Zhang [et al.] // Proc. SPIE 9406, Intelligent Robots and Computer Vision XXXII: Algorithms and Techniques, 94060M (8 February 2015). - Text: unmediated.

156 Pan J. Orthogonally-Divergent Fisheye Stereo / Pan J. [et al.] // Advanced Concepts for Intelligent Vision Systems. ACIVS 2018. Lecture Notes in Computer Science, vol 11182. Springer, Cham. https://doi.org/10.1007/978-3-030-01449-0_10. -Text: electronic.

157 Kannala J. A generic camera model and calibration method for conventional, wide-angle, and fish-eye lenses / J. Kannala, S.S. Brandt // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2006. - Vol. 28, no. 8. Pp. 1335-1340. - Text: unmediated.

158 Scaramuzza D. A flexible technique for accurate omnidirectional camera calibration and structure from motion / D. Scaramuzza, A. Martinelli, R. Siegwart // Fourth IEEE International Conference on Computer Vision Systems (ICVS'06). 2006. -Pp. 45-45. - Text: unmediated.

159 Mei Christopher. Single view point omnidirectional camera calibration from planar grids / Christopher Mei, Patrick Rives // Proceedings 2007 IEEE International Conference on Robotics and Automation. 2007. - Pp. 3945-3950. - Text: unmediated.

160 Usenko Vladyslav. The double sphere camera model / Vladyslav Usenko, Demmel Nikolaus, Cremers Daniel // CoRR. 2018. - Vol. abs/1807.08957. arXiv: 1807.08957. - Text: electronic.

161 OpenCV, пространство имен cv::fisheye: [site]. - URL:

https://docs.opencv.org/4.4/db/d58/group_calib3d_fisheye.html (дата обращения:

01.12.2023). - Text: electronic.

162 Matlab fisheye calibration basic: [site]. - URL: https://www.mathworks.com/help/vision/ug/fisheye-calibration-basics.html(дата обращения: 01.12.2023). - Text: electronic.

163 OpenCV, пространство имен cv::omnidir: [site]. - URL: https://docs.opencv.org/4.x/dd/d12/tutorial_omnidir_calib_main.html (дата обращения: 01.12.2023). - Text: electronic

164 Варлашин, В. В. Алгоритм устранения искажений на изображениях, полученных с видеокамер со сверхширокоугольными объективами / В. В. Варлашин // Экстремальная робототехника. - 2022. - Т. 1 - № 1. - С. 402-408.

165 Пантелеев М.Д. Система стереозрения на основе ортогонально ориентированных камер : выпускная квалификационная работа бакалавра: 15.03.06 / Пантелеев Матвей Дмитриевич - СПб., 2022. - 52 с.

166 Khoshelham K. Accuracy and Resolution of Kinect Depth Data for Indoor Mapping Applications / Khoshelham K., Oude Elberink S. // Sensors (Basel, Switzerland). - 2012. - Т. 12. - Pp. 1437-54. - Text: unmediated.

167 Hirschmuller H. Accurate and efficient stereo processing by semiglobal matching and mutual information // 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05). Т. 2. - 2005. - Pp. 807-814, vol. 2. - Text: unmediated.

Список иллюстративного материала

Рисунки

Рисунок 1.1 - Гистограммы распределения: а) для запроса «камера»

(англ. camera), б) для запроса «камера компьютерное зрение»

(англ. camera computer vision)..............................................................14

Рисунок 1.2 - Гистограммы распределения: а) для запроса «стереокамера»

(англ. stereocamera), б) для запроса «стереокамера компьютерное

зрение» (англ. stereocamera computer vision)......................................15

Рисунок 1.3 - Гистограммы распределения: а) для запроса «дальномер»

(англ. rangefinder), б) для запроса «дальномер компьютерное

зрение» (англ. rangefinder computer vision)........................................15

Рисунок 1.4 - Гистограммы распределения: а) для запроса «радар» (англ. radar), б) для запроса «радар компьютерное зрение» (англ. radar computer

vision)......................................................................................................15

Рисунок 1.5 - Гистограммы распределения: а) для запроса «лидар» (англ. lidar), б) для запроса «лидар компьютерное зрение» (англ. lidar computer

vision)......................................................................................................15

Рисунок 1.6 - Гистограммы распределения: а) для запроса «времяпролетная камера» (англ. time of flight camera), б) для запроса « времяпролетная камера компьютерное зрение» (англ. time of flight

camera computer vision).........................................................................15

Рисунок 1.7 - Функциональная схема МР с непосредственным участием

оператора...............................................................................................21

Рисунок 1.8 - Функциональная схема МР с супервизорным управлением............21

Рисунок 1.9 - Схема телеоператорного контура управления...................................23

Рисунок 1.10 - а) СПДУ, разработанный в НИИ СМ МГТУ им. Н.Э. Баумана, б)

Пульт управления робота tEODor, в) пост управления МРК «Кобра

1600» с антеннами дальней связи, г) пульт управления

МРК «Кобра 1600»..............................................................................24

Рисунок 1.11 - Пульт управления робота teleMAX...................................................25

Рисунок 1.12 - Пульт управления робота 510 PackBot.............................................25

Рисунок 1.13 - а) Тактический НПДУ uPoint Multi-Robot Control ф. iRobot, б)

Тактические НПДУ МРК 310 SUGV, в) Тактический НПДУ МРК

серии Talon ........................................................................................... 26

Рисунок 1.14 - Схемы объединения изображений: а) в режиме квадратора, б) в

режиме картинка в картинке..............................................................27

Рисунок 1.15 - Пример получения круговой панорамы с использованием одной

камеры типа «рыбий глаз» [44]..........................................................28

Рисунок 1.16 - Схема конфигурации устройства с одной камерой и поворотным

механизмом а) и реализация устройства б)[45]...............................29

Рисунок 1.17 - Поворотные механизмы для камер: а) SceneCam Solution [46], б) Panoscan MK-3 Panoramic [47], в) Roundshot VR

Drive Metric [48]..................................................................................30

Рисунок 1.18 - Схема устройства зеркально-линзовой системы [50] а) и примеры

исполнения насадок кругового обзора для камер б) [51]................31

Рисунок 1.19 - Сравнение изображений, полученных камерами [51]: а) с

объективом типа «рыбий глаз», б) с использованием насадки

кругового обзора ................................................................................. 31

Рисунок 1.20 - Примеры использования систем а) [52] и б) [53] с круговыми зеркалами для визуального сервоуправления роботами с

использованием маркеров..................................................................32

Рисунок 1.21 - Внешний вид беспараллаксных зеркально-оптических

систем [49]............................................................................................ 32

Рисунок 1.22 - Схема беспараллаксной зеркально-оптической системы [55].......33

Рисунок 1.23 - Системы с двумя камерами: а) Ricoh Theta S [56], б) Samsung Gear 360 [57], в) LG 360 Cam [58], г) IC Allie Home [59].........................34

Рисунок 1.24 - Системы с несколькими камерами: а) Nokia OZO [60], б) GoPro Odyssey [61], в) GoPro Omni [62], г) Samsung 360 Round Camera

System [63]............................................................................................35

Рисунок 1.25 - Системы с несколькими камерами фирмы PointGrey [64].............35

Рисунок 1.26 - Схема, предложенная Southwell [65], с использованием

коаксиального двухлепесткового парабалического зеркала..........36

Рисунок 1.27 - Схема стереоскопической СКрО, предложенная Gluckman [67]... 37 Рисунок 1.28 - Конфигурации катадиоптрической стереоскопической СКрО:

а) схема Kawanishi [69], б) расположение реальных и виртуальных

проекционных центров камер и их базовая линия b.......................38

Рисунок 1.29 - Схема стереоскопической СКрО, разработанной в Институте

Фраунгофера Генриха-Герца [71]......................................................39

Рисунок 1.30 - Примеры конфигураций стереоскопических СКрО, основанных на нескольких камерах: а) патент 1965 года Clay [74], б) конфигурация предложенная Shimada [75] и Tanahashi[76]...........40

Рисунок 1.31 - Примеры систем с несколькими камерами: а) конфигурация панорамной камеры с использованием нескольких стереоскопических пар в шестиугольной схеме (Baker [80), б) различные конфигурации с использованием линз с более узким полем обзора и большего количества камер, в) альтернативная конфигурация с несколькими камерами, предложенная

в работе [77].........................................................................................41

Рисунок 1.32 - Стереоскопические СКрО с большим числом камер:

а) конфигурация, предложенная Tazvidas [84] в 2002 г., б) концепция устройства, разработанного политехнической школой Лозанны [85], в) сферическая конфигурация, предложенная Pierce

в патентной заявке [86].......................................................................42

Рисунок 1.33 - Работа системы кругового обзора в панорамном режиме [89]: а)

изображения с камер, б) панорама кругового обзора......................45

Рисунок 1.34 - Работа системы кругового обзора в режиме вида сверху [93]: а) МРК, б) изображения с камер, в) вид рабочей области,

г) вид сверху........................................................................................46

Рисунок 1.35 - Вид «от третьего лица»......................................................................47

Рисунок 1.36 - Пример совмещения изображения сцены с виртуальной моделью робота: а) изображение с бортовой камеры, б) совмещенное в

режиме дополненной реальности [96] .............................................. 47

Рисунок 1.37 - Конфигурации СКрО: а) на основе пяти камер б) на основе

четырех камер на корпусе МР, в) на основе четырех камер в виде модуля, закрепленного над корпусом МР. Буквами обозначены зоны стереосопоставления (С) и моноскопического изображения (М), К - камеры , R - минимальный радиус для конфигурации а) 49 Рисунок 2.1 - Виртуальная камера в пакете Solidworks: а) настраиваемые

параметры, б) расположение камеры в пространстве и изображение

с нее........................................................................................................52

Рисунок 2.2 - Редактор характеристик камеры в CATIA, разработанной

авторами [7]...........................................................................................53

Рисунок 2.3 - Моделирование СКрО автомобиля в пакете CATIA [7]...................54

Рисунок 2.4 - Пример реализации: а) лидара в пакете Gazebo [99], б) камеры в

пакете Gazebo........................................................................................54

Рисунок 2.5 - Пример реализации: а) лидара в пакете CoppeliaSim [100], б) камеры

в пакете CoppeliaSim [100]...................................................................55

Рисунок 2.6 - Визуализация данных в пакете RVIZ [101]........................................55

Рисунок 2.7 - Автомобильные симуляторы:..............................................................57

Рисунок 2.8 - Экспортированные модели: а) МР «Капитан»

и б) МР «Turtlebot 3»............................................................................61

Рисунок 2.9 - Схема проецирования точки в трехмерном пространстве на

плоскость матрицы точечной камеры.................................................62

Рисунок 2.10 - Тангенциальная дисторсия: а) нулевая при параллельном

расположении матрицы и линз объектива, б) ненулевая при

непараллельном расположении матрицы и линз объектива...........63

Рисунок 2.11 - Настройки виртуальной камеры в среде Unity................................65

Рисунок 2.12 - Окно настройки дисторсии в Unity...................................................66

Рисунок 2.13 - Возможные конфигурации расположения камер системы

кругового обзора.................................................................................67

Рисунок 2.14 - Виртуальная сцена с МР....................................................................67

Рисунок 2.15 - Изображения, передаваемые из Unity...............................................67

Рисунок 2.16 - Классификация объективов...............................................................68

Рисунок 2.17 - Типы дисторсии изображений: а) изображение без дисторсии, б)

дисторсия типа «бочка», в) дисторсия типа «подушка».................69

Рисунок 2.18 - Обобщенная схема формирования изображения через

сверхширокоугольный объектив на матрицу камеры [113, 114] ... 70 Рисунок 2.19 - Варианты заполнения кадрового окна камеры с соотношением

сторон формируемого изображения 16:9: а) циркулярный, б)

диагональный, в) обрезанный круг...................................................71

Рисунок 2.20 - Применяемые модели идеальной проекции для формирования

изображения [114]...............................................................................71

Рисунок 2.21 - Результат генерации изображений с разными кадровыми окнами:

а) циркулярное кадровое окно, б) диагональное кадровое окно .... 72 Рисунок 2.22 - Схема эксперимента. Буквами обозначены зеленая (З), желтая (Ж)

и красная (К) полосы объекта, а - угол направления на объект .... 73

Рисунок 2.23 - Изображение квадрата при различных проекциях:.........................74

Рисунок 3.1 - Блок-схема алгоритма работы системы кругового обзора...............76

Рисунок 3.2 - Схемы проекцирования: а) проецирование на сферическую

поверхность, б) проецирование на цилиндрическую поверхность в)

переход от сферического изображения к панорамному..................78

Рисунок 3.3 - Схема сферической а) и цилиндрической б) деформации...............78

Рисунок 3.4 - Сравнение деформаций: а) исходное изображение, б) сферическая

деформация, в) цилиндрическая деформация....................................80

Рисунок 3.5 - Схема объединения изображений в панораму...................................80

Рисунок 3.6 - Результат объединения изображений.................................................81

Рисунок 3.7 - Схема проецирования...........................................................................81

Рисунок 3.8 - Результаты проецирования [19]: а) - изображение с одной из камер системы кругового обзора, б) - изображение после применения преобразования с использованием матрицы гомографии (плоский случай), в) - стыковка цилиндрической поверхности и плоскости, г)

- параболическая поверхность второго порядка, д) -параболическая поверхность второго порядка, е) - гибридная

модель....................................................................................................82

Рисунок 3.9 -Изображение с дисторсией а), изображение после калибровки и устранения дисторсии б), разностный кадр с бинаризацией

изображения в).......................................................................................84

Рисунок 3.10 - Входные изображения с виртуальных камер модуля кругового

обзора....................................................................................................85

Рисунок 3.11 - Схема расположения камер...............................................................85

Рисунок 3.12 - Панорамы: идеальный а) и неидеальный б) случаи........................88

Рисунок 3.13 - Задаваемая кривая а) и ее построение б) в пакете SolidWorks.......90

Рисунок 3.14 - Построение UV-преобразования в пакете Blender..........................91

Рисунок 3.15 - Вид сверху, полученный с использованием круговой панорамы.. 92

Рисунок 3.16 - Вид «от третьего лица» в режиме дополненной реальности.........92

Рисунок 4.1 - Изображение с камеры «мирового наблюдателя», наблюдающего виртуальную сцену (сверху слева), «эталонное» изображение с «эталонной» камеры (сверху справа), изображение с камеры

«мирового наблюдателя», наблюдающего модель ДР (снизу слева) и изображение камеры (снизу справа). Двусторонними стрелками обозначены точки, которые могут быть использованы при оценке качества проецирования изображений...............................................97

Рисунок 4.2 - Маркеры на «эталонном» изображении и маркеры на синтезированном изображении, линиями обозначены

сопоставляемые точки маркеров......................................................100

Рисунок 4.3 - Зависимость СКО от значений параметра R....................................102

Рисунок 4.4 - Изменение изображений в ходе поиска оптимального значения

параметра R: а) R = 1 метр, б) R = 2 метра и в) R = 3 метра.........103

Рисунок 4.5 - Зависимость СКО от значений параметра a для двух поверхностей -

параболоидов вращения.....................................................................104

Рисунок 4.6 - Результаты выполнения адаптации для поверхностей вращения, описываемых уравнением (22): а) «эталонное» изображение, б) изображение для поверхности, описываемой уравнением (22) при значении параметра n = 1 и 1/a2 = 0,9, в) изображение для поверхности, описываемой уравнением (22) при значении

параметра n = 2 и 1/a4 = 0,9...............................................................105

Рисунок 5.1 - Схема стереопары, образованной камерами со

сверхширокоугольными объективами..............................................111

Рисунок 5.2 - Пример синтезированных изображений с камер виртуальной

модели стереопары.............................................................................111

Рисунок 5.3 - Изображения объекта, полученные с виртуальной стереопары .... 112 Рисунок 5.4 - Внешний вид сцены в Unity, содержащей виртуальную стереопару,

калибровочный шаблон и целевой объект.......................................113

Рисунок 5.5 - Изображения: а) до устранения искажений, б) после устранения

искажений............................................................................................114

Рисунок 5.6 - Первый этап преобразования.............................................................116

Рисунок 5.7 - Второй этап преобразования.............................................................116

Рисунок 5.8 - Третий этап преобразования..............................................................117

Рисунок 5.9 - Схема обратной проекции для модели Скарамуцци.......................119

Рисунок 5.10 - Разностное изображение а) с увеличенной яркостью

различающихся участков, полученное путем вычитания

изображения с «эталонной» камеры б) из изображения с

«виртуальной» камеры в).................................................................121

Рисунок 5.11 - Разностные изобржения для моделей: а) обратного заданной проекции, б) модель Скарамуцци, в) Модель Мея, г) Модель

Каналлы-Брандта...............................................................................122

Рисунок 5.12 - Пример использованных текстур: а) непериодическая, б)

периодическая, в) смешанная..........................................................123

Рисунок 5.13 - Карта глубины а) и облако точек б) с целевым объектом............125

Рисунок 5.14 - График оценки среднеквадратичного отклонения для модели

Скарамуцци и «эталонной» модели................................................126

Рисунок 5.15 - Точность построения карты глубины.............................................127

Рисунок 5.16 - Среднеквадратичные отклонения...................................................127

Рисунок 5.17 - Разработанный макет........................................................................128

Рисунок 5.18 - Изображения с левой и правой камер макета................................128

Рисунок 5.19 - Изображения с устраненными искажениями.................................129

Рисунок 5.20 - Измерение базовой линии стереопары...........................................129

Рисунок 5.21 - Пример захвата плоскости с нанесенной текстурой: а) левой

камерой б) правой камерой..............................................................130

Рисунок 5.22 - Примеры полученных облаков точек: а) на светлом фоне, б)

темном фоне.......................................................................................130

Таблицы

Таблица 1.1 - Статистика по количеству публикаций по группам СТЗ.................14

Таблица 1.2 - Статистика по количеству статей по группам СТЗ с добавлением

ключевых слов «компьютерное зрение» в запрос.............................14

Таблица 1.3 - Сравнение различных конфигураций моноскопических и

стереоскопических систем кругового обзора....................................43

Таблица 2.1 - Возможности рассмотренных симуляторов роботов*......................56

Таблица 2.2 - Возможности рассмотренных симуляторов беспилотных

автомобилей*......................................................................................... 58

Таблица 2.3 - Неравномерность распределения пикселов, приходящихся на

разные части объекта наблюдения...................................................... 73

Таблица 2.4 - Соотношение числа пикселов, приходящихся на каждую зону......74

Таблица 3.1 - Ключевые точки и их совпадения на изображениях с камер...........86

Таблица 3.2 - Ключевые точки для определения внешних параметров камер......86

Таблица 3.3 - Оценка углов поворота камер..............................................................87

Таблица 3.4 - Заданные углы поворота камер...........................................................87

Таблица 3.5 - Оценка углов поворота камер при неидеальном расположении.....87

Таблица 3.6 - Точность определения ориентации камеры.......................................89

Таблица 4.1 - Формы поверхностей и накладываемые ограничения....................101

Таблица 5.1 - Результаты сравнения изображений.................................................121

Таблица 5.2 - Оценка расстояния до целевого объекта..........................................125

Таблица 5.3 - Результаты оценки расстояния реальной стереопарой...................130

Приложение А (справочное)

Акт о внедрении результатов диссертационной работы

РТК

МИНОБРНАУКИ РОССИИ ГОСУДАРСТВЕННЫЙ НАУЧНЫЙ ЦЕНТР РФ

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ НАУЧНОЕ УЧРЕЖДЕНИЕ

«ЦЕНТРАЛЬНЫЙ НАУЧНО-ИССЛЕДОВАТЕЛЬСКИЙ И ОПЫТНО-КОНСТРУКТОРСКИЙ ИНСТИТУТ РОБОТОТЕХНИКИ И ТЕХНИЧЕСКОЙ КИБЕРНЕТИКИ» (ЦНИИ РТК)

Тихорецкий пр., 21, Санкт-Петербург, Россия, 194064 Телефон: [phone], Факс: [phone] e-mail: [e-mail] http://www.rtc.ru ОКПО 02070097, ОГРН 1027802484852, ИНН 7804023410, КПП 780401001

УТВЕРЖДАЮ Заместитель директора по научной работе

А.В. Попов

2023 г.

На №

АКТ

о внедрении результатов диссертационного исследования Варлашина Виктора Витальевича

Настоящий акт подтверждает, что результаты диссертационного исследования Варлашина Виктора Витальевича на тему «Алгоритмы и методы применения многокамерных систем кругового обзора в контуре управления мобильного робота», представленной на соискание учёной степени кандидата технических наук, внедрены в процесс разработки мобильных наземных робототехнических комплексов.

Предложенные в диссертации рекомендации по проектированию систем технического зрения кругового обзора на базе ортогонально ориентированных телевизионных камер со сверхширокоугольными объективами, имитационные компьютерные модели и алгоритмы построения изображения в режиме дополненной реальности на мониторе пультов дистанционного управления применены в ходе инициативного проекта, выполненного Федеральным государственным автономным научным учреждением «Центральный научно-исследовательский и опытно-конструкторский институт робототехники и технической кибернетики» («Видение-РТК»).

Применение разработанных В.В Варлашиным методов автоматической адаптации параметров проецирования изображений в режиме дополненной реальности позволило повысить качество представления информации на мониторе пульта дистанционного управления, и тем самым повысить эффективность системы дистанционного управления.

Ученый секретарь

Б.А. Спасский