Методы визуальной навигации автономных колесных машин на основе детекции протяженных признаков тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Шипитько Олег Сергеевич

• Шипитько Олег Сергеевич
• кандидат наук
• 2023

Оглавление диссертации кандидат наук Шипитько Олег Сергеевич

Введение

Глава 1. Визуальная навигация на основе протяженных

признаков

1.1 Области применения автономных колесных машин

1.2 Навигация колесных машин

1.2.1 Задача локализации

1.2.2 Вероятностные методы локализации

1.3 Визуальная локализация колесных роботов

1.4 Визуальная локализация на основе протяженных признаков

1.5 Алгоритмы детекции протяженных признаков на изображении

1.6 Модели наблюдений и вероятностные методы локализации колесных машин на основе протяженных признаков

1.7 Классификация источников ошибок измерения при детекции протяженных признаков

1.7.1 Ошибки, обусловленные внутренними факторами

1.7.2 Ошибки, обусловленные внешними факторами

1.7.3 Анализ источников ошибок, учитывающихся в известных моделях наблюдений протяженных признаков

1.8 Требования, предъявляемые к алгоритмам локализации

1.9 Заключение к главе

Глава 2. Модель наблюдений протяженных признаков,

учитывающая угловую ошибку детекции, и алгоритм оценки собственного положения колесной машины на

ее основе

2.1 Уточненная модель наблюдений протяженных признаков

2.2 Цифровая карта протяженных признаков

2.3 Алгоритм локализации колесного робота на основе уточненной

модели наблюдений протяженных признаков

2.3.1 Вероятностная модель движения колесного робота

Стр.

2.3.2 Применение уточненной модели наблюдений

2.3.3 Расчет результирующего вектора состояния

2.3.4 Семплирование гипотез

2.4 Исследование точности алгоритма локализации с уточненной моделью наблюдений

2.4.1 Экспериментальное исследование ошибок детектора протяженных признаков

2.4.2 Методология экспериментов с ВАТС

2.4.3 Экспериментальные результаты тестирования на ВАТС

2.4.4 Методология экспериментов с роботом-макетом

2.4.5 Экспериментальные результаты тестирования на роботе-макете

2.5 Заключение к главе

Глава 3. Алгоритм картографирования протяженных

признаков на основе обратной модели наблюдений

3.1 Карты проходимости пространства в робототехнике

3.2 Карты протяженных признаков для навигации автономных колесных машин

3.3 Метод картографирования с обратной моделью наблюдений

3.4 Алгоритм картографирования протяженных признаков с помощью обратной модели наблюдений

3.5 Исследование точности алгоритма картографирования протяженных признаков

3.5.1 Методология экспериментов

3.5.2 Экспериментальные результаты

3.6 Заключение к главе

Глава 4. Программный комплекс моделирования и оценки

точности систем визуальной навигации

4.1 Общие сведения

4.2 Назначение и функциональные возможности

4.3 Структура программного комплекса

4.3.1 Библиотека «paгticle_filteг»

Стр.

4.3.2 Программа «pf_localization»

4.3.3 Программа «localization_test_bench»

4.3.4 Программа «inverse_mapping»

4.3.5 Программа «mapping_test_bench»

4.4 Заключение к главе

Заключение

Список сокращений и условных обозначений

Список рисунков

Список таблиц

Приложение А. Акты о внедрении результатов

диссертационного исследования

Введение диссертации (часть автореферата) на тему «Методы визуальной навигации автономных колесных машин на основе детекции протяженных признаков»

Введение

Активное развитие робототехники в последние десятилетия привело к существенному увеличению практических задач, решаемых автономными колесными машинами. Примерами таких задач являются логистика, патрулирование и мониторинг территории, уборка помещений, сельскохозяйственные работы. Несмотря на успех в некоторых задачах, широкое применение автономных колесных машин в средах, спроектированных для людей и не оснащенных вспомогательной инфраструктурой, все еще затруднено. Это во многом связано со сложностью навигации в таких средах, которая, в свою очередь, обусловлена ограничениями применяемых видов сенсоров и несовершенством алгоритмов обработки навигационных данных. Под навигацией в рамках этой работы в первую очередь понимается определение местоположения, ориентации и, по необходимости, параметров движения, подвижных объектов.

В робототехнике задача определения собственного положения (локализация ) - одна из фундаментальных и не решенных в полной степени задач. Системы глобального позиционирования, такие как глобальные навигационные спутниковые системы (ГНСС), исследуемые в работах О. А. Степанова, Л. Б. Рапопорта, частично решают данную проблему, однако их точность существенно снижается в условиях так называемого «городского каньона» — в окружении высоких зданий, затрудняющих распространение сигнала. Кроме того, системы глобальной спутниковой навигации практически неприменимы для определения собственного положения внутри зданий из-за ослабления сигнала при прохождении через стены. Системы визуального определения собственного положения лишены обозначенных недостатков и могут дополнять системы глобального позиционирования, как показано в работах Б. М. Миллера, Д. В. Ендачева, С. В. Бахмутова, К. И. Кий, С. Труна, К. Стахнисса, Д. Фокса, В. Бургарта. Значительная часть существующих алгоритмов визуального позиционирования работает на основе детектирования точечных особенностей окружающей среды. Однако нередки случаи, когда среда лишена таких особенностей. Примерами сред, в которых навигация на основе точечных признаков неприменима, могут служить продолжительные участки автомобильных дорог с однообразным пейзажем, например, шоссе или длинные равномерно окрашенные коридоры, часто встречающиеся в офисных зданиях. В таких случаях единственными различи-

мыми особенностями являются протяженные признаки - дорожная разметка и края проезжей части в случае дорог, линии разметки в производственных помещениях или, например, стыки стен и пола в офисных зданиях. Протяженные признаки характерны для большинства объектов созданных человеком, а их комбинация с точечными особенностями обеспечивает более высокое качество определения собственного положения, что было продемонстрировано в работах К. Йо, Д. Зиглера, К. Леунга и других авторов.

В связи с развитием высокоавтоматизированных транспортных средств ежегодно публикуется большое количество работ и патентов, в которых в качестве особенностей для определения собственного положения используется дорожная разметка, что подтверждает актуальность применения протяженных признаков в задачах навигации автономных колесных машин. Источники ошибок в системах навигации на основе протяженных признаков исследованы в значительно меньшей степени, чем на основе точечных. К настоящему моменту не было проведено классификации источников ошибок при навигации на основе протяженных признаков, детектируемых на изображении, а все существующие модели основываются на анализе распределения ошибок конкретных детекторов (разных, в разных работах), что не позволяет применить их в системах с другими видами детекторов или отличной архитектурой.

Важно отметить, что «Технологии информационных, управляющих, навигационных систем» внесены в перечень критических технологий Российской Федерации. Стратегия развития автомобильной промышленности Российской Федерации на период до 2025 г. выделяет в качестве приоритетного направления выведение на рынок продуктов с принципиально новыми свойствами в области автономного вождения и подключенного автотранспорта. Кроме того, развитие робототехники значится в перечне основных направлений развития российских информационных и коммуникационных технологий в Стратегии развития информационного общества в Российской Федерации на 2017-2030 гг. (п.36). Робототехника также отнесена к перспективным технологиям, развитие которых необходимо для решения задач национальной безопасности в области науки, технологий и образования в Стратегии национальной безопасности Российской Федерации.

Таким образом, с учетом вышесказанного, актуальным является исследование и классификация источников ошибок в алгоритмах навигации колесных машин, основанных на детектировании протяженных особенностей, а также ис-

следование путей повышения точности систем визуального позиционирования колесных машин, использующих протяженные признаки в качестве ориентира. Повышение точности может быть достигнуто путем уточнения моделей ошибок протяженных признаков, применяемых в алгоритмах навигации.

Целью данной работы является повышение точности методов визуальной навигации автономных колесных машин путем уточнения моделей ошибок протяженных признаков, детектируемых на изображении.

Для достижения этой цели были поставлены и решены следующие задачи:

1. Провести обзор моделей и методов визуальной навигации колесных машин на основе детекции протяженных признаков.

2. Провести анализ и классификацию источников ошибок измерения протяженных признаков, применяемых в качестве ориентира для локализации колесных машин.

3. Предложить уточненную модель ошибок протяженных признаков. Разработать и экспериментально исследовать алгоритм визуальной локализации с использованием уточненной модели.

4. Разработать и экспериментально исследовать алгоритм картографирования протяженных признаков, совместимый с алгоритмом локализации на основе уточненной модели ошибок.

5. Разработать комплекс программ моделирования и оценки точности систем визуальной навигации, использующих протяженные признаки.

Научная новизна:

1. Впервые предложена классификация источников ошибок позиционирования колесной машины на основе протяженных признаков, позволяющая системно учитывать различные источники ошибок при разработке вероятностных моделей наблюдений.

2. Впервые показано, что угловая ошибка детекции протяженных признаков имеет существенное влияние на точность алгоритмов локализации, использующих протяженные признаки в качестве ориентира. Предложена уточненная вероятностная модель наблюдений протяженных признаков, учитывающая угловую ошибку.

3. Предложен новый алгоритм построения карты протяженных признаков для навигации колесных машин на основе байесовской оценки вероятности наличия протяженного признака в ячейке карты и обратной модели

наблюдений детектора протяженных признаков. Изучено влияние параметров обратной модели наблюдений на качество получаемой карты протяженных признаков.

Практическая значимость. Алгоритмы навигации колесных машин на основе детекции протяженных признаков, реализованные в данной работе, были внедрены в программные и программно-аппаратные комплексы:

1. Программный комплекс определения положения и параметров движения подвижных платформ по видеоизображениям «ЫКЕ», разработанный компанией ООО «Визиллект Сервис».

2. Беспилотное наземное транспортное средство «Матрешка», разработанное компанией ООО «Электротранспортные Технологии».

3. Грузовая электрическая платформа «ЕУ0.1», разработанная компанией ООО «Эвокарго».

Внедрение разработанных в данной диссертации методов подтверждено соответствующими актами о внедрении, полученными от указанных компаний. На результаты были получены свидетельства о регистрации программ для ЭВМ:

— №2021614646 «Программа для визуального позиционирования на основе линейных признаков»,

— №2021615185 «Программа для полуавтоматического картографирования дорожной разметки»,

— №2021664665 «Программное обеспечение для выбора безопасной скорости движения наземного транспортного средства на основе неопределенности собственного положения»,

— №2021664683 «Программное обеспечение управления высокоавтоматизированным транспортным средством»,

— №2021664684 «Программное обеспечение для универсальной визуальной навигации наземного транспортного средства».

На основные результаты работы получены патенты:

— ИИ 2769440 С1 «Способ комплексирования разнородной навигационной информации для позиционирования наземного транспортного средства»,

— ИИ 2769918 С1 «Способ позиционирования наземного транспортного средства»,

— ИИ 2784310 С1 «Способ картографирования местности для автономных транспортных средств».

Методология и методы исследования. В диссертации используются численные методы, методы вероятностной робототехники, методы байесовской оценки, методы математической статистики, вычислительной оптимизации и численного моделирования, а также численный и натурный эксперимент.

Основные положения, выносимые на защиту:

1. Уточненная модель наблюдений протяженных признаков, детектируемых на изображении, учитывающая угловую ошибку детекции, уменьшает среднюю абсолютную ошибку поперечного позиционирования высокоавтоматизированного транспортного средства на 12%, а среднюю абсолютную угловую ошибку на 15%.

2. Алгоритм локализации колесной машины на основе уточненной модели наблюдений протяженных признаков способен обеспечить оценку положения с частотой > 80 Гц при работе в однопоточном режиме на ПК с процессором Intel Core i7 и 8 Гб оперативной памяти.

3. Предложенный алгоритм картографирования протяженных признаков позволяет на 8% увеличить площадь под ROC-кривой по сравнению с картографированием необработанных детекций протяженных признаков.

4. Разработанный комплекс программ имитационного моделирования реализует описанные в работе алгоритмы локализации и картографирования на основе протяженных признаков, позволяет тестировать различные наборы параметров алгоритмов, обеспечивает воспроизводимость экспериментов при работе со стохастическими алгоритмами и гарантирует обработку всех входных пакетов данных, записанных на реальной автономной колесной машине.

Достоверность полученных аналитических результатов диссертации обеспечена использованием строгого математического аппарата, методов математической статистики, вычислительной оптимизации и численного моделирования. Кроме того, достоверность подтверждается результатами вычислительных и натурных экспериментов, апробацией, тестированием, и внедрением разработанных методов. Полученные результаты согласуются с результатами, полученными другими исследователями.

Апробация работы. Основные результаты работы докладывались на российских и международных конференциях:

— Информационные технологии и системы (ИТиС 2018, Казань, Россия),

— 32nd European Conference on Modelling and Simulation (ECMS 2018, Вильгельмсхафен, Германия),

— 11th International Conference on Machine Vision (ICMV 2018, Мюнхен, Германия),

— 13th International Conference on Machine Vision (ICMV 2020, онлайн формат),

— IEEE 23rd International Conference on Intelligent Transportation Systems (ITSC 2020, Родос, Греция),

— 16th International Conference on Control, Automation, Robotics and Vision (ICARCV 2020, Шэньчжэнь, Китай),

— IEEE 95th Vehicular Technology Conference (VTC 2022, Хельсинки, Финляндия).

Публикации. Основные результаты по теме диссертации изложены в 13 печатных изданиях, 5 из которых изданы в журналах, рекомендованных ВАК РФ, 6 —в периодических научных журналах, индексируемых Web of Science и Scopus, 2 —в тезисах докладов.

Личный вклад. Все результаты диссертации, вынесенные на защиту, получены автором самостоятельно. Постановка задач и обсуждение результатов проводилось совместно с научным руководителем.

Объем и структура работы. Диссертация состоит из введения, четырех глав и заключения. Полный объём диссертации составляет 145 страниц, включая 52 рисунка и 14 таблиц. Список литературы содержит 151 наименование.

Глава 1. Визуальная навигация на основе протяженных признаков 1.1 Области применения автономных колесных машин

Введем понятия мобильного и колесного робота. Согласно ГОСТ Р ИСО 8373-2014 (Роботы и робототехнические устройства. Термины и определения) мобильным роботом называется робот с автономным управлением, который способен самостоятельно передвигаться. Колесным роботом называется мобильный робот, перемещающийся на колесах [1].

Колесной машиной будем называть безрельсовое транспортное средство с колесными движителями автомобильного, тракторного и сельскохозяйственного назначения.

Автономность - способность выполнять задачи по предназначению, основанная на текущем состоянии изделия и особенностях считывания данных без вмешательства человека [1].

Родственным понятием для автономных колесных машин является введенное в 2020 году [2] и зафиксированное в ГОСТ Р 59483-2021 (Колесные транспортные средства. Термины и определения) [3] понятие высокоавтоматизированного транспортного средства. Высокоавтоматизированное транспортное средство (ВАТС) - транспортное средство, имеющее систему автоматизированного управления, которая обеспечивает управление транспортным средством без участия водителя в пределах конкретных конструктивно установленных условий эксплуатации. Далее по тексту для краткости будем обозначать автономные колесные машины понятием ВАТС или робот, использующимся как синонимы в данной работе.

Активное развитие робототехники как в области как аппаратного, так и алгоритмического обеспечения, привело к увеличению практических задач, решаемых автономными колесными машинами. Примерами таких задач являются:

— перевозка людей и грузов [4],

— патрулирование и мониторинг территории [5],

— уборка помещений и улиц [6],

— сельскохозяйственные работы [7].

Некоторые модели колесных роботов, применяемых в различных областях человеческой деятельности, представлены на рисунке 1.1.

Рисунок 1.1 — Примеры колесных роботов, применяющихся для решения практических задач. Изображения взяты с сайтов компаний SMP Robotics Systems, Local Motors, Xiaomi Corporation, ПАО «КАМАЗ», Starship LLC.

Отметим специалистов и научные школы под их руководством внесших значительный вклад развитие колесных машин: Л. Л. Гинцбург, А. А. Хача-туров, Я. Н. Нефедьев, Я. Е. Фаробин, С. В. Бахмутов, А. М. Иванов, В. А. Горелов, Р. А. Меламуд, Д. В. Ендачев.

1.2 Навигация колесных машин

Навигация, в широком смысле, это процесс управления некоторым подвижным объектом в определенном пространстве передвижения. Решение навигационной задачи включает следующие подзадачи [8]:

1. Определение положения объекта в пространстве (локализация);

2. Планирование пути объекта из точки А (текущего положения) в точку Б (желаемое положение);

3. Управление подвижным объектом, приводящее его из точки А в точку Б.

В более узком смысле под навигацией понимают определение местоположения, ориентации и, по необходимости, параметров движения, подвижных объектов [9]. В робототехнике такую постановку задачи навигации называют задачей локализации. Далее по тексту термины навигация и локализация будем использовать как синонимы.

Наличие карты пространства является необходимой предпосылкой для локализации, поэтому дополнительно будем рассматривать задачу картографирования протяженных признаков, как часть задачи навигации. Задаче картографирования посвящена глава 3.

1.2.1 Задача локализации

Локализация (позиционирование) - определение позиции и ориентации робота в фиксированной системе координат [10]. Совокупность позиции и ориентации робота будем называть его положением. Оценка собственного положения робота в пространстве необходима для, планирования маршрута, управления движением и избежания столкновений. Погрешности позиционирования затрудняют планирование действий робота, кроме того, колесный робот, не обладающий информацией о собственном положении в пространстве, является опасным для окружающих и может принимать решения, приводящие к выходу его из строя (рисунок 1.2).

В общем случае вектор состояния, которым описывается положение колесного робота в пространстве, определяется шестью параметрами х = (х,у,г, ф,ф, 6), где х,у,г - координаты робота, представленного материальной точкой, в предположении абсолютно твердого тела, в декартовой системе координат, ; ф, ф, 6 - углы крена, тангажа, рыскания. Задачу, определения такого вектора состояния называют трехмерной локализацией [12]. В колесной робототехнике часто делается предположение о том, что робот передвигается по плоскости и поворот осуществляется только вокруг вертикальной оси, параллельно плоскости дороги. В таком случае вектор состояния задается тремя параметрами: х = (х,у, 6) (рисунок 1.3). Такую локализацию будем называть двумерной [12].

Рисунок 1.2 — Результат ошибки локализации робота K5 Knightscope (a), приведшей к выходу из строя робота (б). Изображения взяты с сайта

компании Knightscope Inc. [11]

Кроме того, в зависимости от среды, в которой оперирует робот, различают локализацию внутри зданий (англ. indoor), и на открытых пространствах (англ. outdoor). В данной работе предложены методы для решения двумерной задачи локализации, применимые, как на открытых пространствах, так и внутри зданий.

В классической постановке задача локализации формулируется следующим образом: имея все предыдущие оценки положения робота Xi;t_i,t £ N, историю применяемых к роботу сигналов управления u^, измерения датчиков zi;i и карту пространства М, необходимо оценить текущее положение (состояние) робота x^.

1.2.2 Вероятностные методы локализации

К двухтысячным годам доминантной парадигмой в робототехнике стала так называемая вероятностная робототехника - подход, учитывающий неопределенность как в движении робота, так и в оценке окружающей среды,

Рисунок 1.3 — Положение робота в системе координат карты. Oxyz - система

координат карты, OxtYtzt - система координат, связанная с ВАТС.

производимой бортовыми сенсорами [13]. Неопределенность обусловлена как внутренними факторам:

— ошибками измерения сенсоров,

— неточностью исполнения команд роботом из-за неидеальности актуато-ров, задержек и потерь в каналах передачи сигналов,

так и возмущающими воздействиями внешней среды:

— динамические объекты в сцене,

— неровность поверхности, по которой осуществляется движение. Часто применяемый сенсор для оценки перемещения колесных роботов -

колесные энкодеры. Примеры источников ошибок при оценке перемещения робота с помощью колесных энкодеров представлены на рисунке 1.4. Энкодеры оценивают перемещение робота за счет подсчета количества оборотов сделанных колесами. При этом диаметр колес считается постоянным и неизменным, а поверхность, по которой движется робот, как правило, принимается плоской. На практике же, диаметр колес различается и может изменяться во времени, а поверхность, по которой движется робот, может содержать неровности. Кроме того, возможны проскальзывания колес. Все эти факторы вносят ошибку в оценку перемещения робота.

На рисунке 1.5 представлены возможные исходы при измерении расстояния до объектов в окружающей сцене сканирующим лазерным дальномером -лидаром (англ. Light Detection and Ranging, LIDAR). Из рисунка видно, что на

результат измерения может повлиять множество факторов: появление в сцене препятствий, не нанесенных на карту; интерференция с сигналом другого сенсора в сцене; внутренние ошибки самого сенсора.

Рисунок 1.4 — Источники ошибок оценки перемещения с помощью колесных энкодеров при движении колесного робота. Слева направо: разница диаметров колес, наезд на препятствие одним из колес, проскальзывание одного из колес.

Рисунок 1.5 — Возможные исходы измерения расстояния до препятствий многолучевым лазерным дальномером.

Методы оценки собственного положения в вероятностной робототехнике основываются на моделировании ошибок вносимых как внутренними, так и внешними факторами. Кроме того, при применении нескольких сенсоров для оценки положения робота подходы вероятностной робототехники позволяют компенсировать ошибки, свойственные отдельным типам датчиков, поскольку отказы и ошибки измерений для различных видов сенсоров обычно слабо скоррелированы.

В вероятностной постановке задача локализации обычно формулируется следующим образом: имея все предыдущие оценки положений робота х^^, историю применяемых сигналов управления и!:^, измерения датчиков ъ^ и

карту пространства М, необходимо восстановить апостериорное распределение p(xt | zi:t, ui:t,M). Тогда текущее положение робота в момент

времени t может быть оценено как мода распределения x = argmaxp(xt |

xt

Xi:i-1, zi:t, ui:t,M) [13].

Процесс локализации колесного робота может быть смоделирован дискретным скрытым марковским процессом [13], как показано на рисунке 1.6. Таким образом, делается предположение, что вероятность вектора состояния робота х^ в момент времени t + 1 зависит только от оценки положения робота в момент времени t.

Рисунок 1.6 — Представление процесса возникновения состояний и наблюдений в системе локализации колесного робота в виде дискретного

скрытого марковского процесса.

Для решения задачи локализации в вероятностной постановке можно применить рекурсивную байесовскую оценку. Обозначим p(xt | x1:i-1, z1:i, u1:t,M) как b(xt) (от англ. belief). Тогда по теореме Байеса и с учетом марковского

свойства локализации:

b(xt) = np{zt | Xt, zI;t-1, uЫ,М)p(xt | Uht, M) =

np(zt\xt,M)p(Xi|zi: t—1, U1 :t,M) =

mp(zt \ Xt,M) p(xt \ Xt—1, Zi :t—1, Ui :t,M )p(xt—i|zi : t—1, Ui : t ,M )dxt—i = Jx

T\p(zt | Xt,M) p(xt | Xt—i, Ut)p(xt—i | Zi:t—i, Ui:t,M)dxt—i =

= (1.1)

'X

Цр(ъ1 | Х^,М) р(Хг | Х^—!, щ)р(х— | Z!:t-!, иЫ-!,М^Х— =

Jx

Пр{ьъ | Хг,М) р(хг | Х^!, и)Ь(хг—!ь их

где п - нормировочный коэффициент; р(Х1 | ^ и^) - вероятностная модель движения робота - вероятность положения робота, при условии заданного предыдущего положения и управляющего сигнала, поданного роботу в момент р^ | Х1,М) - вероятностная модель наблюдений - правдоподобие полученных измерений сенсоров, при условии известного положения робота и заданной карты окружения; X - фазовое пространство положений робота.

Классические методы, реализующие рекурсивную байесовскую оценку -фильтр Калмана [14] и метода локализации Монте-Карло (в литературе также встречаются названия многочастичный фильтр и фильтр частиц) [15; 16]. Эти методы требуют задания вероятностной модели наблюдений, позволяющей вычислить правдоподобие измерения, с учетом предполагаемого положения робота и карты окружающего пространства.

1.3 Визуальная локализация колесных роботов

История применения видеокамер для решения задач навигации в робототехнике прослеживается от 60-х годов 20-го столетия. Уже в середине 60-х разработанный в институте Джона Хопкинса робот «Зверь» (англ. Beast) с помощью видеокамеры детектировал черную розетку на белой стене лаборатории и прокладывал маршрут до нее для подзарядки. Разработанный в 1966 году робот «Shakey» из Стэнфордского исследовательского института также был оснащен видеокамерой, позволяющей ему визуально детектировать предметы

имеющие форму простых геометрических примитивов и избегать столкновений с ними [17].

Визуальная локализация - локализация, основанная на обработке данных, полученных с видеокамер, - до сих пор является одной из центральных тем в робототехнике [18—20]. Использование визуальных данных для решения задач навигации имеет ряд преимуществ по сравнению с другими подходами. Видеокамеры способны обеспечивать поток достоверной первичной информации в сценариях, в которых применение систем глобальной спутниковой навигации (ГЛОНАСС, GPS, BeiDou) невозможно ввиду ослабления спутникового сигнала при прохождении через перекрытия и стены: заводские цехи, ангары, крытые комплексы и туннели - или в условиях городского каньона [21]. Кроме того, являясь пассивными сенсорами, видеокамеры обладают рядом других преимуществ: помехоустойчивостью в многоагентной среде (благодаря отсутствию интерференции с источниками сигнала схожей природы); энергоэффективностью (ввиду отсутствия энергозатрат на излучение сигнала), а также высоким пространственным разрешением и сравнительно низкой стоимостью. Еще одним преимуществом применения камер видимого диапазона является простота настройки и диагностики системы благодаря наглядности и легкости интерпретации получаемых данных человеком. Сравнение камер с другими источниками навигационных данных автономных колесных машин представлено в таблице 1.

Современные методы визуальной локализации чаще всего основаны на детекции тех или иных особенностей окружающего пространства с целью восстановления параметров движения между изображениями и определения текущего положения камеры. Среди детектируемых особенностей выделяют глобальные (характеризующие все изображение целиком) [22—25] и локальные (описывающие небольшой участок изображения) [26—28]. Глобальные особенности, как правило, считаются менее устойчивыми к изменению угла обзора, окклюзиям и локальным изменениям изображения. Локальные особенности, напротив, обладают высокой устойчивостью к различным вариациям. К локальным особенностям относятся точечные [29—31] (рисунок 1.7) и протяженные [32—35] (рисунок 1.8).

Точечные признаки и факторы, влияющие на точность навигации на их основе, широко исследованы. Однако нередки случаи, когда среда лишена точечных особенностей. Тогда возможной альтернативой являются протяженные признаки, например, дорожная разметка или края проезжей части. Точность

Список литературы диссертационного исследования кандидат наук Шипитько Олег Сергеевич, 2023 год

Список литературы

1. ГОСТ, Р. 8373-2014. Роботы и робототехнические устройства [Текст] / Р. ГОСТ // Термины и определения. — 2014.

2. Алимов, О. Правовой аспект внедрения концепции обеспечения безопасности дорожного движения с участием беспилотных транспортных средств на автомобильных дорогах общего пользования [Текст] / О. Алимов, Э. Раянова, А. Маковская // Правовые аспекты обеспечения безопасности промышленных объектов. — 2020. — С. 3—13.

3. ГОСТ, Р. 59483-2021. Колесные транспортные средства [Текст] / Р. ГОСТ // Термины и определения. — 2021.

4. Spatial model predictive control for smooth and accurate steering of an autonomous truck [Текст] / P. F. Lima [и др.] // IEEE Transactions on Intelligent Vehicles. — 2017. — Т. 2, № 4. — С. 238—250.

5. Shvets, E. Stochastic Multi-Agent Patrolling Using Social Potential Fields.

[Текст] / E. Shvets // ECMS. — 2015. — С. 42—49.

6. Living with a vacuum cleaning robot [Текст] / J. Fink [и др.] // International Journal of Social Robotics. — 2013. — Т. 5, № 3. — С. 389—408.

7. Скворцов, Е. Сельскохозяйственные роботы в системе воспроизводственных процессов [Текст] / Е. Скворцов // Аграрный вестник Урала. — 2015. — 3 (133).

8. Брокгауз, Ф. А. Энциклопедический словарь [Текст]. Т. 21 / Ф. А. Брокгауз, И. Ефрон. — Рипол Классик, 1897.

9. Крылов, А. Научно-технический энциклопедический словарь [Текст] / А. Крылов. — 2001.

10. Wang, C. M. Location estimation and uncertainty analysis for mobile robots [Текст] / C. M. Wang // Robotics and Automation, 1988. Proceedings., 1988 IEEE International Conference on. — IEEE. 1988. — С. 1231—1235.

11. Сайт компании Knightscope Inc. [Текст]. — URL: https://www.knightscope. com/k5/ (дата обр. 19.09.2021).

12. Герасимов, В. Н. Система навигации сервисного робота в среде с динамическими препятствиями [Текст] : дис. ... канд. / Герасимов Владимир Николаевич. — Моск. гос. техн. ун-т им. НЭ Баумана, 2016.

13. Thrun, S. Probabilistic robotics [Текст] / S. Thrun, W. Burgard, D. Fox. — MIT press, 2005.

14. Kalman filtering [Текст] / C. K. Chui, G. Chen [и др.]. — Springer, 2017.

15. Monte carlo localization for mobile robots [Текст] / F. Dellaert [и др.] // ICRA. Т. 2. — 1999. — С. 1322—1328.

16. Микаэльян, С. Методы фильтрации на основе многоточечной аппроксимации плотности вероятности оценки в задаче определения параметров движения цели при помощи измерителя с нелинейной характеристикой [Текст] / С. Микаэльян // Машиностроение и компьютерные технологии. — 2011. — № 10.

17. Shakey the robot [Текст] / N. J. Nilsson [и др.]. — 1984.

18. Visual place recognition: A survey [Текст] / S. Lowry [и др.] // IEEE Transactions on Robotics. — 2015. — Т. 32, № 1. — С. 1—19.

19. Fuentes-Pacheco, J. Visual simultaneous localization and mapping: a survey [Текст] / J. Fuentes-Pacheco, J. Ruiz-Ascencio, J. M. Rendón-Mancha // Artificial Intelligence Review. — 2015. — Т. 43, № 1. — С. 55—81.

20. A survey on vision-based UAV navigation [Текст] / Y. Lu [и др.] // Geo-spatial information science. — 2018. — Т. 21, № 1. — С. 21—32.

21. Cui, Y. Autonomous vehicle positioning with GPS in urban canyon environments [Текст] / Y. Cui, S. S. Ge // IEEE transactions on robotics and automation. — 2003. — Т. 19, № 1. — С. 15—25.

22. Dealing with shadows: Capturing intrinsic scene appearance for image-based outdoor localisation [Текст] / P. Corke [и др.] // 2013 IEEE/RSJ International Conference on Intelligent Robots and Systems. — IEEE. 2013. — С. 2085—2092.

23. Radenovic, F. CNN image retrieval learns from BoW: Unsupervised fine-tuning with hard examples [Текст] / F. Radenovic, G. Tolias, O. Chum // European conference on computer vision. — Springer. 2016. — С. 3—20.

24. Hays, J. IM2GPS: estimating geographic information from a single image [Текст] / J. Hays, A. A. Efros // 2008 ieee conference on computer vision and pattern recognition. — IEEE. 2008. — С. 1—8.

25. Epitomic location recognition [Текст] / K. Ni [и др.] // IEEE transactions on pattern analysis and machine intelligence. — 2009. — Т. 31, № 12. — С. 2158—2167.

26. Cummins, M. FAB-MAP: Probabilistic localization and mapping in the space of appearance [Текст] / M. Cummins, P. Newman // The International Journal of Robotics Research. — 2008. — Т. 27, № 6. — С. 647—665.

27. EVALUATION OF SIFT AND SURF FOR VISION BASED LOCALIZATION.

[Текст] / X. Qu [и др.] // International Archives of the Photogrammetry, Remote Sensing & Spatial Information Sciences. — 2016. — Т. 41.

28. Image based geo-localization in the alps [Текст] / O. Saurer [и др.] // International Journal of Computer Vision. — 2016. — Т. 116, № 3. — С. 213—225.

29. Summary maps for lifelong visual localization [Текст] / P. Miihlfellner [и др.] // Journal of Field Robotics. — 2016. — Т. 33, № 5. — С. 561—590.

30. Lowe, D. G. Distinctive image features from scale-invariant keypoints [Текст] / D. G. Lowe // International journal of computer vision. — 2004. — Т. 60, № 2. — С. 91—110.

31. Fremen: Frequency map enhancement for long-term mobile robot autonomy in changing environments [Текст] / T. Krajnik [и др.] // IEEE Transactions on Robotics. — 2017. — Т. 33, № 4. — С. 964—977.

32. Heisterklaus, I. Image-based pose estimation using a compact 3d model [Текст] / I. Heisterklaus, N. Qian, A. Miller // 2014 IEEE Fourth International Conference on Consumer Electronics Berlin (ICCE-Berlin). — IEEE. 2014. — С. 327—330.

33. Morago, B. 2D matching using repetitive and salient features in architectural images [Текст] / B. Morago, G. Bui, Y. Duan // IEEE Transactions on Image Processing. — 2016. — Т. 25, № 10. — С. 4888—4899.

34. Ramalingam, S. Pose estimation using both points and lines for geo-localization [Текст] / S. Ramalingam, S. Bouaziz, P. Sturm // 2011 IEEE International Conference on Robotics and Automation. — IEEE. 2011. — С. 4716—4723.

35. Татаринович, Б. Опыт проектирования мобильных роботов для обследования территории строительства [Текст] / Б. Татаринович, В. Котляров, Е. Курило // Вестник Белгородского государственного технологического университета им. ВГ Шухова. — 2016. — № 8.

36. Ultra-wideband aided fast localization and mapping system [Текст] / C. Wang [и др.] // 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). — IEEE. 2017. — С. 1602—1609.

37. Sumikura, S. OpenVSLAM: A versatile visual SLAM framework [Текст] / S. Sumikura, M. Shibuya, K. Sakurada // Proceedings of the 27th ACM International Conference on Multimedia. — 2019. — С. 2292—2295.

38. Precise localization of an autonomous car based on probabilistic noise models of road surface marker features using multiple cameras [Текст] / K. Jo [и др.] // IEEE Transactions on Intelligent Transportation Systems. — 2015. — Т. 16, № 6. — С. 3377—3392.

39. Padial, J. Measurement model development for the correlation of imaging sonar acoustic shadows and bathymetry for ROV terrain-relative localization [Текст] / J. Padial, S. Dektor, S. M. Rock // 2014 Oceans-St. Johns. — IEEE. 2014. — С. 1—9.

40. Line detection via a lightweight CNN with a Hough layer [Текст] / L. Teplyakov [и др.] // Thirteenth International Conference on Machine Vision. Т. 11605. — SPIE. 2021. — С. 376—385.

41. Resa: Recurrent feature-shift aggregator for lane detection [Текст] / T. Zheng [и др.] // Proceedings of the AAAI Conference on Artificial Intelligence. Т. 35. — 2021. — С. 3547—3554.

42. A hybrid spatial-temporal deep learning architecture for lane detection [Текст] / Y. Dong [и др.] // Computer-Aided Civil and Infrastructure Engineering. — 2023. — Т. 38, № 1. — С. 67—86.

43. Ерлыгин, Л. Улучшение нейросетевого детектора отрезков путем добавления инженерных признаков [Текст] / Л. Ерлыгин, Л. Тепляков // Сенсорные системы. — 2021. — Т. 35, № 1. — С. 50—54.

44. Canny, J. A computational approach to edge detection [Текст] / J. Canny // IEEE Transactions on pattern analysis and machine intelligence. — 1986. — № 6. — С. 679—698.

45. Новиков, А. И. Детектор границ градиентного типа для изображений подстилающей поверхности [Текст] / А. И. Новиков, А. В. Пронькин // Вестник Рязанского государственного радиотехнического университета. — 2019. — № 68. — С. 68—76.

46. Комаров, Д. В. Разработка алгоритма автоматического обнаружения взлетно-посадочной полосы на видеоизображениях [Текст] / Д. В. Комаров, Ю. В. Визильтер, О. В. Выголов // Механика, управление и информатика (см. в книгах). — 2012. — № 2. — С. 189—194.

47. Алпатов, Б. Обнаружение линий электропередач на изображении с использованием многоагентного подхода [Текст] / Б. Алпатов, П. Бабаян, Н. Шубин // Цифровая обработка сигналов. — 2016. — № 3. — С. 3—7.

48. Piecewise-Linear Contour Approximation and Linear Sections Detection [Текст] / A. I. Novikov [и др.] // 2021 23rd International Conference on Digital Signal Processing and its Applications (DSPA). — IEEE. 2021. — С. 1—4.

49. Панфилова, Е. Использование оконного преобразования Хафа для поиска протяженных границ на изображении [Текст] / Е. Панфилова, И. Куни-на // Сенсорные системы. — 2020. — Т. 34, № 4. — С. 340—353.

50. И., П. E. Использование оконного преобразования Хафа для поиска протяженных границ на изображении [Текст] / П. E. И., К. И. А. // Сенсорные системы. 2020. Т. 34. № 4. С. 247-261. doi: 10.31857/S0235009220030075. — 2019.

51. Hou, C. An efficient lane markings detection and tracking method based on vanishing point constraints [Текст] / C. Hou, J. Hou, C. Yu // Control Conference (CCC), 2016 35th Chinese. — IEEE. 2016. — С. 6999—7004.

52. Fast lane detection based on bird's eye view and improved random sample consensus algorithm [Текст] / Y. Ding [и др.] // Multimedia Tools and Applications. — 2017. — Т. 76, № 21. — С. 22979—22998.

53. Hough transform: underestimated tool in the computer vision field [Текст] / D. Nikolaev [и др.] // Proceedings of the 22th European Conference on Modelling and Simulation. Т. 238. — 2008. — С. 246.

54. Floyd, R. W. Algorithm 97: shortest path [Текст] / R. W. Floyd // Communications of the ACM. — 1962. — Т. 5, № 6. — С. 345.

55. Almeida, A. C. Vision-based monte-carlo localization for humanoid soccer robots [Текст] / A. C. Almeida, A. H. Costa, R. A. Bianchi // 2017 Latin American Robotics Symposium (LARS) and 2017 Brazilian Symposium on Robotics (SBR). — IEEE. 2017. — С. 1—6.

56. Михайлов, Б. Б. Автономные мобильные роботы-навигация и управление [Текст] / Б. Б. Михайлов, А. В. Назарова, А. С. Ющенко // Известия Южного федерального университета. Технические науки. — 2016. — 2 (175).

57. A survey on visual-based localization: On the benefit of heterogeneous data [Текст] / N. Piasco [и др.] // Pattern Recognition. — 2018. — Т. 74. — С. 90—109.

58. Rofer, T. Fast and robust edge-based localization in the sony four-legged robot league [Текст] / T. Rofer, M. Jiingel // Robot Soccer World Cup. — Springer. 2003. — С. 262—273.

59. Leung, K. Y. K. Localization in urban environments by matching ground level video images with an aerial image [Текст] / K. Y. K. Leung, C. M. Clark, J. P. Huissoon // 2008 IEEE International Conference on Robotics and Automation. — IEEE. 2008. — С. 551—556.

60. Leung, K. Y. K. Monocular vision based particle filter localization in urban environments [Текст] / K. Y. K. Leung, C. M. Clark, J. P. Huissoon. — University of Waterloo, 2007.

61. Mobile robot system and method for autonomous localization using straight lines extracted from visual images [Текст] / A. Heinla [и др.]. — 2019. — US Patent App. 16/525,730.

62. Mobile robot system and method for generating map data using straight lines extracted from visual images [Текст] / A. Heinla [и др.]. — 2020. — US Patent 10,732,641.

63. Fast roadway detection using car cabin video camera [Текст] / D. Krokhina [и др.] // ICMV 2015. Т. 9875. — SPIE, 2015. — 98751F-1—98751F-5.

64. Lane marking based vehicle localization using particle filter and multi-kernel estimation [Текст] / W. Lu [и др.] // Control Automation Robotics & Vision (ICARCV), 2014 13th International Conference on. — IEEE. 2014. — С. 601—606.

65. Du, X. Vision-based approach towards lane line detection and vehicle localization [Текст] / X. Du, K. K. Tan // Machine Vision and Applications. — 2016. — Т. 27, № 2. — С. 175—191.

66. Recent progress in road and lane detection: a survey [Текст] / A. B. Hillel [и др.] // Machine vision and applications. — 2014. — Т. 25, № 3. — С. 727—745.

67. Finding multiple lanes in urban road networks with vision and lidar [Текст] / A. S. Huang [и др.] // Autonomous Robots. — 2009. — Т. 26, № 2/3. — С. 103—122.

68. Hernández, J. Filtering of artifacts and pavement segmentation from mobile lidar data [Текст] / J. Hernandez, B. Marcotegui // ISPRS Workshop Laserscanning 2009. — 2009.

69. Hata, A. Y. Robust curb detection and vehicle localization in urban environments [Текст] / A. Y. Hata, F. S. Osorio, D. F. Wolf // Intelligent vehicles symposium proceedings, 2014 IEEE. — IEEE. 2014. — С. 1257—1262.

70. Video based localization for Bertha [Текст] / J. Ziegler [и др.] // 2014 IEEE Intelligent Vehicles Symposium Proceedings. — IEEE. 2014. — С. 1231—1238.

71. Low-cost visual localization and mapping for consumer robotics [Текст] / P. Pirjanian [и др.] // Industrial Robot: an international journal. — 2003.

72. Wu, T. Vehicle localization using road markings [Текст] / T. Wu, A. Ranganathan // 2013 IEEE Intelligent Vehicles Symposium (IV). — IEEE. 2013. — С. 1185—1190.

73. Self-localization based on visual lane marking maps: An accurate low-cost approach for autonomous driving [Текст] / R. P. D. Vivacqua [и др.] // IEEE Transactions on Intelligent Transportation Systems. — 2017. — Т. 19, № 2. — С. 582—597.

74. Monocular localization in urban environments using road markings [Текст] / Y. Lu [и др.] // 2017 IEEE Intelligent Vehicles Symposium (IV). — IEEE. 2017. — С. 468—474.

75. Lane marking aided vehicle localization [Текст] / Z. Tao [и др.] // Intelligent Transportation Systems-(ITSC), 2013 16th International IEEE Conference on. — IEEE. 2013. — С. 1509—1515.

76. Schreiber, M. Laneloc: Lane marking based localization using highly accurate maps [Текст] / M. Schreiber, C. Knöppel, U. Franke // 2013 IEEE Intelligent Vehicles Symposium (IV). — IEEE. 2013. — С. 449—454.

77. Tao, Z. Road invariant extended kalman filter for an enhanced estimation of gps errors using lane markings [Текст] / Z. Tao, P. Bonnifait // 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). — IEEE. 2015. — С. 3119—3124.

78. Mapping and localization using GPS, lane markings and proprioceptive sensors [Текст] / Z. Tao [и др.] // 2013 IEEE/RSJ International Conference on Intelligent Robots and Systems. — IEEE. 2013. — С. 406—412.

79. Lidar-based lane marking detection for vehicle positioning in an hd map [Текст] / F. Ghallabi [и др.] // 2018 21st International Conference on Intelligent Transportation Systems (ITSC). — IEEE. 2018. — С. 2209—2214.

80. Jo, K. GPS-bias correction for precise localization of autonomous vehicles [Текст] / K. Jo, K. Chu, M. Sunwoo // 2013 IEEE Intelligent Vehicles Symposium (IV). — IEEE. 2013. — С. 636—641.

81. Chausse, F. Vehicle localization on a digital map using particles filtering [Текст] / F. Chausse, J. Laneurit, R. Chapuis // IEEE Proceedings. Intelligent Vehicles Symposium, 2005. — IEEE. 2005. — С. 243—248.

82. Sensor fusion-based low-cost vehicle localization system for complex urban environments [Текст] / J. K. Suhr [и др.] // IEEE Transactions on Intelligent Transportation Systems. — 2016. — Т. 18, № 5. — С. 1078—1086.

83. Karpenko, S. M. Analysis of properties of dyadic patterns for the fast Hough transform [Текст] / S. M. Karpenko, E. I. Ershov // Problems of Information Transmission. — 2021. — Т. 57, № 3. — С. 292—300.

84. Гонсалес, Р. Цифровая обработка изображений [Текст] / Р. Гонсалес, Р. Вудс. — 2012.

85. Konovalenko, I. Error values analysis for inaccurate projective transformation of a quadrangle [Текст] / I. Konovalenko, J. Shemiakina // Journal of Physics: Conference Series. Т. 1096. — IOP Publishing. 2018. — С. 012038.

86. Low-level image processing for lane detection and tracking [Текст] / R. Jiang [и др.] // International Conference on Arts and Technology. — Springer. 2009. — С. 190—197.

87. Jo, K. Road slope aided vehicle position estimation system based on sensor fusion of GPS and automotive onboard sensors [Текст] / K. Jo, M. Lee, M. Sunwoo // IEEE Transactions on Intelligent Transportation Systems. — 2015. — Т. 17, № 1. — С. 250—263.

88. Localization requirements for autonomous vehicles [Текст] / T. G. Reid [и др.] // arXiv preprint arXiv:1906.01061. — 2019.

89. Pfister, S. T. Algorithms for mobile robot localization and mapping, incorporating detailed noise modeling and multi-scale feature extraction [Текст] : дис. . . . канд. / Pfister Samuel Thomas. — California Institute of Technology, 2006.

90. Rosenfeld, A. Distance functions on digital pictures [Текст] / A. Rosenfeld, J. L. Pfaltz // Pattern recognition. — 1968. — Т. 1, № 1. — С. 33—61.

91. Bradski, G. The OpenCV Library [Текст] / G. Bradski // Dr. Dobbs Journal of Software Tools. — 2000.

92. Kao, W.-W. Integration of GPS and dead-reckoning navigation systems [Текст] / W.-W. Kao // Vehicle Navigation and Information Systems Conference, 1991. Т. 2. — IEEE. 1991. — С. 635—643.

93. Lidar-IMU and wheel odometer based autonomous vehicle localization system [Текст] / S. Zhang [и др.] // 2019 Chinese Control And Decision Conference (CCDC). — IEEE. 2019. — С. 4950—4955.

94. Хаблов, Д. Система динамического позиционирования грузового беспилотного транспорта на основе СВЧ доплеровских датчиков [Текст] / Д. Хаблов // Управление развитием крупномасштабных систем MLSD'2020. — 2020. — С. 1122—1128.

95. Дерябин, В. В. МОДЕЛЬ ДВИЖЕНИЯ СУДНА ДЛЯ СЧИСЛЕНИЯ ПУТИ [Текст] / В. В. Дерябин // Вестник государственного университета морского и речного флота им. адмирала СО Макарова. — 2022. — Т. 14, № 1. — С. 17—24.

96. Bui, T. Q. A comparison of using probabilistic motion models for mobile robot pose estimation [Текст] / T. Q. Bui, K.-S. Hong // 2009 ICCAS-SICE. — IEEE. 2009. — С. 528—532.

97. Eliazar, A. I. Learning probabilistic motion models for mobile robots [Текст] / A. I. Eliazar, R. Parr // Proceedings of the twenty-first international conference on Machine learning. — 2004. — С. 32.

98. Kitagawa, G. Monte Carlo filter and smoother for non-Gaussian nonlinear state space models [Текст] / G. Kitagawa // Journal of computational and graphical statistics. — 1996. — Т. 5, № 1. — С. 1—25.

99. Hol, J. D. On resampling algorithms for particle filters [Текст] / J. D. Hol, T. B. Schon, F. Gustafsson // Nonlinear Statistical Signal Processing Workshop, 2006 IEEE. — IEEE. 2006. — С. 79—82.

100. Murray, L. GPU acceleration of the particle filter: the Metropolis resampler [Текст] / L. Murray // arXiv preprint arXiv:1202.6163. — 2012.

101. Fight sample degeneracy and impoverishment in particle filters: A review of intelligent approaches [Текст] / T. Li [и др.] // Expert Systems with applications. — 2014. — Т. 41, № 8. — С. 3944—3954.

102. Del Moral, P. On Adaptive Resampling Procedures for Sequential Monte Carlo Methods. HAL-INRIA RR-6700-2008 [Текст] / P. Del Moral, A. Doucet, A. Jasra // Bernoulli. — 2011. — С. 82.

103. Панфилова, E. И. Использование оконного преобразования Ха-фа для поиска протяженных границ на изображении [Текст] / E. И. Панфилова, И. А. Кунина // Сенсорные системы / под ред. д. Михаил Аркадьевич. Островский академик РАН. — 117485, Москва,

Профсоюзная улица, дом 90, 2020. — Т. 34, № 4. — С. 340—353. — DOI: 10.31857/S0235009220030075.

104. Panfilova, E. ELONGATED BOUNDARIES DETECTOR PARAMETERS OPTIMISATION BASED ON GENERATION OF SYNTHETIC DATA FROM AERIAL IMAGERY [Текст] / E. Panfilova, A. Grigoryev, V. Burmistrov // Proceedings-European Council for Modelling and Simulation, ECMS. — 2022. — С. 167—173.

105. Vision meets robotics: The kitti dataset [Текст] / A. Geiger [и др.] // The International Journal of Robotics Research. — 2013. — Т. 32, № 11. — С. 1231—1237.

106. 1 year, 1000 km: The Oxford RobotCar dataset [Текст] / W. Maddern [и др.] // The International Journal of Robotics Research. — 2017. — Т. 36, № 1. — С. 3—15.

107. ROS: an open-source Robot Operating System [Текст] / M. Quigley [и др.] // ICRA workshop on open source software. Т. 3. — Kobe, Japan. 2009. — С. 5.

108. Monocular localization with vector HD map (MLVHM): A low-cost method for commercial IVs [Текст] / Z. Xiao [и др.] // Sensors. — 2020. — Т. 20, № 7. — С. 1870.

109. A path planning algorithm based on fusing lane and obstacle map [Текст] / H. Zhu [и др.] // 17th International IEEE Conference on Intelligent Transportation Systems (ITSC). — IEEE. 2014. — С. 1442—1448.

110. Elfes, A. Occupancy grids: A probabilistic framework for robot perception and navigation. [Текст] / A. Elfes. — 1991.

111. Moravec, H. P. Sensor fusion in certainty grids for mobile robots [Текст] / H. P. Moravec // Sensor devices and systems for robotics. — Springer, 1989. — С. 253—276.

112. Moravec, H. High resolution maps from wide angle sonar [Текст] / H. Moravec, A. Elfes // Proceedings. 1985 IEEE international conference on robotics and automation. Т. 2. — IEEE. 1985. — С. 116—121.

113. Thrun, S. Learning occupancy grid maps with forward sensor models [Текст] / S. Thrun // Autonomous robots. — 2003. — Т. 15, № 2. — С. 111—127.

114. Thrun, S. Learning occupancy grids with forward models [Текст] / S. Thrun // Proceedings 2001 IEEE/RSJ International Conference on Intelligent Robots and Systems. Expanding the Societal Role of Robotics in the the Next Millennium (Cat. No. 01CH37180). Т. 3. — IEEE. 2001. — С. 1676—1681.

115. Lanelet2: A high-definition map framework for the future of automated driving [Текст] / F. Poggenhans [и др.] // 2018 21st International Conference on Intelligent Transportation Systems (ITSC). — IEEE. 2018. — С. 1672—1679.

116. Standard, S. J3016 [Текст] / S. Standard // Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems. — 2014. — Т. 4. — С. 593—598.

117. Stereo-based visual localization without triangulation for unmanned robotics platform [Текст] / A. Volkov [и др.] // 2016 International Conference on Robotics and Machine Vision. Т. 10253. — International Society for Optics, Photonics. 2017. — С. 102530D.

118. An overview on sensor map based localization for automated driving [Текст] / L. Li [и др.] // Urban Remote Sensing Event (JURSE), 2017 Joint. — IEEE. 2017. — С. 1—4.

119. Sheehan, M. Continuous vehicle localisation using sparse 3D sensing, kernelised Renyi distance and fast Gauss transforms [Текст] / M. Sheehan, A. Harrison, P. Newman // Intelligent Robots and Systems (IROS), 2013 IEEE/RSJ International Conference on. — IEEE. 2013. — С. 398—405.

120. Pink, O. Automated map generation from aerial images for precise vehicle localization [Текст] / O. Pink, C. Stiller // 13th International IEEE Conference on Intelligent Transportation Systems. — IEEE. 2010. — С. 1517—1522.

121. Avp-slam: Semantic visual mapping and localization for autonomous vehicles in the parking lot [Текст] / T. Qin [и др.] // 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). — IEEE. 2020. — С. 5939—5945.

122. Xiang, Z. Hybrid bird's-eye edge based semantic visual SLAM for automated valet parking [Текст] / Z. Xiang, A. Bao, J. Su // 2021 IEEE International Conference on Robotics and Automation (ICRA). — IEEE. 2021. — С. 11546—11552.

123. Towards Inverse Sensor Mapping in Agriculture [Текст] / T. Korthals [и др.] // IROS 2017 Workshop on Agricultural Robotics: learning from Industry 4.0 and moving into the future. — 2017.

124. Efficient occupancy grid computation on the GPU with lidar and radar for road boundary detection [Текст] / F. Homm [и др.] // 2010 IEEE intelligent vehicles symposium. — IEEE. 2010. — С. 1006—1013.

125. Rehder, E. Submap-based slam for road markings [Текст] / E. Rehder, A. Albrecht // 2015 IEEE intelligent vehicles symposium (IV). — IEEE. 2015. — С. 1393—1398.

126. Technical evaluation of the Carolo-Cup 2014-A competition for self-driving miniature cars [Текст] / S. Zug [и др.] // 2014 IEEE International Symposium on Robotic and Sensors Environments (ROSE) Proceedings. — IEEE. 2014. — С. 100—105.

127. Jeong, J. Road-SLAM: Road marking based SLAM with lane-level accuracy [Текст] / J. Jeong, Y. Cho, A. Kim // 2017 IEEE Intelligent Vehicles Symposium (IV). — IEEE. 2017. — С. 1736—1473.

128. Konrad, M. Localization in digital maps for road course estimation using grid maps [Текст] / M. Konrad, D. Nuss, K. Dietmayer // 2012 IEEE Intelligent Vehicles Symposium. — IEEE. 2012. — С. 87—92.

129. Automated Annotation of Lane Markings Using LIDAR and Odometry [Текст] / J. B. Martirena [и др.] // IEEE Transactions on Intelligent Transportation Systems. — 2020.

130. ГОСТ Р 51256-2018 Технические средства организации дорожного движения. Разметка дорожная. Классификация. Технические требования [Текст]. —.

131. Bresenham, J. E. Algorithm for computer control of a digital plotter [Текст] / J. E. Bresenham // IBM Systems journal. — 1965. — Т. 4, № 1. — С. 25—30.

132. Haralick, R. M. Image analysis using mathematical morphology [Текст] / R. M. Haralick, S. R. Sternberg, X. Zhuang // IEEE transactions on pattern analysis and machine intelligence. — 1987. — № 4. — С. 532—550.

133. Colleens, T. Occupancy grid mapping: An empirical evaluation [Текст] / T. Colleens, J. Colleens // 2007 Mediterranean Conference on Control & Automation. — IEEE. 2007. — С. 1—6.

134. Vector maps: A lightweight and accurate map format for multi-robot systems [Текст] / K. Baizid [и др.] // International Conference on Intelligent Robotics and Applications. — Springer. 2016. — С. 418—429.

135. Evaluating maps produced by urban search and rescue robots: lessons learned from RoboCup [Текст] / B. Balaguer [и др.] // Autonomous Robots. — 2009. — Т. 27, № 4. — С. 449—464.

136. Martin, M. C. Robot Evidence Grids. [Текст] : тех. отч. / M. C. Martin, H. P. Moravec ; Carnegie-Mellon Univ Pittsburgh Pa Robotics Inst. — 1996.

137. Kim, S. Building occupancy maps with a mixture of Gaussian processes [Текст] / S. Kim, J. Kim // 2012 IEEE International Conference on Robotics and Automation. — IEEE. 2012. — С. 4756—4761.

138. Репозиторий ROS-пакета batch_ros. [Текст]. — URL: https://github.com/ lrse/batch_ros (дата обр. 19.09.2021).

Публикации автора по теме диссертации

В изданиях, входящих в базу RSCI

139. Поиск точки схода для динамической калибровки внешних параметров монокулярной камеры при условии прямолинейного движения [Текст] / М. Абрамов [и др.] // Сенсорные системы. — 2020. — Т. 34, № 1. — С. 32—43.

140. Шипитько, О. Классификация ошибок визуальной локализации колесных роботов, основанной на детекции протяженных признаков [Текст] / О. Шипитько // Информационные процессы. — 2022. — Т. 22, № 3. — С. 167—176.

141. Система позиционирования внутри зданий мобильной робототехнической платформы на основе детекции краев [Текст] / М. Абрамов [и др.] // Сенсорные системы. — 2019. — Т. 33, № 1. — С. 30—43.

142. Безопасное управление скоростью наземного беспилотного транспортного средства в условиях неопределенности собственного положения [Текст] /

B. Кибалов [и др.] // Сенсорные системы. — 2019. — Т. 33, № 3. —

C. 222—237.

143. Шипитько, О. С. Картографирование линейных признаков дороги с обратной моделью наблюдения детектора [Текст] / О. С. Шипитько, А. Е. Кабаков // Робототехника и техническая кибернетика. — 2021. — Т. 9, № 3. — С. 214—224.

В изданиях, входящих в международную базу цитирования Web of

Science

144. Shipitko, O. Ground Vehicle Localization With Particle Filter Based On Simulated Road Marking Image. [Текст] / O. Shipitko, A. Grigoryev // 32nd EUROPEAN CONFERENCE ON MODELLING AND SIMULATION, ECMS. — 2018. — С. 341—347.

145. Edge detection based mobile robot indoor localization [Текст] / O. S. Shipitko [и др.] // Eleventh International Conference on Machine Vision (ICMV 2018). Т. 11041. — International Society for Optics, Photonics. 2019. — С. 110412V.

146. Prior Distribution Refinement for reference trajectory estimation with the Monte Carlo-based localization algorithm [Текст] / M. Griguletskii [и др.] // IEEE Access. — 2023.

В изданиях, входящих в международную базу цитирования Scopus

147. Shipitko, O. Linear features observation model for autonomous vehicle localization [Текст] / O. Shipitko, V. Kibalov, M. Abramov // 2020 16th International Conference on Control, Automation, Robotics and Vision (ICARCV). — IEEE. 2020. — С. 1360—1365.

148. Kibalov, V. Safe speed control and collision probability estimation under egopose uncertainty for autonomous vehicle [Текст] / V. Kibalov, O. Shipitko // 2020 IEEE 23rd International Conference on Intelligent Transportation Systems (ITSC). — IEEE. 2020. — С. 1—6.

149. Road Markings and Road Edges Mapping With Inverse Visual Detector Model [Текст] / O. Shipitko [и др.] // 2022 IEEE 95th Vehicular Technology Conference:(VTC2022-Spring). — IEEE. 2022. — С. 1—6.

В сборниках трудов конференций

150. Panfilova, E. Fast Hough transform-based road markings detection for autonomous vehicle [Текст] / E. Panfilova, O. S. Shipitko, I. Kunina // Thirteenth International Conference on Machine Vision. Т. 11605. — SPIE. 2021. — С. 671—680.

151. Система позиционирования внутри зданий мобильной робототехниче-ской платформы на основе детекции краев [Текст] / М. П. Абрамов [и др.] // Информационные технологии и системы (ИТиС). — 127994, Москва, ГСП-4, пер. Большой Каретный, д.19, стр. 1 : Федеральное государственное бюджетное учреждение науки Институт проблем передачи информации им. А.А. Харкевича Российской академии наук (ИППИ РАН), 2018. — С. 673.

Список рисунков

1.1 Примеры колесных роботов, применяющихся для решения практических задач. Изображения взяты с сайтов компаний SMP Robotics Systems, Local Motors, Xiaomi Corporation, ПАО

«КАМАЗ», Starship LLC.......................... 12

1.2 Результат ошибки локализации робота K5 Knightscope (a), приведшей к выходу из строя робота (б). Изображения взяты с

сайта компании Knightscope Inc. [11]................... 14

1.3 Положение робота в системе координат карты. Oxyz — система координат карты, Охмzt ......................... 15

1.4 Источники ошибок оценки перемещения с помощью колесных энкодеров при движении колесного робота. Слева направо: разница диаметров колес, наезд на препятствие одним из колес, проскальзывание одного из колес..................... 16

1.5 Возможные исходы измерения расстояния до препятствий многолучевым лазерным дальномером.................. 16

1.6 Представление процесса возникновения состояний и наблюдений в системе локализации колесного робота в виде дискретного скрытого марковского процесса............................ 17

1.7 Задетектированые точечные особенности среды. Иллюстрации заимствованы из [36; 37].......................... 21

1.8 Примеры среды с различимыми линейными признаками........ 21

1.9 Примеры протяженных признаков. (а) Граница на изображении: профиль изменения интенсивности (вверху), синтетический пример - строка пикселей (в центре), пример реальных данных (внизу). (б) Хребет на изображении: профиль (вверху), синтетический пример

(в центре), пример реальных данных (внизу).............. 22

1.10 Пример карты протяженных признаков. В данном случае в качестве протяженных признаков используются стыки стен и пола внутри здания. Такая карта может быть получена из плана здания. . 23

1.11 Примеры параметризации протяженных признаков на изображениях дорожных сцен. (а) Аппроксимация прямыми: /(х) = Ах + В [51]. (б) Полиномиальная аппроксимация:

/(х) = Ахп + Вхп-1 + ... + С [52]. (в) Непараметрическая аппроксимация ломаными [50]....................... 24

1.12 Блок схема алгоритма детекции протяженных признаков на изображении [50].............................. 25

1.13 Системы координат карты Охуг, ВАТС Ох1у1г1 и камеры Охсусгс. . 28

1.14 Нормализация изображения. Пространственное разрешение падает

по мере удаления от камеры. Иллюстрация заимствована из [86]. . . 37

1.15 Влияние ошибок внешней калибровки камеры (углов тангажа [по центру] и рыскания [справа]) на оценку положения детектируемых протяженных признаков. Синим отмечена система координат, связанная с автомобилем, относительно которой производится калибровка камеры............................. 37

1.16 Классификация источников ошибок измерения протяженных признаков.................................. 40

1.17 Пример систематической ошибки классической модели наблюдений протяженных признаков [38; 70]. Правдоподобие измерения со сдвигом и неверной ориентацией (красная линия) выше, чем смещенного измерения с верной ориентацией (зеленая линия), потому что суммарное расстояние до референсной линии карты

(белая линия) меньше для неверного измерения (красная линия). . 42

1.18 Относительная частота бокового клиренса вдоль маршрута следования ВАТС «Bertha». Автомобиль нарисован в масштабе горизонтальной оси графика. Иллюстрация заимствована из [70]. . . 44

2.1 Поле правдоподобия для детектора препятствий (справа),

полученное из карты препятствий (слева) путем свертки с ядром двумерного нормального распределения. На иллюстрации слева белым показаны проходимые области, черным - препятствия. На иллюстрации справа более правдоподобные измерения показаны белым. Иллюстрация заимствована из [13]................ 48

2.2 Поле правдоподобия модели (2.2): (а) двумерное нормальное распределение значений вероятности пространственных ошибок детекции, (б) равномерное распределение для учета ложноположительных срабатываний детектора, (в) результирующее распределение. Цветом показано значение правдоподобия измерения. 49

2.3 Карта, представленная в виде многоканального цифрового изображения. Каждый канал кодирует часть вероятностной модели

наблюдений................................. 51

2.4 Вычисление угла у между сегментом задетектированного протяженного признака (синий) и сегментом референсного протяженного признака карты (красный)................ 52

2.5 Разница двух последних измерений одометрии............. 56

2.6 Распределения частиц, полученные с помощью модели движения (2.9) при различных параметрах ошибок движения и

£,тд: (а) нулевая угловая ошибка, не нулевая линейная ошибка; (б) не нулевая угловая ошибка, нулевая линейная ошибка; (в) не нулевые угловая и линейная ошибки движения. Различными цветами обозначены распределения частиц в последовательные

моменты времени.............................. 57

2.7 Алгоритмы семплирования частиц слева направо:

мультиномиальное семплирование, стратифицированное семплирование, систематическое семплирование, семплирование Метрополиса. На изображении вес частиц-гипотез представлен в виде круга. Угол сектор круга, представляющего отдельную частицу, пропорционален ее весу и](п\ Иллюстрация заимствована

из [100].................................... 59

2.8 Сопоставление референсной ломаной с задетектированной (де., слева) и сопоставление задетектированной ломаной с референсной

(grj, справа) [103].............................. 62

2.9 Плотность вероятности пространственной и угловой ошибки детекции протяженных признаков для алгоритма [103], полученная

на тестовом наборе данных......................... 63

2.10 Логистическое высокоавтоматизированное транспортное средство:

(а) размещение датчиков, (б) поле зрения камер............ 64

2.11 Примеры изображений, регистрируемых камерами ВАТС, при проезде по тестовому маршруту...................... 64

2.12 Датчики движения, установленные на объектах испытаний: (а) инерциальная навигационная система - Xsens MTi-30-2A8G4, (б) колесные энкодеры - DF-11 BOSCH, (в) ГНСС - REACH RS+ RTK. 66

2.13 Первый тестовый маршрут ВАТС и карта дорожной разметки. ... 66

2.14 Второй тестовый маршрут ВАТС..................... 66

2.15 Схема расположения двух RTK ГНСС-приемников на ВАТС.....67

2.16 Определение угла рыскания ВАТС с помощью двух RTK ГНСС-приемников. ............................ 68

2.17 Продольная E\on, поперечная E\at и угловая Eang ошибки позиционирования.............................. 69

2.18 Целевое распределение ошибки системы позиционирования для обеспечения вероятности отказа 10-8 за час движения легкового автомобиля по автостраде. Иллюстрация заимствована из [88]..... 72

2.19 Зависимость ошибок позиционирования от времени для одного из тестовых проездов ВАТС.......................... 74

2.20 Распределение ошибок позиционирования, усредненные по 10 тестовым проездам ВАТС......................... 75

2.21 Временное профилирование одной итерации алгоритма локализации с уточненной моделью наблюдений. Процент, отмеченный звездочкой (*), представляет собой процент от времени подсчета модели наблюдений, а не от времени всей итерации алгоритма. Вся итерация занимает в среднем 1.2 * 10-2 секунд. ... 76

2.22 Колесный робот-макет автомобиля.................... 77

2.23 Примеры изображений, регистрируемых камерами робота, при проезде по тестовому маршруту...................... 78

2.24 Тестовый маршрут и карта помещения.................. 79

2.25 Ошибки локализации при использовании фильтра частиц в

качестве системы позиционирования на одном тестовом запуске. . . . 80

3.1 Разбиение карты на ячейки и цветовая кодировка состояний ячеек. . 89

3.2 Пример изображения дорожного полотна, приведенного к виду

сверху, (а) и результат детекции линий дорожной разметки (б) ... 92

3.3 Пошаговая визуализация применения обратной модели наблюдений для единичного измерения детектора протяженных признаков. Серым цветом обозначены ячейки карты, для которых вероятность нахождения в них протяженных признаков равна 0.5, белый цветом закрашены ячейки с вероятностью больше чем 0.5, черным цветом обозначены области в которых наличие протяженных признаков маловероятно. Шаг 1 - создание локальной карты, соответствующей области видимости камеры, нанесение на нее задетектированных протяженных признаков в соответствии с Бейесовским законом и вероятностями ложноположительного и ложноотрицательного срабатываний. Шаг 2 - свертка локальной карты с двумерным нормальным распределением. Шаг 3 -объединение локальной карты с соответствующим участком глобальной карты.............................. 95

3.4 (а) Карта тестового полигона, стрелочки обозначают маршрут движения; (б) референсная карта протяженных признаков дороги (изображена черным цветом); (в) необработанные детекции; (г) совокупная область видимости всех камер для всех измерений в тестовом наборе данных; (д) результат работы алгоритма. Серым изображена неизвестная область, черным изображена совокупная область видимости, оттенками белого цвета изображены градации вероятности наличия протяженных признаков в ячейках карты. ... 98

3.5 Сравнение необработанных детекций, нанесенных на карту (слева) и результата работы предложенного алгоритма (справа). Зеленым цветом изображены истинно-положительные ответы алгоритма, серым - истинно-отрицательные, белым - ложноположительные, красным - ложноотрицательные ..................... 101

3.6 Зависимость значения Р 1-меры, С, МЗ от значений Ртм и Ртр . . . 102

3.7 Зависимости Р1, МЗ, С от значения стандартного отклонения а, изменяющегося от 0 до 3 с шагом 0.3. Вертикальной красной линией обозначено выбранное в качестве оптимального значение стандартного отклонения.........................102

3.8 ROC-кривая для значений порога бинаризации от 0 до 1 с шагом 0.01. Красным кругом обозначено значение, полученное алгоритмом картографирования с обратной моделью наблюдений при выбранных параметрах. Зеленым кругом обозначено значение, полученное при картографировании срабатываний детектора без дополнительной фильтрации........................103

4.1 Диаграмма компонентов программного комплекса моделирования и оценки точности систем визуальной навигации на языке UML (Unified Modeling Language)........................107

Список таблиц

1 Сравнение источников навигационных данных, применяемых для локализации колесных машин. Знаком ~ обозначена

неприменимость критерия......................... 20

2 Параметры детектора краев........................ 27

3 Сравнение моделей наблюдений протяженных признаков ВАТС. ... 41

4 Параметры алгоритма локализации ВАТС................ 65

5 Характеристики датчиков движения, применяемых для оценки относительного перемещения ВАТС.................... 65

6 Точность измерения положения ГНСС-приемника REACH RS+ от компании Emlid............................... 67

7 Количественная оценка качества алгоритма позиционирования на данных ВАТС на первом тестовом маршруте. Разные строки демонстрируют качество при использовании различных моделей наблюдений................................. 70

8 Сравнение качества разработанного алгоритма локализации с известными алгоритмами^......................... 73

9 Количественная оценка качества алгоритма позиционирования на данных ВАТС на втором тестовом маршруте.............. 75

10 Параметры алгоритма локализации робота-макета........... 78

11 Характеристики датчиков движения, применяемых для оценки относительного перемещения ВАТС.................... 79

12 Количественная оценка качества метода позиционирования на

данных робота-макета........................... 80

13 Лучшие подобранные параметры алгоритма картографирования с обратной моделью наблюдений...................... 99

14 Сравнение показателей качества для необработанных детекций и полученной карты с подобранными параметрами алгоритма картографирования.............................100

Список алгоритмов

2.1 Алгоритм локализации на основе метода Монте-Карло (Monte

Carlo localization, MCL)........................ 54

2.2 Алгоритм систематического семплирования гипотез (systematic resampling) ............................... 59

3.1 Картографирование с обратной моделью наблюдений (Inverse Sensor Model Mapping, ISMM)..................... 91

3.2 Обновление карты протяженных признаков для одной камеры (Linear Features Map Update, LFMU)................. 94

3.3 Картографирование протяженных признаков (Linear Features Mapping, LFM)............................. 96

Приложение А

Акты о внедрении результатов диссертационного исследования