Разработка и исследование методов обнаружения препятствий движению интеллектуального транспорта на основе мультиспектральной системы технического зрения тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Шепель Илья Олегович

• Шепель Илья Олегович
• кандидат наук
• 2025

Оглавление диссертации кандидат наук Шепель Илья Олегович

Введение

Глава 1. Разработка и исследование метода построения модели

проходимости

1.1. Общая постановка задачи построения модели проходимости

1.2. Алгоритм построения карты проходимости

1.2.1. Алгоритм построения моментальной карты проходимости

1.2.2. Алгоритм построения накапливаемой карты проходимости

1.3. Модификации алгоритма построения карты проходимости

1.3.1. Расчёт уравнения плоскости земли и фильтрация выбросов

1.3.2. Адаптивный буфер безопасности

1.4. Выводы

Глава 2. Разработка и исследование метода обнаружения динамических объектов на карте проходимости

2.1. Базовый алгоритм построения динамической карты проходимости

2.2. Модификация алгоритма построения динамической карты проходимости

2.2.1. Компенсация собственного движения

2.2.2. Классификация статических и динамических ячеек

2.2.3. Отслеживание динамических ячеек в окклюдированных зонах

2.3. Обновление накапливаемой карты данными о динамических пре-д^'Р^твиях

2.4. Обнаружение динамики по моментальной карте проходимости от радара

2.4.1. Определение ячеек препятствий в моментальной карте проходимости от радара

2.4.2. Использование Доплеровской скорости при обнаружении динамических объектов

2.5. Сравнение с гибридными методами обнаружения динамики в картах занятости

2.6. Выводы

Глава 3. Разработка методов генерации семантической накапливаемой и семантической априорной карт проходимости

3.1. Генерация априорной локальной семантической модели местности

3.2. Построение моментальной семантической карты

3.3. Накопление семантической информации в карте проходимости

3.3.1. Модель сенсора с семантическим подсчётом

3.3.2. Накапливаемая семантическая карта

3.4. Выводы

Глава 4. Разработка программных компонент и проведение вычислительных экспериментов

4.1. Программная реализация

4.1.1. Программный компонент генерации моментальной карты

4.1.2. Программный компонент генерации накапливаемой карты

4.1.3. Программный компонент генерации априорной тайловой карты

4.2. Использованные оценки качества и наборы данных

4.2.1. Метод генерации эталонных карт

4.3. Результаты вычислительных экспериментов

4.3.1. Оценка качества реализации базового алгоритма

4.3.2. Оценка качества алгоритма определения динамических препятствий

4.3.3. Оценка качества алгоритма построения семантического слоя накапливаемой карты

4.3.4. Оценка быстродействия разработанных программных компонент

4.4. Выводы

Заключение

Список литературы

Приложение А. Свидетельства о государственной регистрации программы для ЭВМ и патенты на изобретения

Приложение Б. Акт об использовании результатов диссертационного исследования

Введение диссертации (часть автореферата) на тему «Разработка и исследование методов обнаружения препятствий движению интеллектуального транспорта на основе мультиспектральной системы технического зрения»

Введение

Актуальность темы исследования. В современном мире активно развиваются различные интеллектуальные виды транспорта от систем помощи водителю и беспилотных автомобилей до сервисных робототехнических платформ, выполняющих задачи доставки, уборки и т. п. Одна из сложнейших задач, решаемая при проектировании такого транспорта,— это обработка данных от бортовых сенсоров системы технического зрения, с последующим обнаружением объектов интереса, в частности препятствий движению. Как правило, эти системы отличаются наличием разнообразных датчиков, большим объёмом генерируемой информации, а также к ним предъявляются жёсткие требования по точности обнаружения и классификации объектов, времени и задержки обработки информации, энергопотреблению и надёжности [1]. Развитие вычислительной техники привело к значительному усложнению систем технического зрения мобильных автономных платформ [2, 3]. Современные платформы бывают оснащены несколькими камерами (в том числе и стерео), сканирующими лазерными дальномерами (лидарами), радарами, а также сонарами, при этом зачастую датчики не могут быть синхронизированы и выдавать данные с одинаковой частотой и полем зрения, поэтому разработка метода обнаружения препятствий по объединённым данным является актуальной задачей, и существует практический запрос на решение задачи обработки данных этих сенсоров, что также отражено в пункте 4 паспорта специальности 1.2.1. Искусственный интеллект и машинное обучение (технические науки). Наиболее распространёнными методами, применяемыми для решения задачи обнаружения препятствий в интеллектуальном транспорте, являются карты проходимости (или карты занятости). Карта проходимости — это двумерное дискретизированное представление окружающего пространства, где каждый дискрет описывается рядом метрик и классифицируется как разрешённый или запрещённый для движения. Генерация карт проходимости как правило производится по трёхмерным данным от

лидаров, реже по данным от стереокамеры и радара. При этом существующие методы компдексирования информации не обладают универсальностью, а как правило заточены под определённую конфигурацию сенсоров [4, 5]. В этих работах используется нейросетевые методы для компдексирования данных л и дара/камеры и лидара/радара соответственно, что накладывает сильные ограничения на домен данных и не позволяет применять полученные веса для сенсоров с отличающимися характеристиками (разрешением, дальностью обнаружения, ошибкой по дальности и т. п.) и положением. При этом существуют подходы, в которых авторы пытаются решить проблему различающегося разрешения ли-дара и камеры с помощью регрессии на основе Гауссовых процессов и восстановить недостающие значения глубины для изображения с камеры по данным лидаров [6]. Но и такие методы имеют ряд недостатков, в частности к реальным сенсорным данным добавляются синтетические, которые в общем случае не достоверны. Также отдельно стоит выделить практические проблемы, возникающие в мультиспектральпых системах технического зрения, связанные со взаимной калибровкой [7] и синхронизацией времени съёма кадра [8].

Другой активно исследуемой проблемой в области интеллектуального транспорта является задача детекции динамических объектов, в частности автомобилей и пешеходов [9]. Большинство методов обнаружения таких препятствий базируется на различных алгоритмах обучения глубоких нейронных сетей [10]. Подобные методы имеют ряд недостатков, поскольку работоспособны только на домене данных, по которому производилось обучение сети. Кроме того, такие алгоритмы как правило очень требовательны к вычислительным ресурсам, и зачастую не могут использоваться при проектировании систем автономного интеллектуального транспорта. В то же время существует ряд работ по обнаружению динамических объектов на карте препятствий [11] с использованием алгоритмов без обучения, что позволяет устранить вышеперечисленные проблемы с переобучением на домен данных.

Также активно развиваются методы по генерации семантических карт про-

ходимости. Дополнительная семантическая информация позволяет алгоритмам планирования движения выбирать приоритетную траекторию из нескольких возможных при маневрировании в сложных сценариях. Подобные алгоритмы либо базируются на использовании семантической сегментации данных от датчиков [12], либо сегментируют непосредственно саму карту проходимости [13]. Разработка таких алгоритмов является комплексной, а поэтому нетривиальной задачей.

Все вышеперечисленные подходы генерируют модели проходимости, которые в свою очередь являются специальной формой представления информации при взаимодействии систем обнаружения препятствий и планирования траекторий, являющихся обязательной частью любой современной РТП, что также подтверждает актуальность темы исследования. Описанная проблематика соответствует пункту 7 паспорта специальности 1.2.1.

Наконец высокую теоретическую и практическую ценность имеет задача генерации эталонных карт занятости, поскольку позволяет количественно оценивать эффективность того или иного алгоритма, и на текущий момент не выработан общий подход к её решению. Поскольку эта задача по синтезу проблемно-ориентированных коллекций данных, то она совпадает с пунктом 13 научной специальности 1.2.1.

В представленном исследовании для решения задач, указанных выше, предлагается использовать карты проходимости, сгенерированные по накапливаемым данным мультиспектралыюй системы технического зрения и учитывающие движение динамических объектов и дополнительную семантическую информацию. Главное научное предположение, породившее тему данной диссертационной работы, состоит в том, что использование нескольких различных по принципу действия датчиков и комплексирование уникальной информации от них позволит построить наиболее точную и устойчивую к различным сценариям модель проходимости.

Степень разработанности темы исследования. В настоящее время

существует целый ряд работ, которые решают задачу обнаружения объектов, препятствующих движению робототехнической платформы (РТП). При этом используемые алгоритмы принимают решения, основываясь на данных, получаемых в реальном времени от бортовой системы технического зрения. Как правило, в них чаще всего используются многошюскостные сканирующие лазерные дальномеры (дидары), камеры (как моно, так и стерео) и радары.

Методы обнаружения препятствий можно условно поделить на две группы: методы, синтезирующие описание проходимости окружающей среды в виде некоторой модели, и методы, детектирующие отдельные препятствия как вектор характеристик: координаты центра, размеры ограничивающего параллелепипеда, вектор скорости и т. д.

Модели проходимости. Методы первой группы, как правило, дискретизи-руют окружающее РТП пространство, затем по полученным дискретам распределяются трёхкоординатные данные от сенсоров, и считаются разнообразные метрики, по которым принимается решение о наличии препятствия в том или ином дискрете. Такие методы можно разделить по представлению генерируемой модели проходимости:

1) неструктурированные сегментированные облака точек или карты диспа-ритетов [14 17];

2) двухмерные карты [18 21];

3) трёхмерные карты [22 25].

Существуют и другие современные методы, основанные на представлении в виде дискретных решёток, например BEV-представдение (англ. bird-eye-view) [26].

Методы первой подгруппы осуществляют поточечную или иоииксельную разметку входных данных. Так в работе [14] точки облака от лидара разбиваются по секторам, а затем в каждом секторе по ним строится ломаная. По углу между отрезками ломаной принимается решение о классификации точек на «землю» и препятствия. В работе [15] этот методы улучшается за счет представ-

деыия паттерна сканирования дидара в виде параметризованной кривой и ухода от дискретизации по секторам. В работах [16, 17] используется алгоритм расчёта иУ-диспаритетов для попикселыюй разметки вертикальных препятствий и горизонтальных плоскостей по изображениям от стереокамеры. Попиксельные методы не теряют в точности модели проходимости из-за ошибок дискретизации, но при этом работа с таким представлением окружающих) пространства требует больших вычислительных ресурсов, а также дополнительной постобработки для решения задач планирования траектории движения. По этим причинам подобные алгоритмы редко используются на автономных РТП.

Методы второй и третьей подгруппы распределяют входные облака точек (трёхкоординатные массивы данных) по сетке с постоянным или изменяющимся шагом [27, 28], а затем по каждому дискрету принимается решение о его проходимости/занятости или классе. Трёхмерные реализации подобных алгоритмов являются наиболее точными и полными, но требуют от бортовой вычислительной системы как более высокую производительность, так и больший объем памяти для хранения карты. Такие модели используются либо на шагающих РТП [29], либо на беспилотных летательных аппаратах [30], а для случая наземного колёсного интеллектуального транспорта, как правило, достаточно двухмерного описания окружающего пространства. Так авторы [31] используют трёхмерный Оск)Мар [23] для построения воксельной модели, по которой затем строится двухмерная карта, чтобы решать задачу планирования траектории движения. Существуют и другие методы, генерирующие трёхмерные модели без использовании оск)-деревьев. Так, в работе [22] авторы также используют воксельное представление, но при этом каждый видимый воксель отслеживается, а также осуществляется расчёт скорости центроидов вокселя с последующим выделением динамики. Основной недостаток трекинга препятствий по вокселям — большие вычислительные задержки. Для ускорения в статье [24] облако точек разбивается на регионы с одинаковым количеством лучей лидара, т. е. из-за постоянного вертикального разрешения размер таких

регионов увеличивается с расстоянием. Дополнительно, после разбиения на регионы производится фильтрация точек земли с помощью алгоритма ЯАМБАС. Дальнейшее выделение динамических вокселей происходит аналогичным способом. В работе [25] используется смежное представление данных: вместо вокселей для ускорения используются стиксели из которых формируется карта занятости. При этом все вышеперечисленные реализации алгоритмов не способны работать на реальной платформе, т.е. как минимум с частотой используемого датчика.

Рассмотрим задачу построения двухмерных карт проходимости более подробно. Классические методы [18, 32 34], представленные в ранних работах, выдают двухмерную карту, где каждой ячейке ставится в соответствие вероятность того, что она занята препятствием. Итоговое решение о том свободна ли ячейка или нет принимается с использованием константных пороговых значений. Кроме того, в некоторых методах добавляются «неизвестные» ячейки — дискреты, в которых либо нет измерений от датчика, либо их значение вероятности больше, чем порог для свободных, но меньше порога для занятых. Для обновления карты используется теорема Байеса и вероятностная «обратная модель сенсора»: находятся вероятности состояния ячейки карты в зависимости от измерений сенсора. Также для упрощения состояния ячеек представляются независимыми друг от друга дискретными случайными величинами. Необходимо упомянуть, что некоторые из этих алгоритмов для удобства вычислений обновляют не вероятность, а логарифм отношения вероятностей. Существуют различные вариации этого метода. Так, в работе [35] предлагается «прямая модель сенсора»: считаются вероятностное распределение по измерениям сенсора в зависимости от состояния ячеек карты на текущем шаге, также для обновления вероятности вместо теоремы Байеса используется ЕМ-адгоритм.

Вышеописанные методы были ориентированы в основном на системы технического зрения, состоящие из сонаров и стереокамер. Они были предназначены для движения в структурированной среде и не учитывали геометрию пре-

пятствий, проходимость и размеры робототехнической платформы, наличие нависающих (ветви деревьев, мосты) и отрицательных (ям и различных углублений) препятствий, а также областей со слишком крутым уклоном. Развитием подхода по построению моделей проходимости окружающей среды стали так называемые 2.50 карты занятости и цифровые карты высот. В этих алгоритмах для определения степени проходимости ячейки находился набор метрик, характеризующих спроецированное в эту ячейку облако точек, например разница абсолютной высоты, количество точек в ячейке, ориентация и соотношение собственных векторов множества точек, а также разница средней высоты с соседними ячейками карты [21]. В работах [36, 37] представлено расширение для учёта нависающих препятствий и нескольких различных по высоте проходимых зон (например мостов или многоуровневых парковок). Авторы [38] предлагают алгоритм для выделения поверхности дороги, основанный на методе ЯАМБАС, а также алгоритм к определению ячеек-препятствий, основанный на плотности точек. Развитием этой статьи является работа [39], в которой предложен метод определения поверхности дороги для труднопроходимых сцен, основанный на применении В-сплайнов. Проблема передвижения в труднопроходимой местности также рассматривалась в работах [40], где авторы по данным от сте-реокамеры детектировали ряд типичных препятствий, и [41], где аналогичные методы применялись для обработки лидарных данных. Ряд статей [27, 42] предлагают методы с изменяемым размером ячеек, которые позволяют бороться с уменьшением разрешения облака точек при увеличении дальности, но при этом более требовательны к вычислительным ресурсам.

Кроме методов обновления и накопления состояний ячеек карты, основанных на теореме Байеса, существует ряд методов, базирующихся на применении теории Демпстера Шафера [43]. Преимуществом таких методов является возможность определения «неизвестного» состояния ячейки отдельно от состояний занята/свободна [44, 45]. Кроме того, в более современных и сложных методах множество состояний ячейки также может быть расширено с использованием

теории Демистера Шафера. Так, в работе [46] ячейки могут быть свободными, занятыми статическими препятствиями, занятыми динамическими препятствиями (в текущий момент времени) и «неизвестными».

Основными недостатками вышеперечисленных методов являются невозможность разделения статических и динамических препятствий, что критично для безопасного движения автономного транспорта, а также отсутствие методов объединения информации от различных датчиков.

Обнаружение препятствий как объектов. В настоящее время активно развиваются методы, позволяющие детектировать и классифицировать объекты по различным данным от систем технического зрения: изображениям, стереоизображениям, а также данным радаров и лидаров. Под задачей обнаружения объекта обычно понимают задачу нахождения ограничивающего прямоугольника в двухмерном случае или параллелепипеда в трёхмерном, а также метки класса для всех объектов в сцене.

Подходы к обнаружению препятствий как объектов могут быть разделены по типу используемых данных:

1) по моно и стереоизображениям;

2) по облаку точек дидара;

3) по комплексироваипым данным с различных сенсоров.

Большинство методов основаны на обучении нейронных сетей на большом

наборе различных сцен и кадров, что требует проведения трудоёмких работ по их составлению и разметке, а также, как правило, затрудняет возможность работы в новых и нетиповых сценах. Кратко рассмотрим наиболее характерные работы.

Для обнаружения объектов по моноизображениям наиболее точными по результатам соревнований KITTI [47] и Way то [2] являются методы, основанные на применении свёрточных нейронных сетей. Подобные сети, как правило, состоят из множества слоён, в которых реализуется операция свёртки. Последние работы в области демонстрируют методы с высокими показателями точности

детекции и способны работать в реальном масштабе времени [48 50]. Все указанные методы выдают двухмерный ограничивающий параллелепипед, но при этом существует ряд работ, где по изображению получают трёхмерные объекты [51, 52]. На текущий момент подобные алгоритмы имеют сравнительно низкую точность детекции.

Стереокамеры кроме цветных изображении позволяют получать и карты глубины — изображения, где каждый пиксель содержит далыюметрическую информацию. Необходимо отметить, что ошибка определения дальности по стерео имеет квадратичную зависимость от расстояния в отличие от лидаров или радаров. Поэтому методы, использующие только лишь стереокамеры, уступают в точности методам на основе лидаров или комплексировапных данных. При этом существуют как методы, основанные на классических алгоритмах компьютерного зрения [53], так и на применении машинного обучения [54].

Наилучших результатов в определении трёхмерных объектов показывают методы, обрабатывающие лидариые облака точек, поскольку такие данные обладают высокой точностью определения расстояния и достаточным для работы разрешением, а также практически не зависят от условий освещённости. Центральной проблемой для таких нейросетевых методов является структурирование облака точек и его представление в формате тензора, чтобы применять стандартные матричные операции. Существует целое семейство методов, использующих вокседыюе представление, описанное в работе [55]. В частности, один из наилучших методов (по результатам открытого набора данных ппЗсепен [3]) -Се^егРо^ [56]. Другим популярным способом является проекция облака точек на плоскость и представление его в виде изображения. Наиболее популярные из таких методов основаны на представлении в виде вертикальных столбов, продемонстрированном в работе [57]. Реализации таких алгоритмов выигрывают в быстродействии, но при этом проигрывают в точности воксельному представлению, так как часть информации теряется при проекции. Существует и третья группа методов, которая в качестве входа использует неструктурированное об-

дако точек. При этом их программные реализации обычно имеют еамое низкое быстродействие, но выигрывают у вышеперечисленных по метрикам качества

На текущий момент наиболее актуальными являются методы, использующие комплексированные данные от системы технического зрения, например, стереокамеры и лидара [59, 60], монокамеры и радара [61], а также камеры, радара и лидара вместе [62]. Вышеперечисленные методы обладают высокой точностью, но недостаточным для бортовых систем быстродействием.

Обнаружение динамических препятствий в двумерных .моделях проходимости. Первые разработки к решению задачи обнаружения динамических объектов были предприняты участниками конкурса-гонки беспилотных автомобилей DARPA. Авторы [63] использовали одноплоскостной лидар, по данным которого группировали точки и отслеживали их на последовательных кадрах. Аналогичным образом, только по данным многоплоскостного лидара, обнаруживали динамические объекты в работах [64, 65]. В статье [66] обнаружение динамики происходит по карте занятости. Ячейки-препятствия объединяются алгоритмом связных компонент, затем полученные кластеры анализируются с помощью ряда эвристик и отслеживаются от кадра к кадру. Развитие этот метод получил в ряде последующих работ [67, 68]. Общим недостатком подобных методов является отсутствие возможности определения, является ли объект динамическим без его трекинга, что вносит дополнительные задержки и снижает точность обнаружения препятствий.

С развитием вычислительных мощностей, доступных для размещения на борту интеллектуального транспорта, стали развиваться методы, основанные на вычислении и предсказании так называемых частиц [69]. Частицы представляют собой структуру, описывающуюся, как минимум, вектором координат и вектором скорости. Каждая из частиц участвует в алгоритме фильтрации и может перемещаться по двухмерной карте занятости. На этапе инициализации генерируется большое количество частиц со случайными координатами и скоро-

стями и размещается на карте. Затем на каждой следующей итерации алгоритма частицы фильтруются и обновляются с учётом новых сенсорных данных, в качестве которых, как правило, используется карта препятствий. В работе [70] представлен усовершенствованный алгоритм генерации карты проходимости с использованием частиц, которые включают в себе дополнительную информацию, а также возможность использования метода с облаками точек от любого сенсора. В статье [71] предлагается подход к детекции и трекингу объектов на основе кластеризации частиц. Авторы [72] используют частицы с нулевой скоростью для более точного классификации статичных и динамических объектов. Наконец, в работе [11] представлено детальное описание параллельной реализации алгоритма, которая способна выполняться в режиме реального времени на бортовых вычислительных системах. Точность определения скорости и границ объектов напрямую зависит от количества частиц, которые участвуют в расчетах на каждой итерации, и разрешения ячеек двумерной карты занятости. Поэтому основной недостаток этого семейства алгоритмов — высокие требования к вычислительным ресурсам. При этом вычисления могут производиться независимо друг от друга и поэтому хорошо распараллеливаются, и подходят для встраиваемых графических процессоров и мобильных РТП.

Отдельно следует упомянуть семейство методов, использующих рекуррентные нейронные сети для обнаружения и предсказания направления движения динамических объектов [73, 74]. В таких методах на вход подаются наборы последовательных карт занятости, построенных классическими алгоритмами, а в результате строится карта с выделенными динамическими ячейками и их предполагаемым направлением движения. Авторы [73] развивают метод синтеза динамических карт занятости из [11]. Сетевая модель позволяет использовать пространственную информацию для уточнения скорости участников дорожного движения, что подходит для работы на дорогах общего пользования с детерминированным характером движения, и наоборот, не работает в хаотичной разделяемой с пешеходами среде. В работе [74] на вход сети подаётся после-

дователыюсть из карт проходимости, полученных классическим алгоритмом. Использование базового алгоритма построения карты уменьшает общее время работы, а накапливание последовательных кадров увеличивает точность предсказания. Общей проблемой этого подхода является создание обучающих выборок, также переобучение этих методов на конкретные параметры и настройки карт, находящихся в исходном наборе данных.

Методы, использующие частицы, являются наиболее универсальным решением для обнаружения динамических объектов с использованием двухмерных карт. При этом алгоритмы этих методов остаются достаточно сложными с точки зрения выстраивания жизненного цикла частицы, а также очень ресурсоёмкими и поэтому сложными в реализации.

Семантические карты занятости. Другим направлением развития методов построения двухмерных моделей проходимости является использование семантической информации. В работе [12] используется представление сцены в виде стиксе л ей. По аналогии с расчетом иУ-диспаритетов на изображении выделяются вертикальные области либо с одинаковой дальностью (вертикальные препятствия), либо с высотой (горизонтальные поверхности) — стиксели. Они содержат также и семантическую информацию, и по ним происходит дальнейшее обнаружение как динамических объектов (кластеризация стикселей соответствующих классов), так и статических препятствий. Авторы [75] также используют семантическую информацию от стереокамеры для выделения динамических объектов, только делают это на базе трёхмерной воксельной карты занятости. При этом занятость вокселя определяется по количеству точек в нём. Полученная модель используется для генерации ограничивающих параллелепипедов объектов путём кластеризации вокселей необходимых потенциально динамических классов алгоритмом ОВБСАМ [76]. В работе [77] представлен похожий алгоритм по построению очень точной, но при этом вычислительно трудоёмкой модели с использованием семантики. Высокая точность достигается за счет использования метода Марковских случайных полей для фильтрации

семантических меток.

Вышеперечисленные методы могут применяться не только к данным от камер, но и к дидарным облакам точек, для которых получены семантические метки. В настоящее время появилось множество нейросетевых методов, решающих задачу семантической классификации по разреженному облаку точек с дидаров [78 80]. Как было упомянуто выше, основной проблемой, решаемой при обучении нейронных сетей по неструктурированным облакам точек является представление данных. Можно выделить следующие виды: поточечные [81], вокседьные [78] и проекционные [79, 80], в которых по облаку точек тем или иным образом строится карта дальности. Вокседьные представления являются наиболее универсальными, поскольку не зависят от паттерна сканирования дидара и, кроме того, имеют высокое быстродействие, но при этом показывают и наихудшие качественные метрики. Методы с таким представлением самые распространенные и применяемые. Методы с поточечным представлением как правило обладают наилучшей точностью, но при этом и самой большой вычислительной сложностью, т. е. недостаточным для мобильных РТП быстродействием. Наконец, методы с проекционным представлением показывают как достаточно высокую точность и приемлемое быстродействие, но при этом не универсальны: при изменении паттерна сканирования дидара (при смене модели) иди даже при установке одного и того же сенсора на разную высоту метрики качества значительно ухудшаются. Частично эту проблему решают с помощью добавления рекуррентных блоков авторы [82]. Также в ряде работ семантическая модель проходимости рассматривается как результат компдек-сирования карт, подученных по данным СЛД и классифицируемых с помощью цветных изображений [83]. Такие методы сильно зависят от точности взаимной калибровки и синхронизации сенсоров.

Список литературы диссертационного исследования кандидат наук Шепель Илья Олегович, 2025 год

Список литературы

1. Data-driven intelligent transportation systems: A survey / J. Zhang [h pp.] // IEEE Transactions on Intelligent Transportation Systems. — 2011. — T. 12, ..V" 4. - C. 1024 1039.

2. Scalability in perception for autonomous driving: Waymo open dataset / P. Sun [h /i,p.] // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. - 2020. - C. 2440 2454.

3. nuScenes: A Multimodal Dataset for Autonomous Driving / H. Caesar [h /i,p.] // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). - 00.2020.

4. Kocic J., Jovicic N., Drndarevic V. Sensors and sensor fusion in autonomous vehicles // 2018 20th Telecommunications Forum (TELFOR). — IEEE. 2018. - C. 420-425.

5. Radar Camera Fusion via Representation Learning in Autonomous Driving / X. Dong [h /i,p.] // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. — 2021. — C. 1072—1081.

0. De Silva V., Roche J., Kondoz A. Robust fusion of LiDAR and wide-angle camera data for autonomous mobile robots // Sensors. — 2018. — T. 18, № 8. - C. 2730.

7. Domhof J., Kooij J. F., Gavrila D. M. An extrinsic calibration tool for radar, camera and lidar // 2019 International Conference on Robotics and Automation (ICRA). - IEEE. 2019. - C. 8107-8113.

8. Kaempchen N., Dietmayer K. Data synchronization strategies for multisensor fusion // Proceedings of the IEEE Conference on Intelligent Transportation Systems. T. 85. — 2003. — C. 1—9.

9. MOTS: Multi-Object Tracking and Segmentation / P. Voigtlaender [h pp.] // Conference on Computer Vision and Pattern Recognition (CVPR). — 2019.

10. A comprehensive survey of LIDAR-based 3D object detection methods with deep learning for autonomous driving / G. Zamanakos [h ßp.] // Computers & Graphics. - 2021. - T. 99. - C. 153 181.

11. A random finite set approach for dynamic occupancy grid maps with realtime application / D. Nuss [h ßp.] // The International Journal of Robotics Research. - 2018. - T. 37, № 8. - C. 841^866.

12. Semantic stixels: Depth is not enough / L. Schneider [h ßp.] // 2016 IEEE Intelligent Vehicles Symposium (IV). - IEEE. 2016. - C. 110-117.

13. End-to-end tracking and semantic segmentation using recurrent neural networks / P. Ondruska [h ßp.] // arXiv preprint arXiv:1604.05091. — 2016.

14. Himmelsbach A/.. Hundelshausen F. V., Wuensche H.-J. Fast segmentation of 3D point clouds for ground vehicles // 2010 IEEE Intelligent Vehicles Symposium. - IEEE. 2010. - C. 560^565.

15. Burger P., Wuensche H.-J. Fast multi-pass 3d point segmentation based on a structured mesh graph for ground vehicles // 2018 IEEE Intelligent Vehicles Symposium (IV). - IEEE. 2018. - C. 2150^2156.

16. Radiofsky T., Weichselbaum J., Zinner C. Off-road terrain mapping based on dense hierarchical real-time stereo vision // International Symposium on Visual Computing. — Springer. 2012. — C. 404 415.

17. Stereo vision based traversable region detection for mobile robots using uv-disparity / X. Zhu [h ßp.] // Proceedings of the 32nd Chinese Control Conference. - IEEE. 2013. - C. 5785 5790.

18. Moravec H., Elfes A. High resolution maps from wide angle sonar // Proceedings. 1985 IEEE international conference on robotics and automation. T_ 2. - IEEE. 1985. - C. 116-121.

19. Probabilistic terrain classification in unstructured environments / M. Haselich [h // Robotics and Autonomous Systems. — 2013. — T. 61, № 10. — C. 1051-1059.

20. Souza A., Gongohes L. M. Occupancy-elevation grid: an alternative approach for robotic mapping and navigation // Robotica. — 2015. — C. 1—18.

21. Fleischmann P., Berns K. A Stereo Vision Based Obstacle Detection System for Agricultural Applications // Field and Service Robotics: Results of the 10th International Conference / no,n pe^;. D. S. Wettergreen, T. D. Barfoot. — Cham : Springer International Publishing, 2016. — C. 217—231.

22. A full-3D voxel-based dynamic obstacle detection for urban scenario using stereo vision / A. Broggi [h ,np.] // Intelligent Transportation Systems-(ITSC), 2013 16th International IEEE Conference on. — IEEE. 2013. — C. 71—76.

23. OctoMap: An efficient probabilistic 3D mapping framework based on octrees / A. Hornung [h AP-] // Autonomous Robots. - 2013. - T. 34, № 3. - C. 189— 206.

24. 3D Lidar-based static and moving obstacle detection in driving environments: An approach based on voxels and multi-region ground planes / A. Asvadi [h /i,p.] // Robotics and Autonomous Systems. — 2016. — T. 83. — C. 299—311.

25. Fu H., Xue H., Ren R. Fast implementation of 3D occupancy grid for autonomous driving // 2020 12th International Conference on Intelligent Human-Machine Systems and Cybernetics (IHMSC). T. 2. — IEEE. 2020. — C. 217-220.

26. Grid-centric traffic scenario perception for autonomous driving: A comprehensive review / Y. Shi [h ,np.] // arXiv preprint arXiv:2303.01212. — 2023.

27. Terrain drivability analysis in 3D laser range data for autonomous robot navigation in unstructured environments / F. Neuhaus [h ^p.] // Emerging Technologies k Factory Automation, 2009. ETFA 2009. IEEE Conference on. - IEEE. 2009. - C. 1-4.

28. Hierarchies of octrees for efficient 3d mapping / K. M. Wurm [h ßp.] // 2011 IEEE/RSJ International Conference on Intelligent Robots and Systems. — IEEE. 2011. - C. 4249-4255.

29. Detecting usable planar regions for legged robot locomotion / S. Bertrand [h /i,p.] // 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). - IEEE. 2020. - C. 4736-4742.

30. A multi-resolution frontier-based planner for autonomous 3D exploration / A. Batinovic [h ßp.] // IEEE Robotics and Automation Letters. — 2021. — T. 6, № 3. - C. 4528-4535.

31. Development of task-oriented ROS-based Autonomous UGV with 3D Object Detection / R. Raveendran [h ßp.] // 2020 IEEE International Conference on Real-time Computing and Robotics (RCAR). - IEEE. 2020. - C. 427-432.

32. Matthies L., Elf es A. Integration of sonar and stereo range data using a grid-based representation // Proceedings. 1988 IEEE International Conference on Robotics and Automation. - IEEE. 1988. - C. 727-733.

33. Thrun S. B. Exploration and model building in mobile robot domains // IEEE international conference on neural networks. — IEEE. 1993. — C. 175— 180.

34. Konolige K. Improved occupancy grids for map building // Autonomous Robots. - 1997. - T. 4, № 4. - C. 351-367.

35. Thrun S. Learning occupancy grid maps with forward sensor models // Autonomous robots. - 2003. - T. 15, № 2. - C. 111-127.

36. Triebel R., Pfaff P., Burgard W. Multi-level surface maps for outdoor terrain mapping and loop closing // Intelligent Robots and Systems, 2006 IEEE/RSJ International Conference on. - IEEE. 2006. - C. 2276-2282.

37. Pfaff P., Triebel R., Burgard W. An efficient extension to elevation maps for outdoor terrain mapping and loop closing // The International Journal of Robotics Research. - 2007. - T. 26, № 2. - C. 217-230.

38. Oniga F., Nedevschi S. Processing dense stereo data using elevation maps: Road surface, traffic isle, and obstacle detection // IEEE Transactions on Vehicular Technology. - 2010. - T. 59, № 3. - C. 1172-1182.

39. Terrain mapping for off-road Autonomous Ground Vehicles using rational B-Spline surfaces and stereo vision / A. Broggi [h ,np.] // Intelligent Vehicles Symposium (IV), 2013 IEEE. - IEEE. 2013. - C. 648-653.

40. Rankin A. L., Huertas A., Matthies L. H. Stereo-vision-based terrain mapping for off-road autonomous navigation // SPIE Defense, Security, and Sensing. — International Society for Optics, Photonics. 2009. — C. 733210— 733210.

41. Larson J., Trivedi M.. Bruch M. Off-road terrain traversability analysis and hazard avoidance for UGVs : tcx. otu. / CALIFORNIA UNIV SAN DIEGO DEPT OF ELECTRICAL ENGINEERING. - 2011.

42. Real-time 3d mapping of rough terrain: A field report from disaster city / J. Pellenz [h /i,p.] // Safety Security and Rescue Robotics (SSRR), 2010 IEEE International Workshop on. — IEEE. 2010. — C. 1—6.

43. Dempster A. B. Upper and lower probabilities induced by a multivalued mapping // Classic works of the Dempster-Shafer theory of belief functions. — Springer, 2008. - C. 57-72.

44. Dempster-Shafer based multi-view occupancy maps / M. Morbee [h ,np.] // Electronics letters. - 2010. - T. 46, № 5. - C. 341-343.

45. Stereo-camera-based urban environment perception using occupancy grid and object tracking / T.-N. Nguyen [h ,np.] // IEEE Transactions on Intelligent Transportation Systems. - 2012. - T. 13, № 1. - C. 154-165.

46. Track Compensation Algorithm Using Free Space Information with Occupancy Grid Map / D. S. Pae [h ,np.] // International Journal of Control, Automation and Systems. - 2021. - T. 19, № 1. - C. 40-53.

47. Gtiger A., Lenz P., Urtasun R. Are we ready for autonomous driving? the kitti vision benchmark suite // 2012 IEEE conference on computer vision and pattern recognition. — IEEE. 2012. — C. 3354—3361.

48. Dsod: Learning deeply supervised object detectors from scratch / Z. Shen [h /i,p.] // Proceedings of the IEEE international conference on computer vision_ _ 2017. - C. 1919-1927.

49. Redmon J., Farhadi A. YOL09000: better, faster, stronger // Proceedings of the IEEE conference on computer vision and pattern recognition. — 2017. — C. 7263-7271.

50. Light-head r-cnn: In defense of two-stage object detector / Z. Li [h ,np.] // arXiv preprint arXiv:1711.07264. - 2017.

51. Deep manta: A coarse-to-fine many-task network for joint 2d and 3d vehicle analysis from monocular image / F. Chabot [h ,np.] // Proceedings of the IEEE conference on computer vision and pattern recognition. — 2017. — C. 2040— 2049.

52. Xu P., Chen Z. Multi-level fusion based 3d object detection from monocular images // Proceedings of the IEEE conference on computer vision and pattern recognition. - 2018. - C. 2345-2353.

53. Konigshof P., Salscheider N. O., Stiller C. Realtime 3d object detection for automated driving using stereo vision and semantic information // 2019 IEEE

Intelligent Transportation Systems Conference (ITSC). — IEEE. 2019. — C. 1405-1410.

54. Disp r-cnn: Stereo 3d object detection via shape prior guided instance disparity estimation / J. Sun [h ,np.] // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. — 2020. — C. 10548-10557.

55. Zhou Y., Tuzel 0. Voxelnet: End-to-end learning for point cloud based 3d object detection // Proceedings of the IEEE conference on computer vision and pattern recognition. — 2018. — C. 4490—4499.

56. Yin T., Zhou X., Krahenbuhl P. Center-based 3d object detection and tracking // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. - 2021. - C. 11784-11793.

57. Pointpillars: Fast encoders for object detection from point clouds / A. H. Lang [h /i,p.] // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. - 2019. - C. 12697-12705.

58. Shi S., Wang X., Li H. Pointrcnn: 3d object proposal generation and detection from point cloud // Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. — 2019. — C. 770—779.

59. Vpfnet: Improving 3d object detection with virtual point based lidar and stereo data fusion / H. Zhu [h ,np.] // IEEE Transactions on Multimedia. — 2022.

60. Pang S., Morris B.7 Radha H. CLOCs: Camera-LiDAR object candidates fusion for 3D object detection // 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). - IEEE. 2020. - C. 10386-10393.

61. Yadav R., Vierling A., Berns K. Radar RGB fusion for robust object detection in autonomous vehicle // 2020 IEEE International Conference on Image Processing (ICIP). - IEEE. 2020. - C. 1986-1990.

62. High dimensional frustum pointnet for 3d object detection from camera, lidar, and radar / L. Wang [h ,np.] // 2020 IEEE Intelligent Vehicles Symposium (IV). - IEEE. 2020. - C. 1621-1628.

63. Little ben: The ben franklin racing team's entry in the 2007 darpa urban challenge / J. Bohren [h ,np.] // Journal of Field Robotics. — 2008. — T. 25, ..V" 9. - C. 598-614.

64. Junior: The Stanford entry in the urban challenge / M. Montemerlo [h ,np.] // Journal of field Robotics. - 2008. - T. 25, № 9. - C. 569-597.

65. A perception-driven autonomous urban vehicle / J. Leonard [h ,np.] // Journal of Field Robotics. - 2008. - T. 25, № 10. - C. 727-774.

66. Team AnnieWAY's autonomous system for the 2007 DARPA Urban Challenge / S. Kammel [h ,np.] // Journal of Field Robotics. — 2008. — T. 25, ..V" 9. - C. 615-639.

67. LIDAR-based 3D object perception / M. Himmelsbach [h ,np.] // Proceedings of 1st international workshop on cognition for technical systems. T. 1. — 2008.

68. Himmelsbach M.. Luettel T., Wuensche H.-J. Real-time object classification in 3D point clouds using point feature histograms // Intelligent Robots and Systems, 2009. IROS 2009. IEEE/RSJ International Conference on. - IEEE. 2009. - C. 994-1000.

69. Danescu R., Oniga F., Nedevschi S. Particle grid tracking system for stereovision based environment perception // Intelligent Vehicles Symposium (IV), 2010 IEEE. - IEEE. 2010. - C. 987-992.

70. Danes cu R., Nedevschi S. A particle-based solution for modeling and tracking dynamic digital elevation maps // IEEE Transactions on Intelligent Transportation Systems. - 2014. - T. 15, № 3. - C. 1002-1015.

71. Danescu R., Oniga F., Nedevschi S. Modeling and tracking the driving environment with a particle-based occupancy grid // IEEE Transactions on Intelligent Transportation Systems. - 2011. - T. 12, № 4. - C. 1331-1342.

72. Grid-based mapping and tracking in dynamic environments using a uniform evidential environment representation / G. Tanzmeister [h ^p.] // 2014 IEEE International Conference on Robotics and Automation (ICRA). — IEEE. 2014. - C. 6090-6095.

73. Schreiber A/.. Hoermann 5., Dietmayer K. Long-term occupancy grid prediction using recurrent neural networks // 2019 International Conference on Robotics and Automation (ICRA). - IEEE. 2019. - C. 9299-9305.

74. Mohajerin N., Rohani M. Multi-step prediction of occupancy grid maps with recurrent neural networks // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. — 2019. — C. 10600—10608.

75. Scene flow propagation for semantic mapping and object discovery in dynamic street scenes / D. Kochanov [h ,np.] // 2016 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). — IEEE. 2016. — C. 1785-1792.

76. A density-based algorithm for discovering clusters in large spatial databases with noise / M. Ester |n ;ip.| // kdd. T. 96. - 1996. - C. 226-231.

77. Yang S., Huang Y., Scherer S. Semantic 3D occupancy mapping through efficient high order CRFs // 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). - IEEE. 2017. - C. 590-597.

78. Rpvnet: A deep and efficient range-point-voxel fusion network for lidar point cloud segmentation / J. Xu [h ,np.] // Proceedings of the IEEE/CVF International Conference on Computer Vision. — 2021. — C. 16024—16033.

79. 2-S3Net: Attentive feature fusion with adaptive feature selection for sparse semantic segmentation network / R. Cheng [m /j,p.] // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021. C. 12547 12556.

80. Searching efficient 3d architectures with sparse point-voxel convolution / H. Tang [m /j,p.] // European Conference on Computer Vision. Springer. 2020. C. 685 702.

81. Pointnet: Deep learning on point sets for 3d classification and segmentation / C. R. Qi [m /i,p.] // Proceedings of the IEEE conference on computer vision and pattern recognition. 2017. C. 652 660.

82. DAPS3D: Domain Adaptive Projective Segmentation of 3D LiDAR Point Clouds / A. Klokov [m /7 IEEE Access. 2023.

83. Erkent 0., Wolf C., Laugier C. Semantic grid estimation with occupancy grids and semantic segmentation networks // 2018 15th International Conference on Control, Automation, Robotics and Vision (ICARCV). IEEE. 2018. C. 1051 1056.

84. Ashok E. CVPR 2023 Workshop on Autonomous Driving / Youtube. 2023. URL: https ://www.youtube. com/watch?v=6x-Xb_uT7ts.

85. Occ3d: A large-scale 3d occupancy prediction benchmark for autonomous driving / X. Tian [m /j,p.] // Advances in Neural Information Processing Systems. 2024. T. 36.

86. Openoccupancy: A large scale benchmark for surrounding semantic occupancy perception / X. Wang [m /j,p.] // Proceedings of the IEEE/CVF International Conference on Computer Vision. 2023. C. 17850 17859.

87. Tri-perspective view for vision-based 3d semantic occupancy prediction / Y. Huang [m /j,p.] // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023. C. 9223 9232.

88. Surroundocc: Multi-camera 3d occupancy prediction for autonomous driving / Y. Wei [h /i,p.] // Proceedings of the IEEE/CVF International Conference on Computer Vision. - 2023. - C. 21729-21740.

89. UniOcc: Unifying Vision-Centric 3D Occupancy Prediction with Geometric and Semantic Rendering / M. Pan [h ,np.] // arXiv preprint arXiv:2306.09117. - 2023.

90. FB-OCC: 3D Occupancy Prediction based on Forward-Backward View Transformation / Z. Li [h ,np.] // arXiv preprint arXiv:2307.01492. — 2023.

91. Scene as occupancy / W. Tong [h ,np.] // Proceedings of the IEEE/CVF International Conference on Computer Vision. — 2023. — C. 8406—8415.

92. SemanticKITTI: A Dataset for Semantic Scene Understanding of LiDAR Sequences / J. Behley [h ,np.] // Proc. of the IEEE International Conf. on Computer Vision (ICCV). - 2019.

93. Zhang Y., Zhu Zn Du D. Occformer: Dual-path transformer for vision-based 3d semantic occupancy prediction // Proceedings of the IEEE/CVF International Conference on Computer Vision. — 2023. — C. 9433—9443.

94. Voxformer: Sparse voxel transformer for camera-based 3d semantic scene completion / Y. Li [h ,np.] // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. — 2023. — C. 9087—9098.

95. Cao A.-QCharette R. de. Monoscene: Monocular 3d semantic scene completion // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. - 2022. - C. 3991-4001.

96. StereoScene: BEV-Assisted Stereo Matching Empowers 3D Semantic Scene Completion / B. Li [h ,np.] // arXiv preprint arXiv:2303.13959. — 2023.

97. Lu C., Molengraft M. J. G. van de, Dubbeiman G. Monocular semantic occupancy grid mapping with convolutional variational encoder-decoder

networks // IEEE Robotics and Automation Letters. — 2019. — T. 4, № 2. 0. 445-452.

98. Roddick P., Cipolla R. Predicting semantic map representations from images using pyramid occupancy networks // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. — 2020. — C. 11138-11147.

99. Argoverse 2: Next Generation Datasets for Self-Driving Perception and Forecasting / B. Wilson [и др.] // Proceedings of the Neural Information Processing Systems Track on Datasets and Benchmarks. Т. 1 / под ред. J. Vanschoren, S. Yeung. — Curran, 2021.

100. Wirges S., Stiller C., Hartenbach F. Evidential occupancy grid map augmentation using deep learning // 2018 IEEE intelligent vehicles symposium (IV). - IEEE. 2018. - C. 668-673.

101. Road Scene Understanding by Occupancy Grid Learning from Sparse Radar Clusters using Semantic Segmentation / L. Sless [и др.] // 2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW). — IEEE. 2019. - C. 867-875.

102. Nikdel P., Chen M.. Vaughan R. Recognizing and Tracking High-Level, Human-Meaningful Navigation Features of Occupancy Grid Maps // 2020 17th Conference on Computer and Robot Vision (CRV). — IEEE. 2020. — C. 62-69.

103. Wang Z., Wu F., Niu Q. Multi-sensor fusion in automated driving: A survey // IEEE Access. - 2019. — T. 8. — C. 2847-2868.

104. Ramachandram P., Taylor G. W. Deep multimodal learning: A survey on recent advances and trends // IEEE signal processing magazine. — 2017. — T. 34, № 6. - C. 96-108.

105. Premehida C., Ludwig 0., Nunes U. LIDAR and vision-based pedestrian detection system // Journal of Field Robotics. — 2009. — T. 26, № 9. — C. 696-711.

106. Fusing vision and Mar-synchronization, correction and occlusion reasoning / S. Schneider [h ,np.] // Intelligent Vehicles Symposium (IV), 2010 IEEE. — IEEE. 2010. - C. 388-393.

107. Shahian Jahromi B., Tulahandhula T., Cetin S. Real-time hybrid multi-sensor fusion framework for perception in autonomous vehicles // Sensors. — 2019. — T. 19, № 20. - C. 4357.

108. LIDAR-camera fusion for road detection using fully convolutional neural networks / L. Caltagirone [h ,np.] // Robotics and Autonomous Systems. — 2019. - T. 111. - C. 125-131.

109. Kaempchen N., Buehler M.. Dietmayer K. Feature-level fusion for free-form object tracking using laserscanner and video // IEEE Proceedings. Intelligent Vehicles Symposium, 2005. - IEEE. 2005. - C. 453-458.

110. Radar/lidar sensor fusion for car-following on highways / D. Gohring [h /i,p.] // The 5th International Conference on Automation, Robotics and Applications. - IEEE. 2011. - C. 407-412.

111. A multi-sensor fusion system for moving object detection and tracking in urban driving environments / H. Cho [h ,np.] // 2014 IEEE International Conference on Robotics and Automation (ICRA). — IEEE. 2014. — C. 1836— 1843.

112. Stepan P., Kulich M.. Breucil L. Robust data fusion with occupancy grid // IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews). - 2005. - T. 35, № 1. - C. 106-115.

113. MacLachlan R., Mertz C. Tracking of moving objects from a moving vehicle using a scanning laser rangefinder // 2006 IEEE Intelligent Transportation Systems Conference. - IEEE. 2006. - C. 301-306.

114. Blanc C., Trassoudaine L., Gallice J. EKF and particle filter track-to-track fusion: A quantitative comparison from radar/lidar obstacle tracks // 2005 7th International Conference on Information Fusion. T. 2. — IEEE. 2005. —

115. Interactive road situation analysis for driver assistance and safety warning systems: Framework and algorithms / H. Cheng [и др.] // IEEE Transactions on intelligent transportation systems. — 2007. T. 8. Л'° 1. C. 157—167.

116. Moving object detection with laser scanners / C. Mertz [и др.] // Journal of Field Robotics. - 2013. - T. 30, № 1. - C. 17-43.

117. Obstacle detection and tracking for the urban challenge / M. S. Darms [и др.] // IEEE Transactions on intelligent transportation systems. — 2009. — T. 10, № 3. - C. 475-485.

118. Autonomous driving at Ulm University: A modular, robust, and sensor-independent fusion approach / F. Kunz [и др.] // 2015 IEEE intelligent vehicles symposium (IV). — IEEE. 2015. — C. 666—673.

119. Fusion of laser and monocular

camera data in object grid maps for vehicle environment perception / D. Nuss [и др.] // 17th International Conference on Information Fusion (FUSION). - IEEE. 2014. - C. 1-8.

120. Fusion of laser and radar sensor data with a sequential Monte Carlo Bayesian occupancy filter / D. Nuss [и др.] // 2015 IEEE intelligent vehicles symposium (IV). - IEEE. 2015. - С. Ю74-1081.

121. Шепель И. О. Поточечная классификация трёхмерных сцен с помощью дескрипторов на примере нахождения кузова // Сборник статей II Всероссийской научно-практической конференции молодых ученых, аспиран-

тов, магистрантов и студентов «Информационные системы и технологии: фундаментальные и прикладные исследования». - 2017. - С. 224-227.

122. Шепель И. О. Использование методов стереозрения для детектирования и построения модели поверхности дорожного покрытия // Сборник трудов XV Всероссийской научной конференции молодых ученых, аспирантов и студентов «Информационные технологии, системный анализ и управление». — 2017. — Т. 2. — С. 210—213.

123. Шепель И. О. Алгоритм комплексирования данных о динамических объектах в карту занятости РТП // Компьютерные и информационные технологии в науке, инженерии и управлении «КомТех-2021»: материалы Всероссийской научно-технической конференции с международным участием, _ 2021. — Т. 1. — С. 215-221.

124. Шепель И. О. Алгоритм обнаружения динамических объектов в карте занятости на основе фильтра частиц // Компьютерные и информационные технологии в науке, инженерии и управлении «КомТех-2022»: материалы Всероссийской научно-технической конференции с международным участием. - 2022. — Т. 1. — С. 71-78.

125. Occupancy Grid Génération With Dynamic Obstacle Segmentation in Stereo Images / I. Shepel [и др.] // IEEE Transactions on Intelligent Transportation Systems. - 2022. - T. 23, № 9. - C. 14779-14789. - DOI 10.1109/tits.2021.3133799. Категория Kl.

126. Шепель И. О. Метод генерации геопривязанных априорных и эталонных карт занятости с использованием семантической информации // Международный научно-исследовательский журнал. — 2024. — 10(148). — DOI 10.60797/IRJ.2024.148.134. Категория К1.

127. Шепель И. О. Алгоритм комплексирования нескольких источников данных в общую карту занятости // Известия Южного федерального уни-

верситета. Технические науки. — 2021. — 3(220). — С. 64—71. — DOI 10.18522/2311-3103-2021-3-64-71. Категория К2.

128. Шепель И. О. Обнаружение динамических объектов на карте занятости с накоплением на основе фильтра частиц // Известия Южного федерального университета. Технические науки. — 2022. — 3(227). — С. 192—201. — DOI 10.18522/2311-3103-2022-3-192-201. Категория К2.

129. Шепель И. О. Метод генерации карты занятости мобильного робота по данным мультиспектральной системы технического зрения // Известия Южного федерального университета. Технические науки. — 2024. — 2(238). - С. 236-246. - DOI 10.18522/2311-3103-2024-2-236-246. Категория К2.

130. Шепель И. О. Построение модели проходимости окружающей среды по облаку точек стереокамеры с использованием иерархической карты высот // Инженерный вестник Дона. — 2018. — 1(48). — Статья 94 (13. с). Категория К2.

131. Шепель И. О. Модифицированный алгоритм построения карты занятости по облаку точек от нескольких лидаров // Программные продукты и системы. — 2020. — Т. 33, № 2. — С. 257—265. — Категория К1.

132. A review of global path planning methods for occupancy grid maps regardless of obstacle density / E. G. Tsardoulias [и др.] // Journal of Intelligent & Robotic Systems. - 2016. - T. 84, № 1. - C. 829-858.

133. Kelly A., Stentz A. Rough terrain autonomous mobility—part 2: An active vision, predictive control approach // Autonomous Robots. — 1998. — T. 5, ..V" 2. - C. 163-198.

134. Jaspers #., Himmelsbach M.. Wuensche H.-J. Multi-modal local terrain maps from vision and LiDAR // Intelligent Vehicles Symposium (IV), 2017 IEEE. — IEEE. 2017. - C. 1119-1125.

135. Fulgenzi C., Spalanzani A., Laugier C. Dynamic obstacle avoidance in uncertain environment combining PVOs and occupancy grid // Proceedings 2007 IEEE International Conference on Robotics and Automation. — IEEE. 2007. - C. 1610-1616.

136. Bayesian occupancy grid filter for dynamic environments using prior map knowledge / T. Gindele [h ,np.] // 2009 IEEE Intelligent Vehicles Symposium. - IEEE. 2009. - C. 669-676.

137. Moravec H. P. Sensor fusion in certainty grids for mobile robots // Sensor devices and systems for robotics. — Springer, 1989. — C. 253—276.

138. 3D visual perception for self-driving cars using a multi-camera system: Calibration, mapping, localization, and obstacle detection / C. Hane [h ,np.] // Image and Vision Computing. — 2017. — T. 68. — C. 14—27.

139. Lidar based negative obstacle detection for field autonomous land vehicles / E. Shang [h /i,p.] // Journal of Field Robotics. — 2016. — T. 33, № 5. — C. 591-617.

140. Taylor Z., Nieto J. Motion-based calibration of multimodal sensor extrinsics and timing offset estimation // IEEE Transactions on Robotics. — 2016. — T. 32, № 5. - C. 1215-1229.

141. Borgefors G. Distance transformations in digital images // Computer vision, graphics, and image processing. — 1986. — T. 34, № 3. — C. 344 371.

142. Patch Refinement-Localized 3D Object Detection / J. Lehner [h ,np.] // arXiv preprint arXiv:1910.04093. - 2019.

143. Shin Kwon Y. P., Tomizuka M. Roarnet: A robust 3d object detection based on region approximation refinement // 2019 IEEE Intelligent Vehicles Symposium (IV). - IEEE. 2019. - C. 2510-2515.

144. Pointpainting: Sequential fusion for 3d object detection / S. Vora [h pp.] // Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. - 2020. - C. 4604-4612.

145. FusionPainting: Multimodal fusion with adaptive attention for 3d object detection / S. Xu [h ,np.] // 2021 IEEE International Intelligent Transportation Systems Conference (ITSC). - IEEE. 2021. - C. 3047-3054.

146. Nabati R., Qi H. Centerfusion: Center-based radar and camera fusion for 3d object detection // Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. — 2021. — C. 1527—1536.

147. Wu P., Chen S., Metaxas D. N. Motionnet: Joint perception and motion prediction for autonomous driving based on bird's eye view maps // Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. - 2020. - C. 11385-11395.

148. Short-Term Prediction and Multi-Camera Fusion on Semantic Grids / L. Hoyer [h /i,p.] // 2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW). - IEEE Computer Society. 2019. - C. 813821.

149. Negre A., Rummelhard P., Laugier C. Hybrid sampling bayesian occupancy filter // 2014 IEEE Intelligent Vehicles Symposium Proceedings. — IEEE. 2014. - C. 1307-1312.

150. Liu J. S., Chen R. Sequential Monte Carlo methods for dynamic systems // Journal of the American statistical association. — 1998. — T. 93, № 443. — C. 1032-1044.

151. Itkina M.. Driggs-Campbell Kn Kochenderfer M. J. Dynamic environment prediction in urban scenes using recurrent representation learning // 2019 IEEE Intelligent Transportation Systems Conference (ITSC). — IEEE. 2019. - C. 2052-2059.

152. Mahler R. P. Multitarget Bayes filtering via first-order multitarget moments // IEEE Transactions on Aerospace and Electronic systems. — 2003. - T. 39, № 4. - C. 1152-1178.

153. Mahler R. P. Statistical multisource-multitarget information fusion. T. 685. — Artech House Norwood, MA, USA, 2007.

154. Sidenhladh H. Multi-target particle filtering for the probability hypothesis density // arXiv preprint cs/0303018. — 2003.

155. Gordon N. J., Salmond D. J., Smith A. F. Novel approach to nonlinear/non-Gaussian Bayesian state estimation // IEE Proceedings F-radar and signal processing. T. 140. — IET. 1993. — C. 107—113.

156. Shan T., Englot B. Lego-loam: Lightweight and ground-optimized lidar odometry and mapping on variable terrain // 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). — IEEE. 2018. — 0. 4758-4765.

157. Radarnet: Exploiting radar for robust perception of dynamic objects / B. Yang [h /i,p.] // European Conference on Computer Vision. — Springer. 2020. - C. 496-512.

158. Full-Velocity Radar Returns by Radar-Camera Fusion / Y. Long [h ,np.] // Proceedings of the IEEE/CVF International Conference on Computer Vision. _ 2021. - C. 16198-16207.

159. Instantaneous lateral velocity estimation of a vehicle using Doppler radar / D. Kellner [h ,np.] // Proceedings of the 16th International Conference on Information Fusion. - IEEE. 2013. - C. 877-884.

160. Instantaneous full-motion estimation of arbitrary objects using dual Doppler radar / D. Kellner [h ,np.] // 2014 IEEE Intelligent Vehicles Symposium Proceedings. - IEEE. 2014. - C. 324-329.

161. Liu R., Wang J., Zhang B. High definition map for automated driving: Overview and analysis // The Journal of Navigation. — 2020. — T. 73, № 2. 0. 324-341.

162. Lanelet2: A high-definition map framework for the future of automated driving / F. Poggenhans [h ,np.] // 2018 21st international conference on intelligent transportation systems (ITSC). — IEEE. 2018. — C. 1672—1679.

163. Predictive cruise control using high-definition map and real vehicle implementation / H. Chu [h ,np.] // IEEE Transactions on Vehicular Technology. - 2018. - T. 67, № 12. - C. 11377-11389.

164. High-definition map combined local motion planning and obstacle avoidance for autonomous driving / Z. Jian [h ,np.] // 2019 IEEE Intelligent Vehicles Symposium (IV). - IEEE. 2019. - C. 2180-2186.

165. Baidu apollo em motion planner / H. Fan [h ,np.] // arXiv preprint arXiv: 1807.08048. - 2018.

166. Jo Kim C., Sunwoo M. Simultaneous localization and map change update for the high definition map-based autonomous driving car // Sensors. — 2018. - T. 18, № 9. - C. 3145.

167. Data driven prediction architecture for autonomous driving and its application on apollo platform / K. Xu [h ,np.] // 2020 IEEE Intelligent Vehicles Symposium (IV). - IEEE. 2020. - C. 175-181.

168. Raju V. A/.. Gupta V., Lomate S. Performance of open autonomous vehicle platforms: Autoware and Apollo // 2019 IEEE 5th International Conference for Convergence in Technology (I2CT). — IEEE. 2019. — C. 1—5.

169. Urban 3d semantic modelling using stereo vision / S. Sengupta [h ,np.] // 2013 IEEE International Conference on robotics and Automation. — IEEE. 2013. - C. 580-585.

170. Bayesian spatial kernel smoothing for scalable dense semantic mapping / L. Gan [h /i,p.] // IEEE Robotics and Automation Letters. — 2020. — T. 5, № 2. - C. 790-797.

171. Semantic mapping extension for OpenStreetMap applied to indoor robot navigation / L. Naik [h ,np.] // 2019 International Conference on Robotics and Automation (ICRA). - IEEE. 2019. - C. 3839-3845.

172. Volumetric instance-aware semantic mapping and 3D object discovery / M. Grinvald [h ,np.] // IEEE Robotics and Automation Letters. — 2019. — T. 4, № 3. - C. 3037-3044.

173. Sparse semantic map building and relocalization for UGV using 3D point clouds in outdoor environments / F. Yan [h ,np.] // Neurocomputing. — 2020. - T. 400. - C. 333-342.

174. Bernuy F., Ruiz del Solar J. Semantic mapping of large-scale outdoor scenes for autonomous off-road driving // Proceedings of the IEEE International Conference on Computer Vision Workshops. — 2015. — C. 35—41.

175. An image is worth 16x16 words: Transformers for image recognition at scale / A. Dosovitskiy [h ,np.] // arXiv preprint arXiv:2010.11929. — 2020.

176. Hierarchical neural architecture search for deep stereo matching / X. Cheng [h /i,p.] // Advances in Neural Information Processing Systems. — 2020. — T. 33. - C. 22158-22169.

177. Long J., Shelhamer E., Darrell T. Fully convolutional networks for semantic segmentation // Proceedings of the IEEE conference on computer vision and pattern recognition. — 2015. — C. 3431—3440.

178. Ocnet: Object context network for scene parsing / Y. Yuan [h ,np.] // arXiv preprint arXiv:1809.00916. - 2018.

179. Cortinhal T., Tzelepis G.7 Erdal Aksoy E. SalsaNext: Fast, uncertainty-aware semantic segmentation of LiDAR point clouds // International Symposium on Visual Computing. — Springer. 2020. — C. 207—222.

180. He H., Upcroft B. Nonparametric semantic segmentation for 3d street scenes // 2013 IEEE/RSJ international conference on intelligent robots and systems. - IEEE. 2013. - C. 3697-3703.

181. Learning-aided 3-D occupancy mapping with Bayesian generalized kernel inference / K. Doherty [h ,iip.] // IEEE Transactions on Robotics. — 2019. — T. 35, № 4. - C. 953-966.

182. Melkumyan A., Ramos F. T. A sparse covariance function for exact Gaussian process inference in large datasets // Twenty-first international joint conference on artificial intelligence. — 2009.

183. ROS: an open-source Robot Operating System / M. Quigley [h ,iip.] // ICRA workshop on open source software. T. 3. — Kobe, Japan. 2009. — C. 5.

184. Robot Operating System 2: Design, architecture, and uses in the wild / S. Macenski [h ,np.] // Science Robotics. — 2022. — T. 7, № 66. — eabm6074.

185. Andersone I. Quality Evaluation of the Occupancy Grids without Ground Truth Maps. // ICAART (1). - 2020. - C. 319-326.

186. Collins T., Collins J., Ryan D. Occupancy grid mapping: An empirical evaluation // 2007 mediterranean conference on control & automation. — IEEE. 2007. - C. 1-6.

187. Martin M. C., Moravec H. P. Robot evidence grids. — Carnegie Mellon University, the Robotics Institute, 1996.

188. CARLA: An Open Urban Driving Simulator / A. Dosovitskiy [h ,np.] // Proceedings of the 1st Annual Conference on Robot Learning. — 2017. — C. 1-16.

189. Improving semantic segmentation via video propagation and label relaxation / Y. Zhu [m /i,p.] // Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2019. C. 8856 8865.

190. Mihelich P., Konolige I(., Leibs J. stereo_image_proc / Open Source Robotics Foundation. 2024. URL: https : / / github . com / ros -perception/image_pipeline/tree/rolling/stereo_image_proc.

Приложение А

Свидетельства о государственной регистрации программы для ЭВМ и патенты на изобретения

Копии свидетельств о государственной регистрации программ для ЭВМ, а также патента на изобретение приведены ниже.

й й й Й

й й Й

Й Й

Й

Й Й Й Й Й Й Й Й Й Й Й Й Й Й Й Й Й Й Й й Й

¡РТСОТЙЕКСЖАШ ФВДШРАЩШШ

ЙЙЙЙЙЙ

СВИДЕТЕЛЬСТВО

о государственной регистрации программы для ЭВМ

№ 2021669677

Программный комплекс построения карты профильной проходимости на основе комплексирования данных от радаров, стереокамеры и лидаров

Правообладатель: Общество с ограниченной ответственностью "Интеграция новых технологий "

(т

Авторы: Шепель Илья Олегович №Ц), Бутов Павел Александрович ^^

Заявка № 2021668844

Дата поступления 24 ноября 2021 Г. Дата государственной регистрации

в Реестре программ для ЭВМ 01 декабря 2021 г.

Руководитель Федеральной службы по интеллектуальной собственности

ДОКУМЕНТ ПОДПИСАНРЭ^ЕКТРОННОИ подписью Сертификат Ох02А5СРВСООВ1АСР59А40А2Р08092Е9А118 Владелец Ивлиев Григорий Петрович

Действителен с 15.01.^021 по 15.01.2035

Г.П. Ивлиев

ш Й

ж

ш

ш

й

ж

ЙЙЙЙЙЙЙЙЙЙЙЙЙЙЙЙЙЙЙЙЙЙЙЙЙЙЙЙЙЙЙЙ

ш ш ш ш

ш

ш

ш

Й

ш

ш

ш

ш ш ш Й

Р©ОТМ1Й(0ЖАШ ФВДШРДЩШШ

СВИДЕТЕЛЬСТВО

о государственной регистрации программы для ЭВМ

№ 2022660480

Программный компонент обнаружения динамических объектов в дискретной карте проходимости на основе

фильтра частиц

Правообладатель: Общество с ограниченной ответственностью "Интеграция новых технологий "

т)

Авторы: Шепель Илья Олегович (Яи), Бутов Павел Александрович (Яи)

Заявка № 2022660039

Дата поступления 03 ИЮНЯ 2022 Г. Дата государственной регистрации

в Реестре программ для ЭВМ 22 иЮНЯ 2022 г.

Руководитель Федеральной службы по интеллектуальной собственности

документ подписанзэяектроннои подписью

Сертификат б8Ь80077е!4е40ГОа94ес1Ьс12<'1:И5с15с7 Владелец Зубов Юрий Сергеевич

Действителен с 2-.03.2622 по 26.05.2023

Ю.С. Зубов

$

ш а

а ш

ш

ш

ш

ж $

ршсшйсжазп ФВДШРАШЩШ

жжжжж®

ж

ж

ж ж

ж

ж ж ж

ж ж

ж ж ж ж ж ж ж ж ж ж ж ж

ж ж ж ж

СВИДЕТЕЛЬСТВО

о государственной регистрации программы для ЭВМ

№ 2023665111

Программный комплекс обнаружения объектов на основе комплексирования радиолокационных данных для решения задач обеспечения безопасности ЖД

переездов

Правообладатель: Общество с ограниченной ответственностью "Интеграция новых технологий " (Яи)

Авторы: Ковач Илья Николаевич ^и), Шепель Илья Олегович ^и), Фролов Игорь Олегович ^и), Троц Дмитрий Олегович ^и), Суанов Тимур Александрович ^и), Беляев Алексей Александрович ^и)

Заявка № 2023663797

Дата поступления 03 июля 2023 г.

Дата государственной регистрации в Реестре программ для ЭВМ 12 иЮЛЯ 2023 г.

Руководитель Федеральной службы по интеллектуальной собственности

жжжжжж ж ж ж

ж ж ж ж ж ж ж ж ж ж ж ж

документ подписан электронной подписью

Сертификат 429Ь6а0Ге3853164Ьа!9бГ83Ь73Ь4аа7 Владелец Зубов Юрий Сергеевич

Действителен с 10,05^023 по 02.08.2024

Ю.С. Зубов

ж ж ж ж

ж ж ж ж ж ж ж ж ж ж ж ж ж ж ж

ж

>ЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖ<

й й ш й

й

й й

й

Й й ш Й

Й

Й Й й Й

Р<ШСШПЙОШ51 ФВДШРДЩШШ

ЙЙЙЙЙЙ |Й

СВИДЕТЕЛЬСТВО

о государственной регистрации программы для ЭВМ

№ 2022665330

Программный компонент генерации дискретной семантической модели проходимости с тайловой

структурой

Правообладатель: Общество с ограниченной ответственностью "Интеграция новых технологий"

т)

Авторы: Шепель Илья Олегович (Ки), Бутов Павел Александрович (Ки)

Заявка № 2022664183

Дата поступления 01 августа 2022 Г.

Дата государственной регистрации

в реестре программ для эвм 12 августа 2022 г.

Руководитель Федеральной службы по интеллектуальной собственности

документ подписанзэяектроннои подписью

Сертификат б8Ь80077е14е40ГОа94ес1Ьс12<'1:И5с15с7 Владелец Зубов Юрий Сергеевич

Действителен с 2-.03.2622 по 26.05.2023

Ю.С. Зубов

Й

Й Й Й й

Й Й Й Й

Й

Й

Й Й Й

5ЙЙЙЙЙЙЙЙЙЙЙЙЙЙЙЙЙЙЙЙЙЙЙЙЙЙЙЙЙЙЙЙ1

1Р®ОТШЙ€ЖАЖ «Д13РАЩШШ

ж жжжжж

ж ж ж ж

ж

ж ж ж

ж

жжжжжж

НА ИЗОБРЕТЕНИЕ

№ 2782662

Способ обработки данных и система технического зрения для роботизированного устройства

Патентообладатель: Общество С ограниченной ответственностью "Интеграция новых технологий" №)

Авторы: Бутов Павел Александрович (ЯП), Шепелъ Илья Олегович (111), Суанов Тимур Александрович (Я11)

Заявка №2021138314

Приоритет изобретения 22 декабря 2021 г. Дача государственной регистрации в Государственном реестре изобретений Российской Федерации 31 октября 2022 I". Срок действия исключительного права на изобретение истекает 22 декабря 2041 г.

Руководитель Федеральной службы по интеллектуальной собственности

* !

у

Ю.С. Зубов

Ж

ж ж

ж

ж ж

ж

ж ж ж ж ж ж

ЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖ^;

Приложение Б

Акт об использовании результатов диссертационного исследования

Копия акта об использовании результатов диссертационного исследования приведена на следующей странице.

УТВЕРЖДАЮ Генеральный директор ация новых технологий»

Т. В. Михайлова Of. 2024 г.

АКТ

об использовании результатов диссертационной работы Шепеля Ильи Олеговича на соискание учёной степени кандидата технических наук на тему:

«Разработка и исследование методов обнаружения препятствий движению интеллектуального транспорта на основе мультиспектральной системы технического зрения»

Настоящий акт составлен в том, что результаты диссертационной работы Шепеля Ильи Олеговича использованы в ООО «Интеграция новых технологий» при выполнении следующих проектных работ:

- разработка системы обнаружения препятствий по данным лидара, стереокамеры и радара уличного робота-уборщика SENSUM Sweeper;

- разработка системы комплексирования информации от различных сенсоров системы технического зрения SENSUM Fusion.

К числу наиболее важных результатов диссертации И. О. Шепеля, нашедших применение в проектных работах, выполняемых ООО «Интеграция новых технологий», следует отнести следующие:

- метод генерации карты проходимости по облакам точек мультисенсорной и мультимодальной системы технического зрения, не зависящий от типа и количества датчиков, их расположения, областей видимости и временной синхронизации сенсоров;

- модифицированный метод обнаружения динамических препятствий в карте проходимости, способный учитывать прямые измерения скорости от радара миллиметрового диапазона и оптимизированный для работы на встраиваемых системах;

- метод генерации высокоточных офлайн и онлайн семантических карт проходимости, и способ их комплексирования с картами проходимости, основанными на геометрических признаках.

Разработанные в ходе диссертационного исследования методы позволили увеличить точность и полноту обнаружения препятствий движению мобильной робототехнической платформы в различных условиях для различных типов сцен. Разработанный метод построения семантической оффлайн карты позволил производить предварительную генерацию траекторий уборки с учётом статических препятствий сцены и тем самым существенно снизил вычислительную нагрузку на вычислительные блоки робота-уборщика.

Ведущий инженер-исследователь, к.т.н. ¿^л-^cf] Т. А. Суанов