Алгоритмическое обеспечение обработки сегментированной сенсорной информации для слежения за подвижными объектами в режиме реального времени тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Волкова Мария Александровна

• Волкова Мария Александровна
• кандидат наук
• 2024

Оглавление диссертации кандидат наук Волкова Мария Александровна

Введение

1. Обзор и анализ систем слежения за подвижными объектами

1.1. Методы и алгоритмы слежения на основе сегментированных сенсорных данных

1.2. Способы обеспечения работы систем слежения в реальном времени

1.3. Оценка требований, предъявляемых к алгоритмическому и программному обеспечению

1.3.1. Метрики для оценки качества слежения

1.3.2. Оценка требований, предъявляемых к новым алгоритмам слежения

1.3.3. Оценка требований к режиму реального времени в задачах слежения

1.4. Постановка задач диссертационной работы

1.5. Выводы по главе

2. Алгоритмическое обеспечение для слежения за подвижными объектами на основе комплексирования разнородной сегментированной информации

2.1. Комплексный алгоритм слежения за подвижными объектами в трёхмерном пространстве

2.1.1. Формализация задачи слежения за подвижными объектами

2.1.2. Структура комплексного алгоритма слежения за подвижными объектами в трёхмерном пространстве

2.2. Алгоритм комплексирования информации

2.3. Алгоритм для оценки степени соответствия новых данных ранее отслеживаемым объектам

2.4. Выводы по главе

3. Программное обеспечение распределенного вычислительного комплекса для слежения за подвижными объектами

3.1. Исследование вычислительной сложности разработанных алгоритмов слежения

3.2. Метод практической реализации фильтра Калмана в архитектуре

распределенного вычислительного комплекса

3.3. Программное обеспечение распределенного вычислительного комплекса на

базе параллельно работающих матричных сопроцессоров

3.4. Выводы по главе

4. Проведение экспериментальных исследований разработанного алгоритмического и программного обеспечения

4.1. Оценка точности локализации при комплексировании видеоданных и

данных дальнометрии

4.2. Оценка качества слежения в сравнении с известными аналогами

4.3. Комплексная оценка алгоритмического и программного обеспечения

4.4. Выводы по главе

Заключение

Список сокращений

Список условных обозначений

Список литературы

Приложение А. Зарегистрированные результаты интеллектуальной деятельности

Приложение Б. Акты о внедрении

Введение

Бурное развитие технологий искусственного интеллекта в последние годы существенно повысило качество автоматического распознавания образов [90], позволив сегментировать сложные сцены, выделяя интересующие объекты в видеопотоке [139] и в данных сканирующих лазерных дальномеров [71]. Появилась возможность создавать системы локальной навигации [44,60], которые способны работать без использования спутниковых систем, обеспечивать идентификацию персонала методом распознавания лиц [24], разрабатывать системы автоматического обнаружения нештатных ситуаций на производственных объектах [22,40,47] и т. д. В то же время во многих практических задачах требуется не просто распознать присутствие того или иного объекта, а отслеживать и анализировать траекторию его движения в долгосрочной перспективе. Если объект активно перемещается, для охвата всех участков его траектории может потребоваться комплексирование информации с нескольких сенсоров. Ещё более задача усложняется, когда необходимое количество одновременно отслеживаемых объектов увеличивается до десятков и сотен. К приложениям, в которых возникают подобные задачи, можно отнести: реализацию технологий дополненной реальности в системах трансляции спортивных мероприятий [65], автоматизированную оценку результатов в спорте высоких достижений [77], отслеживание автотранспорта в системах организации дорожного движения [48,49], наблюдение за потенциальными нарушителями при организации массовых мероприятий [9,20,80], реализация автоматов сопровождения военной и специальной техники [3,17]. Отдельно можно отметить, что в последнем случае все больше растёт потребность не просто в определении координат целей, а в долговременном наблюдении для повышения уровня ситуационной осведомлённости [35,36]. При этом, в подавляющем большинстве случаев при решении всех вышеперечисленных задач требуется обеспечение слежения за подвижными объектами в режиме реального времени [17, 20, 49, 65].

Анализируя работы по тематике слежения за подвижными объектами можно сделать вывод, что обобщенный алгоритм для решения вышеуказанных задач включает в себя дискретные стадии: предварительную обработку данных сенсоров, сегментацию на отдельные объекты и определение их признаков (в том числе распознавание образов), оценку траектории каждого из наблюдаемых объектов и анализ этих траекторий, необходимых для решения конечной задачи (рис. 1).

Рис.1. Обобщённые стадии алгоритмов решения задач, требующих слежения за

подвижными объекта.

Первые две стадии решают базовые вопросы обработки сенсорной информации, а непосредственно слежение за подвижными объектами осуществляется только на стадиях оценки и анализа траекторий, когда каждому распознанному образу ставится в соответствие ранее отслеживаемый объект, и определяется его пространственное положение. Однако в большинстве работ авторы предпочитают рассматривать решение той или иной прикладной задачи

целиком, исследуя все рассмотренные стадии в комплексе. При этом основной акцент зачастую делается на этапе сегментации объектов из сенсорных данных. Это можно объяснить следующим факторами:

1. Качество решения задачи сегментации непосредственно влияет на саму возможность дальнейшего слежения за подвижными объектами.

2. При высоком качестве сегментации и распознавания образов задача слежения может быть сведена к тривиальной аппроксимации траектории каждого из распознанных объектов.

3. В последние годы развитие нейросетевых подходов и методов машинного обучения дало множество новых инструментов для решения задач сегментации и распознавания [90], которые, в свою очередь, вызвали широкий интерес в исследовательской среде.

В то же время нетрудно заметить, что в работах, чьи авторы полагались исключительно на результаты распознавания образов (например, [11]) достигается существенно более низкое качество слежения по сравнению с исследованиями, где стадии анализа и оценки траекторий рассматривались отдельно (например, [147]).

Данная ситуация привела к появлению большого количества частных решений, часть из которых предназначены для работы только с сенсорами одного типа [2], часть неотделима от того или иного метода сегментации объектов [19], а часть базируется на допущениях (например, о расположении всех подвижных объектов на единой «плоскости земли») [76], которые сложно применимы за пределами конкретной разработки. Это, в свою очередь, замедляет как общее развитие теоретической базы алгоритмов слежения за объектами, так и их внедрение при решении новых задач. В то же время вне зависимости от типа используемых сенсоров или принятых допущений, основные усилия при создании таких алгоритмов направлены на разрешение ошибок (рис. 2), возникающих на этапе сегментации из-за следующих причин: условий внешней среды или особенностей объекта (недостаточное освещение, низкая контрастность, др.),

низкой разрешающей способности сенсора, несовершенства выбранного алгоритма сегментации.

Рис.2. Три основные ошибки стадии сегментации и оценки признаков объектов, на преодоление которых направлены алгоритмы слежения за подвижными объектами:

ложноположительное определение объекта; (б) ошибочное отсутствие объекта; (в) принцип возникновения окклюзии; (г) объединение нескольких объектов в один

вследствие окклюзии.

Основными ошибками сегментации являются:

1. Ложноположительное определение объекта в месте, где он отсутствует (рис. 2а).

2. Ошибочное отсутствие объекта в результатах сегментации (рис. 2б).

3. Объединение нескольких объектов в один вследствие окклюзии [16, 42, 50] (рис. 2в).

Часто вышеперечисленные ошибки рассматриваются только в контексте обработки сегментированных видеоданных, но можно отметить, что их состав не поменяется и в случае применения сенсоров других типов, например, дальномеров. Такая общность создаёт предпосылки для разработки унифицированных алгоритмов слежения, которые бы могли быть использованы для решения широкого класса задач вне зависимости от фактического состава сенсорной системы. При этом комплексирование видеоданных с различными сенсорами, дающими информацию о глубине, открывает дополнительные возможности для улучшения качества слежения, в первую очередь с точки зрения разрешения проблемы окклюзий.

Создание унифицированных алгоритмов слежения и соответствующих им программных реализаций, абстрагированных от конкретного метода сегментации и обеспечивающих в режиме реального времени слежение в трёхмерном пространстве за подвижными объектами с характеристиками качества, не уступающими их частным аналогам, является безусловно актуальной задачей, решение которой востребовано во многих отраслях российской экономики. При этом для обеспечения оперативного масштабирования производительности с увеличением количества сенсоров и наблюдаемых объектов необходимо уделить особое внимание исполнимости разрабатываемых алгоритмических и программных решений на базе распределенных вычислительных комплексов.

Целью работы является разработка алгоритмов, обеспечивающих решение в реальном времени задачи слежения за подвижными объектами на основе комплексирования сегментированной сенсорной информации видеокамер и дальномеров.

Объектом исследования являются системы слежения за подвижными объектами, построенные на базе распределенных вычислительных средств, обрабатывающих данные видеокамер различного спектрального диапазона, а также дальномеров различного типа.

Предметом исследования являются алгоритмы обработки сегментированной сенсорной информации, обеспечивающие слежение за подвижными объектами, методы сопоставления сегментированных видеоданных и данных дальнометрии, а также методы практической реализации алгоритмов обработки информации на базе распределенных вычислительных средств с целью обеспечения слежения в режиме реального времени.

Методы исследования: теория вероятности, вычислительная геометрия, кластерный анализ, математическое моделирование, компьютерное моделирование, профилирование программного обеспечения, синтез программного обеспечения программируемых логических интегральных схем (ПЛИС), экспериментальные исследования.

Основные положения, выносимые на защиту:

1. Алгоритм, позволяющий на основе данных о пространственном положении дать количественную оценку степени соответствия новых сегментированных сенсорных данных ранее отслеживаемым объектам.

2. Алгоритм комплексирования информации, позволяющий количественно оценить степень соответствия сегментированных данных на выходе различных сенсоров друг другу и ранее отслеживаемым объектам, а также сделать вывод о появлении новых объектов в рабочей зоне сенсорной системы.

3. Алгоритм слежения за подвижными объектами в трёхмерном пространстве на основе комплексирования сегментированных видеоданных и данных дальнометрии.

4. Программное обеспечение распределенного вычислительного комплекса на базе параллельно работающих матричных сопроцессоров, решающее задачу слежения за подвижными объектами в режиме реального времени. Результаты, обладающие научной новизной:

1. Разработан алгоритм, позволяющий на основе данных о пространственном положении дать количественную оценку степени

соответствия новых сегментированных сенсорных данных ранее отслеживаемым объектам.

2. Разработан алгоритм комплексирования информации, позволяющий определять появление новых объектов в рабочей зоне сенсорной системы и обеспечивающий качество слежения за подвижными объектами до 85.8% по метрике МОТА на наборе видеоданных APIDIS, что превосходит известные алгоритмы, работающие в аналогичных условиях.

3. Разработан алгоритм слежения за подвижными объектами в трёхмерном пространстве на основе комплексирования сегментированных видеоданных и данных дальнометрии, обеспечивающий относительную ошибку локализации не хуже 1.5%.

Достоверность исследования подтверждается использованием апробированного математического аппарата; результатами компьютерного моделирования в программном пакете Octave; результатами натурных экспериментальных исследований, а также модельных экспериментов на базе верифицированных наборов данных.

Практическая значимость диссертации Разработаны и внедрены:

1. Программное обеспечение распределенного вычислительного комплекса на базе параллельно работающих матричных сопроцессоров, решающее задачу слежения за подвижными объектами в режиме реального времени.

2. Метод практической реализации фильтра Калмана в архитектуре распределенного вычислительного комплекса на базе параллельно работающих матричных сопроцессоров, минимизирующий количество паразитных копирований и повышающий производительность расчетов.

3. Прототип системы слежения, позволяющий на основе видеоданных с нескольких камер в реальном времени оценивать положение малогабаритных квадрокоптеров в ходе соревнований по дрон-рейсингу.

Реализация результатов работы

Все основные результаты работы были внедрены в научно-исследовательскую деятельность РТУ МИРЭА при выполнении гранта РФФИ №19-38-90301 на тему «Развитие методов параллельной обработки информации для определения параметров подвижных объектов в режиме реального времени на основе обработки разнородной сенсорной информации в распределенной бортовой системе автономного модульного робота» и гранта РТУ МИРЭА «Инновации в реализации приоритетных направлений развития науки и технологий» НИЧ №28/24 на тему «Трекер объектов в режиме реального времени на базе разнородной сенсорной информации», что подтверждается соответствующим актом внедрения.

Результаты диссертационной работы были использованы в учебном процессе на кафедре проблем управления Института искусственного интеллекта РТУ МИРЭА:

1. При создании практикума по курсу «Автоматизация инженерных расчётов».

2. При проведении технологической практики и выполнении выпускных

квалификационных работ студентов бакалавриата кафедры проблем

управления РТУ МИРЭА.

Введение диссертации (часть автореферата) на тему «Алгоритмическое обеспечение обработки сегментированной сенсорной информации для слежения за подвижными объектами в режиме реального времени»

Апробация работы

Основные теоретические и прикладные результаты диссертационной работы докладывались на всероссийских и международных научных конференциях: 2018 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (EIConRus), Санкт-Петербург, 2018 г.; Вторая молодёжная конференция «Инновационная деятельность в науке и технике. Электромеханика, автоматика и робототехника», Истра, 2018 г.; 2019 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (EIConRus), Санкт-Петербург, 2019 г.; 2020 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (EIConRus), Санкт-Петербург, 2020 г.; 2021 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering

(EIConRus), Санкт-Петербург, 2021 г.; 2022 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (EIConRus), Санкт-Петербург, 2022 г.

Степень опубликования научных результатов

Все основные результаты диссертационной работы опубликованы в 10 печатных работах, в том числе в 3 статьях в рецензируемых научных изданиях, входящих в перечень ВАК по специальности 2.3.1 (2 работы в журналах категории К1) и 6 работах, индексируемых в международных базах Scopus и Web of Science, одна из которых опубликована в журнале, относящемся к высшему квартилю Q1. По результатам диссертации зарегистрирована 1 программа для ЭВМ и 1 патент на изобретение.

Соответствие научной специальности

Область научного исследования соответствует пунктам: №2 «Формализация и постановка задач системного анализа, оптимизации, управления, принятия решений, обработки информации и искусственного интеллекта», №4 «Разработка методов и алгоритмов решения задач системного анализа, оптимизации, управления, принятия решений, обработки информации и искусственного интеллекта» и №5 «Разработка специального математического и алгоритмического обеспечения систем анализа, оптимизации, управления, принятия решений, обработки информации и искусственного интеллекта» паспорта научной специальности 2.3.1. «Системный анализ, управление и обработка информации, статистика». По совокупности представленных решений и основных положений диссертационная работа соответствует технической отрасли науки.

1. Обзор и анализ систем слежения за подвижными объектами

1.1. Методы и алгоритмы слежения на основе сегментированных сенсорных

данных

Многие методы и алгоритмы слежения основаны на распознавании объектов по набору признаков. Сопоставление объектов на различных измерениях сенсоров осуществляется по принципу сходства их распознанных образов. При этом неминуемо встаёт вопрос разрешающей способности сенсора, обеспечивающей детализацию объекта со степенью достаточной для его стабильного распознавания. Наиболее простым способом достижения этого является использование сенсоров с узкой диаграммой направленности и удержание наблюдаемого объекта в заданной её части (как правило, в центре) (рис. 3) путём механического перемещения сенсора или изменения его диаграммы направленности иным способом (например, за счёт применения антенных фазированных решёток или аналогичных решений).

Рис.3. Слежение на основе изменения рабочей зоны датчика.

К данным способам слежения можно отнести системы на основе радиолокационных станций (РЛС) [23,8,39] или оптоэлектронных приборов [17]. При их практической реализации основной акцент делается на создании и совершенствовании алгоритмов поиска и распознавания подвижных объектов. Для этого активно разрабатываются различные детекторы [100]. При этом в

последнее время особо активно развиваются подходы, основанные на применении нейронных сетей [11, 38, 46, 84].

Основным недостатком таких способов является то, что они, как правило, жёстко привязаны к конкретному типу сенсора. Также стоит отметить, что за редким исключением (например, [38]), они имеют достаточно низкие показатели качества слежения по широко известной метрике Multiple object tracking accuracy (MOTA), которая позволяет оценить точность слежения. В большинстве случаев данная оценка находится на уровне 60%. Однако это не единственные их недостатки. Исходя из принципа своей работы такие системы требуют применения датчиков с узким полем зрения (например, видеокамер с полем 3*3° [23]), которые позволяли бы, с одной стороны, однозначно распознать цель, а с другой - минимизировать количество посторонних объектов в кадре. В то же время узкое поле сенсора предъявляет высокие требования к скорости и точности изменения его диаграммы направленности (например, перемещению камеры с использованием опорно-поворотного устройства). Особенно это актуально при слежении за высокодинамичными объектами. Так, если интересующий подвижный объект пропадёт из рабочей зоны сенсора, то осуществить повторный его захват будет крайне сложно. То же касается окклюзий (т. е. перекрытия одного объекта другим или статичным препятствием). В случае ошибочного переключения на другую цель, возврат к слежению за исходной может стать не тривиальной задачей. Использование же сенсоров с широким полем создаёт проблемы распознавания объектов, которые, например, в случае видеокамер, могут иметь размер всего 2*2 пикселя [19].

Одним из наиболее известных путей решения описанных выше проблем является совмещение в одном комплексе сенсоров с широким и узким полем обзора: первый используется для обнаружения (в том числе в случае потери объекта из-за ошибок сегментации) при помощи различных методов (к примеру, методом Виолы — Джонса [5]), а вторые для их устойчивого сопровождения [4]. При этом сопоставление объектов в сенсоре с широким полем нередко

осуществляется с использованием так называемого Венгерского алгоритма [79] и Калмановской фильтрации. Однако даже в этом случае у подобных систем присутствуют проблемы с масштабированием, связанные с тем, что для устойчивого отслеживания каждого объекта все равно требуется отдельный узкопольный сенсор. Также такой подход практически не решает проблему пространственной локализации объектов, за исключением случаев, когда трёхмерная локализация выполняется за счёт принципа действия используемого датчика. К последним относится применение РЛС [23] или камер, сьюстированных с лазерным дальномером, направленным параллельно оси визирования [17].

Для преодоления описанных выше недостатков используются пространственно распределенные системы информационных сенсоров [16], по данным которых отслеживается большое количество объектов и обеспечивается определение их пространственного положения. Использование видеокамер совместно с дальномерами позволяет увеличить объём полезной информации, собираемой о наблюдаемых объектах [12]. На сегодняшний день существует большое количество различных методов и алгоритмов слежения за подвижными объектами на базе сегментированных данных (наблюдений) с системы сенсоров. Они могут быть классифицированы различными способами, которые представлены в обзорах [106,93].

В одной из последних обзорных работ по данной тематике [106] предлагается разделение методов на четыре группы по способу построения их структуры (которое наиболее полно охватывает и классические, и современные способы слежения):

1) первая группа [53,118,127, 128] - характеризуется применением фильтров для анализа параметров объектов совместно с алгоритмами сопоставления прогнозируемых данных и наблюдений;

2) вторая группа [124,147,81,118] - их особенностью является многоуровневая структура, которая позволяет применять несколько разных

алгоритмов слежения, что улучшает показатель MOTA. Большинство методов этой группы базируется на применении нейронных сетей, к примеру, в [124] применяется нейронная сеть long short-term memory (LSTM) вместе с расчетом евклидова расстояния, в [74] LSTM используется с жадным алгоритмом;

3) третья группа - характеризуются нестандартными подходами, к примеру, применяется чередующаяся локальная и глобальная оптимизация [140] или используется алгоритм оптимизации Франк-Вульфа [58]);

4) четвёртая группа - на базе фильтра Калмана, но без применения подхода вероятностного отождествления данных - probabilistic data association (PDA) [126], а также с использованием нечеткой логики [89] и множественных моделей - interactive multiple models (IMM) [138].

Особый интерес представляют методы первой и второй группы, которым авторы дали названия: вероятностные (probabilistic methods) и иерархические (hierarchical methods). Они имеют лучшие показатели качества слежения и производительности [106], а также на сегодняшний день шире представлены в научной литературе.

В работах, посвящённых вероятностным методам, каждый объект представлен в виде вектора состояния, который состоит из набора параметров (зачастую это положение и скорость). На основе динамической модели прогнозируется изменение этих параметров с течением времени, что обеспечивает возможность сопоставления пар наблюдение-объект при помощи различных алгоритмов, таких как алгоритмы поиска ближайших соседей global nearest neighbor (GNN) и suboptimal nearest neighbor (SNN) [78], алгоритм совместного вероятностного отождествления данных joint probabilistic data association (JPDA) [87] и др. Базовыми примерами применяемых в методах данной группы фильтров являются широко известные фильтр Калмана и фильтр частиц. Различные комбинации, дополнения и модификации фильтров и алгоритмов для сопоставления информации, которые активно разрабатываются на сегодняшний

день, позволяют значительно улучшать показатели точности слежения и производительности.

Классические алгоритмы GNN и SNN являются одними из наиболее ранних, которые стали использоваться для слежения за множеством объектов. Сопоставление данных проводится на основе матрицы (the cost matrix), состоящей из оценок соответствий наблюдений объектам, расчет которых проводится при помощи различных функций, например, одной из самых распространенных является евклидова метрика [78], т. е. рассчитывается ближайшее расстояние между наблюдением и ранее найденным объектом. Преимуществом данных алгоритмов является низкая вычислительная сложность, но при этом высока вероятность неверного сопоставления в случаях с близко находящимися друг к другу объектами, которая в дальнейшем не корректируется.

В отличии от GNN и SNN, где рассчитываются однозначные оценки соответствия наблюдений объекту, алгоритм JPDA позволяет формировать вероятности сопоставления одному объекту нескольких наблюдений, что улучшает качество слежения, но при этом с увеличением количества отслеживаемых целей вычислительная сложность растет в геометрической прогрессии [87].

Вышеуказанные алгоритмы не решают проблему выявления ложных целей, для этого был разработан метод multiple hypothesis tracking (MHT), основанный на методе максимального правдоподобия. Его ключевой особенностью является накопление данных до тех пор, пока не будет сделан окончательный вывод о сопоставлении наблюдения с объектом. Таким образом, ошибочные наблюдения, вызванные, например, шумом сенсора, не будут стабильно сохраняться в течении нескольких измерений, и при окончательном решении не учитываются [52]. Минусом такого решения является существенный рост требования к памяти при реализации [45].

Для снижения вычислительной сложности были разработаны алгоритмы на базе probability hypothesis density (PHD): gaussian mixture PHD (GM-PHD) и sequential Monte Carlo PHD (SMC-PHD), использующие подход случайных конечных множеств, random finite set (RFS), при котором группа объектов представлена как множество состояний, а все наблюдения - как множество измерений [6]. В таком случае отсутствует необходимость в явном виде связывать наблюдения с объектами, что решает проблемы отсутствия априорной информации о количестве отслеживаемых объектов. Фильтры на базе алгоритмов PHD относятся к классу фильтров интенсивности [132], где, в отличии от байесовских фильтров (например, к ним относится JPDAF), вместо оценки функции плотности вероятности используется статистический момент первого порядка и оценивается функция интенсивности [7].

На подходе RFS также основан новый (относительно вышеуказанных) алгоритм слежения за множеством объектов poisson multi-bernoulli mixture filter (PMBM), особенность которого заключается в комбинации распределений Пуассона и Бернулли, где первый компонент необходим для моделирования необнаруженных на текущем измерении объектов, а второй - для того, чтобы сделать вывод о том, является ли наблюдение новым или уже известным объектом, или ложным срабатыванием [102]. В работе [120] представлено сравнение фильтров на базе GNN, JPDA, PHD и PMBM и был сделан вывод о том, что наиболее производительными являются GNN и PHD, но при условии, что для реализации будут использованы высокопроизводительные вычислительные устройства рекомендуется использовать PMBM для слежения.

Участники группы Multimedia and Vision (Лондонский университет королевы Марии) в работах [127, 128] представили метод слежения на базе фильтра частиц, где не требуются данные о количестве отслеживаемых объектов, так как применяется метод кластеризации Mean-Shift, то есть среднего сдвига, не требующий априорной информации о количестве кластеров. На рис.4 приведён перевод на русский язык оригинальной иллюстрации из работы [127], где

наглядно представлена интеграция кластеризации Mean-Shift в алгоритм слежения.

Рис.4. Оригинальный алгоритм слежения за подвижными объектами на основе фильтра части и Mean-shift кластеризации, предложенный [127, 128].

В работе [118] предлагается подход слежения за объектами, схожими по внешнему виду, на базе алгоритма максимального апостериорного ожидания-максимизации (MAP-EM), основанного на EM-алгоритме, при котором максимальное правдоподобие параметров вероятностной модели оценивается в условиях скрытых переменных. Данный подход обеспечивает высокий показатель MOTA для данной группы методов - 85.5%.

В работе [83] авторами предлагается оригинальный подход для борьбы с искажениями предсказываемых траекторий наблюдаемых объектов в результате окклюзий, основанный на объединении фильтра Калмана и фильтра частиц. На рис.5 приведена оригинальная иллюстрация из работы [83], которая демонстрирует различие в методике предсказания при использовании обычной калмановской фильтрации и предложенного авторами комбинированного подхода. Авторы отмечают, что данный подход увеличивает точность локализации, но его применение лимитировано рядом условий: объекты хорошо сегментированы, двигаются с невысокими скоростями, а также правильно подобрано количество частиц. В работе в т. ч. приведено сравнение производительности фильтра Калмана и фильтра частиц, и сделан вывод о том, что фильтр Калмана обрабатывает данные быстрее в 1.13 раз.

40 30 20 10 0 40 30 20 10 0

0 5 10 15 20 21 25 30

Рис.5. Сравнение принципа действия алгоритмов слежения, основанных на калмановской фильтрации (сверху) и на комбинированном подходе, предложенным в [83].

Рассмотрим подробнее иерархические методы. Их особенностью является многоуровневая структура взаимодействия различных алгоритмов слежения для сопоставления пар наблюдение - объект или наблюдение - треклет (последовательность уже сопоставленных наблюдений для конкретного объекта, полученная за определенный промежуток времени), при этом количество уровней может различаться [57,88]. В работах данной группы часто применяются нейронные сети (R-CNN, LSTM [124] и др.). Основной акцент делается на обработке моделей внешнего вида и расчете метрик сходства, но при этом учитываются параметры движения, которые анализируются при помощи фильтра Калмана [57,136]. В отличии от вероятностных методов, он применяется без подхода PDA. Также во многих работах используются высокий и низкий показатели достоверности сопоставления [88], которые формируются в результате первой итерации расчетов (на первом уровне), и наблюдения для пар с низким показателем являются исходными данными для повторного расчета с новыми условиями или для других алгоритмов (на последующих уровнях).

На рис.6 представлена структурная схема четырёхступенчатого метода [57], где применяются два типа сопоставления при помощи Венгерского алгоритма:

наблюдение - треклет и предположительно новый треклет - треклет, в т. ч. используется глобальное и локальное сопоставление. Подход обеспечивает высокие показатели точности слежения, но ориентирован только на одну камеру, при этом время обработки одного кадра занимает 60 мс.

Рис.6. Структурная схема иерархического алгоритма, предложенного в [57].

Структурная схема алгоритма, предложенного в [86] представлена на рис. 7. Как видно, решение задачи сопоставления в нём неразрывно связано с сегментацией. Вероятностная карта занятости формируется непосредственно на стадии распознавания образов игроков. Это существенно лимитирует применение данного алгоритма и его производных в задачах, где в качестве сенсоров используются измерительные устройства отличные от видеокамер.

Вышеуказанные работы стали отправной точкой для большого количества исследователей, а предложенные в них алгоритмы слежения за подвижными объектами получили множество модификаций. В работах [86, 144] применяется гибридный метод, то есть сочетающий построение карты занятости для нахождения игроков на поле, а также выделение основных признаков (цвета формы, номер игрока) объектов, то есть их классификация. Данная информация в совокупности используется для отслеживания на базе алгоритма нахождения кратчайшего пути (k-shortest path). Отдельного обсуждения заслуживает

достижение значение MOTA равного 100%, которое описано в работе [86]. Столь высокий показатель был достигнут благодаря тому, что на всей последовательности кадров были корректно определены все признаки для всех наблюдаемых объектов. На практике такие кадровые последовательности встречаются крайне редко, так как требуют условий съёмки близких к идеальным. В связи с этим достижение в работе [86] столь высокого значения MOTA можно считать лишь частным случаем, по которому нельзя говорить о качестве работы алгоритма в общем.

Рис.7. Структурная схема гибридного алгоритма сегментации и слежения за подвижными

объектами, предложенного в [86].

Метод [81] на базе LSTM обеспечивает обработку данных со скоростью 30 кадров в секунду, но при этом показатель его МОТА на наборе данных, что и в работе [86] составляет 75.2%. В работе [147] предложен подход, при котором учитываются карта занятости и визуальная информация (включая позы игроков), что обеспечивает точность слежения составляет 81.1%, но при этом сами авторы отмечают высокую вычислительную сложность предложенного подхода по сравнению с существующими работами.

Как вероятностные, так и иерархические методы могут быть разделены на две группы по способу представления окружающей среды и подвижных объектов [91]: основанные на моделях объектов и на базе построения карты занятости.

Методы первой группы [43,55,148] фокусируются на движущихся объектах и позволяют оценивать изменяющиеся параметры объектов для сопоставления наблюдение-объект, но имеют более низкие показатели точности слежения по метрике МОТА ввиду частого переключения идентификаторов объектов. Важным является этап сегментации, предшествующий этапу слежения, на котором, как было сказано выше, возникает ряд проблем: ложноположительные наблюдения, ошибочное отсутствие и т. д. Существует два пути для их исправления. Часть работ нацелена на улучшение алгоритмов, которые применяются на данном этапе, например, путём улучшения настроек и/или изменения дескрипторов [69,63,146]. У данного подхода два недостатка: зачастую отсутствует возможность применения таких систем слежения в режиме реального времени (в приведенном примере из-за медленного обучения дескрипторов) и жесткая привязка к способу обнаружения без возможности тестирования различных методов. Второй путь решения проблем на этапе обнаружения — это разработка новых алгоритмов для этапа слежения, которые принимают на вход все доступные наблюдения и уже в ходе сопоставления отсеивают ложноположительные измерения или формируют предположения о местоположении необнаруженного на текущий момент объекта. Такой способ более предпочтителен, т. к. позволяет экспериментировать с алгоритмами на первом этапе, а также открывает больше возможностей для обеспечения работы в режиме реального времени. Методы, основанные на отдельной сегментации объектов, также разделяются по представлению объекта в виде точки, ограничивающей рамки или силуэта. Наиболее универсальным является способ представления в виде точки, т. к. подходит в т. ч. для слежения за небольшими объектами, движущимися на высоких скоростях, например, за гоночными беспилотными летательными аппаратами (БПЛА). Также данное представление объектов используется, когда заранее известно, что съёмка будет проводиться на дальних расстояниях. Силуэты применяются, как правило, при разработке систем слежения за людьми, например, спортсменами [147], а

ограничивающие рамки — для пешеходов и транспорта, когда в алгоритме учитываются габариты объекта.

Методы второй группы (на базе построения карты занятости) [59, 97, 129] отличаются универсальным представлением данных, что позволяет легко комплексировать информацию с разных типов сенсоров и дает больше возможностей применения на открытых пространствах. Общий принцип методов данной группы заключается в том, что детерминированная в пространстве плоскость делится на ячейки с фиксированным размером, и на основе алгоритмов, применяющихся на этапе обнаружения, делается вывод о наличии или отсутствии объекта в ячейке. К недостаткам такого подхода относятся непригодность к использованию для слежения за некоторыми типами объектов, например, БПЛА, а также строго обусловленная размером ячейки точность локализации объекта. Методы, принадлежащие второй группе, часто используются в задаче отслеживания спортсменов multi-athlete tracking (MAT) с помощью системы камер [86, 144]. Они характеризуются, как правило, высокой точностью слежения, то есть их показатели MOTA>80%. Но, с другой стороны, они требуют для реализации высокопроизводительные вычислительные устройства, что ограничивает их область применения. Знаковой работой в данной группе является [54], которая в последствии была дополнена различными модификациями [62, 91,99].

На основе проведённого анализа можно сделать следующий вывод: структура иерархических методов позволяет добиться высоких показателей точности слежения, но при этом они уступают вероятностным методам по производительности из-за увеличения количества уровней взаимодействия алгоритмов. Таким образом, перспективным развитием является интеграция вероятностного подхода с фильтром Калмана в иерархическую структуру для учета не только параметров движения, но и признаков объектов. Также предпочтительным является способ слежения на основе анализа параметров объекта ввиду больших перспектив для увеличения точности локализации.

1.2. Способы обеспечения работы систем слежения в реальном времени

Возможность работы того или иного алгоритма в режиме реального времени определяется, с одной стороны, его вычислительной сложностью, а с другой — производительностью вычислительных устройств, на которых он исполняется. Как показывает практика, для того, чтобы добиться высокой производительности в решении задач слежения за большим количеством объектов, требуется наравне с процессорами общего назначения использовать специализированные аппаратные ускорители. В качестве таких ускорителей, как правило, выступают графические процессорные ядра (GPU) [46, 131] или реконфигурируемые микросхемы ПЛИС [61, 101]. Помимо этого также существуют процессоры, оснащённые специализированными блоками для ускорения и распараллеливания вычислений. К ним, например, можно отнести продукцию отечественной компании АО НТЦ "Модуль", которая объединяет в себе процессорные ядра общего назначения и специализированные тензорные ядра оригинальной архитектуры [1]. Однако, с прикладной точки зрения такие ускорители мало чем отличаются от GPU, поэтому в данной работе они будут рассматриваться вместе в виде единой группы задачно-ориентированных сверх больших интегральных схем (СБИС).

На рис.8 представлена обобщённая структурная схема вычислительной системы на базе GPU. Как видно, GPU включает в себя большое количество независимых арифметико-логических устройств (АЛУ), объединённых в группы, которые имеют общий блок управления и кэш. Такая структура позволяет параллельно выполнять большое количество вычислений, существенно ускоряя матричные преобразования, Фурье-анализ, цветофильтрацию и многие другие. Для работы GPU ядра требуют наличие процессора общего назначения, который, как правило, связан с GPU через общую Random-access memory (RAM) память.

26 GPU

С

Блок управления

Э

АЛУ

АЛУ

АЛУ

АЛУ

АЛУ

Кэш

С

Блок управления

J

АЛУ

АЛУ

АЛУ

АЛУ

АЛУ

Кэш

С

Блок управления

Кэш

J

АЛУ

АЛУ

АЛУ

АЛУ

АЛУ

Память (RAM)

Процессор общего назначения

Рис.8. Обобщённая структурная схема вычислительной системы на базе GPU.

Стоит отметить, что данная память является одним из самых «узких мест» при решении задач аппаратного ускорения вычислений при помощи GPU. Дело в том, что за редким исключением данная память является отдельной от основной RAM, используемой процессором общего назначения для исполнения запущенных на нём программ. Соответственно, данные, загруженные в процессе работы этих программ, требуют дополнительного копирования в память, связанную с GPU. В результате, если операции, выполняемые на GPU и на процессоре общего назначения идут поочерёдно, то временные затраты на копирование данных между разными блоками памяти могут перевесить все преимущества, полученные за счёт аппаратного ускорения.

Список литературы диссертационного исследования кандидат наук Волкова Мария Александровна, 2024 год

Список литературы

1. Адамов А. Мы готовы стать платформой для обеспечения цифрового суверенитета страны в области искусственного интеллекта //Электроника: Наука, технология, бизнес. - 2020. - №. 7. - С. 10-17.

2. Акилин П. Ю. Сравнение эффективности алгоритмов отслеживания множества объектов //Академия педагогических идей Новация. Серия: Студенческий научный вестник. - 2019. - №. 6. - С. 19-22.

3. Акиншин Р. Н. и др. Алгоритмы обнаружения и сопровождения траекторий воздушной цели при неоднозначности измерений //Известия Тульского государственного университета. Технические науки. - 2022. - №. 2. -С. 191-198.

4. Алпатов Б. А., Бабаян П. В. Методы обработки и анализа изображений в бортовых системах обнаружения и сопровождения объектов //Цифровая обработка сигналов. - 2006. - №. 2. - С. 45-51.

5. Амосов О. С., Иванов Ю. С. Модифицированный алгоритм локализации номерных знаков транспортных средств на основе метода Виолы-Джонса //Информатика и системы управления. - 2014. - №. 1. - С. 127-140.

6. Андреев А. Ю. Перспективы использования радиолокационных станций с фазированными антенными решетками на кораблях зарубежных ВМС, предназначенных для слежения за космическими объектами //Труды Крыловского государственного научного центра. - 2018. - №. 3 (385). - С. 151-160.

7. Андреев К. В. Метод локализации многих целей с помощью угловых наблюдений //Проблемы управления. - 2014. - №. 2. - С. 75-80.

8. Бархатов, А. В., Веремьев, В. И., Головков, А. А., Кутузов, В. М., & Малышев, В. Н. Полуактивная РЛС мониторинга обстановки и охраны объектов //Наука и образование: технология успеха. - 2016. - С. 32-37.

9. Белых-Силаев Д. В., Каляев И. А., Коровин Я. С. Применение бесконтактных полиграфных устройств для обеспечения безопасности массовых мероприятий //Современная наука. - 2021. - №. 5. - С. 17-20.

10. Бобков А. В., Тедеев Г. В. Система мультикамерного отслеживания объекта //Инженерный журнал: наука и инновации. - 2021. - №. 10 (118). - С. 8.

11. Буряченко В. В., Пахирка А. И. Методы слежения за объектами с применением глубокого обучения //Сибирский журнал науки и технологий. -2020. - Т. 21. - №. 2. - С. 150-154.

12. Волков В. Ю., Маркелов О. А., Богачев М. И. Сегментация изображений и селекция объектов на основе многопороговой обработки //Известия высших учебных заведений России. Радиоэлектроника. - 2019. - Т. 22. - №. 3. - С. 24-35.

13. Волкова М.А. «Программа для сопоставления информации о скорости и положении объектов», свидетельство о регистрации программы ЭВМ № 2022619609 от 19.05.2022.

14. Волкова М.А., Романов А.М., «Устройство параллельной обработки разнородной сенсорной информации в режиме реального времени», патент на изобретение № 2762636 от 28.09.2020.

15.Волкова М. А., Романов А. М., Романов М. П. Распределенная система локализации объектов в рабочей зоне модульного реконфигурируемого мобильного робота //Мехатроника, автоматизация, управление. - 2021. - Т. 22. -№. 12. - С. 634-643.

16. Зюзин А.В., Кныш М.В., Разиньков С.Н., Тимошенко А.В. Обоснование путей построения и оценка эффективности применения пространственно распределенной системы информационных сенсоров для мониторинга обстановки //Научно-технический вестник информационных технологий, механики и оптики. - 2022. - Т. 22. - №. 3. - С. 600-609.

17. Каляев А. И., Коровин Я. С. Комплекс обнаружения и поражения БПЛА-нарушителей с помощью БПЛА-перехватчиков //Вопросы оборонной техники.

Серия 16: Технические средства противодействия терроризму. - 2021. - №. 3-4. -С. 101-107.

18. Казанцева О. Новые точки роста российской электроники //Электроника: Наука, технология, бизнес. - 2017. - №. 6. - С. 44-47.

19. Коровин Я. С., Хисамутдинов М. В., Иванов Д. Я. Метод обнаружения точечных объектов на монохромных изображениях видеопоследовательности в режиме реального времени //Известия Тульского государственного университета. Технические науки. - 2019. - №. 10. - С. 356-365.

20. Лошаков К. П., Мамонова Т.Е. Алгоритм отслеживания и выделения движущихся объектов в видеопотоке //Системы анализа и обработки данных. -2019. - №. 3 (76). - С. 77-86.

21. Лохин В. М. и др. Универсальная бортовая система управления роботами различных типов базирования и назначения (реализация принципов унификации и импортозамещения) //Вестник МГТУ МИРЭА. - 2015. - №. 3-1. -С. 230-248.

22. Маркин С. Д., Остроух Е. Н., Венцов Н. Н. Особенности автоматизации процесса обнаружения пламени по видеопоследовательности в нефтегазовой отрасли //Инженерный вестник Дона. - 2019. - №. 6 (57). - С. 19.

23. Минаков Е. И. и др. Следящая фильтрация показаний радиолокационной станции при обнаружении БПЛА //Известия высших учебных заведений. Электроника. - 2021. - Т. 26. - №. 6. - С. 554-564.

24. Омельяненко Е. А., Басыня Е. А., Сафронов А. В. Разработка системы контроля и управления доступом персонала в рудник на основе биометрической идентификации //Перспективное развитие науки, техники и технологий. - 2017. -С. 142-150.

25. Петров В. Ф. и др. Опыт построения человеко-машинного интерфейса оператора дистанционного и супервизорного управления движением РТС //Известия Южного федерального университета. Технические науки. - 2019. - №. 1 (203). - С. 199-209.

26. Петрова Е. А. Кризисы отечественной электроники и проблемы импортозамещения //Стратегии развития социальных общностей, институтов и территорий. Том 1.—Екатеринбург, 2022. - 2022. - С. 62-66.

27. Посыпкин М. А. Решение задач глобальной оптимизации в среде распределенных вычислений //Программные продукты и системы. - 2010. - №. 1.

- С. 23-29.

28. Романов А.М., «Матричный сигнальный процессор для Калмановской фильтрации», патент на полезную модель №183846 от 05.10.2018.

29. Романов А. М. Обеспечение масштабирования и заданного уровня отказоустойчивости систем управления роботов //Труды МАИ. - 2020. - №. 111. -С. 19.

30. Романов А. М., Романов М.П., Манько С.В., Волкова М.А., Чиу В.-Ю., Ма Х.-П. Распределенная вычислительная система на базе модульного реконфигурируемого робота для задач слежения за множеством объектов //Труды ФГУП" НПЦАП". Системы и приборы управления. - 2019. - №. 2. - С. 68-81.

31. Романов А. М. Новая архитектура подчиненных устройств Ethernet POWERLINK на базе программируемых логических интегральных схем //Труды МАИ. - 2019. - №. 106. - С. 15-15.

32. Романов А. М. Элементная база масштабируемых отказоустойчивых систем управления роботов //Труды ФГУП" НПЦАП". Системы и приборы управления. - 2020. - №. 2. - С. 43-57.

33. Романов А. М., Волкова М. А. Алгоритм многокритериальной обработки информации для принятия решений в системе управления группой охранных роботов //Тезисы докладов Второй молодёжной конференции" Инновационная деятельность в науке и технике. Электромеханика, автоматика и робототехника".

- 2018. - С. 82-86.

34. Рочев К. В., Базарова А. М. Разработка атрибутно-ориентированного профилировщика для анализа быстродействия функций программного кода на

языке С //Информационные технологии в управлении и экономике. - 2021. - №. 2. - С. 73-79.

35. Рудианов Н. А., Петров В. Ф., Хрущев В. С. Особенности разработки сценариев группового применения наземных автономных робототехнических комплексов //Перспективные системы и задачи управления. - 2021. - С. 17-21.

36. Рудианов Н. А., Хрущев В. С., Петров В. Ф. Постановка задачи группе автономных робототехнических комплексов специального назначения //Перспективные системы и задачи управления. - 2022. - С. 320-323.

37. Савченко Ю.В., Шипатов А.В., Сотников А.В., Шепилова К.М., Метод трехмерной реконструкции сцены в относительных координатах по двум изображениям с неоткалиброванных видеокамер. Журнал «Известия ВУЗов. Электроника», стр.265-276, т.25, №3, Москва, 2020 г.

38. Саечников И. В., Скакун В. В., Чернявская Э. А. Адаптивный метод детектирования и отслеживания динамических объектов SY-BILSTM. - 2022.

39. Сычев М. И., Фесенко С. В. Оценивание координат и параметров движения воздушных судов по информации от радиолокационных средств наблюдения //Труды МАИ. - 2015. - №. 83. - С. 25.

40. Тисецкий А. Т., Ковалев Д. И., Мансурова Т. П. Обзор методов сегментации и обнаружения объектов на изображении в реальном времени для предотвращения аварийных ситуаций РЖД //Современные инновации, системы и технологии. - 2022. - Т. 2. - №. 3. - С. 0101-0116.

41. Фахми Ш. С. и др. Многопроцессорная система обнаружения и слежения за морскими судами на базе технологии «система на кристалле» //Морские интеллектуальные технологии. - 2021. - Т. 1. - №. 3. - С. 179-185.

42. Щелкунов А. Е. и др. Метрики оценки алгоритмов автоматического сопровождения //Известия Южного федерального университета. Технические науки. - 2020. - №. 1 (211). - С. 233-245.

43. Abdullah H. N., Abdulghafoor N. H. Objects detection and tracking using fast principle component purist and kalman filter //International Journal of Electrical & Computer Engineering (2088-8708). - 2020. - T. 10. - №. 2.

44. Al Said N., Gorbachev Y., Avdeenko A. An unmanned aerial vehicles navigation system on the basis of pattern recognition applications—Review of implementation options and prospects for development //Software: Practice and Experience. - 2021. - T. 51. - №. 7. - C. 1509-1517.

45. Alam F. et al. Data fusion and IoT for smart ubiquitous environments: A survey //IEEE Access. - 2017. - T. 5. - C. 9533-9554.

46. Amosov O. S. et al. Face Video Tracking Using Deep Neural Networks //2020 International Multi-Conference on Industrial Engineering and Modern Technologies (FarEastCon). - IEEE, 2020. - C. 1-6.

47. Amosov O. S., Amosova S. G. Detection and Recognition Simulation of Abnormal Behavior of Dynamic Systems //2020 13th International Conference" Management of large-scale system development"(MLSD). - IEEE, 2020. - C. 1-6.

48. Amosov O. S. et al. Using the deep neural networks for normal and abnormal situation recognition in the automatic access monitoring and control system of vehicles //Neural Computing and Applications. - 2021. - T. 33. - №. 8. - C. 3069-3083.

49. Azimjonov J., Ozmen A. A real-time vehicle detection and a novel vehicle tracking systems for estimating and monitoring traffic flow on highways //Advanced Engineering Informatics. - 2021. - T. 50. - C. 101393.

50. Bernardin K., Stiefelhagen R. Evaluating multiple object tracking performance: the clear mot metrics //EURASIP Journal on Image and Video Processing. - 2008. - T. 2008. - C. 1-10.

51. Biookaghazadeh S., Zhao M., Ren F. Are FPGAs Suitable for Edge Computing? //USENIX Workshop on Hot Topics in Edge Computing (HotEdge 18). -2018.

52. Blackman S. S. Multiple hypothesis tracking for multiple target tracking //IEEE Aerospace and Electronic Systems Magazine. - 2004. - T. 19. - №. 1. - C. 5-18.

53. Byeon M. et al. Variational inference for 3-D localization and tracking of multiple targets using multiple cameras //IEEE Transactions on Neural Networks and Learning Systems. - 2019. - T. 30. - №. 11. - C. 3260-3274.

54. Coué C. et al. Bayesian occupancy filtering for multitarget tracking: an automotive application //The International Journal of Robotics Research. - 2006. - T. 25. - №. 1. - C. 19-30.

55. Chakravarty P., Jarvis R. Panoramic vision and laser range finder fusion for multiple person tracking //2006 IEEE/RSJ International Conference on Intelligent Robots and Systems. - IEEE, 2006. - C. 2949-2954.

56.Chen J. et al. Multi-view triangulation: Systematic comparison and an improved method //IEEE Access. - 2020. - T. 8. - C. 21017-21027.

57. Chen T. et al. A hierarchical association framework for multi-object tracking in airborne videos //Remote Sensing. - 2018. - T. 10. - №. 9. - C. 1347.

58. Dehghan A., Shah M. Binary quadratic programing for online tracking of hundreds of people in extremely crowded scenes //IEEE transactions on pattern analysis and machine intelligence. - 2017. - T. 40. - №. 3. - C. 568-581.

59. Danescu R., Oniga F., Nedevschi S. Modeling and tracking the driving environment with a particle-based occupancy grid //IEEE Transactions on Intelligent Transportation Systems. - 2011. - T. 12. - №. 4. - C. 1331-1342.

60. Eckenhoff K. et al. Multi-camera visual-inertial navigation with online intrinsic and extrinsic calibration //2019 International Conference on Robotics and Automation (ICRA). - IEEE, 2019. - C. 3158-3164.

61. Gao Y., Wang S., So H. K. H. REMOT: A Hardware-Software Architecture for Attention-Guided Multi-Object Tracking with Dynamic Vision Sensors on FPGAs //Proceedings of the 2022 ACM/SIGDA International Symposium on Field-Programmable Gate Arrays. - 2022. - C. 158-168.

62. Gindele T. et al. Bayesian occupancy grid filter for dynamic environments using prior map knowledge //2009 IEEE Intelligent Vehicles Symposium. - IEEE, 2009. - C. 669-676.

63. Gheissari N., Sebastian T.B., Hartley R.I. Person Reidentification Using Spatiotemporal Appearance // Proc. 2006 IEEE Computer Society Conf. Computer Vision and Pattern Recognition. NY, USA: IEEE, 2006. P. 1528-1535. https://doi.org/10.1109/CVPR.2006.223.

64. Gonzalez-Sanchez T., Puig D. Real-time body gesture recognition using depth camera //Electronics Letters. - 2011. - T. 47. - №. 12. - C. 697-698.

65. Gradl S. et al. Virtual and augmented reality in sports: an overview and acceptance study //Proceedings of the 2016 ACM International Joint Conference on Pervasive and Ubiquitous Computing: Adjunct. - 2016. - C. 885-888.

66. Hu H. N. et al. Joint monocular 3D vehicle detection and tracking //Proceedings of the IEEE/CVF International Conference on Computer Vision. - 2019. - C. 5390-5399.

67. Hu Y., Liu Y., Liu Z. A Survey on Convolutional Neural Network Accelerators: GPU, FPGA and ASIC //2022 14th International Conference on Computer Research and Development (ICCRD). - IEEE, 2022. - C. 100-107.

68. Hu Z. et al. Extrinsic calibration of 2-D laser rangefinder and camera from single shot based on minimal solution //IEEE Transactions on Instrumentation and Measurement. - 2016. - T. 65. - №. 4. - C. 915-929.

69. Huang T., Russell S.J. Object Identification in a Bayesian Context // Proc. 15th Intern. Joint Conf. Artificial Intelligence. Nagoya, Japan: ACM, 1997. P. 12761282.

70. Ishii D., Nakayama O., Tsuruta T. Conflict robust player tracking method for wall-mounted multi-camera systems //International Workshop on Advanced Image Technology (IWAIT) 2019. - SPIE, 2019. - T. 11049. - C. 471-476.

71. Jhaldiyal A., Chaudhary N. Semantic segmentation of 3D LiDAR data using deep learning: a review of projection-based methods //Applied Intelligence. - 2022. - C. 1-12.

72. Jones D. H. et al. GPU versus FPGA for high productivity computing //2010 International Conference on Field Programmable Logic and Applications. - IEEE, 2010. - C. 119-124.

73. Juraszek K. et al. Extended Kalman Filter for Large Scale Vessels Trajectory Tracking in Distributed Stream Processing Systems //International Workshop on Advanced Analysis and Learning on Temporal Data. - Springer, Cham, 2020. - C. 151166.

74. Kim C. et al. Discriminative appearance modeling with multi-track pooling for real-time multi-object tracking //Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. - 2021. - C. 9553-9562.

75. Kim G. et al. Occurrence and characteristics of mutual interference between LIDAR scanners //Photon Counting Applications 2015. - SPIE, 2015. - T. 9504. - C. 76-84.

76. Kim W. Multiple object tracking in soccer videos using topographic surface analysis //Journal of Visual Communication and Image Representation. - 2019. - T. 65. - C. 102683.

77. Kirkbride A. T. N. Scoring/judging applications //Routledge Handbook of Sports Performance Analysis. - Routledge, 2013. - C. 158-170.

78. Konstantinova P. D., Udvarev A., Semerdjiev T. A study of a target tracking algorithm using global nearest neighbor approach //Compsystech. - 2003. - T. 3. - C. 290-295

79. Kuhn H. W. The hungarian method for the assignment problem. In 50 Years of Integer Programming 1958-2008 //Springer. - 2010. - T. 6. - C. 29-47.

80. Kolaskar P. V. et al. Anomaly Motion Detection and Tracking for Real-Time Security System //Computer Networks and Inventive Communication Technologies. -Springer, Singapore, 2021. - C. 707-717.

81. Kong L. et al. Online multiple athlete tracking with pose-based long-term temporal dependencies //Sensors. - 2020. - T. 21. - №. 1. - C. 197.

82. Laan T., Varbanescu A. L. Heterogeneous GPU and FPGA computing: a VexCL case-study //2022 IEEE International Parallel and Distributed Processing Symposium Workshops (IPDPSW). - IEEE, 2022. - C. 382-390.

83. Lan J. H. et al. Combining the Kalman filter and particle filter in object tracking to avoid occlusion problems //Advanced Materials. - Springer, Cham, 2020. -C. 571-586.

84. Li B. et al. Object Recognition Through UAV Observations Based on Yolo and Generative Adversarial Network //International Conference on Internet of Things as a Service. - Springer, Cham, 2020. - C. 439-449.

85. Li X. et al. A multiple object tracking method using Kalman filter //The 2010 IEEE international conference on information and automation. - IEEE, 2010. - C. 1862-1866.

86. Liang Q. et al. Multi-Player Tracking for Multi-View Sports Videos with Improved K-Shortest Path Algorithm //Applied Sciences. - 2020. - T. 10. - №. 3. - C. 864.

87. Lili S. U. N. et al. A multi-target tracking algorithm based on Gaussian mixture model //Journal of Systems Engineering and Electronics. - 2020. - T. 31. - №. 3. - C. 482-487

88. Liu M. et al. Online multiple object tracking using confidence score-based appearance model learning and hierarchical data association //IET Computer Vision. -2019. - T. 13. - №. 3. - C. 312-318.

89. Liu W. et al. Practical moving target detection in maritime environments using fuzzy multi-sensor data fusion //International Journal of Fuzzy Systems. - 2021. -T. 23. - №. 6. - C. 1860-1878.

90. Liu X., Deng Z., Yang Y. Recent progress in semantic image segmentation //Artificial Intelligence Review. - 2019. - T. 52. - №. 2. - C. 1089-1106.

91. Llamazares A., Molinos E. J., Ocana M. Detection and tracking of moving obstacles (DATMO): a review //Robotica. - 2020. - T. 38. - №. 5. - C. 761-774.

92. Luiten J. et al. Hota: A higher order metric for evaluating multi-object tracking //International journal of computer vision. - 2021. - T. 129. - №. 2. - C. 548578.

93. Luo W. et al. Multiple object tracking: A literature review //Artificial Intelligence. - 2021. - T. 293. - C. 103448.

94. Mary A., Rose L., Karunakaran A. FPGA-Based Detection and Tracking System for Surveillance Camera //The Cognitive Approach in Cloud Computing and Internet of Things Technologies for Surveillance Tracking Systems. - Academic Press, 2020. - C. 173-180.

95. Maxfield C. The design warrior's guide to FPGAs: devices, tools and flows. -Elsevier, 2004.

96. Niu G. et al. A Survey of Open Source Statistical Software (OSSS) and Their Data Processing Functionalities //International Journal of Open Source Software and Processes (IJOSSP). - 2021. - T. 12. - №. 1. - C. 1-20.

97. Nguyen T. N. et al. Stereo-camera-based urban environment perception using occupancy grid and object tracking //IEEE Transactions on Intelligent Transportation Systems. - 2011. - T. 13. - №. 1. - C. 154-165.

98. Nogas J., Khan S. S., Mihailidis A. Fall detection from thermal camera using convolutional lstm autoencoder //Proceedings of the 2nd workshop on aging, rehabilitation and independent assisted living, IJCAI workshop. - 2018.

99. Nuss, D.; Yuan, T.; Krehl, G.; Stuebler, M.; Reuter, S.; Dietmayer, K. Fusion of laser and radar sensor datawith a sequential Monte Carlo Bayesian occupancy filter. In Proceedings of the 2015 IEEE Intelligent VehiclesSymposium (IV), Seoul, Korea, 28 June-1 July 2015; pp. 1074-1081.

100. Orlov V. P. Object Tracking Algorithm Based on the Harris Detector //2020 Systems of Signals Generating and Processing in the Field of on Board Communications. - IEEE, 2020. - C. 1-4.

101. Pandey M. et al. Real Time Object Tracking: Simulation and Implementation on FPGA Based Soft Processor //International Conference on

Heterogeneous Networking for Quality, Reliability, Security and Robustness. -Springer, Berlin, Heidelberg, 2013. - C. 441-450.

102. Pang S., Radha H. Multi-object tracking using poisson multi-bernoulli mixture filtering for autonomous vehicles //ICASSP 2021-2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). - IEEE, 2021. - C. 7963-7967.

103. Plancher B. et al Accelerating robot dynamics gradients on a CPU, GPU, and FPGA //IEEE Robotics and Automation Letters. - 2021. - T. 6. - №. 2. - C. 23352342.

104. Popovic V. et al. State-of-the-art multi-camera systems //Design and Implementation of Real-Time Multi-Sensor Vision Systems. - Springer, Cham, 2017. -C. 13-31.

105. Qin Z., Shelton C. R. Improving multi-target tracking via social grouping //2012 IEEE Conference on Computer Vision and Pattern Recognition. - IEEE, 2012. -C. 1972-1978.

106.Rakai L. et al. Data association in multiple object tracking: A survey of recent techniques //Expert Systems with Applications. - 2021. - C. 116300.

107. Ristani E. et al. Performance measures and a data set for multi-target, multicamera tracking //European conference on computer vision. - Springer, Cham, 2016. -C. 17-35.

108. Romaniuk S., Gosiewski Z. Kalman filter realization for orientation and position estimation on dedicated processor // Acta mechanica et automatica. - 2014. -T. 8. - №. 2. - C. 88-94.

109. Romanov A. M., Slaschov B. V. FPGA-based Kalman filtering for motor control //Network Security and Communication Engineering. - CRC Press, 2015. - C. Tracking for Multi-View Sports Videoswith Improved569-572.

110. Romanov A. M. et al. A Navigation System for Intelligent Mobile Robots //2019 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (EIConRus). - IEEE, 2019. - C. 652-656.

111. Romanov A. M., Romanov M.P., Manko S.V., Volkova M.A., Wei-Yu Chiu, Hsi-Pin Ma, and Kun-Yen Chiu. Modular reconfigurable robot distributed computing system for tracking multiple objects //IEEE Systems Journal. - 2020. - T. 15. - №. 1. - C. 802-813.

112. Romanov A. M., Volkova M. A. Multi-criteria data processing algorithms for the group of surveillance robots //2018 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (EIConRus). - IEEE, 2018. - C. 970-973.

113. Romanov A. M., Volkova M. A. The algorithm for classification and determination of the spatial position of moving objects //2019 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (EIConRus). -IEEE, 2019. - C. 657-660.

114. Romanov A. M., Volkova M. A. An Algorithm for Determining the Parameters of Moving Objects in Three-Dimensional Space Using Different Types of Sensors on Board a Mobile Robot //2020 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (EIConRus). - IEEE, 2020. - C. 844-847.

115. Romanov A., Slepynina E. Real-time Ethernet POWERLINK communication for ROS. Part I. General concept //2020 Ural Smart Energy Conference (USEC). - IEEE, 2020. - C. 159-162.

116. Romanov A., Slepynina E. Real-time Ethernet POWERLINK communication for ROS. Part II. Hardware and software //2020 Ural Smart Energy Conference (USEC). - IEEE, 2020. - C. 163-166.

117. Santoro L. et al. Scalable centimetric tracking system for team sports //2022 IEEE International Workshop on Sport, Technology and Research (STAR). - IEEE, 2022. - C. 1-6.

118. Sekii T. Robust, real-time 3d tracking of multiple objects with similar appearances //Proceedings of the IEEE conference on computer vision and pattern recognition. - 2016. - C. 4275-4283.

119. Siddiqui F. et al. FPGA-based processor acceleration for image processing applications //Journal of Imaging. - 2019. - T. 5. - №. 1. - C. 16.

120. Smith J. et al. Systematic analysis of the pmbm, phd, jpda and gnn multitarget tracking filters //2019 22th International Conference on Information Fusion (FUSION). - IEEE, 2019. - C. 1-8.

121. Strbac B. et al. YOLO multi-camera object detection and distance estimation //2020 Zooming Innovation in Consumer Technologies Conference (ZINC). - IEEE, 2020. - C. 26-30.

122. Sun Y. et al. Summarizing CPU and GPU design trends with product data //arXiv preprint arXiv:1911.11313. - 2019.

123. Suresh D. C. et al. Profiling tools for hardware/software partitioning of embedded applications //Proceedings of the 2003 ACM SIGPLAN conference on Language, compiler, and tool for embedded systems. - 2003. - C. 189-198.

124. Tan L. et al. A multiple object tracking algorithm based on YOLO detection //2018 11th International Congress on Image and Signal Processing, BioMedical Engineering and Informatics (CISP-BMEI). - IEEE, 2018. - C. 1-5.

125. Tang Z. et al. Cityflow: A city-scale benchmark for multi-target multicamera vehicle tracking and re-identification //Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. - 2019. - C. 8797-8806.

126. Tang Z., Hwang J. N. Moana: An online learned adaptive appearance model for robust multiple object tracking in 3d //IEEE Access. - 2019. - T. 7. - C. 3193431945.

127. Taj M., Cavallaro A. Distributed and decentralized multicamera tracking //IEEE Signal Processing Magazine. - 2011. - T. 28. - №. 3. - C. 46-58.

128. Taj M., Cavallaro A. Simultaneous Detection and Tracking with Multiple Cameras //Machine Learning for Computer Vision. - Springer, Berlin, Heidelberg, 2013. - C. 197-214.

129. Teizer J., Caldas C. H., Haas C. T. Real-time three-dimensional occupancy grid modeling for the detection and tracking of construction resources //Journal of Construction Engineering and Management. - 2007. - T. 133. - №. 11. - C. 880-888.

130. Tong J. G., Khalid M. A. S. Profiling Tools for FPGA-Based Embedded Systems: Survey and Quantitative Comparison //J. Comput. - 2008. - T. 3. - №. 6. - C. 1-14.

131. Vaquero L., Brea V. M., Mucientes M. Tracking more than 100 arbitrary objects at 25 FPS through deep learning //Pattern Recognition. - 2022. - T. 121. - C. 108205.

132. Vo B. T. Random finite sets in multi-object filtering. - University of Western Australia, 2008. - C. 254.

133. Volkova M. A., Romanov A. M. A Multi-Purpose Testbench for Determining the Parameters of Moving Objects Based on the Processing of Heterogeneous Sensory Information in the On-Board System of an Autonomous Robot //2021 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (ElConRus). - IEEE, 2021. - C. 1123-1126.

134. Volkova M. A., Bychkov A. M. An On-Board Multiple Object Tracker //2022 Conference of Russian Young Researchers in Electrical and Electronic Engineering (ElConRus). - IEEE, 2022. - C. 912-915.

135. Wang C. et al. The effects of colour complexity and similarity on multiple object tracking performance //Quarterly Journal of Experimental Psychology. - 2019. -T. 72. - №. 8. - C. 1903-1912.

136. Wang C., Xie X., Liao C. An adaptive fusion model based on Kalman filtering and LSTM for fast tracking of road signs //2020 25th International Conference on Pattern Recognition (ICPR). - IEEE, 2021. - C. 1414-1421.

137. Wang Z. et al. Towards real-time multi-object tracking //European Conference on Computer Vision. - Springer, Cham, 2020. - C. 107-122.

138. Wu S., Hong L. Hand tracking in a natural conversational environment by the interacting multiple model and probabilistic data association (IMM-PDA) algorithm //Pattern Recognition. - 2005. - T. 38. - №. 11. - C. 2143-2158.

139. Xu N. et al. Youtube-vos: Sequence-to-sequence video object segmentation //Proceedings of the European conference on computer vision (ECCV). -2018. - C. 585-601.

140. Yang M., Wu Y., Jia Y. A hybrid data association framework for robust online multi-object tracking //IEEE Transactions on Image Processing. - 2017. - T. 26.

- №. 12. - C. 5667-5679.

141. Yang Y. et al. Multi-camera sports players 3D localization with identification reasoning //2020 25th International Conference on Pattern Recognition (ICPR). - IEEE, 2021. - C. 4497-4504.

142. Yang C., Duraiswami R., Davis L. Fast multiple object tracking via a hierarchical particle filter //Tenth IEEE International Conference on Computer Vision (ICCV'05) Volume 1. - IEEE, 2005. - T. 1. - C. 212-219

143. Yang S. et al. Distributed multi-camera multi-target association for real-time tracking //Scientific Reports. - 2022. - T. 12.

144. Yang Y. et al. 3D multiview basketball players detection and localization based on probabilistic occupancy //2018 Digital Image Computing: Techniques and Applications (DICTA). - IEEE, 2018. - C. 1-8.

145. Yeh W. C. et al. Simplified swarm optimization for task assignment problem in distributed computing system //2017 13th International Conference on Natural Computation, Fuzzy Systems and Knowledge Discovery (ICNC-FSKD). - IEEE, 2017.

- C. 773-776.

146. Zajdel W., Zivkovic Z., Krose B. Keeping Track of Humans: Have I Seen This Person Before? // Proc. 2005 IEEE Intern. Conf. Robotics and Automation. Barcelona, Spain: IEEE, 2005. P. 2081-2086. https://doi.org/10.1109/ROBOT.2005.1570420.

147. Zhang R. et al. Multi-camera multi-player tracking with deep player identification in sports video //Pattern Recognition. - 2020. - T. 102. - C. 107260.

148. Zhang Z. et al. Multiple target tracking based on multiple hypotheses tracking and modified ensemble Kalman filter in multi-sensor fusion //Sensors. - 2019. - T. 19. - №. 14. - C. 3118.

Приложение А. Зарегистрированные результаты интеллектуальной

деятельности

Приложение Б. Акты о внедрении

Федеральное государственное бюджетное образовательное учреждение высшего образования «МИРЭА - Российский технологический университет»

РТУ МИРЭА

просп. Вернадского, д. 78, Москва, 119454 тел.: [phone] доб. 1140, факс: [phone] e-mail: [e-mail], http://www.mirea.ru

УТВЕРЖДАЮ

по учебной работе

_А.В. Тимошенко _а ? 2023 г.

О внедрении результатов диссертационной работы Волковой Марии Александровны

на тему «Алгоритмическое обеспечение обработки сегментированной сенсорной информации для слежения за подвижными объектами в режиме

реального времени»

Результаты кандидатской диссертационной работы старшего преподавателя кафедры проблем управления Волковой Марии Александровны на тему «Алгоритмическое обеспечение обработки сегментированной сенсорной информации для слежения за подвижными объектами в режиме реального времени» были использованы в период с 2020 по 2023 г. в учебном процессе на кафедре проблем управления Института искусственного интеллекта РТУ МИРЭА:

1. При создании практикума по курсу «Автоматизация инженерных расчётов» в виде модульного программного обеспечения прототипа системы слежения подвижных объектов в трёхмерном пространстве на базе данных с

разных типов сенсоров.

2. В технологическую практику и выпускные квалификационные работы студентов бакалавриата кафедры проблем управления РТУ МИРЭА.

Также при участии Волковой М.А. было подготовлено и издано учебно-методическое пособие Автоматизация инженерных расчетов: учебно-методическое пособие / А. М. Романов, М. А. Волкова. — М.: РТУ МИРЭА, 2020. — 66 е.: ил. — Библиогр.: с. 64 (9 назв.).

Заместитель заведующего кафедры

технических наук, доцент

проблем управления кандидат

Директор

Института искусственного интеллекта, доктор технических наук, профессор

информации для слежения за подвижными объектами в режиме реального времени» были внедрены в период 2019-2022 гг. в научно-исследовательскую деятельность кафедры биокибернетических систем и технологий при выполнении гранта РФФИ №19-38-90301 на тему «Развитие методов параллельной обработки информации для определения параметров подвижных объектов в режиме реального времени на основе обработки разнородной сенсорной информации в распределенной бортовой системе автономного модульного робота» и в научно-исследовательскую деятельность кафедры проблем управления при выполнении гранта РТУ МИРЭА «Инновации в реализации приоритетных направлений развития науки и технологий» НИЧ №28/24 на тему «Трекер объектов в режиме реального времени на базе разнородной сенсорной информации».

При выполнении гранта РФФИ №19-38-90301 были внедрены следующие результаты диссертационной работы Волковой М.А.:

1. алгоритм, позволяющий на основе данных о пространственном положении дать количественную оценку степени соответствия новых сегментированных сенсорных данных ранее отслеживаемым объектам;

2. алгоритм комплексирования информации, позволяющий количественно оценить степень соответствия сегментированных данных на выходе различных сенсоров друг другу и ранее отслеживаемым объектам, а также сделать вывод о появлении новых объектов в рабочей зоне сенсорной системы.

Внедрение результатов диссертации Волковой М.А. позволило обеспечивать повышение точности определения параметров подвижных объектов с увеличением количества сенсоров и продемонстрировать в ходе эксперимента точность локализации объектов при помощи двух камер и дальномера в рабочей зоне 8x7 м не хуже 10 см.

При выполнении гранта РТУ МИРЭА НИЧ №28/24, в котором Волкова М.А. выступала в роли научного руководителя, были внедрены:

1. алгоритм слежения за подвижными объектами в трёхмерном пространстве на основе комплексирования сегментированных видеоданных и данных дальнометрии, обеспечивающий относительную ошибку локализации не хуже 1.5%;

2. программное обеспечение распределенного вычислительного комплекса на базе параллельно работающих матричных сопроцессоров, решающее задачу слежения за подвижными объектами в режиме реального времени.

Внедрение вышеперечисленных результатов позволило:

1. повысить точность вычисления положения и скорости большого количества объектов, находящихся в рабочей зоне;

2. создать испытательный стенд на базе прототипа трекера объектов для отслеживания движущихся объектов, который показал свою эффективность для оценки траектории полёта квадрокоптеров по гоночной трассе при проведении тренировок и соревнований по дрон-рейсингу.

По результатам диссертации Волковой М.А. РТУ МИРЭА зарегистрированы следующие результаты интеллектуальной деятельности:

1. Патент на изобретение №1Ш2762636С] от 21.12.2021 (Заявка №2020131951 от 28.09.2020) «Устройство параллельной обработки разнородной сенсорной информации в режиме реального времени».

2. Свидетельство о регистрации программы для ЭВМ №2022619609 от 24.05.2022 (Заявка № 2022618923 от 19.05.2022) «Программа для сопоставления информац]

Члены комиссии

Председатель комиссии

С.В. Пасечник