Метод и алгоритмы обнаружения и сопровождения подвижных объектов на видеопоследовательности тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Тарасов Андрей Сергеевич

• Тарасов Андрей Сергеевич
• кандидат наук
• 2023

Оглавление диссертации кандидат наук Тарасов Андрей Сергеевич

ВВЕДЕНИЕ

ГЛАВА 1. АНАЛИТИЧЕСКИЙ ОБЗОР

1.1. Обзор российских и зарубежных патентов

1.1.1. Выводы

1.2. Обзор методов обнаружения

1.2.1. Методы и алгоритмы, основанные на вычитании фона

Нерекурсивные методы

Рекурсивные методы

1.2.2. Методы, базирующиеся на временных различиях:

1.2.3. Локализацонные нейронные сети

1.2.4. Оценка существующих решений в области обнаружения

1.2.5. Выводы

1.3. Обзор методов сопровождения

1.3.1. Метод корреляционного поиска

1.3.2. Метод, основанный на вычислении оптического потока

1.3.3. Метод, основанный на связывании особых точек

1.3.4. BOOSTING трекер

1.3.5. MIL Tracker

1.3.6. TLD Tracker

1.3.7. MEDIANFLOW Tracker

1.3.8. GOTURN Tracker

1.4. Разработка методики сравнения эффективности

1.4.1. Разработка методики оценки эффективности методов обнаружения объектов

1.4.2. Разработка методики оценки эффективности методов сопровождения объектов

1.5. Выводы по первой главе

ГЛАВА 2. РАЗРАБОТКА МЕТОДОВ И АЛГОРИТМОВ ОБНАРУЖЕНИЯ И СОПРОВОЖДЕНИЯ ОБЪЕКТОВ

2.1. Предварительная обработка кадра

2.1.2. Формирование карты с использованием ключевых точек

2.1.3. Устранение движения видеосистемы с использованием оптического потока

2.1.4. Устранение перемещения

2.1.5. Устранение вращения

2.1.6. Устранение масштабирования

2.2. Определение подвижных объектов

2.2.1. Контурный анализ МКД

2.2.2. Объединение близких контуров

2.2.3. Восстановление контура

2.2.4. Объединение контуров в объекты интереса

2.2.5. Метод Джарвиса

2.2.6. Анализ оптического потока

2.3. Алгоритмы сопровождения объектов

2.3.1. Модель работы системы сопровождения

2.3.2. Модифицированный алгоритм корреляционного поиска

2.3.3. Сопровождение на основе оптического потока

2.3.4. Нейросетевой метод Y-Net

2.3.5. Сопровождение на основе сопоставления особых точек

2.3.6. Алгоритм линейной регрессии

2.4. Выводы

ГЛАВА 3. РАЗРАБОТКА ЭКСПЕРТНОЙ СИСТЕМЫ ВЫБОРА МЕТОДА СОПРОВОЖДЕНИЯ ОБЪЕКТОВ

3.1. Выбор модели ИНС и формирование обучающей выборки

3.2. Наборы входных данных

3.3. Наборы выходных данных

3.4. Методика оценки системы выбора метода

3.5. Выводы

ГЛАВА 4. ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ

4.1. Исследование метода обнаружения объектов

4.2. Исследование алгоритмов сопровождения

4.2.1. На наборе Visual Object Tracking

4.2.2. Исследование на пользовательском наборе данных

4.3. Выводы

ЗАКЛЮЧЕНИЕ

Список литературы

СПИСОК СОКРАЩЕНИЙ

ОЭС - оптико-электронные системы ТИ - текущее изображение ЭИ - эталонное изображение ТВ - телевизионный датчик ИК - инфракрасный датчик ЦФ - целевая функция

ГПИ - графический пользовательский интерфейс ПО - программное обеспечение БД - база данных

ИНС - искусственные нейронные сети HOG - Histogram orienteered gradients TLD - Tracking learning detector

ВВЕДЕНИЕ

Введение диссертации (часть автореферата) на тему «Метод и алгоритмы обнаружения и сопровождения подвижных объектов на видеопоследовательности»

Актуальность работы

Системы видеонаблюдения используются в различных областях, включая метро, пешеходные переходы, железнодорожные вокзалы, офисы, банки и автовокзалы [1, 2, 3]. Они могут выполнять различные задачи, такие как контроль дорожного движения, мониторинг погрузки и разгрузки товаров, предотвращение краж в магазинах и помощь в поиске преступников. В военной сфере также используются системы анализа изображений. Во многих случаях требуется не только запись видео, но и его цифровая обработка. Установка камер также актуальна для людей, проживающих в частном секторе. Особое место занимают системы анализа изображений в военной сфере. Достаточно часто кроме записи видеосигнала необходимо осуществлять его цифровую обработку.

Системы обработки и анализа видеоинформации относятся к оптико-электронным системам (ОЭС) [2]. Сопровождение объектов на видеопотоке -это метод цифровой обработки, который позволяет обнаруживать неподвижные и движущиеся объекты, определять их траекторию, координаты и параметры на каждом кадре видеозаписи, а также сравнивать эти данные с характеристиками искомого объекта, чтобы определить потерю сопровождения [3].

Системы визуального сопровождения и обнаружения объектов применяются в следующих областях:

- автоматический подсчет пассажиров в общественном транспорте;

- оценка состояния водителя, машиниста поезда во время работы;

- обнаружение постороннего предмета на рельсах или упавшего пассажира;

- распознавание лиц разыскиваемых преступников;

- выявление драк и других противоправных действий;

- дублирование функций пожарной системы (определение по видеопоследовательности очага пожара);

- космический мониторинг Земли;

- захват и сопровождение подвижных объектов антропогенного происхождения в воздухе и на земле [4-8].

Основным требованием, предъявляемым к описанным выше системам, является необходимость работы в режиме реального времени. Под режимом реального времени понимают такую скорость работы, при которой система должна реагировать на события во внешней среде в рамках требуемых временных ограничений. Подобные системы также должны работать в автоматическом режиме, не требующем от пользователя системы больших усилий.

Система обнаружения движущихся объектов управляется через графический пользовательский интерфейс (ГПИ) и позволяет следить за несколькими объектами одновременно. ГПИ обеспечивает возможность выбора видеопоследовательности и области интереса для отслеживания. Область интереса может быть выбрана автоматически, основываясь на движении объектов и/или выбрана оператором вручную. После того, как область интереса была определена, за данным объектом начинается сопровождение.

Для сопровождения объектов применяются методы, основанные на технологиях машинного обучения (каскады Хаара, YOLO, SSD и др.). Ключевой недостаток данных методов - это необходимость предварительного обучения, а также ориентированность на класс объекта. Такие методы, несмотря на высокую точность, не могут продемонстрировать универсальность в задачах сопровождения объектов различного класса.

Для сопровождения недерменированных объектов существует ряд подходов (Median Flow, Boosting, TLD, GOTURN), но, однако, еще остаются сценарии, для корректной обработки которых требуется либо разработка новых алгоритмов сопровождения, либо сочетание нескольких уже существующих.

Поскольку изображение объекта в процессе сопровождения может менять свои характеристики (изменять форму, цвет, размер), быть подвержен аффинным преобразованиям, проективным искажениям, шуму приемника (датчика), скрываться за другими объектами, а также теряться в окружении подобных объектов, необходимо предусмотреть такой метод (или совокупность методов), который бы позволил снизить вероятность возникновения срыва сопровождения.

Визильтера Ю.В.[12], Варфоломеева А.Ю. [45], Шведова А.П. [67], Тихонова К.М. [70] так и за рубежом в трудах B. D. Lucas [13], T. Kanade [13], Viola P. [54], Roth D.[57], а также в научном конкурсе Visual Object Challenge [14].

Общие подходы к решению задач обнаружения объектов изложены в монографиях под редакцией Алпатова Б.А. [5, 8, 16, 17], Сойфера В.А. [102], Фурмана Я.А., Бабаяна П.В. [20], Богуславского А. А. [30], Визильтера Ю. В., Костяшкина Л. Н. [20], Бабаяна П. В., Итенберга И. И., Богуславского А. А. [30], Варфоломеева А.Ю. [40], Шведова А.П. [61], Тихонова К.М. [64] в монографиях Гонсалеса Р. с соавторами и в работах других авторов [97]. Методы решения задачи обнаружения объектов основываются на многочисленных исследованиях в области цифровой обработки изображений и других авторов. Существенный вклад в развитие методов цифровой обработки изображений внесли отечественные ученые Журавлев Ю.И., Желтов С.Ю., Зубарев Ю.Б., Сергеев В.В. и другие, а также зарубежные

ученые Блейхут Р. [87, 94], Понс Ж. [73], Прэтт У. [99], Форсайт Д., Кенни Д. [101], Лукас Б. [14], Канаде Т. [14], Виола Д. [48], Roth D. [51].

На данный момент разработано большое число эффективных узкоспециализированных алгоритмов, которые выполняют операции обнаружения и сопровождения с высокой точностью и скоростью. Известны и универсальные алгоритмы, однако, все они обладают различными, но существенными недостатками [6, 9]:

- срывы при перекрытии другими объектами;

- срывы при изменении условий освещенности;

- срывы при появлении нескольких однотипных объектов в кадре;

- срывы при резком изменении траектории или разделении объекта (тепловые ловушки);

- необходимость использования высокоточных дорогостоящих тепловизоров.

Следовательно, несмотря на большое количество известных алгоритмов, обнаружения и сопровождения, пока нет универсального эффективного метода решения поставленной задачи.

Целью настоящей работы является разработка методов и алгоритмов обнаружения и сопровождения подвижных объектов различной конфигурации и физической природы, обеспечивающих сопровождение в условиях различных сценариев, а также проектирование программных средств, реализующих эти алгоритмы.

Для достижения этой цели необходимо решить следующие задачи:

1. Исследовать актуальные подходы к решению задач обнаружения и

сопровождения.

2. Разработать алгоритм предварительной обработки изображений,

позволяющий устранить помехи, обусловленные недостатками

9

конструкции видеосистемы (дрожание камеры, наклон, изменение экспозиции).

3. Разработать метод обнаружения подвижных объектов различной природы, обеспечивающий захват нескольких объектов.

4. Разработать алгоритмы сопровождения подвижных объектов различной конфигурации и физической природы в сложных условиях.

5. Разработать алгоритм автоматического выбора наиболее эффективного способа сопровождения на основании анализа сюжета.

6. Разработать программное обеспечение, выполняющее сопровождение и обнаружение объектов на основе представленной системы алгоритмов, позволяющее выполнять сопровождение нескольких объектов в условиях реального времени (24 кадра в секунду) с наименьшим количеством срывов.

Научная новизна

1. Предложен алгоритм предварительной обработки изображений, позволяющий устранить искажения, обусловленные недостатками конструкции видеосистемы, за счёт анализа оптического потока, снижающий ошибку при сопровождении на « 13,5 %, а также уменьшающий вероятность ложного обнаружения подвижного объекта на « 18,6 % в сравнении с алгоритмами обнаружения и сопровождения объекта без стабилизации.

2. Разработан метод обнаружения подвижных объектов, обеспечивающий снижение ошибки, на 27 % за счёт применения анализа векторов оптического потока и их кластеризации на

основе метода к-средних в сравнении с методом обнаружения,

построенным на межкадровом диспаритете.

3. Разработаны четыре алгоритма сопровождения.

- Первый основан на корреляционном поиске и отличается от существующего тем, что корреляционный поиск применяется совместно с методом Нелдера-Мида и методом Мультистарт с расположением начальных точек в окрестностях предыдущего расположения объекта, что сокращает количество вызовов ЦФ не менее, чем в 7 раз при сравнении с полным перебором.

- Второй основан на вычислении оптического потока и отличается от существующего тем, что частично задействуются векторы, полученные на этапе обнаружения объектов, что сокращает вычислительную сложность не менее, чем в 1,9 раза.

- Третий основан на сопоставлении особых точек и отличается от существующих решений тем, что применен подход группировки точек по квадратам, что сокращает время, затраченное на поиск пары, в « 10 раз в сравнении с алгоритмом полного перебора всех точек-кандидатов.

- Четвертый основан на сегментационной нейронной сети, которая работает на основе данных межкадрового диспаритета и оптического потока и позволяет определять места, в которых происходило движение, что позволяет добиться показателей точности выше на 10 % в сравнении с аналогичным алгоритмом GOTURN.

4. Предложена экспертная система для выбора метода сопровождения, уменьшающая конечную ошибку сопровождения

на 1 1 % в сравнении с принудительным использованием только одного метода сопровождения.

Объект исследования - программно-алгоритмический комплекс обнаружения и сопровождения объектов различной природы на видеопоследовательности.

Предмет исследования - определен предметной областью пункта 4 паспорта специальности 2.3.8 - Информатика и информационные процессы:

Разработка методов и технологий цифровой обработки аудиовизуальной информации с целью обнаружения закономерностей в данных, включая обработку текстовых и иных изображений, видеоконтента. Разработка методов и моделей распознавания, понимания и синтеза речи, принципов и методов извлечения требуемой информации из текстов. (п.4);

Личный вклад автора. Все выносимые на защиту положения получены автором лично.

Основные результаты диссертации:

1. Внедрены в компании ООО «Квантрон Групп» в виде программного модуля, предназначенного для осуществления поиска подвижных объектов в видеопотоке.

2. Внедрены в компании ООО «Резилюкс-Волга» в виде программного модуля сопровождения преформ для дальнейшей дефектоскопии.

3. Внедрены в учебный процесс Федерального государственного бюджетного образовательного учреждения высшего образования «Рязанский государственный радиотехнический университет имени В. Ф. Уткина» в курсах «Машинное обучение» и «Обработка и распознавание изображений в системах автоматического обнаружения и сопровождения объектов», которые изучаются в рамках направления 09.03.01 Информатика и вычислительная

техника, «Обнаружение, сопровождение и указание объектов», которые изучаются в рамках направления 27.05.01 «Специальные организационно-технические системы».

4. Использованы в рамках хоздоговорных работ, выполненных по заказу АО «ГРПЗ»: НИР 2-17 «Доработка и исследование способов визуализации информации в многоспектральной системе технического зрения».

5. Использованы в рамках хоздоговорных работ, выполненных по заказу АО «НЕЙРОКОМ»: НИР «Исследование и разработка архитектуры модульной системы для массового предрейсового контроля водителей транспортных средств».

Апробация работы

Основные результаты диссертации докладывались:

1. На 13-ой международной конференции ELEKTRO 2020, Италия, Таормина, 2020.

2. На XXII международной научно-технической конференции «Нейроинформатика», Российская Федерация, Москва, МФТИ, 2020.

3. На международной конференции «Proceedings of IEEE East-West Design & Test Symposium (EWDTS2018)», Российская Федерация, Казань, 2018.

4. На международном научно-техническом форуме СТНО - 2019, Российская Федерация, Рязань, 2019;

5. IX Международной конференции «Информационные технологии и нанотехнологии» ITNT-2023, Российская Федерация, Самара, 2023.

6. На 6-й международной конференции Mediterranean Conference on Embedded Computing, Черногория, Бар, 2017.

Публикации

По теме диссертации опубликованы 20 работ. Из них 4 опубликованы в журналах перечня ВАК, 6 работ в международных журналах рецензируемых в Scopus и Web of Sciences, 4 программы для ЭВМ.

Методы исследования

При проведении исследований и разработки алгоритмического и программного обеспечения с целью решения поставленных в диссертационной работе задач использованы методы: методы вычислительной математики, методы линейной алгебры и математического анализа, цифровые методы обработки изображений и распознавания образов, методы математического моделирования, системного анализ, теории обработки изображений, методы обучения искусственных нейронных сетей.

Положения, выносимые на защиту

1. Алгоритм предварительной обработки изображений, позволяющий устранить помехи, обусловленные недостатками конструкции видеосистемы, за счёт анализа оптического потока, уменьшающий вероятность срыва при сопровождении на « 13,5 %, а также уменьшающий вероятность ложного обнаружения подвижного объекта на « 18,6 % по сравнению с аналогичными алгоритмами обнаружения и сопровождения, работающими без предварительной стабилизации.

2. Метод обнаружения подвижных объектов различной природы, снижающий ошибку на « 27% за счёт применения анализа векторов оптического потока и их кластеризации на основе метода k-средних.

3. Четыре алгоритма сопровождения подвижных объектов различной конфигурации и физической природы, в сложных условиях, демонстрирующие наилучшее быстродействие (не менее чем на 20 %) или более высокую точность (не менее чем на 10 %) работы в сравнении с описанными ранее версиями данных алгоритмов.

4. Алгоритм автоматического выбора одного из четырех разработанных алгоритмов, обеспечивающий наибольшую вероятность сопровождения подвижных объектов различной конфигурации и физической природы в сложных условиях без срывов, за счёт анализа текущего сюжета, демонстрирующий снижение вероятности срыва на 11 % при работе в различных условиях.

Достоверность полученных результатов и выводов подтверждается экспериментальными результатами, которые были получены при решении поставленных задач, а также их согласованностью с результатами работ, представленных в данной области.

Структура и объем работы

Диссертация состоит из введения, 4-х глав, заключения, списка используемых источников и приложения. Текст работы содержит 134 страницы, 43 рисунков (9 - в главе 1, 30 - в главе 2, 3 - в главе 3, 1 - в главе 4) и 23 таблицы (6 - в главе 1, 1 - в главе 2, 6 - в главе 3, 10 - в главе 4). Список используемых источников включает 102 наименования (из них 51 зарубежных источника).

Во введении обоснована актуальность темы НКР, сформулированы цели и задачи работы, указана новизна, апробация результатов исследования,

приведена структура и содержание работы, приведены защищаемые положения.

Первая глава посвящена рассмотрению существующих решений в области обнаружения и сопровождения объектов. Рассмотрены их преимущества и недостатки.

Во второй главе описаны подходы, применяемые для улучшения входного изображения, поиска подвижных объектов и их сопровождения.

В третьей главе рассматривается метод предвыборки алгоритма сопровождения объектов.

Четвертая глава посвящена экспериментальным исследованиям всех алгоритмов, предложенных в главах 2 и 3. Также приведен анализ и сравнение результатов работы алгоритмов.

В заключении сформулированы основные результаты научно-квалификационной работы.

ГЛАВА 1. АНАЛИТИЧЕСКИЙ ОБЗОР МЕТОДОВ ОБНАРУЖЕНИЯ И СОПРОВОЖДЕНИЯ ОБЪЕКТОВ

Сопровождение объектов - это процесс определения местоположения выбранного объекта в кадре в режиме реального времени. Область интереса - это определенный прямоугольный участок изображения, в котором находится интересующий пользователя объект.

Режим реального времени (Real time) - это режим обработки информации, при котором обеспечивается взаимодействие системы обработки информации с внешними по отношению к ней процессами в темпе, соизмеримом со скоростью протекания этих процессов [15, 18, 19]. Поскольку большинство ОЭС работают с частотой наиболее комфортной для восприятия человеческим глазом, (24 кадра в секунду), то показатель 40 мс и будет являться предельным для задачи сопровождения.

Процесс сопровождения объектов включает следующие этапы:

- захват области интереса;

- определение координат заданного объекта;

- прогнозирование траектории движения объекта;

- оценка потери отслеживаемого объекта из-за выхода из зоны видимости камеры или перекрытия другим объектом.

Современные системы позволяют обнаруживать и сопровождать несколько объектов одновременно. Подобные системы также должны иметь автоматизированный режим работы, который не требует от оператора (пользователя системы) серьезных усилий.

Сопровождение - это метод отслеживания траектории движения объектов (подвижных или неподвижных). Последовательность координат для заданного объекта формирует траекторию движения.

Обнаружение - метод, предназначенный для выбора и выделения одного или нескольких объектов, имеющих некоторые схожие признаки с заданным объектом поиска. Способ автоматического обнаружения объектов включает вычисление характеристик сопровождаемого объекта, выбор объекта для сопровождения, проверку его истинности по статистическим критериям и сброс автосопровождения ложного объекта.

В данной главе представлен аналитический обзор ранее предложенных Российскими и зарубежными учеными методов и алгоритмов обнаружения и сопровождения объектов.

1.1. Обзор российских и зарубежных патентов

В настоящее время разработано большое количество программ для ЭВМ, полезных моделей и патентов на изобретение по системам обнаружения и сопровождения подвижных объектов [15-20, 62]. Рассмотрим наиболее близкие по теме патенты на изобретения.

Известен патент РФ «Система и способ сопровождении движущихся объектов» № 2701092, G06Т 7/80, опубл. 24.09.2019, который может быть использован в системах сопровождения движущихся объектов, применяющий обзорную и поворотную видеокамеры [15]. Сущность изобретения № 2701092 заключается в том, что в системе реализовано обнаружение объектов, слежение за их движением и их сопровождение, позволяющее анализировать видео без прямого участия человека. Основная идея данного изобретения заключается в применении поворотной камеры, а также возможности оператора выбирать конкретную обзорную видеокамеру из имеющихся в системе. Происходит обнаружение в кадре всех движущихся объектов и определение их пространственных координат. Данная система имеет как «автоматический», так и «ручной» режимы работы.

Применение нескольких камер увеличивает аппаратные затраты на реализацию системы сопровождения подвижных объектов, требует от пользователя периодического контроля в выборе камеры в «ручном режиме» работы для сопровождения.

В патенте «Способ обработки последовательности изображений для обнаружения и слежения за воздушными объектами» № 2419150С1, G06K 9/54, опубл. 20.05.2011, техническим результатом является повышение точности обнаружения и слежения как за малоразмерными, так и протяженными воздушными объектами, наблюдаемыми на фоне ясного или облачного неба датчиками телевизионного (ТВ) и инфракрасного (ИК) диапазонов. Суть изобретения заключается в алгоритме траекторного анализа, который осуществляет слежение за одним объектом.

Изобретение «Способ обработки последовательности изображений для распознавания воздушных объектов» - патент РФ № 2664411С2, G06K 9/46, опубл. 06.06.2018, предназначено для повышения точности определения класса наблюдаемого воздушного судна [16].

Основные отличительные особенности изобретения:

- генерация на основе 3D-моделей эталонных бинарных изображений воздушных объектов;

- использование базы данных эталонных дескрипторов внешнего контура объекта;

- применение бинарного изображения.

Применение базы данных эталонных дескрипторов, а также эталонных бинарных изображений подразумевает сравнение обнаруженного объекта с эталонным, что в ситуации, когда обнаруженный объект не соответствует эталонному не приведет к должному результату. Изобретение № 2664411С2 осуществляет сопровождение только воздушных объектов.

Патент №2311684С1 «Способ обработки сигналов для выделения движущихся объектов в последовательности телевизионных изображений», G06T 7/00, опубл. 27.11.2007 относится к области обработки сигналов для выделения движущихся объектов в последовательности телевизионных изображений [17]. Алгоритм, примененный в изобретении, использует сдвиг ТИ относительно ЭИ с учетом оценки параметров сдвига. Изобретение № 2419150С1 осуществляет сопровождение только воздушных объектов.

Недостатком рассмотренных ранее изобретений является использование дополнительной информации, помимо видеопоследовательности, таких как 3D-модели и датчик ИК, что приводит к увеличению аппаратных затрат. Еще одним недостатком является возможность сопровождения одного объекта на видеопоследовательности.

Известен патент РФ «Способ автоматического обнаружения и сопровождения целей» № 2264633, G01S13/58, опубл. 20.11.2005, авторами которого являются: Анцев Г.В., Васюк В.А., Иванов В.Н., Недобежкин С.В., Татаринов С.Н [18]. Данный патент относится к области радиолокационных систем наведения, работающих в условиях воздействия помех и включает в себя обнаружение целей, определение характеристик целей, выбор цели на сопровождение, захват и автосопровождение цели, проверку истинности цели по статистическим критериям и сброс автосопровождения ложной цели. Обнаруженные цели подразделяют на две группы по критерию превышения или непревышения порогового значения скорости. Первая группа - истинные цели, вторая - ложные цели. Группы целей сравниваются по численности. Скорости и направления движения истинных целей (кораблей) и ложных целей отличны друг от друга. Скорость истинных целей зависит от курса корабля, направления и скорости ветра и прочих характеристик. Недостаток данного изобретения заключается в том, что при наличии большого количества ложных целей возникает ситуация, когда выбор истинной цели

среди ложных требует многократного повторения комплекса операций, что существенно увеличивает время обнаружения истинных целей.

В патенте № 2588 604C1, G01S 17/66 «Способ автоматического обнаружения целей», опубл. 10.07.2016, авторами которого являются: Зубарев И.В., Корнилов В.И., Кузнецов А.А., Немцов А.В., Олейников А. В., Тарасевич Е.А., техническим результатом является обеспечение реализации одновременного выполнения функций автоматического обнаружения и государственного опознавания целей [19]. Для автоматического определения целей используется лазерный локатор. Данное изобретение относится к вооружению и военной технике. Недостаток данного изобретения - только военная направленность, а также использование дополнительной информации (данных с лазерного локатора), помимо видеопоследовательности, что приводит к увеличению аппаратных затрат.

Изобретение «Способ обработки сигналов для выделения движущихся объектов в последовательности телевизионных изображений» - патент РФ № 2311684C1, G06T 7/00, опубл. 27.11.2007, авторами которого являются: Алпатов Б.А., Бабаян П.В., Блохин А.Н., Катаев А.А., Костяшкин Л.Н., Романов Ю.Н., предназначено для повышения точности выделения объектов за счет устойчивости к пространственным искажениям, имеющим вид сдвига и поворота изображения текущего кадра относительно ранее наблюдавшихся кадров [20]. Технический результат заключается в аналого-цифровом преобразовании каждого кадра, запоминании первого кадра в качестве эталонного изображения, а также в качестве фонового изображения, определения угла поворота изображения текущего кадра относительно эталонного изображения. Недостатком данного патента является использование дополнительной информации, помимо видеопоследовательности, а также сдвиг изображения на дробное число пикселей.

1.1.1. Выводы

Рассмотренные в патентах подходы к построению систем обнаружения и сопровождения подвижных объектов обладают существенными недостатками:

- Использование тепловизионных камер, поскольку это значительно увеличивает стоимость и габариты конечного изделия;

- Применение электромеханических систем, поскольку данные системы также увеличивают габариты, а также имеют более низкую отказоустойчивость, за счет сложной конструкции;

- Узкая специализация (ряд систем предобучается на нахождение соответствующих паттернов).

1.2. Обзор методов обнаружения

Методы обнаружения объектов решают задачи выбора и выделения одного или нескольких подвижных объектов, которые имеют схожие признаки с объектом поиска, а также сброс автосопровождения ложного объекта. Все методы обнаружения можно разделить на группы:

- методы, основанные на вычитании фона;

- методы, базирующиеся на временных различиях (метод вычисления оптического потока, контурный анализ) [35];

- локализационные нейронные сети [10, 33, 50, 52, 59, 69, 77, 78].

1.2.1. Методы и алгоритмы, основанные на вычитании фона

Принято разделять на следующие группы [79]: Нерекурсивные методы

- метод вычитания текущего и предыдущего кадра;

- метод усреднения некоторого количества предшествующих кадров;

- метод определения медианы фиксированного количества предшествующих кадров;

- метод, основанный на использовании минимаксного фильтра.

Рекурсивные методы

- гистограммный метод;

- метод, основанный на использовании аппроксимирующего медианного фильтра;

Список литературы диссертационного исследования кандидат наук Тарасов Андрей Сергеевич, 2023 год

- 48 с.

14. Lucas, B. D., KanadeT. An iterative image registration technique with an application to stereo vision // Proceedings of Imaging Understanding Workshop. - 1981. - С. 121-130.

15. Алтуев Мурат Казиевич (RU), Сучков Егор Петрович (RU), Шмелёв Вадим Владиславович (RU) СИСТЕМА И СПОСОБ СОПРОВОЖДЕНИЯ ДВИЖУЩИХСЯ ОБЪЕКТОВ // патент на изобретение https://yandex.ru/patents/doc/RU2701092C1_20190924.

16. Алпатов Борис Алексеевич (RU), Бабаян Павел Вартанович (RU), Смирнов Сергей Александрович (RU) СПОСОБ ОБРАБОТКИ ПОСЛЕДОВАТЕЛЬНОСТИ ИЗОБРАЖЕНИЙ ДЛЯ РАСПОЗНАВАНИЯ ВОЗДУШНЫХ ОБЪЕКТОВ // патент на изобретение https://yandex.ru/patents/doc/RU2664411 C2_20180817.

17. Алпатов Борис Алексеевич (RU), Бабаян Павел Вартанович (RU), Блохин Алексей Николаевич (RU), Катаев Андрей Анатольевич (RU), Костяшкин Леонид Николаевич (RU), Романов Юрий Николаевич (RU) СПОСОБ ОБРАБОТКИ СИГНАЛОВ ДЛЯ ВЫДЕЛЕНИЯ ДВИЖУЩИХСЯ ОБЪЕКТОВ В ПОСЛЕДОВАТЕЛЬНОСТИ ТЕЛЕВИЗИОННЫХ ИЗОБРАЖЕНИЙ // патент на изобретение https://yandex.ru/patents/doc/RU2311684C1_2007112.

18. Анцев Г.В., Васюк В.А., Иванов В.Н., Недобежкин С.В., Татаринов С.Н Способ автоматического обнаружения и сопровождения целей // патент на изобретение.

19. Зубарев И.В., Корнилов В.И., Кузнецов А.А., Немцов А.В., Олейников А. В., Тарасевич Е.А. Способ автоматического обнаружения целей // патент на изобретение.

20. Алпатов Б.А., Бабаян П.В., Блохин А.Н., Катаев А.А., Костяшкин Л.Н., Романов Ю.Н. Способ обработки сигналов для выделения движущихся объектов в последовательности телевизионных изображений // патент на изобретение.

21. Horn, B.K.P. Determining optical flow [Электронныйресурс] / B.K.P. Horn, B.G. Schunk // AI Memo 572,MIT. - 1981.

22. Barron, J.L. Performance of optical flow techniques [Text]/ J.L. Barron, D.J. Fleet, S. Beauchemin // IJCV. - 1994. -№ 12 (1).

23. Visual Object Classes Challenge 2012 (V0C2012)// URL: http: //host.robots .ox.ac.uk/pascal/V0C/voc2012.

24. Беляков П.В., Никифоров М.Б. Вариационный метод вычисления оптического потока в системе-на-кристалле // Цифровая обработка сигналов, 2018. №3. С. 76-82.

25. V. Potapova, A. Tarasov, N. Grinchenko Image search by content system development // в сборнике: Proceedings of IEEE East-West Design&Test Symposium (EWDTS2018). - 2018 - С. 625-629.

26. Мицель А.А., Колодникова Н.В., Протасов К.Т. Непараметрический алгоритм текстурного анализа аэрокосмических снимков // Известия Томского политехнического университета. - 2005. - Т. 308. - № 1. - С. 6570.

27. Медведева Е.В., Каралушин К.А., Курбатова Е.Е. Метод выделения движущихся объектов в видеопотоке на основе оценке их границ // Машинное обучение и анализ данных. - 2015. - Т. 1. - №2 12. - С. 1696-1705.

28. Система наведения "Охотник" // URL: https://aviation21.ru/izdelie-oxotnik-innovacionnaya-sistema-nashlemnogo-celeukazaniya.

29. Фисенко В. Т., Можейко В. И., Фисенко Т. Ю., Вилесов Л. Д., Фёдоров Д. А. Метод автоматического обнаружения и прослеживания многих малоразмерных объектов в условиях априорной неопределенности // Известия высших учебных заведений. Приборостроение. - 2014. - Т. 57. -№ 10. - С. 17-22.

30. Соколов, С. М., Богуславский А. А., Фёдоров Н. Г., Виноградов П. В. Система технического зрения для информационного обеспечения автоматической посадки и движения по ВПП летательных аппаратов// Известия ЮФУ. Технические науки. - 2015. - № 1(162). - С. 96-109.

31. Богданов А.А., Клочко В.К., Фельдман А.Б. Исследование алгоритма формирования трехмерных изображений на базе бортовой оптико-электронной системы наблюдения // Вестник Рязанского государственного радиотехнического университета - 2012. - № 42-1. - С. 70-72.

32. Чендаров А.В., Мамон А.Ю. Идентификация данных при траекторном сопровождении маневрирующих объектов // Известия Тульского государственного университета. Технические науки. - 2015. - № 2. - С. 49-58.

33. Klochko V.K., Strotov V.V., Alpatov B.A., Smirnov S.A., Ershov M.D. Detecting and tracking of a group of objects multi-position passive scanning millimeter-wave system // В сборнике: Proceedings of SPIE - The International Society for Optical Engineering. 13. Сер. "Millimetre Wave and Terahertz Sensors and Technology XIII" - 2020. - С. 1154104.

34. Епишин Ю.В. Помехоустойчивый алгоритм обнаружения вращающегося источника сигнала и его реализация в системе технического зрения // Электронные информационные системы. - 2022. - № 1 (32). - С. 29-38.

35. Kim S., Jay KuoQ-С. A Stochastic Approach for Motion Vector Estimation in Video Coding // Proc. of SPIE, Vol. 2304, Neural and Stochastic Methods in Image and Signal Processing III. - 1994. - pp. 111-122.

36. Акинин М.В., Никифоров М.Б., Таганов А.И. Нейросетевые системы искусственного интеллекта в задачах обработки изображений: монография. М.: Научно-техническое издательство «Горячая линия -Телком», - 2016. - с. 152.

37. Tudan Li. CVOnline: Motion and time sequence Analysis. [Электронныйресурс], 2002. Режим доступа: http://homepages.inf.ed.ac.uk/rbf/CVonline/ (дата обращения: 14.10.2018).

38. Южакова Ю.О., Царева С.А. Оценка результативности интегрированной системы менеджмента производителя нефтедобывающего оборудования в контексте адаптации алгоритмов нечеткой логики // Научные исследования. - 2018. - № 6 (25). - С. 4-8.

39. Tarasov A., Muratov Y., Nikiforov M., Baranchikov A. Intelligent video computer tracking system // В сборнике: 13th International Conference ELEKTRO 2020, ELEKTRO 2020 - Proceedings. 13. - 2020. - С. 9130254.

40. Варфоломеев А. Ю. Методи та алгоритми автоматичного вщслщковування об'еклв на вщеопослщовностях: Монографiя - 100 с.

41. Автоматическое сопровождение объекта по видеопотоку [Электронный ресурс] (дата обращения 05.05.2019).

42. Тихонова Е.К. Математическое моделирование процесса сопровождения движущего объекта [Электронный ресурс] http://elib.spbstu.ru/dl/2/v16-3060.pdf/download/v16-3060.pdf (дата обращения 01.02.2019).

43. Латышев В.В. Кодирование изображений в корреляционно -экстремальных системах // Автоматика и телемеханика. - 1983. — №5. - с. 117-121.

44. Баклицкий В.К., Бочкарёв A.M. Методы фильтрации сигналов в корреляционно-экстремальных системах навигации. - М.: Радио и связь, 1986. —216 с

45

46

47

48

49

50

51

52

53

54

55

56

57

Буймов А.Г. Корреляционно-экстремальная обработка изображений, — Томск: Изд-во Том, ун-та, 1987. - 134 с.

Anshtedt T. Videoanalitics: myths and real - Мoscow: Sequrity Focus, 2012, 176 p.

Guoshen Yu. ASIFT: An Algorithm for Fully Affine Invariant Comparison, Image Processing On Line. 2011. Vol. 1.

Viola P. Rapid Object Detection using a Boosted Cascade of Simple Features. Accepted Conference on Computer Vision and Pattern Recognition (CVPR 2001). 2001. Р. 511-518.

Sokolov S.M. Vision system for information support of automatic landing and

movement along the runway of aircraft. 2015. Vol 1(162). Р. 96-109.

Philatov V.I. The system of teaching visual concepts based on the correlation

of lexemes and key points. 2016. Vol. 16-4. Р. 689-696.

Roth D. The SNoW Learning Architecture. Technical Report UIUCDCS-R-

99-2102, UIUC Computer Science Department. 1999. Р. 8-10.

Suvorov D.A. TLD: algorithm of tracking, 2012.

Diyazitdinov R.R. Application of the Kalman filter to assess the illumination Promising information technologies in scientific research, design and training (PIT 2012), Samara: Publishing House of the Samara Scientific Center of the Russian Academy of Sciences. 2012. Р. 21-25.

Elesina S.I., Nikiforov M.B., Loginov A.A., Kostyashkin L.N. Combining images in the correlation-extreme navigation system, Moscow: Tehnika, 2015. 208 р.

Agafonov V.Ju. Application of optical flow methods for image alignment estimation, Education and science in Russia and abroad. 2017. Vol. 6. Bratulin A.T., Belyakov P.V., Kholopov E.Yu., Ustyukov D.I. Highspeed method for calculating dense optical flux on FPGA.

Belyakov P.V., Nikiforov M.B. An FPGA-optimized architecture of variational optical flow. Conference: 2018 IEEE East-West Design & Test Symposium (EWDTS). 2018. Р. 129-136.

58. Ronneberger Olaf, Fischer Philipp, Brox Thomas. U-Net: Convolutional Networks for Biomedical Image Segmentation // CoRR. 2015. Vol. abs/1505.04597. - 1505.04597.

59. Jiawei Zuo, Guangluan Xu, Kun Fu, Xian Sun, Hao Sun, «Aircraft Type Recognition Based on Segmentation With Deep Convolutional Neural Networks», Geoscience and Remote Sensing Letters IEEE. 2018. Vol. 15. No. 2. Р. 282-286.

60. Ustukov D., Muratov Y., Nikiforov M., Gurov V. Implementing one of stereovision algorithмс on FPGA // Mediterranean Conference on Embedded Computing. Bar, 2016. P. 125-130.

61. Шведов А.П., Прейскурантова М.И. Система сопровождения цели // Свидетельство о регистрации программы для ЭВМ RU 2016613671, 01.04.2016. Заявка № 2015661632 от 30.11.2015.

62. Баранкин Е.С., Колодько Г.Н., Фролов И.И., Калинкин В.И., Белый Ю.И., Таганцев В.А., Мамонов А.И., Разин А.А. Система сопровождения цели // Патент на полезную модель RU 149575 U1, 10.01.2015. Заявка № 2014135781/28 от 02.09.2014.

63. Акиншин Р.Н., Хомяков А.В., Полубехин А.И., Румянцев В.Л. Алгоритм сопровождения маневрирующих воздушных целей в многопозиционной радиолокационной системе // Известия Тульского государственного университета. Технические науки. 2021. № 2. С. 175-183.

64. Тихонов К.М., Тишков В.В. Разработка модели программного корректируемого сопровождения наземной цели с учетом возможностей человека-оператора // Вестник Московского авиационного института. 2011. Т. 18. № 6. С. 68-77.

65. Культурмиди К.П., Захаренко Г.И., Григорьев А.В. Особенности использования матрицы шумов состояния в алгоритме фильтрации системы многоцелевого сопровождения воздушных целей // Научные чтения имени профессора Н.Е. Жуковского. Сборник научных статей XI

Международной научно-практической конференции. Краснодар, 2021. С. 76-89.

66. Tony Lindeberg. Scale invariant feature transform // Scholarpedia. — 2012. — Т. 7, вып. 5. — С. 10491.

67. Beril Sirmacek, Cem Unsalan. Urban Area and Building Detection Using SIFT Keypoints and Graph Theory // IEEE Transactions on Geoscience and Remote Sensing. — 2009. — Т. 47, вып. 4. — С. 1156—1167.

68. Шапиро Л., Стокман Дж. Компьютерное зрение. М.: Бином. Лаборатория знаний, 2006. 752с.

69. Chris Stauffer, W.E.L. Grimson Adaptive background mixture models for realtime tracking // In Proceedings of the Conference on Computer Vision and Pattern Recognition, 1998. V. 2.

[http://www.ai.mit.edu/projects/vsam/Publications/stauffer_cvpr98_track.pd f].

70. T. Bouwmans, F. El Baf, B. Vachon Background Modeling using Mixture of Gaussians for Foreground Detection - A Survey // Recent Patents on Computer Science 1, 3. 2008. P. 219-237.

71. P. Dempster, N. M. Laird, D. B. Rubin Maximum Likelihood from Incomplete Data via the EM Algorithm // Journal of the Royal Statistical Society. Series B (Methodological), Vol. 39, No. 1. (1977), pp. 1-38.

72. Szeliski R. Computer Vision: Algorithms and Applications. Springler, 2010. 979p.

73. Форсайт Д., Понс Ж. Компьютерное зрение. Современный подход. М.: Изд. д. Вильямс, 2004. 465с.

74. D.Nister Preemptive RANSAC for live structure and motion estimation // In the Proceedings of the IEEE International Conference on Computer Vision 2003 (ICCV'03). 2003. P.199-206.

75. Bradski G., Kaehler A. Learning OpenCV Computer Vision with OpenCV Library. O' Reilly Media Publishers, 2008. 571p.

76. Sonka M., Hlavac V., Boyle R. Image Processing, Analysis and Machine Vision. Thomson. 2008. 866p.

77. Leibe B., Leonardis A., Schiele B. Robust Object Detection with Interleaved Object Categoization and Segmentation. Springler Science + Business Media, LLC, 2007.

78. Lee P.H., Chiu T.H., Lin Y.L., Hung Y.P. Real-time pedestrian and vehicle detection in video using 3D cues // In Proceedings of the 2009 IEEE international conference on Multimedia and Expo (ICME'09). 2009. P. 614617.

79. O. Barnich, M. Van Droogenbroeck ViBe: Auniversal background subtraction algorithm for video sequences // IEEE Transactions on Image Processing. 20(6).2011. P.1709-1724.

80. Wang, J. Y. A., Adelson E. H. Representing moving images with layers // IEEE Transactions on Image Processing. 1994. 3(5). P. 625-638. [http: //persci .mit.edu/pub_pdfs/wang_tr279.pdf].

81. Kumar M.P., Torr P.H.S., Zisserman A. Learning Layered Motion Segmentations of Video // In International Journal of Computer Vision (IJCV). 2008. V.76, №3, P. 311-319.

82. Yilmaz A., Javed O., Shah M. Object tracking: A survey // ACM Computing Surveys. 2006. V. 38. № 4, Article 13.

83. Veenman C., Reinders M., Backer E. Resolving motion correspondence for densely moving points. IEEE Trans. Pattern Analysis Machine Intelligence. 2001. V.23. № 1. P. 54-72.

84. Salarpour A., Salarpour A., Fathi M., Dezfoulian MirHossein Vehicle tracking using Kalman filter and features // Signal & Image Processing: An International Journal (SIPIJ). 2011. V.2, №2.

85. Dan S., Baojun Zh., Linbo T. A Tracking Algorithm Based on SIFT and Kalman Filter // In Proceedings The 2nd International Conference on Computer Application and System Modeling. 2012. - P.1563-1566.

86. Ning Li Corner feature based object tracking using Adaptive Kalman Filter // In Proceedings of the 9th International Conference on Signal Processing (ICSP 2008). 2008. P. 1432-1435.

87. Isard M., Blake A. Condensation - conditional density propagation for visual tracking // Int. J. Comput. Vision. 1998. V.29. № 1. P. 5-28.

88. Gustafsson F., Gunnarsson F., Bergman N., Forssell U., Jonas Jansson, Karlsson R., Nordlund P.J. Particle Filters for Positioning, Navigation and Tracking // IEEE Transactions on Signal Processing. 2002. V.2. Issue 2. P. 425437.

89. Comaniciu D., Ramesh V., Meer P. Real-time tracking of non-rigid objects using mean shift // In Proceedings of the CVPR'00. 2000. V.2, P. 142-149.

90. Exner D., Bruns E., Kurz D., Grundhofer A. Fast and robust CAMShift tracking // In Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. 2010. P. 9-16.

91. Shi J., Tomasi C. Good features to track // IEEE. 1994. P. 593-600

92. Курячий М.И., Костевич А.Г., Гальчук И.В. Пространственно-временная ранговая обработка изображений в видеоинформационных системах. Томск: Издательство ТУСУРа. 2013. - 120 с.

93. Б.В. Костров, Асаев А.С., Злобин В.К., Муратов Е.Р. Спектральные методы обработки изображений // Вестник Рязанского государственного радиотехнического университета (Вып. 21). - Рязань, 2007. - С. 3-8.

94. Блейхут Р. Быстрые алгоритмы цифровой обработки сигналов. - М.: Мир, 1989. - 448 с.

95. Обработка изображений и цифровая фильтрация/ Под ред. Т. Хуанга. -М.: Мир, 1979. - 318 с.

96. Бендат Дж., Пирсол А. Применения корреляционного и спектрального анализа. - М.: Мир, 1983. - 312 с.

97. Гонсалес, Р. Вудс, С. Эддинс. Цифровая обработка изображений в среде MATLAB. - Москва: Техносфера, 2006. - 616 с.].

98. Новиков А.И., Пронькин А.В., Устюков Д.И. Быстрые алгоритмы первичной обработки изображений в бортовых системах технического зрения, [Текст] // Новые информационные технологии и ИТ-образование. Том 16, №3, 2020. С. 673-685. DOI: 10.25559/SITITO.16.202003.673-685.

99. Прэтт У. Цифровая обработка изображений. Пер. с англ. - М.: Мир, 1982. Кн.2. - 480 с.

100. R. Maini, H. Aggarwal. Study and comparison of various image edge detection techniques // International Journal of Image Processing, Vol. 3, No 1, 2009. -Pp. 1-11.

101. John Canny. A Computational Approach to Edge Detection // IEEE Transactions on Pattern Analysis and Machine Intelligence. vol. PAMI-8 NO 6, 1986. - Pp. 679-698.

102. Методы компьютерной обработки изображений // Под редакцией В.А. Сойфера. - М.: Физматлит, 2001. - 784с.