Методы и алгоритмы многокамерного сопровождения объектов в режиме реального времени тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Багиров Мираббас Бахтияр оглы

• Багиров Мираббас Бахтияр оглы
• кандидат наук
• 2024

Оглавление диссертации кандидат наук Багиров Мираббас Бахтияр оглы

СПИСОК ТЕРМИНОВ И ОБОЗНАЧЕНИЙ

ВВЕДЕНИЕ

ГЛАВА 1. Современное состояние проблемы многокамерного сопровождения движущихся объектов на видеопотоке с применением компьютерного зрения и интеллектуального анализа данных

1.1. Анализ рынка видеоаналитики и прогнозы его развития

1.2. Проблема многокамерного сопровождения на видеопотоке в режиме реального времени

1.2.1. Калибровка многокамерных систем

1.2.2. Сшивка изображений многокамерных систем на видеопотоке в режиме реального времени

1.2.3. Алгоритмы детектирования объектов на видеопотоке в режиме реального времени

1.2.4. Алгоритмы многокамерного сопровождения объектов на видеопотоке в режиме реального времени

1.2.5. Задача повторной идентификации объектов на видеопотоке

1.2.6. Используемые наборы данных

1.2.7. Показатели, используемые для оценки эффективности анализа изображений

1.3. Постановка задач и целей исследования

1.4. Выводы

ГЛАВА 2. Калибровка камер и сшивка изображений видеопотоков многокамерных систем в режиме реального времени

2.1. Алгоритм калибровки многокамерных систем

2.2. Алгоритм панорамной сшивки изображений в многокамерных системах

2.3. Выводы

ГЛАВА 3. Детектирование и сопровождение объектов в многокамерных системах в режиме реального времени

3.1. Задачи детектирования и сопровождения объектов в многокамерных системах

3.2. Разработка метода многокамерного сопровождения объектов с применением искусственного интеллекта

3.2.1. Алгоритм детектирования объектов на основе СНС YOLOv8

3.2.2. Формирование набора признаков объектов и модификация СНС ЯеБК^ 50 для решения задач сопровождения объектов

3.2.3. Установление соответствия между изображениями объектов, полученных с соседних кадров

3.2.4. Проверка наличия сопровождаемого объекта в кадре

3.3. Формализация алгоритма детектирования и сопровождения людей в многокамерных системах

3.3.1. Сопровождения людей в многокамерных системах с распознаванием лиц

3.3.2. Метод сопровождения людей на видеопотоке в режиме реального времени с идентификацией лица

3.3.3. Выбор модели СНС для распознавания лиц и сопоставления людей на соседних кадрах видеопотоков

3.4. Формализация алгоритма детектирования и сопровождения транспортных средств в многокамерных системах

3.4.1. Метод сопровождения ТС на видеопотоке в режиме реального времени с идентификацией государственного регистрационного номера

3.4.2. Выбор модели СНС для распознавания государственного регистрационного номера ТС и сопоставления ТС на соседних кадрах видеопотоков

3.5. Выводы

ГЛАВА 4. Моделирование, настройка параметров, исследование, внедрение разработанных алгоритмов многокамерного сопровождения движущихся объектов на видеопотоке

4.1. Исследование и апробация разработанных алгоритмов калибровки и сшивки кадров видеопотоков многокамерных систем

4.2. Обучение СНС для решения задач многокамерного сопровождения объектов на видеопотоке

4.3............Экспериментальная оценка эффективности алгоритмов обнаружения и

сопровождения людей и ТС

4.3.1. Подготовка тестовых данных для анализа видеопотоков

4.3.2. Результаты проведенных экспериментов для оценки эффективности разработанного метода сопровождения

4.3.3. Результаты исследований метода сопровождения людей на видеопотоке с идентификацией лица

4.3.4. Результаты исследований метода сопровождения ТС на видеопотоке

4.3.5. Результаты исследований метода сопровождения ТС на видеопотоке с распознаванием государственного регистрационного номера

4.4. Апробация метода сопровождения людей и транспортных средств

4.5. Реализация программно-аппаратного комплекса мониторинга людей и ТС для предприятия АО «Русполимет»

4.5.1. Сервер видеоаналитики

4.5.2. Сервер веб-сервиса и БД

4.6. Перспективные направления дальнейшего развития исследования

4.7. Выводы

ЗАКЛЮЧЕНИЕ

Список литературы

Приложение 1. Копия патента на изобретение

Приложение 2. Копии свидетельств о государственной регистрации программ для ЭВМ

Приложение 3. Копии документов о внедрении результатов кандидатской диссертационной работы

СПИСОК ТЕРМИНОВ И ОБОЗНАЧЕНИЙ

МОТ - сопровождение нескольких объектов.

Динамическая зрительная сцена - передвижение множества объектов между сценами камер системы.

Статическая зрительная сцена -передвижение множества объектов в области зрения одной камеры системы.

Глобальные признаки - признаки, которые можно вычислить для любого изображения объекта.

Локальные признаки - признаки, которые характеризуют не все изображение, а только его фрагмент.

Непрерывность отслеживания - сокращение количества фрагментаций траекторий, т.е. прерываний трека во время отслеживания при передвижении объекта в области зрения одной камеры и при переходе из одного поля зрения в другое.

ГО - уникальный номер, присваиваемый объекту при первом появлении в поле зрения камер, который однозначно идентифицирует объект на изображениях.

БК - общее количество ложноотрицательных результатов.

Б-мера - комплексный показатель, который объединяет точность и полноту, вычисляя их гармоническое среднее, и позволяет таким образом оценивать эффективность алгоритма сопровождения по единственному показателю. МОТА - точность сопровождения множества объектов.

Freg - скорость работы алгоритма сопровождения, без учета процесса обнаружения объектов, определяется как максимальное количество кадров, которое может быть обработано в течение одной секунды.

ВВЕДЕНИЕ

Введение диссертации (часть автореферата) на тему «Методы и алгоритмы многокамерного сопровождения объектов в режиме реального времени»

Актуальность темы исследования

Широкое применение видеокамер приводит к росту спроса на обработку и анализ видеоматериалов, разработку новых решений в сферах общественной безопасности, охраны территорий, транспортной видеоаналитики, анализа производственных процессов, ритейле и т.д. Технологии глубокого обучения, развитие методов классификации изображений и детектирования объектов, появление мощных графических процессоров дало стимул к развитию компьютерного зрения в направлении создания интеллектуальных систем обработки видеоданных и управления. Актуальны исследования в области построения систем многокамерного сопровождения объектов на видеопотоках, включая детектирование, идентификацию, сопровождение объектов, принадлежащих к одному или нескольким классам, обычно без предварительных знаний об объектах, их внешнем виде и количестве. Методы сопровождения, основанные на глубоком обучении, часто имеют низкую эффективность из-за специфики применения в реальных условиях: сложное фоновое окружение, объекты имеют нелинейную траекторию движения, перекрываются, визуально изменяются в процессе движения. Для детектирования подвижных объектов переднего плана из неподвижного фона успешно применяются глубокие сверточные сети, выделяющие внешние признаки объектов. Дополнительно выделение и анализ локальных признаков может значительно повысить точность идентификации.

В последние годы зарубежные и отечественные ученые Т. Анштедт, И. Келлер, Х. Лутц, D. Scaramuzza, Yu Guoshen, P. Viola, M.J. Jones, Р.П. Богуш, С.М. Соколов, А.А. Богуславский, А.С. Потапов и др. активно исследуют и разрабатывают методы детектирования объектов на видеопотоках, с целью решения актуальных задач видеонаблюдения - сегментации и детектирования большого количества объектов на сцене с высокой точностью, в условиях их перекрытия, и построении траекторий движения [1-8]. При этом методы, доминирующие в области повторной идентификации, имеют низкую эффективность из-за трудности обработки данных, связанной со слиянием и окклюзией наблюдаемых объектов, частыми резкими изменениями масштаба, что препятствует их практическому применению. Кроме того, исследования широко представлены только в системах с одной или двумя камерами, при этом детектирование и сопровождение объектов на сложных, много объектных сценах, с многократным перекрытием объектов имеет низкую точность. Таким образом, решение задачи разработки систем многокамерной видеоаналитики, а именно сопровождения объектов на видеопотоках в режиме реального

времени с высокой точностью имеет важное значение, в том числе в условиях импортозамещения, что определяет актуальность диссертационных исследований.

Целью работы является разработка и исследование алгоритмов обработки и анализа видеоданных систем многокамерного сопровождения объектов, обеспечивающих высокую точность и скорость обработки данных в режиме реального времени с применением искусственного интеллекта.

Для достижения поставленной цели необходимо решить следующие задачи:

1. Разработать автоматизированный алгоритм калибровки камер в многокамерных системах видеонаблюдения, уменьшающий влияние человеческого фактора и время калибровки, с уточнением матриц гомографии для повышения точности калибровки.

2. Разработать алгоритм сшивки кадров на видеопотоке с учетом построенных на этапе калибровки матриц гомографии камер.

3. Разработать метод сопровождения множества объектов в многокамерных системах в условиях сложных траекторий движения с перекрытиями объектов, с повторной идентификацией в режиме реального времени.

4. Разработать программно-аппаратный комплекс для экспериментального исследования разработанного метода сопровождения объектов в многокамерной системе видеонаблюдения с целью анализа его эффективности.

Объект исследования - цифровые изображения, полученные из видеопотоков многокамерных систем видеонаблюдения.

Предмет исследования - модели и алгоритмы обработки и анализа цифровых изображений, полученных из видеопотоков многокамерных систем с целью сопровождения объектов на статических и динамических зрительных сценах.

Область исследования соответствует паспорту специальности 2.3.1. - «Системный анализ, управление и обработка информации, статистика», а именно: п. 4 - разработка методов и алгоритмов решения задач системного анализа, оптимизации, управления, принятия решений, обработки информации и искусственного интеллекта; п. 5 - разработка специального математического и алгоритмического обеспечения систем анализа, оптимизации, управления, принятия решений, обработки информации и искусственного интеллекта; п. 12 - визуализация, трансформация и анализ информации на основе компьютерных методов обработки информации.

Научная новизна диссертационной работы заключается в следующем:

1. Разработан алгоритм калибровки многокамерных систем, отличающийся от известных автоматизацией процесса калибровки камер с уточнением проективного преобразования, что позволяет повысить точность калибровки за счет уменьшения

внутренних дисторсий, вычисления внешних параметров с учетом взаимного расположения камер и, соответственно, повысить точность сопровождения объектов.

2. Разработан алгоритм сшивки кадров на видеопотоке, отличающийся использованием комбинации модифицированного алгоритма вычисления коэффициентов цветокоррекции изображений с использованием матриц гомографии откалиброванных камер для избегания чрезмерного осветления и затемнения и алгоритма градиентного бесшовного смешивания, что позволяет строить панораму в режиме реального времени, а также повысить точность повторного обнаружения объектов.

3. На базе модифицированной сверточной нейронной сети (СНС) Яевпе1;-50 разработан многокамерный метод сопровождения объектов в режиме реального времени в условиях сложных траекторий движения, с перекрытиями объектов, отличающийся от известных анализом панорамы, построенной с видеопотоков множества камер, использованием локальных признаков объектов, применением комплексного дескриптора в алгоритмах, что обеспечивает повышение точности повторной идентификации при попаданиях объектов в поле зрений камер.

Основные положения, выносимые на защиту:

1. Автоматизированный алгоритм калибровки многокамерных систем с устранением внутренних дисторсий, вычислением внешних параметров камер с учетом их взаимного расположения, с уточнением проективного преобразования для повышения точности калибровки.

2. Алгоритм сшивки кадров видеопотоков многокамерных систем в режиме реального времени, включающий модификацию вычисления корректирующих коэффициентов для цветокоррекции изображений и проведение градиентного смешивания для минимизации линии шва.

3. Метод сопровождения объектов в многокамерных системах в условиях сложных траекторий движения в помещениях и открытых пространствах, с множественными перекрытиями объектов, отличающийся высокой точностью повторной идентификации, в том числе по лицу и государственному регистрационному номеру ТС, построенный на базе модифицированной СНС Resnet-50, работающий в режиме реального времени.

4. Реализованный программно-аппаратный комплекс обработки и анализа видеоданных в многокамерных системах для решения задач детектирования, слежения, повторной идентификации и построения траекторий движения объектов.

Методы исследования. Для решения поставленных в диссертационной работе задач использовались методы распознавания образов и цифровой обработки изображений,

искусственных нейронных сетей, математического анализа, объектно-ориентированного проектирования и программирования.

Достоверность результатов диссертационной работы обеспечена корректным использованием математического аппарата, нейросетевых моделей, подтверждена результатами моделирования, проведенными экспериментами, реализацией разработанных алгоритмов на реальных базах данных.

Теоретическая значимость диссертационного исследования заключается в разработанных моделях и алгоритмах, составляющих теоретическую основу для построения многокамерных систем сопровождения объектов с высокой точностью и скоростью обработки данных видеопотоков.

Практическая значимость диссертационной работы заключается в разработке программно-аппаратного комплекса многокамерного сопровождения движущихся объектов в режиме реального времени. Получен патент на изобретение и 7 свидетельств о государственной регистрации программ для ЭВМ в области обработки видеопотоков. Разработанные алгоритмы апробированы на открытых наборах данных CUHK03, Market-1501, MARS, iLIDS-VID, Stanford Car Dataset, Nomeroff Russian license plates, MegaFace и собственных аннотированных данных, полученных со стационарных видеокамер внутри и вне помещений с различными условиями освещения, сложными траекториями движения, частичным или полным перекрытием объектов. В экспериментах использовалась университетская БД, предоставленная ФГБОУ ВО «НГТУ им. Р.Е. Алексеева».

Основные положения диссертации докладывались и обсуждались на следующих конференциях: межд. науч.-технич. конф. «Информационные системы и технологии», (Н. Новгород, 2020, 2021, 2022); 10-я межд. конф. «Физико-техническая информатика СРТ2022», (Пущино, Моск. обл., 2022); I межд. науч.-практ. конф. «Теоретические и прикладные вопросы комплексной безопасности», (Санкт-Петербург, 2018); XVII, XVIII межд. молодеж. конф. «Будущее технической науки» (Н. Новгород, 2017, 2018, 2019).

Реализация результатов работы. Результаты исследования:

- внедрены в ФГБОУ ВО «НГТУ им. Р.Е. Алексеева» и используются в учебном процессе в дисциплинах «Анализ Больших данных», «Интеллектуальный анализ данных», «Предиктивная аналитика»;

- внедрены в практику научных исследований Регионального научно-образовательного центра «Искусственный интеллект и анализ Больших данных. Школа хакатонщиков» и Передовой инженерной школы ФГБОУ ВО «НГТУ им. Р.Е. Алексеева». Система позволяет обнаруживать, сопровождать и идентифицировать множество людей в

режиме реального времени, что повышает точность мониторинга, предотвращает незаконное проникновение, учитывает посещаемость и рабочее время, а также выявляет аномалии поведения, улучшая систему безопасности университета;

- внедрены в ГКУ НО «Центр развития транспортных систем» для повышения эффективности видеоанализа подсистем мониторинга параметров пешеходного и транспортного потоков и использованы в подсистемах светофорного регулирования и косвенного управления транспортными потоками интеллектуальной транспортной системы;

- внедрены в Акционерном обществе «Русполимет» для мониторинга персонала и ТС на территории предприятия. Использование программного комплекса позволило сопровождать движущихся людей и ТС на видеокадрах с 11 камер в режиме реального времени (не менее 25 кадров в секунду); идентифицировать и повторно обнаруживать людей с точностью 92%, тем самым обеспечивается автоматический подсчёт персонала и построение их траектории движения и отображать подробную информацию на мониторе оператора в виде аналитических дашбордов, в том числе о выявленных аномалиях (оставленные без присмотра предметы, пересечение запретной зоны);

- используются в ООО НПП «ПРИМА» при разработке и изготовлении системы внешнего видения лётного демонстратора элементов БРЭО перспективного СГС, обеспечивая высокую точность и эффективность многокамерного сопровождения объектов в условиях сложных траекторий движения и повторной идентификации при кратковременном выходе наблюдаемых объектов из поля зрения камер.

Личный вклад автора. Результаты теоретических и практических исследований принадлежат лично автору или получены при его непосредственном участии. Автором лично разработаны алгоритмы калибровки и сшивки изображений многокамерных систем, алгоритмы детектирования и повторной идентификации объектов, алгоритм сопоставления данных между сценами, алгоритм сопровождения объектов, выполнена настройка параметров разработанных алгоритмов и исследование их эффективности. Сформулированы основные выводы и научные положения работы.

Публикации. По результатам диссертационной работы опубликовано 18 работ, в том числе 4 работы в рецензируемых журналах, рекомендуемых ВАК, 6 работ в других изданиях и материалах международных и всероссийских конференций, получен 1 патент на изобретение и 7 свидетельств о регистрации программы для ЭВМ.

Структура и объем работы. Диссертационная работа изложена на 158 страницах, включает 57 рисунков и 13 таблиц, состоит из введения, 4 глав, заключения, списка литературы из 157 наименований, списка терминов и обозначений и 3 приложений.

ГЛАВА 1. Современное состояние проблемы многокамерного сопровождения движущихся объектов на видеопотоке с применением компьютерного зрения и интеллектуального анализа данных

Современный процесс развития информационных систем характеризуется разработкой и внедрением новых подходов и интеллектуальных методов для решения трудно формализуемых задач обработки информации и управления. Интеллектуализация информационных технологий, применяемых в разных прикладных направлениях, позволяет повысить эффективность принятия решений в режиме реального времени, при экспоненциальном росте объемов обрабатываемой информации и сложности ее анализа. Большой прорыв в последнее время наблюдается в области применения компьютерного зрения, связанный с ростом вычислительных мощностей компьютеров и с разработкой новых эффективных технологий, включающих глубокое обучение нейронных сетей, автоматическую разметку данных, периферийные вычисления в сочетании с облачными сервисами, что приводит к повышению точности распознавания объектов на изображениях и видео, сокращению времени на обработку и анализ видеопотоков и позволяет существенно расширить диапазон решаемых задач.

Технологии компьютерного зрения и машинного обучения в настоящее время активно применяются при разработке системных решений во всех областях, связанных с получением и обработкой изображений, включая обнаружение, автоматический контроль и анализ объектов. Такие технологии востребованы в интеллектуальных транспортных системах, интеллектуальных системах видеонаблюдения, системах автоматизации промышленного производства и обеспечения безопасности, системах технического зрения роботов, в медицине и ритейле и т.д.

В то же время наблюдается рост требований к качеству анализа входной информации, повышению точности обнаружения и классификации объектов, что особенно актуально при обработке данных, получаемых с видеопотоков, в том числе с нескольких камер. Обработка и анализ изображений с видеопотоков высокой интенсивности является достаточно сложной задачей компьютерного зрения, где обнаружение, классификация и своевременное принятие решений требует разработки новых программно-алгоритмических решений, а также использования мощных вычислительных ресурсов. Это связано с искажением реальных характеристик объектов при проекции 3D объектов в 2D изображение из-за изменения пропорций или угла наклона, сложностями при разметке данных. Особую сложность имеет задача сопровождения объектов, где надо не только обнаружить движущийся объект, но и распознать его, определить направление и скорость

перемещения, а также не потерять его из-за перекрытия объектов, их схожести, сильного изменения ракурса (резкий разворот или поворот в сторону), перепадов освещения и т.п.

Для создания систем интеллектуальной обработки цифровых изображений и видео с камер, повышения эффективности принятия решения и управления в режиме реального времени требуется разработка и внедрение новых программно-аппаратных решений с использованием нейросетевых технологий и моделей глубокого обучения.

1.1. Анализ рынка видеоаналитики и прогнозы его развития

По оценке информационно-аналитического агентства TelecomDaily, представляющего результаты исследования о состоянии российского рынка видеоаналитики, объем рынка в РФ по итогам 2020 года составил 11,1 млрд рублей, что на 1,4 млрд (10%) больше, чем в 2019-м году. В 2022 г. рост выручки составил 12%, в 2023 г. ожидается объем рынка видеоаналитики в размере 12,8 млрд. рублей. Дан прогноз до 2028 года, что этот сектор сохранит самую высокую положительную динамику среди смежных рынков и прогнозируемый объем выручки по итогам 2028 составит 23,8 млрд руб. [9]. Число камер по оценкам ИАА TelecomDaily в 2022г. достигло более 21 млн. штук, причем по итогам 2021 камеры для распознавания лиц заняли 40% рынка (4,8 млн штук), для распознавания государственных регистрационных номеров (ГРН) автомобилей - 30% (3,5 млн шт.), для ситуационной видеоаналитики (охрана, мониторинг, контроль за детьми, пожилыми родственниками и т.д.) - 17% (2 млн шт.), для аналитики в ритейле - на 13% (1,6 млн шт.) [9]. По прогнозу к 2028-му году динамика рынка облачной ВА достигнет 25,9 млрд рублей, опережая рынок видеонаблюдения в целом на 10-12%.

В настоящее время исследования в области видеоаналитики применяются для детектирования событий, распознавания лиц и идентификации личности, распознавания опасных предметов, обеспечения безопасности на охраняемых территориях, транспорте, государственных объектах, подсчёта посетителей мероприятий, торговых площадок. Интерес к сервисам видеоаналитики стремительно растет. В настоящее время наблюдается новый серьёзный тренд в развитии современных систем видеоаналитики - переход от задач анализа архивов видеопотоков, часто выполняемых специалистами вручную, к разработке автоматизированных интеллектуальных систем обработки видеопотоков, поступающих одновременно с нескольких камер, где задачи обнаружения объектов, их распознавания и сопровождения (трекинг) необходимо выполнять в режиме реального времени. Качественный рост вычислительных мощностей, развитие и внедрение инновационных технологий - искусственного интеллекта, нейросетей, глубокого обучения, анализа

Больших Данных - позволяют реализовать новые решения и значительно повысить эффективность решений в области видеоаналитики.

Вступление в силу закона ФЗ-152 о персональных данных с требованием сертификации собственных систем видеоаналитики приводит к тому, что наилучшим решением становится аренда ресурсов в сертифицированном облаке. Применение облачных технологий позволяет значительно повысить эффективность решений в области видеоаналитики, что связано с доступом к огромному количеству данных при обучении машинных моделей, обеспечением масштабируемости при разработке архитектур и внедрения их в реальные проекты, надежностью хранения данных.

Сложность проблемы качественного анализа видеопотоков обусловлена многими факторами: нестабильной освещенностью, движением объектов, наличием шумов и искажений. Для эффективного анализа и обработки видеопотоков необходимо разработать новые алгоритмы, учитывающие все эти факторы. Одной из особенностей разрабатываемых алгоритмов является использование методов компьютерного зрения и машинного обучения, позволяющих автоматически обнаруживать и классифицировать объекты на видео. Также важным аспектом является учет контекста, то есть анализ видеопотоков необходимо выполнять с учетом временных и пространственных связей между объектами.

Одной из основных проблем является большой объем данных, требующий анализа. Кроме того, видео данные могут быть очень разнообразны, содержать множество объектов, с которыми необходимо работать (движущиеся объекты, люди, транспортные средства (ТС) и т.д.). Для анализа такого объема данных и для работы с такими объектами необходимы большие вычислительные мощности. Для решения этих проблем требуются новые алгоритмы анализа, которые будут способны обрабатывать большие объемы данных, быстро отвечать на запросы и обрабатывать разнообразные объекты [10].

Для корректной работы системы видеоаналитики требуется выполнить калибровку камер, т.е. привязать зону обзора камеры к карте контролируемой территории. В результате выполнения калибровки настройки камеры сохраняются для всех детекторов. При изменении положения камеры необходимо калибровать ее заново. Алгоритмы предварительной калибровки камер в системах видеоаналитики имеют большое практическое значение. От качества выполнения калибровки зависят последующие результаты работы алгоритмов сшивки, поиска объектов, повторной идентификации и сопровождения объектов на видеопотоке. Исследованиям в области повышения эффективности калибровки камер посвящено большое количество работ, в том числе в системах безопасности, автоматической калибровки камер на транспортных средствах в

условиях движения, исследования в области выбора калибровочных объектов и т.д. Тем не менее, на практике чаще всего выполняется ручная калибровка камер по калибровочным объектам, и человеческий фактор может снижать точность работы алгоритмов детектирования объектов.

Таким образом, качество анализа видеопотоков является зависит от множества сложных и многогранных проблем, требующих разработки новых алгоритмов и моделей, учета различных факторов и выбора наиболее подходящих методов для решения конкретных задач видеоаналитики.

1.2. Проблема многокамерного сопровождения на видеопотоке в режиме реального времени

Относительно новой, перспективной и активно развивающейся технологией видеоаналитики является многокамерное сопровождение объектов. При однокамерном сопровождении объектов невозможно построить непрерывную траекторию движения объекта. Многокамерная видеоаналитика позволяет сопровождать объект, в том числе идентифицировать его после «слепых» зон, и представляет собой взаимодействие сети камер и узлов системы видеонаблюдения, в большинстве случаев централизированных. Трудности перехода к многокамерным системам видеоаналитики, полной автоматизации процессов сопровождения объектов связаны с недостаточным уровнем развития современных технологий компьютерного зрения.

Весьма актуальными являются задачи анализа, обработки данных и управления, о чем свидетельствует большое количество публикаций в разных прикладных областях. Предлагаются разные архитектурные решения программного обеспечения (ПО), в том числе реализованного по принципу децентрализованного обмена управляющей информацией. Например, в работе [11] авторы провели анализ архитектурных решений аппаратного обеспечения распределенных интеллектуальных видеокамер, со встроенными высокопроизводительными чипами, выполняющими некоторые функции видеоаналитики; рассмотрены существующие архитектуры ПО децентрализованного управления функциями многокамерного сопровождения объектов. В результате предложена программно-аппаратная архитектура системы многокамерного сопровождения с использованием распределенных интеллектуальных камер, реализованная по принципу децентрализованного обмена управляющей информацией, на основе протокола CAN (Controller Area Network). Такая архитектура, основанная на децентрализованном подходе, позволяет в режиме реального времени реализовать традиционные функции видеоаналитики для распознавания и сопровождения объектов. Главный недостаток таких

систем - высокая стоимость решений, возможный высокий процент ложных срабатываний встроенных модулей аналитики, ограничения функциональных возможностей аналитики. Очевидно, что кроме особенностей программной реализации многокамерных систем видеоаналитики, важную роль играет аппаратная часть: выбор процессора (общего назначения или GP), сенсора (CMOS, CCD и др.), процессных модулей и т.д. Все это накладывает определенные ограничения на использование существующих разработок в конкретных прикладных областях и условиях анализа данных.

В настоящее время классическим методом реализации сложных алгоритмов компьютерного зрения, обеспечивающих работу многокамерных систем управления, является клиент-серверный подход, где в качестве клиента выступает сеть камер, а сервером является вычислительная система. Одним из примеров такой реализации является горизонтально масштабируемая архитектура, предлагаемая ФГУП «СНПО «Элерон» [12], которая разграничивает задачи трекинга и многокамерного сопровождения по нескольким серверам, а также имеет балансировщик нагрузки для распределения решаемых задач.

Наиболее перспективными инструментами в области анализа, управления и обработки данных с видеопотока являются технологии машинного обучения, и, в частности, нейросетевые технологии. Высокий интерес к нейросетевым технологиям обусловлен их способностью к решению задач, которые невозможно строго формализовать, находить скрытые закономерности и проводить детальный анализ данных.

Следует отметить, что для решения задач компьютерного зрения не существует универсальных алгоритмов анализа и обработки видеопотока. Для каждого определенного случая необходимо разрабатывать специализированную систему, построенную на анализе априорных сведений об исследуемом объекте, результатах моделирования, алгоритмах обработки изображений и принятия решений.

Список литературы диссертационного исследования кандидат наук Багиров Мираббас Бахтияр оглы, 2024 год

Список литературы

1. Анштедт Т. Видеоаналитика: мифы и реальность / Т. Анштедт, И. Келлер, Х. Лутц // Sequrity Focus. - 2012. - 176 с. ISBN 978-5- 9901176-5-5

2. Guoshen Yu. ASIFT: An Algorithm for Fully Affine Invariant Comparison, Image Processing On Line / Yu. Guoshen, M. Jean-Michel // Image Processing On Line. - 2011. - №1. [Электронный ресурс]. - Режим доступа: http://www.ipol.im/pub/art/2011/my-asift/article.pdf (дата обращения: 07.05.2023).

3. Viola P. Rapid Object Detection using a Boosted Cascade of Simple Features / P. Viola // Accepted Conference on Computer Vision and Pattern Recognition (CVPR 2001). - 2001. - С. 511-518.

4. Ахметвалеев, А. М. Концепция бесконтактной идентификации лиц, представляющих угрозу общественной безопасности / А. М. Ахметвалеев, А. С. Катасёв // Вестник НЦБЖД. - 2016. - № 3 (29). - С. 83-88.

5. Соколов С.М. Система технического зрения для информационного обеспечения автоматической посадки и движения по ВПП летательных аппаратов / С. М. Соколов, А. А. Богуславский, Н. Г. Фёдоров, П. В. Виноградов // Известия ЮФУ. Технические науки. -2015. - № 1(162). - С. 96-109.

6. Богуш Р. П. Обнаружение объектов на изображениях с большим разрешением на основе их пирамидально-блочной обработки / Р. П. Богуш, И. Ю. Захарова, С. В. Абламейко // Информатика. - 2020. - Т. 17, № 2. - С. 7-16. [Электронный ресурс] - Режим доступа: https://doi.org/10.37661/1816-0301-2020-17-2-7-16 (дата обращения: 25.09.2022)

7. Потапов А.С. Распознавание образов и машинное восприятие: общий подход на основе принципа минимальной длины описания / А.С. Потапов. - СПб.: Политехника, 2007. - 548 с.

8. Филатов В. И. Система обучения визуальным понятиям на основе соотнесения лексем и ключевых точек / В. И. Филатов, А. С. Потапов // Научно-технический вестник информационных технологий, механики и оптики. - 2016. - Т. 16, № 4. - С. 689-696.

9. ИАА TelecomDaily: в 2023 рынок ВА может вырасти в два раза [Электронный ресурс] // Информационно-аналитическое агентство «Телеком-Дэйли». - Режим доступа: https://telecomdaily.ru/news/2022/06/16/iaa-telecomdaily-v-2023-rynok-va-mozhet-vyrasti-v-dva-raza (дата обращения: 24.04.2023).

10. Багиров, М.Б. Разработка и исследование алгоритмов сопровождения объектов на видеопотоке // Информационные системы и технологии ИСТ-2022. - Сборник материалов XXVIII Международной научно-технической конференции. - Нижний Новгород, 2022. - С. 350-360.

11. Николаев Д.А. Архитектура программного обеспечения для многокамерного сопровождения в системах видеонаблюдения с децентрализованной структурой. Моделирование, оптимизация и информационные технологии. 2020;8(4). [Электронный ресурс]. - Режим доступа: https://moitvivt.m/ru/journal/pdf?id=856 DOI: 10.26102/23106018/2020.31.4.010 (дата обращения: 11.02.2023).

12. Де Ванса В. В. Многокамерное сопровождение в системах физической защиты. / В.В. Де Ванса, Г. Доможиров, Д. Иванов, Т. Федянин // Системы безопасности Security And Safety. - 2014. - №4. [Электронный ресурс]. - Режим доступа: http://secuteck.ru/articles2/videonabl/mnogokamemoe-soprovozhdenie-v-sistemah-fizicheskoy-zaschity/ (дата обращения: 16.04.2023).

13. Guy, S. Qualitative Comparison of Image Stitching Algorithms for Multi-Camera Systems in Laparoscopy / Guy S., Haberbusch J.-L., Promayon E., Mancini S., Voros S.. // Journal of Imaging. 2022. 8(3):52. [Электронный ресурс] - Режим доступа: https://doi.org/10.3390/jimaging8030052 (дата обращения: 03.04.2023).

14. Блохинов Ю.Б. Автоматическая калибровка системы видеокамер и лидаров для автономных мобильных комплексов / Ю. Б. Блохинов, Е. Э. Андриенко, К. К. Казахмедов, Б. В. Вишняков // Компьютерная оптика. - 2021. - Т. 45, № 3. - С. 382-393. DOI 10.18287/2412-6179-CO-812.

15. Bouguet J.-Y. Camera calibration toolbox for matlab / J.-Y.Bouguet // CaltechDATA. - 2022.

[Электронный ресурс]. - Режим доступа: https://data.caltech.edu/records/jx9cx-fdh55 (дата обращения: 27.07.2023). DOI 10.22002/D1.20164.

16. Stoyanov D. Camera calibration tools / D. Stoyanov // Journal IEEE Software. - 2006. [Электронный ресурс]. - Режим доступа: http://www0.cs.ucl.ac.uk/ staff/Dan.Stoyanov/calib (дата обращения: 27.07.2023)

17. Scaramuzza D. A toolbox for easily calibrating omnidirectional cameras / D. Scaramuzza, A. Martinelli, R. Siegwart // Intelligent Robots and Systems. - 2006. - pp. 5695-5701.

18. Khoa Dang Dang. Some enhanced algorithms for robot navigation by omnidirectional cameras / Khoa Dang Dang, Ngoc Quoc Ly, Truong The Nguyen // International Conference on Control, Automation and Information Sciences (ICCAIS). - 2012. [Электронный ресурс]. - Режим доступа: https://ieeexplore.ieee.org/document/6466595 (дата обращения: 15.09.2022)

19. Mei C. Single view point omnidirectional camera calibration from planar grids / C. Mei, P. Rives // Robotics and Automation. - 2007. - pp. 3945-3950.

20. Svoboda T. A convenient multicamera self-calibration for virtual environments / T. Svoboda, D. Martinec, and T. Pajdla // Presence Teleoperators & Virtual Environments. - 2005. - vol. 14, no. 4, pp. 407-422.

21. Barreto J. Easycal camera calibration toolbox / J. Barreto, K. Daniilidis, N. Kelshikar et al. - Tele-Immersion. [Электронный ресурс]. - Режим доступа: https://www.cis.upenn.edu/~kostas/tele-immersion/research/downloads/EasyCal (дата обращения: 27.07.2023).

22. Багиров М.Б. Разработка и исследование алгоритмов многокамерной калибровки для систем помощи водителю // Теоретические и прикладные вопросы комплексной безопасности. Сборник материалов I Международной научно-практической конференции. - Петровская академия наук и искусств - Санкт-Петербург, 2018. - С. 157-161.

23. Багиров М.Б. Разработка и исследование алгоритмов калибровки аналоговых камер высокого разрешения для систем помощи водителю / Э.С. Соколова, Д.В. Дмитриев, О.Н. Корелин [и др.] // Транспортные системы. - 2018. - Т. 9, № 3. - С. 11-15.

24. Rufli. Automatic detection of checkerboards on blurred and distorted images / D. Scaramuzza, R. Siegwart // Intelligent Robots and Systems. - 2008. - pp. 3121-3126.

25. Mallon J. Which pattern? Biasing aspects of planar calibration patterns and detection methods / J. Mallon and P. F. Whelan // Pattern recognition letters. - 2007. - vol. 28, no. 8. - pp. 921-930.

26. Schmalz C. Camera calibration: active versus passive targets / C. Schmalz, F. Forster, E. Angelopoulou // Optical Engineering. - 2011. - vol. 50, no. 11. - pp. 113 601-113 601.

27. Faugeras O. The Geometry of Multiple Images: The Laws That Govern The Formation of Images of A Scene and Some of Their Applications / O. Faugeras, Q.-T. Luong, T. Papadopoulou // Cambridge, MA, USA. - MIT Press. - 2001. [Электронный ресурс]. - Режим доступа: https://www.researchgate.net/publication/220691729_The_Geometry_of_Multiple_Images_The _Laws_That_Govern_the_Formation_of_Multiple_Images_of_a_Scene_and_Some_of_Their_A pplications (дата обращения: 17.07.2023)

28. Hartley R.I. Multiple View Geometry in Computer Vision / R.I. Hartley, A. Zisserman. - second edition - Cambridge University Press, 2004. - p. 673.

29. Kahlesz F. Easy-to-use calibration of multiple-camera setups / F. Kahlesz, C. Lilge, R. Klein // ICVS Workshop on Camera Calibration Methods for Computer Vision Systems. - 2007. [Электронный ресурс]. - Режим доступа: https://cg.cs.uni-bonn.de/ backend/v1/files/publications/fecu-calibration-2007.pdf-87fee557f29069c859061aefa27be6a3.pdf (дата обращения: 27.07.2023).

30. Frahm J.-M. Pose estimation for multi-camera systems. Pattern Recognition / J.-M. Frahm, K. Kser, R. Koch // Lecture Notes in Computer Science. - 2004. - №3175. - pp. 286-293.

31. Baker P. Complete calibration of a multicamera network / P. Baker, Y. Aloimonos // Proceedings IEEE Workshop on Omnidirectional Vision. - 2000. - pp. 134-141.

32. Кручинин А.Ю. Автоматическая внешняя калибровка камер на основе анализа траекторий движений объектов // Информационные технологии в науке, образовании и производстве

(ИТНОП): сборник трудов V Международной научно-технической конференции «Информационные технологии в науке, образовании и производстве». - 2018. [Электронный ресурс]. - Режим доступа:

http://elibrary.udsu.ru/xmlui/bitstream/handle/123456789/18415/367.pdf?sequence=1 (дата обращения: 30.07.2023)

33. Hou L. Human tracking over camera networks: a review / L. Hou, W. Wan, J.-N. Hwang et al // EURASIP J. Adv. Signal Process. - 2017. - no. 43. [Электронный ресурс]. - Режим доступа: https://www.researchgate.net/publication/317776105_Human_tracking_over_camera_networks_ a_review (дата обращения: 12.04.2023).

34. Багиров М.Б. Система реального времени для панорамного кругового обзора с использованием широкоугольных камер высокого разрешения // Системы управления и информационные технологии. - 2020. - Т. 82, № 4. - С. 87-92.

35. Хенг Л. Автоматическая внутренняя и внешняя калибровка установки с несколькими универсальными камерами и одометрией / Л. Хенг, Бо Ли, М. Поллефис // Труды Международной конференции IEEE/RSJ по интеллектуальным роботам и системам. - 2013. [Электронный ресурс]. - Режим доступа: https://www.researchgate.net/publication/261384922 (дата обращения: 02.04.2023).

36. Багиров М.Б. Обработка больших данных с целью создания системы определения геопозиции по фотографиям местности / В сборнике: Информационные системы и технологии ИСТ-2020. Сборник материалов XXVI Международной научно-технической конференции. Нижегородский государственный технический университет им. Р.Е. Алексеева. - 2020. - С. 716-721.

37. Interactive digital photomontage / A. Agarwala, M. Dontcheva, M. Agrawala et al // ACM Trans. Graph. - 2004. - vol. 23, pp. 294-302.

38. Reduced Solution Set Shortest Path Problem: Capton Algoritm With Special Reference To Dijkstra's Algorithm / Q. Abbas, Q. Hussain, T. Zia, A. Mansoor // Malaysian Journal of Computer Science. - 2018. - pp. 175-187.

39. Pulli K. Stitching and Blending. Standford Lectures Spring. - 2014. [Электронный доступ]. -Режим доступа: https://web.stanford.edu/class/cs231m/lectures/lecture-5-stitching-blending.pdf (дата обращения: 18.05.2023).

40. Как работает альфа-композитинг. [Электронный ресурс] // Habr: тематический блог. -Режим доступа: https://habr.com/ru/articles/468067 (дата обращения: 22.05.2023).

41. Жуковская А.Н. Алгоритм соединения двух изображений при создании панорамного изображения / А.Н. Жуковская, М.Н. Фаворская // Решетневские чтения. - 2018. - С. 264266.

42. Khamiyev I. Panoramic image generation using deep neural networks / I. Khamiyev, D. Issa, Z. Akhtar et al // Soft Computing. - 2023. - vol. 27, pp. 8679-8695. [Электронный ресурс]. - Режим доступа: https://doi.org/10.1007/s00500-023-08056-5 (дата обращения: 18.05.2023).

43. Gracias N. Fastimage blending using watersheds and graph cuts. / N. Gracias, A. Gleason, S. Negahdaripour // Proc. BMVC. - 2006. - pp. 469-478.

44. Dasari R. Reference Image Based Color Correction for Multi-camera Panoramic High Resolution Imaging. / R. Dasari, D.-Q. Zhang, C.W. Chen // 13th Conference on Computer and Robot Vision (CRV). - 2016. - pp. 410-415.

45. You only look once: Unified, real-time object detection / J. Redmon, S. Divvala, R. Girshick, A. Farhadi // IEEE conference on computer vision and pattern recognition. - 2016. - pp. 779-788.

46. Пинчук А.А. Задача Objectdetection. Алгоритмы решения / А.А. Пинчук // Мировые научные исследования современности: возможности и перспективы развития: материалы XVI международной научно-практической конференции. - 2022. - Т. 1, Ч. 1. - С. 148-152.

47. Болховитина Е.И. Исследование моделей сверточных нейронных сетей YOLOV3 и RETINANET для задачи детектирования лица человека на изображении // StudNet. - 2022. - vol. 5, no. 6. - pp. 5439-5448.

48. Сирота А.А. Анализ алгоритмов поиска объектов на изображениях с использованием различных модификаций сверточных нейронных сетей / А.А. Сирота, Е.Ю. Митрофанова, А.И. Милованова // Вестник Воронежского государственного университета. Серия: Системный анализ и информационные технологии. - 2019. - С. 123-137.

49. Зотов С.С. Обнаружение объектов в реальном времени с помощью алгоритмов распознавания YOLO / С.С. Зотов, А.А. Яковлев, Д.А. Колчинцев // Международный научный журнал «Синергия наук». - 2018. - № 26. - С. 388-404.

50. Srivastava S. Comparative analysis of deep learning image detection / S. Srivastava, A.V. Divekar, C. Anilkumar // J. Big Data. - 2021. [Электронный ресурс]. - Режим доступа: https://www.researchgate.net/publication/351465506 Comparative analysis of deep learning i mage detection algorithms (дата обращения: 06.04.2023).

51. Law H. Cornernet: Detecting objects as paired keypoints / H. Law, J. Deng // European Conference on Computer Vision (ECCV). - 2018. - pp. 734-750.

52. Centernet: keypoint triplets for object detection / K. Duan, S. Bai, L. Xie et al // IEEE international conference on computer vision. - 2019. - pp. 6569-6578.

53. Wojke N. Simple online and realtime tracking with a deep association metric / N. Wojke, A. Bewley, D. Paulus // 2017 IEEE International Conference on Image Processing (ICIP). - 2017. [Электронный ресурс]. - Режим доступа: https://arxiv.org/pdf/1703.07402.pdf (дата обращения: 06.04.2023).

54. Метрики оценки алгоритмов автоматического сопровождения / А.Е. Щелкунов, В.В. Ковалев, К.И. Морев, Сидько // Известия ЮФУ. Технические науки. - 2020. - C. 233-245.

55. Zhang, Y. FairMOT: On the Fairness of Detection and Re-identification in Multiple Object Tracking / Y. Zhang, C. Wang, X. Wang // International Journal of Computer Vision. - 2021. -vol.129, no. 3. - pp. 3069-3087.

56. Self-Adapting Control Parameters in Differential Evolution: A Comparative Study on Numerical Benchmark Problems. / J. Brest, S. Greiner, B. Boskovic et al // IEEE Transactions on Evolutionary Computation. - 2006. - vol. 10, no. 6. - pp. 646-657.

57. Игнатьева С.А. Принципы организации и анализ подходов к повышению точности повторной идентификации людей в распределенных системах видеонаблюдения // Вестник Полоцкого государственного университета. Серия С. Фундаментальные науки. - 2022. - № 4. - С. 13-25.

58. Багиров М. Б. Метод повторной идентификации объектов в многокамерных системах с низким энергопотреблением с использованием иерархических нейронных сетей // Труды НГТУ им. Р.Е. Алексеева. - 2022. - № 4(139). - С. 7-19.

59. Лютов В. С. Глубинные двоичные дескрипторы изображения человека для его повторной идентификации и сопровождения в видео / В.С. Лютов, А.С. Конушин // GraphiCon 2017: Труды 27-й Международной конференции по компьютерной графике и машинному зрению. Пермский государственный национальный исследовательский университет. - Пермь: Издательский центр Пермского государственного национального исследовательского университета. - 2017. - С. 217-222.

60. Гончаров А. В. Влияние освещенности на качество распознавания фронтальных лиц / А.В. Гончаров, А.Н. Каркищенко // Известия ЮФУ. Технические науки. - 2008. - C. 88-92.

61. Illumination-invariant person re-identification / Y. Huang, Z.-J. Zha, X. Fu, W. Zhang // 27th ACM International Conference on Multi-media. - 2019. - pp. 365-373.

62. Пантюхин Д.В. Нейросетевой метод идентификации одномерного объекта // Известия ЮФУ. Технические науки. - 2006. - С. 109-115.

63. Wu L. Person re-identification with deep convolutional neural networks / L. Wu, C. Shen, A. v. d. Hengel. [Электронный ресурс] // arXiv. - Режим доступа: https://arxiv.org/abs/1601.07255 (дата обращения: 12.04.2023).

64. Каскадный алгоритм для отслеживания лица человека в видеопотоке / Е.В. Шальнов, В.А. Кононов, В.С. Конушин, А.С. Конушин // Техническое зрение в системах управления мобильными объектами. Научно-техническая конференция, Москва, ИКИ РАН. - 2019. - Т. 3, № 9. - С. 151-157.

65. Мезенцева Е.М. Реализация алгоритма сопоставления стереоизображений / Е.М. Мезенцева, С.В. Малахов // T-Comm: Телекоммуникации и транспорт. - 2021. - Т. 15, № 11. - С. 40-44.

66. Сергеев Н.С. Распознавание частей человеческого тела глубокими нейронными сетями / Н.С. Сергеев, Д.В. Чеховский // Известия ТулГУ. Технические науки. - 2021. - № 9. - С. 130-134.

67. Learning deep context-aware features over body and latent parts for person re-identification / D. Li, X. Chen, Z. Zhang, K. Huang // Conference on computer vision and pattern recognition. -2017. - pp. 384-393.

68. Glad: Global-local-alignment descriptor for pedestrian retrieval / L. Wei, S. Zhang, H. Yao et al // ACM Multimedia. - 2017. [Электронный ресурс]. - Режим доступа: https://arxiv.org/pdf/1709.04329.pdf (дата обращения: 28.04.2023).

69. Быков, А. Л. Особенности полевой калибровки цифровых фотокамер по снимкам равнинного испытательного полигона / А. Л. Быков, В. Л. Быков, Л. В. Быков // Вестник ОмГАУ. 2016. №3 (23). C. 149-154.

70. Tang, D. AprilTag array-aided extrinsic calibration of camera-laser multi-sensor system / Tang, D., Hu, T., Shen, L. et al. // Robotics and Biomimetics. 2016. 3(13). [Электронный ресурс] -Режим доступа: https://doi.org/10.1186/s40638-016-0044-0 (дата обращения: 07.05.2023).

71. Habib, A. Stability Analysis for a Multi-Camera Photogrammetric System / Habib A., Detchev I., Kwak E. // Sensors. 2014. 14(8). pp. 15084-15112. [Электронный ресурс] - Режим доступа: https://doi.org/10.3390/s140815084 (дата обращения: 07.05.2023).

72. Кучеров, С. А. О подходах к распознаванию и идентификации персоны по цифровым изображениям в задачах обеспечения общественной безопасности / С. А. Кучеров, А. Н. Самойлов, А. К. Маакот, М. А. Кучерова // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2016. С. 630-639.

73. Гордин, М. С. Алгоритмы обнаружения тревожных событий для систем автоматизированного видеонаблюдения / М. С. Гордин, С. А. Иванов // Вестник Новосибирского государственного университета. Серия: Информационные технологии. 2017. Т. 15. № 3. С. 21-30.

74. Hu H. Multi-Camera Multi-Person Tracking and Re-Identification in an Operating Room / Hu H., Hachiuma R., Saito H., Takatsume Y., Kajita H. // Journal of Imaging. 2022. 8(8):219. [Электронный ресурс] - Режим доступа: https://doi.org/10.3390/jimaging8080219 (дата обращения: 07.05.2023).

75. Liu, J. Research on Person Reidentification Method Fusing Direction Information in Multi-camera Pedestrian Tracking Problem / J. Liu, X. Shi // Journal of Physics: Conference Series. 2021. vol.

1871. [Электронный ресурс] - Режим доступа: https://doi.org/10.1088/1742-6596/1871/1/012068 (дата обращения: 07.05.2023).

76. Mazzon, R. Person re-identification in crowd / Mazzon R., Syed Fahad Tahir, Cavallaro A. // Pattern Recognition Letters. 2012. vol. 33(14). pp. 1828-1837. [Электронный ресурс] - Режим доступа: https://doi.org/10.1016/j.patrec.2012.02.014 (дата обращения: 07.05.2023).

77. Strigel, E. Vehicle Detection and Tracking at Intersections by Fusing Multiple Camera Views / E. Strigel, D. Meissner, K. Dietmayer // Proceedings of the IEEE Intelligent Symposium (IV). 2013. pp. 882-887.

78. Wang, X. The Application of Multi-camera Multi-target Tracking System in Sports Venues Monitoring based on Intelligent Method // International Journal of Digital Content Technology and its Applications. 2012. 6(14). pp. 274-281. [Электронный ресурс] - Режим доступа: https://doi.org/10.4156/jdcta.vol6.issue14.34 (дата обращения: 07.05.2023).

79. Liu, W. Multi-camera Multi-object Tracking / W. Liu, O. Camps, M. Sznaier // arXiv.org. 2017. [Электронный ресурс] - Режим доступа: https://doi.org/10.48550/arXiv.1709.07065 (дата обращения: 07.05.2023).

80. Srivastava, V. Security System and Surveillance Using Real Time Object Tracking and Multiple Cameras/ V. Srivastava, E. Chaturvedi, R. Kachhawa, R. K. Jain // Advanced Materials Research Vols. 2012. 403-408. pp. 4968-4973. [Электронный ресурс] - Режим доступа: https://doi.org/10.4028/www.scientific.net/AMR.403-408.4968 (дата обращения: 07.05.2023).

81. Basiev, K. Open surgery tool classification and hand utilization using a multi-camera system / Basiev, K., Goldbraikh, A., Pugh, C M. et al. // Int J CARS 17. 2022. pp. 1497-1505. [Электронный ресурс] - Режим доступа: https://doi.org/10.1007/s11548-022-02691-3 (дата обращения: 07.05.2023).

82. Brown M. Automatic panoramic image stitching using invariant. / M. Brown, D.G. Lowe // In J Computer Vision. - 2007. - vol. 74, № 1. - pp. 59-73. DOI: 10.1007/s11263-006-0002-3.

83. Ibadov, S. R. Method of Automated Detection of Traffic Violation with a Convolutional Neural Network / S. R. Ibadov, B. Y. Kalmykov, R. R. Ibadov, R. A. Sizyakin // The European Physical Journal Conferences. 2019. 224:04004. [Электронный ресурс] - Режим доступа: https://doi.org/10.1051/epjconf/201922404004 (дата обращения: 07.05.2023).

84. Hung, N. V. Vehicle classification by estimation of the direction angle in a mixed traffic flow / N. V. Hung, N. H. Dung, L. C. Tran, T. M. Hoang, N. T. Dzung // IEEE Sixth International Conference on Communications and Electronics (ICCE). 2016. pp. 365-368. [Электронный ресурс] - Режим доступа: https://doi.org/10.1109/CCE.2016.7562663 (дата обращения: 07.05.2023).

85. Rosito Jung, C. Augmented Reality with Automatic Camera Calibration for Driver Assistance Systems / L. Gonzaga da Silveira Jr., C. Rosito Jung, J. Streibel // XI Symposium on Virtual and Augmented Reality. 2009. [Электронный ресурс] - Режим доступа: https://www.researchgate.net/publication/317428778 (дата обращения: 07.05.2023).

86. Chen, J. Sports Camera Calibration via Synthetic Data / J. Chen, J. J. Little // IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). 2019. [Электронный ресурс] - Режим доступа: https://doi.org/10.1109/CVPRW.2019.00305 (дата обращения: 07.05.2023).

87. Puwein, J. PTZ Camera Network Calibration from Moving People in Sports Broadcasts / J. Puwein, R. Ziegler, L. Ballan, M. Pollefeys // IEEE Workshop on the Applications of Computer Vision (WACV). 2012. pp. 25-32. [Электронный ресурс] - Режим доступа: https://doi.org/10.1109/WACV.2012.6163030 (дата обращения: 07.05.2023).

88. Lin, M. Cylindrical panoramic image stitching method based on multi-cameras / M. Lin, G. Xu, X. Ren, K. Xu // 2015 IEEE International Conference on Cyber Technology in Automation, Control, and Intelligent Systems (CYBER). 2015. pp. 1091-1096. [Электронный ресурс] -Режим доступа: https://doi.org/10.1109/CYBER.2015.7288097 (дата обращения: 07.05.2023).

89. Wang, J. Accelerating High-resolution Image Stitching for the Dual Camera System based on GPU / J. Wang, D. Liu, R. Zheng, Y. Hu, W. Gao, C. Zhao // 2022 China Automation Congress (CAC). 2022. pp. 3009-3013. [Электронный ресурс] - Режим доступа: https://doi.org/10.1109/CAC57257.2022.10054652 (дата обращения: 07.05.2023).

90. Лебеденко, Е. В. Алгоритмы децентрализованного управления многокамерным сопровождением в телевизионных охранных системах / Е. В. Лебеденко, Д. А. Николаев // XI Всероссийская межведомственная научная конференция «Актуальные направления развития систем охраны, специальной связи и информации для нужд государственного управления», Академия ФСО России. 2018.

91. Tseng, D. Automatic Detection and Tracking in Multi-fisheye Cameras Surveillance System / D. Tseng, C. Chen, C. Tseng // International Journal of Computer Electrical Engineering. 2017. vol 9(1). [Электронный ресурс] - Режим доступа: https://doi.org/10.17706/IJCEE.2017.9.1.370-383 (дата обращения: 07.05.2023).

92. Iguernaissi, R. People tracking in multi-camera systems: a review / R. Iguernaissi, D. Merad, K. Aziz et al. // Multimed Tools Appl. 2019. vol. 78. pp. 10773-10793. [Электронный ресурс] -Режим доступа: https://doi.org/10.1007/s11042-018-6638-5 (дата обращения: 07.05.2023).

93. Mandischer, N. Efficient and Consumer-Centered Item Detection and Classification with a Multicamera Network at High Ranges / N. Mandischer, T. Huhn, M. Husing, B. Corves // Sensors.

2021. 21(14):4818. [Электронный ресурс] - Режим доступа: https://doi.org/10.3390/s21144818 (дата обращения: 07.05.2023).

94. Ehab Ragab, M. Overlapping and Non-overlapping Camera Layouts for Robot Pose Estimation // IJCSI International Journal of Computer Science Issues. 2015. vol. 12(22015). [Электронный ресурс] - Режим доступа: https://doi.org/10.48550/arXiv.1505.00040 (дата обращения: 07.05.2023).

95. Пастушков А.В. Методы и алгоритмы поиска объекта на видеопотоке / А.В. Пастушков, В.Т. Калайда // Сборник научных трудов SWorld. - 2013. - Т. 6, № 3. - С. 38-42.

96. Богуш Р.П. Алгоритм сопровождения людей на видеопоследовательностях с использованием свёрточных нейронных сетей для видеонаблюдения внутри помещений / Р.П. Богуш, И.Ю. Захарова // Компьютерная оптика. - 2020. - Том 44, № 1ю - C. 109-116.

97. Wu L. PersonNet: Person re-identification with deep convolutional neural networks / L. Wu, S. Chunhua, A. Hengel. [Электронный ресурс]. - Режим доступа: https://arxiv.org/pdf/1601.07255.pdf (дата обращения: 03.04.2023)

98. Zhao L. Deeply-learned part-aligned representations for person re-identification / L. Zhao, X. Li, Y. Zhuang. [Электронный ресурс] Режим доступа: https://arxiv.org/pdf/1707.07256.pdf (дата обращения: 18.05.2023).

99. Tsung-Yi L. Microsoft COCO: Common Objects in Context. / L. Tsung-Yi, M. Maire, S. Belongie // European Conference on Computer Vision. - 2014. [Электронный ресурс]. - Режим доступа: https://arxiv.org/abs/1405.0312 (дата обращения: 09.05.2022)

100. 3D Object Representations for Fine-Grained Categorization / J. Krause, M. Stark, J. Deng, L. FeiFei // 2013 IEEE International Conference on Computer Vision Workshops. - 2013. [Электронный ресурс]. - Режим доступа: https://ieeexplore.ieee.org/document/6755945 (дата обращения: 15.09.2021)

101. CUHK Person Re-identification Datasets. [Электронный ресурс]. - Режим доступа: https://www.ee.cuhk.edu.hk/~xgwang/CUHK identification.html (дата обращения: 20.11.2022)

102. Market-1501 Dataset. [Электронный ресурс]. - Режим доступа: https://zheng-lab.cecs.anu.edu.au/Project/project_reid.html (дата обращения: 22.11.2022)

103. Nomeroff Russian license plates. [Электронный ресурс]. - Режим доступа: https://www.kaggle.com/datasets/evgrafovmaxim/nomeroff-russian-license-plates (дата обращения: 23.11.2022)

104. MegaFace Dataset. [Электронный ресурс]. - Режим доступа: https://megaface.cs.washington.edu/dataset/download.html (дата обращения: 06.09.2021)

105. MARS (Motion Analysis and Re-identification Set) Dataset. [Электронный ресурс]. - Режим доступа: https://zheng-lab.cecs.anu.edu.au/Project/project mars.html (дата обращения:

05.11.2021)

106. iLIDS Video re-IDentification (iLIDS-VID) Dataset. [Электронный ресурс]. - Режим доступа: https://xiatian-zhu.github.io/downloads_qmul_iLIDS-VID_ReID_dataset.html (дата обращения:

19.05.2022)

107. Performance measures and a data set for multi-target, multi-camera tracking / Ristani E., Solera F., Zou R et al. // Computer Vision ECCV 2016 Workshops. Lecture Notes in Computer Science.

- 2016. - vol. 9914, рр. 17-35.

108. MOTChallenge: A benchmark for single-camera multiple target tracking. / Patrick D., Aljosa O., Anton M. et al // International Journal of Computer Vision. - 2020. [Электронный ресурс]. -Режим доступа: https://link.springer.com/article/10.1007/s11263-020-01393-0 (дата обращения: 12.06.2021).

109. Метрики оценки алгоритмов автоматического сопровождения / А. Е. Щелкунов, В. В. Ковалев, К. И. Морев, И. В. Сидько // Известия ЮФУ. Технические науки. - 2020. - № 1(211). - С. 233-245. - DOI 10.18522/2311-3103-2020-1-233-245. - EDN BJWWLS.

110. Завалишин С.С. Алгоритм адаптивного контрастирования изображения / С.С. Завалишин // Математические методы в технике и технологиях - ММТТ. - 2015. - № 7(77). - С. 206-208.

- EDN WFEKNF.

111. Птицин Н.В. Будущее систем видеонаблюдения: многокамерное сопровождение / Н.В. Птицин // Системы безопасности. №2. 2009. [Электронный ресурс] - Режим доступа: http://lib.secuteck.ru/articles2/videonabl/panoramnoe-izobrajenie-v-videonabludenii (Дата обращения 10.12.2022).

112. Багиров М.Б. Метод автоматизированной калибровки камер и сшивки видеоизображений в многокамерных системах видеонаблюдения / М.Б. Багиров, Э.С. Соколова // Труды НГТУ им. Р.Е. Алексеева. - 2023. - № 4. - С. 7-19.

113. Поворотные камеры - почему мы отговариваем от них клиентов? [Электронный ресурс]. -Режим доступа: https://securecam.ru/articles/ptz_kamery_za_i_protiv (дата обращения: 10.12.2022)

114. Козин Е.В. Фотограмметрия СПб: Университет ИТМО: учеб. пособие / Е.В. Козин, А.Г. Карманов, Н.А. Карманова. - 2019. - 142 с.

115. Lehel P. Sensor Planning for a Trinocular ActiveVision System / P. Lehel, E.E. Hemayed, A.A. Farag // In Proceedings of Computer Vision and Pattern Recognition. - Fort Collins. - 2000, pp. 306-312.

116. Что такое коррекция гаммы. [Электронный ресурс]. - Режим доступа: https://www.cambridgeincolour.com/ru/tutorials-ru/gamma-correction.htm (дата обращения 10.12.2022).

117. Seamless image stitching in the gradientdomain / A. Levin, A. Zomet, S. Peleg, Y. Weiss // Computer Vision - ECCV 2004, LectureNotes in Computer Science. - Berlin. - 2004. - vol. 3024, pp. 377-389.

118. Пахирка А.И. Создание панорамных аэрофотоснимков с использованием квадрокоптера / А.И. Пахирка, А.Г. Зотин, В.В.Буряченко // Программные продукты и системы. - 2018. - С. 362-367.

119. Rajaram M Gowda. Development of Image Stitching Using Feature Detection and Feature Matching Techniques / Chaitra Ravi, 71. Rajaram M Gowda // 2020 IEEE International Conference for Innovation in Technology (INOCON). - 2020. - pp. 1-7.

120. [Электронный ресурс]. - Режим доступа: https://docs.opencv.org/4.x/index.html (дата обращения: 17.05.2023)

121. Narayan N. Person Re-identification for Improved Multi-person Multi-camera Tracking by Continuous Entity Association. / N. Narayan, N. Sankaran, D. Arpit // Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). -Honolulu. - 2017. - pp. 64-70.

122. Багиров М.Б. Разработка системы сопровождения объектов на видеопотоке / М.Б. Багиров, Д.В. Дмитриев, Т.Л. Бородина, Т.Д. Карклин / Вестник компьютерных и информационных технологий. - 2022. - Т. 19. - № 9 (219). - С. 3-13.

123. Мееров И.Б. Обзор методов поиска и сопровождения транспортных средств на потоке видеоданных / И.Б. Мееров, В.Д. Кустикова, Н.Ю. Золотых // Вестник ННГУ им. Н.И. Лобачевского. - 2012, № 5(2), С. 348-358.

124. MOTChallenge: The Multiple Object Tracking Benchmark. [Электронный ресурс]. - Режим доступа: https://motchallenge.net/

125. Bochkovskiy A. Yolov4: Optimal speed and accuracy of object detection / A. Bochkovskiy, CY Wang, HYM Liao. - arXiv preprint arXiv:2004.10934, 2020. [Электронный ресурс]. - Режим доступа: https://arxiv.org/pdf/2004.10934 (дата обращения: 25.12.2023)

126. Speed/accuracy trade-offs for modern convolutional object detectors. / Ren, S., He, K., Girshick, R., Sun, J. // In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). [Электронный ресурс]. - Режим доступа: https://arxiv.org/pdf/1611.10012 (дата обращения: 10.08.2022)

127. Understanding YOLOv8 Architecture, Applications & Features. [Электронный ресурс]. -Режим доступа: https://www.labellerr.com/blog/understanding-yolov8-architecture-applications-features (Дата обращения 08.02.2023).

128. You only look once: Unified, real-time object detection. / J. Redmon, S. Divvala, R. Girshick, A. Farhadi // IEEE Conf Comp Vis Pattern Recogn. - 2016, pp. 779-788. DOI: 10.1109/CVPR.2016.91

129. Going deeper with convolutions / C. Szegedy, W. Liu, Y. Jia et al. // In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. - 2015. - pp. 1-9. [Электронный ресурс]. - Режим доступа: https://arxiv.org/pdf/1409.4842 (дата обращения: 14.02.2023)

130. Simonyan K. Very Deep Convolutional Networks for Large-Scale Image Recognition / K. Simonyan, A. Zisserman. - ICLR 2015. - 2015. [Электронный ресурс]. - Режим доступа: https://arxiv.org/abs/1409.1556 (дата обращения: 17.06.2021)

131. Deep Residual Learning for Image Recognition / Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun. - CVPR 2016. - 2016. [Электронный ресурс]. - Режим доступа: https://arxiv.org/pdf/1512.03385 (дата обращения: 24.11.2021)

132. Wu L. PersonNet: Person re-identification with deep convolutional neural networks / L. Wu, S. Chunhua, A. Hengel // [Электронный ресурс]. - Режим доступа: https://arxiv.org/pdf/1601.07255.pdf (дата обращения: 25.12.2023)

133. Асанов М.— Дискретная математика: Графы, матроиды, алгоритмы / М. Асанов, В. Баранский, В. Расин. — 2010. - С. 249-258.

134. Алгоритм обнаружения объектов с обучением в реальном времени в процессе сопровождения / В. А. Бондаренко, П. А. Гессен, В. А. Павлова [и др.] // Известия Тульского государственного университета. Технические науки. - 2021. - № 7. - С. 3-16. - DOI 10.24412/2071-6168-2021-7-3-16. - EDN QIQYSN.

135. Chunming Wu. MTCNN and FACENET Based Access Control System for Face Detection and Recognition / Chunming Wu, Ying Zhang // Automatic Control and Computer Sciences. - 2021. - Vol. 55, No. 1. - P. 102-112. - DOI 10.3103/S0146411621010090. - EDN YBHHWB.

136. Schroff F. FaceNet: A Unified Embedding for Face Recognition and Clustering. / F. Schroff, D. Kalenichenko, J. Philbin // Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). [Электронный ресурс]. - Режим доступа: https://arxiv.org/abs/1503.03832 (дата обращения: 17.12.2023)

137. ImageNet Large Scale Visual Recognition Challenge. O. Russakovsky, J. Deng, H. Su, et al // arXiv. - 2014. - 115, 3. - С. 211-252. [Электронный ресурс]. - Режим доступа: https://arxiv.org/abs/1409.0575 (дата обращения: 25.12.2023)

138. Патент на изобретение RU 2778208 C1. Система интеллектуального мониторинга поведения пользователя при взаимодействии с контентом / Э.С. Соколова, Д.В. Дмитриев, М.Б. Багиров, Т.Л. Бородина, Т.Д. Карклин. - № 2021109220; заявл. 05.04.2021; опубл. 15.08.2022.

139. ArcFace: Additive Angular Margin Loss for Deep Face Recognition / Jiankang Deng, Jia Guo, Jing Yang et al. - [Электронный ресурс]. - Режим доступа: https://arxiv.org/pdf/1801.07698v2 (дата обращения: 25.12.2023)

140. Chen Sheng. MobileFaceNets: Efficient CNNs for Accurate RealTime Face Verification on Mobile Devices / Sheng Chen, Yang Liu, Xiang Gao, Zhen Han. - [Электронный ресурс]. -Режим доступа: https://arxiv.org/abs/1804.07573 (дата обращения: 08.01.2024)

141. The megaface benchmark: 1 million faces for recognition at scale. / I. Kemelmacher-Shlizerman, S. M. Seitz, D. Miller, E. Brossard // Proceedings of the IEEE conference on computer vision and pattern recognition. — 2016. — С. 4873—4882.

142. Svitov, D. MarginDistillation: distillation for margin-based softmax. / Svitov David, Alyamkin Sergey. - [Электронный ресурс]. - Режим доступа: https://arxiv.org/pdf/2003.02586 (дата обращения: 25.12.2023)

143. Багиров, М.Б. Разработка и исследование алгоритмов автоматического распознавания автомобильных номеров / М.Б. Багиров, А.Н. Райцын, О.П. Тимофеева // Информационные системы и технологии ИСТ-2021. - Сборник материалов XXVIII Международной научно-технической конференции. - Нижний Новгород. - 2021. - С. 600-605.

144. Эдель, Г. Е. Исследование алгоритма MobileNet V1 и его сравнение с MobileNet V2 на микрокомпьютере NVIDIA Jetson Nano / Г. Е. Эдель, М. Е. Сукотнова, В. В. Капустин // Электронные средства и системы управления. Материалы докладов Международной научно-практической конференции. - 2021. - № 1-2. - С. 242-245. - EDN DRTWWB.

145. Nomeroff Russian license plates. [Электронный ресурс]. - Режим доступа: https://www.kaggle.com/datasets/evgrafovmaxim/nomeroff-russian-license-plates (дата обращения: 19.11.2023)

146. Жбанова, В. Л. Исследование методов определения цветовых различий в равноконтрастной колориметрической системе cielab / В. Л. Жбанова // Светотехника. - 2020. - № 1. - С. 3640. - EDN HOHXPD.

147. Щеглов, Д. Ю. Исследование алгоритма "Гамма-коррекции" для повышения визуального качества изображения / Д. Ю. Щеглов // Теория и практика современной науки. - 2017. - № 7(25). - С. 173-177. - EDN ZDMHGB.

148. Улучшение качества потоковых изображений в реальном времени методом С^е / И. Ю. Грицкевич, А. С. Виноградов, Д. С. Григорьев, М. Н. Петров // Вестник Новгородского государственного университета. - 2017. - № 6(104). - С. 20-23. - ББК УШОГУ.

149. Багиров, М.Б. Обработка больших данных с целью создания системы поиска товаров по изображению / М.Б. Багиров, М.М. Гордеев, А.Н. Райцын [и др.] // Информационные системы и технологии ИСТ-2020. - Сборник материалов XXVIII Международной научно-технической конференции. - Нижний Новгород. - 2020. - С. 716-721.

150. Багиров, М.Б. Алгоритм многокамерного мониторинга транспорта на территории предприятий // М.Б. Багиров, Э.С. Соколова / Научно-технический вестник Поволжья. -2024. - №8. - С. 24-26.

151. Свидетельство о государственной регистрации программы для ЭВМ № 2021613082. Система извлечения информации о людях с входного видеопотока/ М.Б. Багиров, А.А. Зенкин, Т.Д. Карклин, Т.Л. Бородина. - Заявка № 2021611983 от 17.02.2021. Зарегистрировано в Реестре программ для ЭВМ 02.03.2021.

152. Свидетельство о государственной регистрации программы для ЭВМ № 2021612846. Система идентификации марки, модели, типа тс по фото/ М.Б. Багиров, Т.Д. Карклин, Т.Л. Бородина. - Заявка № 2021611805 от 15.02.2021. Зарегистрировано в Реестре программ для ЭВМ 25.02.2021.

153. Свидетельство о государственной регистрации программы для ЭВМ №2019661922. Интеллектуальная система подсчёта количества людей на видеопотоке в режиме реального времени / М.Б. Багиров, Т.Л. Бородина, А.А. Зенкин. - Заявка № 2019660872 от 30.08.2019. Зарегистрировано в Реестре программ для ЭВМ 11.09.2019.

154. Свидетельство о государственной регистрации программы для ЭВМ № 2019662092. Система автоматического подсчёта людей, пересекших запретную зону / М.Б. Багиров, Т.Д. Карклин, Т.Л. Бородина. - Заявка № 2019660813 от 30.08.2019. Зарегистрировано в Реестре программ для ЭВМ 17.09.2019.

155. Свидетельство о государственной регистрации программы для ЭВМ № 2019661843. Система подсчёта и отслеживания автомобилей на видеопотоке / М.Б. Багиров, Д.А. Егоров, Т.Д. Карклин, Т.Л. Бородина. - Заявка № 2019660868 от 30.08.2019. Зарегистрировано в Реестре программ для ЭВМ 10.09.2019.

156. Свидетельство о государственной регистрации программы для ЭВМ № 2024610862. Интеллектуальная система повторной идентификации объектов на видеопотоке в режиме реального времени / М.Б. Багиров. - Заявка №2023689533 от 26.12.2023. Зарегистрировано в Реестре программ для ЭВМ 15.01.2024.

157. Свидетельство о государственной регистрации программы для ЭВМ № 2024613317. Программа для калибровки многокамерных систем с уточнением проективного преобразования / М.Б. Багиров. - Заявка №2023689444 от 26.12.2023. Зарегистрировано в Реестре программ для ЭВМ 12.02.2024.

Приложение 1. Копия патента на изобретение

1. Патент на изобретение RU 2778208 С1. Система интеллектуального мониторинга поведения пользователя при взаимодействии с контентом / Э.С. Соколова, Д.В. Дмитриев, М.Б. Багиров, Т.Л. Бородина, Т.Д. Карклин. - № 2021109220; заявл. 05.04.2021; опубл. 15.08.2022.

Приложение 2. Копии свидетельств о государственной регистрации программ для ЭВМ

1. Свидетельство о государственной регистрации программы для ЭВМ № 2024610862. Интеллектуальная система повторной идентификации объектов на видеопотоке в режиме реального времени / М.Б. Багиров. - Заявка №2023689533 от 26.12.2023. Зарегистрировано в Реестре программ для ЭВМ 15.01.2024.

2. Свидетельство о государственной регистрации программы для ЭВМ № 2024613317. Программа для калибровки многокамерных систем с уточнением проективного преобразования / М.Б. Багиров. - Заявка №2023689444 от 26.12.2023. Зарегистрировано в Реестре программ для ЭВМ 12.02.2024.

3. Свидетельство о государственной регистрации программы для ЭВМ № 2021613082. Система извлечения информации о людях с входного видеопотока/ М.Б. Багиров, А.А. Зенкин, Т.Д. Карклин, Т.Л. Бородина. - Заявка № 2021611983 от 17.02.2021. Зарегистрировано в Реестре программ для ЭВМ 02.03.2021.

Р(0)€€Ш1€ЖАШ ФВДШРАЩШШ

4. Свидетельство о государственной регистрации программы для ЭВМ № 2021612846. Система идентификации марки, модели, типа тс по фото/ М.Б. Багиров, Т.Д. Карклин, Т.Л. Бородина. - Заявка № 2021611805 от 15.02.2021. Зарегистрировано в Реестре программ для ЭВМ 25.02.2021.

5. Свидетельство о государственной регистрации программы для ЭВМ №2019661922. Интеллектуальная система подсчёта количества людей на видеопотоке в режиме реального времени / М.Б. Багиров, Т.Л. Бородина, А.А. Зенкин. - Заявка № 2019660872 от 30.08.2019. Зарегистрировано в Реестре программ для ЭВМ 11.09.2019.

6. Свидетельство о государственной регистрации программы для ЭВМ № 2019662092. Система автоматического подсчёта людей, пересекших запретную зону / М.Б. Багиров, Т.Д. Карклин, Т.Л. Бородина. - Заявка № 2019660813 от 30.08.2019. Зарегистрировано в Реестре программ для ЭВМ 17.09.2019.

7. Свидетельство о государственной регистрации программы для ЭВМ № 2019661843. Система подсчёта и отслеживания автомобилей на видеопотоке / М.Б. Багиров, Д.А. Егоров, Т.Д. Карклин, Т.Л. Бородина. - Заявка № 2019660868 от 30.08.2019. Зарегистрировано в Реестре программ для ЭВМ 10.09.2019.

Приложение 3. Копии документов о внедрении результатов кандидатской диссертационной работы

3.1. Акт о внедрении результатов кандидатской диссертационной работы в ГКУ НО «Центр развития транспортных систем»

Государственное казенное учреждение Нижегородской области "Центр развития транспортных систем"

г. Нижний Новгород

УТВЕРЖДАЮ И.о. директора ГКУ НО «ЦРТС» Бачурин А.М.

Багирова Мираббаса Бахтияр оглы «Методы и алгоритмы многокамерного сопровождения объектов в режиме реального

времени»

Комиссия в составе:

Председатель

Белоусов Алексей Сергеевич, начальник отдела ОДД

Члены комиссии:

Бабаев Степан Сергеевич, начальник отдела информационной инфраструктуры и ПО

Ефимов Дмитрий Викторович, ведущий инженер отдела

информационной инфраструктуры и ПО

Мы, нижеподписавшиеся, подтверждаем, что результаты диссертационной работы «Методы и алгоритмы многокамерного сопровождения объектов в режиме реального времени» Багирова М.Б., реализованные в виде программного комплекса, прошли апробацию в Государственном казенном учреждении Нижегородской области "Центр развития транспортных систем". Программный комплекс направлен на повышение эффективности видеоанализа подсистем мониторинга параметров пешеходного и транспортного потоков и может быть использован в подсистемах светофорного регулирования и косвенного управления транспортными потоками интеллектуальной транспортной системы.

Программный комплекс многокамерного сопровождения протестирован на потоках типа «человек», «группа людей», «легковой транспорт», «грузовой транспорт», с построением траектории их движения и повторной идентификации. Автоматизация обработки видеопотоков и анализа ситуаций позволяет в режиме реального времени обнаруживать, классифицировать, отслеживать перемещение людей и транспортных средств в поле зрения пересекающихся и не пересекающихся камер. Система показала менее 10% ложных срабатываний, что является хорошим результатом в условиях сложных траекторий движения людей и транспорта, множественных разворотах, выхода из зоны обзора камер, повторного входа в контролируемое камерами пространство. Автоматизация анализа видеопотоков, включающая выявление нештатных ситуаций при движении пешеходов и

3.2. Акт о внедрении результатов кандидатской диссертационной работы в АО «Русполимет»

РУСПОЛИМЕТ

(АО «Русполимет»)

607018, Россия Нижегородская область г. Кулебаки, ул. Восстания, 1 Факс; [phone], 5-44-60 Тел.: [phone], 7-90-69 E-mail: [e-mail]

ОГРН1055214499966 ИНН/КПП 5251008501/525101001

Начальник управления корпсу АО «Русполимет»

УТВЕРЖДАЮ Ьтивной защиты

лЫн

В.В.СемрЖ 27 мая 2024 г.

связи

АКТ

о внедрении результатов кандидатской диссертационной работы Багирова Мираббаса Бахтияр оглы

«Методы и алгоритмы многокамерного сопровождения объектов в режиме реального времени»

Комиссия в составе:

Председатель

Семкин Валерий Васильевич, начальник управления корпоративной защиты Члены комиссии:

Кирюхин Алексей Тимофеевич, начальник отдела технических средств охраны и Скотников Сергей Александрович, начальник отдела контроля режима

Комиссия в составе Семкина Валерия Васильевича, начальника управления корпоративной защиты, Кирюхина Алексея Тимофеевича, начальника отдела технических средств охраны и связи, Скотникова Сергея Александровича, начальника отдела контроля режима, составили настоящий акт о том, что программный комплекс сопровождения людей и транспортных средств (ТС) в многокамерных системах в режиме реального времени, разработанный при выполнении диссертационной работы «Методы и алгоритмы многокамерного сопровождения объектов в режиме реального времени» Багирова М.Б. (научный руководитель разработки д.т.н., профессор Соколова Э.С.) может использоваться в Акционерном обществе «Русполимет» для мониторинга персонала и ТС на территории предприятия.

Использование программного комплекса сопровождения людей и ТС в многокамерных системах в режиме реального времени, позволяет:

-сопровождать движущихся людей и ТС на видеокадрах с 11 камер в режиме реального времени (не менее 25 кадров в секунду);

-идентифицировать и повторно обнаруживать людей с точностью 92%, тем самым обеспечивается автоматический подсчёт персонала и построение их траектории движения, что является безусловным достоинством разработанного программного комплекса;

3.3. Акт об использовании результатов кандидатской диссертационной работы в ООО НПП «Прима»

3.4. Акт о внедрении результатов кандидатской диссертационной работы в учебный процесс в ФГБОУ ВО «Нижегородский государственный технический университет им. Р.Е. Алексеева»

МИНОБРНАУКИРОССИИ

УТВЕРЖДАЮ

федеральное государственное бюджетное образовательное учреждение высшего образе""""" «Нижегородский государственный техни' университет им. Р.Е. Алексеева»

Ректор

(НГТУ)

АКТ

г. Нижний Новгород

АКТ

о внедрении результатов кандидатской диссертационной работы Багирова Мираббаса Бахтиир оглы

«Методы и алгоритмы многокамерного сопровождения объектов в режиме реального времени»

Результаты диссертационной работы Багирова МБ. «Методы и алгоритмы многокамерного сопровождения объектов в режиме реального времени», представленной на соискание ученой степени кандидата технических наук, внедрены в учебный процесс НГТУ кафедры «Информатика и системы управления» для студентов, обучающихся по направлению подготовки 09.03.01, 09.04.01 «Информатика и вычислительная техника» направленность программ «Интеллектуальные системы обработки информации и управления»; по направлению подготовки 09.03.02, 09.04.02 «Информационные системы и технологии» направленность программ «Безопасность информационных систем», включены в модули дисциплин «Анализ Больших данных», «Интеллектуальный анализ данных», «Предиктивная аналитика», «Интеллектуальные системы и технологии».

Результаты используются при выполнении курсовых работ, а также при выполнении выпускных квалификационных работ.

Начальник учебно-методического управления НГТУ

Ермакова Т.И.

3.5. Акт о внедрении результатов кандидатской диссертационной работы в специальном образовательном пространстве Передовой инженерной школы ФГБОУ ВО «Нижегородский государственный технический университет им. Р.Е. Алексеева»

МИНОБРНАУКИ РОССИИ

федеральное государственное бюджетное образовательное учреждение высшего образовании «Нижегородский государственный технический университет им. Р.Е. Алексеева» (НГТУ)

АКТ

г/.об. гог.4 № //-о/

г. Нижний Новгород

УТВЕРЖДАЮ

Проректор подпрограммам развития Хробостов А.Е. 2024 г.

АКТ

о внедрении результатов кандидатской диссертационной работы Багирова Мираббаса Бахтиир иглы

«Методы и алгоритмы многокамерного сопровождения объектов в режиме реального времени»

Настоящий акт составлен в том, что результаты диссертационной работы Багирова М.Б., представленной на соискание ученой степени кандидата технических наук, включающие разработанные алгоритмы и программный комплекс анализа видеопотоков для решения задачи многокамерного сопровождения множества людей в режиме реального времени с применением искусственного интеллекта внедрены в специальном образовательном пространстве Передовой инженерной школы НГТУ им. P.E. Алексеева для выявления нештатных ситуаций на ответственных объектах и эффективного реагирования на них.

Предложенные методы видеоаналитики многокамерных систем с применением искусственного интеллекта позволяют обнаруживать, сопровождать и повторно идентифицировать множество людей на видеопотоке, что повышает эффективность автоматического мониторинга образовательной среды, точность поиска и подсчёта количества людей в университете, достоверность сопровождения множества людей с учётом предложенного комплексного дескриптора, дают дополнительную информацию при интеграции разработанных алгоритмов в системы контроля и управления доступом.

Внедрение многокамерной системы видеомониторинга позволяет предотвратить незаконное проникновение на территорию ВУЗа, учитывать посещаемость студентов и рабочее время сотрудников, выявить аномалии, связанные с поведениями людей.

Разработанная система многокамерной видеоаналитики успешно прошла апробацию в помещениях и на территории НГТУ им. P.E. Алексеева.

Считаем целесообразным внедрение результатов диссертационной работы в систему контроля управления доступом для повышения безопасности образовательной среды в университете.

Директор ПИШ

Тумасов A.B.