Разработка и исследование алгоритмов оценки параметров движущихся объектов в задачах видеоаналитики тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат наук Ершов Максим Дмитриевич

• Ершов Максим Дмитриевич
• кандидат наук
• 2021

Оглавление диссертации кандидат наук Ершов Максим Дмитриевич

ВВЕДЕНИЕ

1 АНАЛИЗ ПРОБЛЕМ ОБНАРУЖЕНИЯ И ОЦЕНКИ ПАРАМЕТРОВ ДВИЖУЩИХСЯ ОБЪЕКТОВ В ЗАДАЧАХ ВИДЕОАНАЛИТИКИ

1.1 Вводные замечания и качественная постановка задачи

1.2 Проблемы и задачи систем видеоаналитики

1.3 Обзор решаемых с использованием технического зрения задач

1.4 Обзор и анализ методов и алгоритмов обнаружения и оценки параметров объектов

1.5 Выводы по первой главе

2 РАЗРАБОТКА АЛГОРИТМОВ ОБНАРУЖЕНИЯ И ОЦЕНКИ ПАРАМЕТРОВ ОБЪЕКТОВ ДЛЯ РЕШЕНИЯ ЗАДАЧ ВИДЕОАНАЛИТИКИ

2.1 Аналитическая постановка задачи обнаружения и оценки параметров объекта на изображении

2.2 Требования к разрабатываемым алгоритмам

2.3 Алгоритм обнаружения и оценки параметров движущихся объектов

2.4 Алгоритм обнаружения остановившихся объектов

2.5 Выводы по второй главе

3 КОМПЬЮТЕРНОЕ МОДЕЛИРОВАНИЕ И ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ ПРЕДЛАГАЕМЫХ АЛГОРИТМОВ

3.1 Исследование алгоритма обнаружения и оценки параметров движущихся объектов

3.2 Исследование алгоритма обнаружения остановившихся объектов

3.3 Выводы по третьей главе

4 ПРОГРАММНАЯ РЕАЛИЗАЦИЯ РАЗРАБОТАННЫХ АЛГОРИТМОВ

4.1 Структура и описание работы программного обеспечения

4.2 Особенности реализации на платформе интеллектуальных видеокамер

Axis

4.3 Анализ производительности разработанного ПО

4.4 Выводы по четвертой главе

ЗАКЛЮЧЕНИЕ

СПИСОК СОКРАЩЕНИЙ И УСЛОВНЫХ ОБОЗНАЧЕНИЙ

СПИСОК ЛИТЕРАТУРЫ

ПРИЛОЖЕНИЯ

Введение диссертации (часть автореферата) на тему «Разработка и исследование алгоритмов оценки параметров движущихся объектов в задачах видеоаналитики»

ВВЕДЕНИЕ

Актуальность темы исследования. В настоящее время наметилась устойчивая тенденция, связанная с широким внедрением систем видеоаналитики в различные сферы жизни человека. Значительный прогресс в этой области обусловлен появлением все более совершенных устройств получения изображений, вычислительных средств и каналов коммуникаций. Одними из перспективных и актуальных задач, решаемых системами видеоаналитики, являются:

- обнаружение и прослеживание в заданной части пространства объектов интереса или посторонних объектов;

- обнаружение несанкционированного проникновения на охраняемые объекты;

- обнаружение оставленных предметов (намеренно или случайно);

- контроль появления человека в опасных зонах: выход в неустановленном месте на автотрассу; выход за ограничительную линию перрона железнодорожной станции или метро и т.д.;

- подсчет числа посетителей или пассажиров;

- подсчет в реальном времени плотности автомобильного потока на автотрассах, улицах города или перекрестках с целью рационального управления транспортной инфраструктурой;

- определение степени занятости парковочных зон у торговых центров, парков и других мест массового скопления людей;

- фиксация нарушений ПДД и опасных ситуаций на дорогах: выезд на встречную полосу, совершение поворота (разворота) с нарушением разрешенной рядности движения, остановка в туннеле, на мосту или под запрещающим знаком и т.д.

С задачей оценки параметров движущихся объектов сталкиваются при разработке бортовых систем обработки информации и управления, в частности систем автоматического обнаружения и сопровождения объектов [1-4]. Также данная задача присуща области транспортной аналитики, что связано с актуальной

проблемой постоянно растущего числа автомобилей на дорогах, приводящей к значительному увеличению экономических и социальных издержек.

Вместе с тем отмечается недостаточная безопасность движения и наличие серьезных пробок на дорогах. Предпринимаются попытки свести к минимуму транспортные проблемы с помощью различных способов управления дорожным движением, но решение названных проблем в условиях растущей нагрузки на обширную дорожно-транспортную инфраструктуру требует больших трудозатрат, и значительную роль могут сыграть системы транспортной аналитики, которые способны частично или полностью взять на себя задачу анализа дорожно-транспортной обстановки.

Системы транспортной аналитики являются одной из наиболее важных составляющих любой интеллектуальной транспортной системы (ИТС). ИТС представляет собой систему управления, интегрирующую современные информационные и телематические технологии. Создание подобных систем требует автоматизацию процесса принятия решений с целью эффективного управления дорожно-транспортной инфраструктурой, конкретным транспортным средством или группой транспортных средств. В итоге с помощью ИТС должна обеспечиваться высокая мобильность населения и безопасность перевозок, максимизация показателей использования дорожной сети, повышения комфортности для водителей и пользователей транспорта. Развитие ИТС является одним из приоритетных направлений эволюции транспортных систем в мире [5] и в частности в России, что декларирует решение ЕАЭС от 26 декабря 2016 года № 19 [6].

Система видеоаналитики позволяет получать информацию, которая может включать число объектов, движущихся в интересующих направлениях; плотность потока объектов; параметры объектов: скорость, размеры, тип. Фактически, без информации, получаемой от систем транспортной аналитики, невозможно обоснованное принятие решений в ИТС. Поэтому от точности, оперативности и полноты данных, выдаваемых системами транспортной аналитики, зависит эффективность работы интеллектуальной транспортной системы в целом.

В связи с ростом числа проблемных участков дорог и перекрестков необходимы огромные ресурсы для наблюдения за обстановкой и организации дорожного движения. Возникает необходимость автоматизации процессов управления транспортными потоками, т.е. требуется создание и использование адаптивных систем управления. Применение таких систем в сфере городского управления дорожным движением, как правило, увеличивает пропускную способность перекрестков в среднем на 20%. Системы управления движением не только снижают задержки и заторы, но и обладают другими возможностями:

- предоставление приоритета проезда городскому пассажирскому транспорту и автомобилям спецслужб;

- обнаружение происшествий, заторов;

- контроль ПДД;

- получение информации о транспортных потоках (средняя скорость и количество автомобилей разных типов, проехавших по полосам движения).

Основной задачей адаптивной системы управления дорожным движением является автоматическое реагирование на колебания транспортного потока за счет использования устройств и алгоритмов видеоаналитики. Таким образом, разрабатываются специальные технические средства, называемые детекторами, которые осуществляют контроль над актуальным состоянием движения автотранспортных средств. С помощью детекторов можно обеспечить динамическое и стратегическое управление движением, а также получить необходимую информацию о параметрах потока автомобилей. Оцененные параметры объектов и транспортных потоков являются исходными данными для адаптивных систем управления работой светофоров, а также для транспортного моделирования, в результате которого принимаются решения по оптимизации транспортной сети по критерию пропускной способности. В зависимости от наблюдаемого участка дороги может быть принято решение о регулировке режима работы обычных светофоров, добавлении новых полос движения или же отдельных полос для общественного транспорта, строительстве новых участков дорожной сети и другие.

Данная диссертационная работа посвящена разработке и исследованию алгоритмов оценки параметров движущихся объектов для использования в детекторе транспортных средств. Задачу предлагается решить путем разработки эффективных алгоритмов обнаружения и оценки параметров объектов (транспортных средств, ТС), при этом данные алгоритмы должны быть оптимизированы с точки зрения вычислительных затрат для применения на внутренней платформе интеллектуальных видеодатчиков.

Не смотря на то, что задачи обнаружения и оценки параметров объектов в своей общей постановке и не являются новыми, научное сообщество продолжает вести активную работу, направленную на преодоление недостатков в работе систем видеоаналитики. Об этом говорит анализ материалов всероссийских и международных конференций (Техническое зрение в системах управления, Цифровая обработка сигналов и ее применение, ГрафиКон, IEEE Computer Vision and Pattern Recognition, SPIE Security and Defense, SPIE Remote Sensing, IEEE International Conference on Computer Vision, International Conference on Image Processing, International Conference on Image Analysis and Recognition, International Conference on Intelligent Transportation Systems и др.) и ведущих журналов (Компьютерная оптика, Автометрия, Цифровая обработка сигналов, Информационные технологии и вычислительные системы, Pattern Recognition, Journal of Electronic Imaging, International Journal of Computer Vision, IEEE Trans. Pattern Analysis and Machine Intelligence, Pattern Recognition Letters, Machine Vision and Applications и др.). Исходя из всего вышесказанного, тема диссертационной работы является актуальной, а ее решение - востребованным.

Степень разработанности темы. Развитие систем видеоаналитики неразрывно связано с общим прогрессом теории и методов компьютерного зрения. Несмотря на широту спектра практических приложений видеоаналитики, можно установить, что в основе большинства из них лежат задачи обнаружения, распознавания, оценки параметров и прослеживания заданных или заранее неизвестных объектов в видеопоследовательностях [7-9]. Решению названных задач уделяется большое внимание в отечественной и зарубежной литературе. Значительный

вклад в разработку методов и алгоритмов решения задач оценки параметров объектов, а также тесно связанных с ними подзадач внесли работы таких ученых, как Б.А. Алпатов, П.В. Бабаян, А.П. Трифонов, Ю.В. Визильтер, В.К. Баклицкий, И.С. Грузман, Е.П. Путятин, B. Coifman, W.K. Pratt, T. Bouwmans, T.Q. Pham, Zhong-ke Shi, J.M. Menendez и др.

Следует отметить, что в научной литературе рассматриваются способы построения принципиально новых алгоритмов анализа видео [10-18], при этом вопросы обеспечения приемлемой вычислительной сложности остаются без должного внимания. Кроме того, в недостаточной степени проработана проблема автоматического анализа текущего характера сцены и условий наблюдения.

На рынке представлены готовые к использованию технические средства [19-21], однако качество решений многих типовых задач, не говоря уже о перспективных, остается недостаточно высоким. Большое число ложных срабатываний и пропусков объектов интереса приводит к необходимости обеспечения существенной степени вовлеченности человека-оператора в процесс функционирования системы видеоаналитики. Основные причины, приводящие к получению неудовлетворительных результатов работы, заключаются в следующем:

- отсутствуют достаточно универсальные алгоритмы анализа видеосюжетов и изображений, обеспечивающие приемлемое качество решения задач в самом широком диапазоне сцен и условий наблюдения;

- после первоначальной настройки система не всегда способна корректно адаптироваться к изменению условий наблюдения;

- многие современные алгоритмы анализа видео и изображений требуют чрезмерно большого объема вычислений, поэтому зачастую им на практике предпочитают более простые и менее эффективные алгоритмы.

Таким образом, существует научная проблема, связанная с необходимостью поиска новых подходов и алгоритмов для повышения степени автоматизации и быстродействия систем транспортной аналитики. Требуется разработать эффективные алгоритмы обработки данных с точки зрения качества и скорости решения задачи обнаружения объектов и точности оценки их параметров.

Цель и задачи работы. Цель диссертационного исследования состоит в разработке и исследовании эффективных алгоритмов оценки параметров движущихся объектов в задачах видеоаналитики, позволяющих повысить вероятность обнаружения объектов и точность оценки их параметров в транспортных системах с применением внутренней платформы интеллектуальных камер.

Для достижения поставленной цели требуется решить следующие основные задачи:

- анализ существующих методов обнаружения и оценки параметров движущихся объектов в задачах видеоаналитики;

- разработка алгоритма обнаружения и оценки параметров движущихся объектов (ТС);

- разработка алгоритма обнаружения остановившихся объектов (ТС);

- реализация алгоритмов на платформе интеллектуальных видеокамер;

- экспериментальные исследования эффективности разработанных алгоритмов.

Научная новизна.

1. Разработан адаптивный алгоритм оценки и обновления фоновой составляющей изображения, отличающийся учетом физики процесса движения объекта интереса через зону обработки.

2. Разработан алгоритм выделения движущегося объекта на изображении на основе вычитания оценки фона, отличающийся совместным анализом разностного и текущего изображений на этапе сегментации.

3. Разработан алгоритм слежения за объектом на основе метода оптического потока, инициализированного особыми точками. Алгоритм отличается процедурой фильтрации отслеживаемых точек с учетом изменения параметров объекта и его точек в процессе слежения. Разработан алгоритм прослеживания сегмента объекта, отличающийся вычислительной эффективностью.

4. Разработан алгоритм обнаружения остановившегося объекта в заданной области на основе адаптивной оценки фоновой составляющей путем построения очереди оценок фона для разных малых промежутков времени. Алгоритм отлича-

ется вычислением разностного изображения на основе самой ранней и последней оценок фона.

Теоретическая и практическая значимость работы. В диссертации рассмотрена и решена задача обнаружения и оценки параметров объектов применительно к системам видеоаналитики: предложены и исследованы новые алгоритмы анализа данных, включая алгоритмы обнаружения как остановившихся, так и движущихся объектов, оценки их параметров с использованием интеллектуального видеодатчика при различных условиях наблюдения.

Практическая ценность работы состоит в том, что предложенные алгоритмы обнаружения и оценки параметров объектов в видеопоследовательности применимы для реализации на внутренней платформе интеллектуальных камер, что позволяет сократить затраты на каналы передачи данных и вычислительные серверы. Отдельное практическое значение имеет разработанное программное обеспечение для видеоаналитики на базе камер фирмы Axis.

Внедрение результатов диссертации. Результаты исследований использованы при выполнении ряда научно-исследовательских работ, проводимых в Рязанском государственном радиотехническом университете имени В.Ф. Уткина по заказам Министерства науки и высшего образования Российской Федерации (НИР 19-14Г, НИР 2-16Г, НИР 10-16Г, НИР 1-19Г), что подтверждается соответствующим актом внедрения. Разработанное программное обеспечение для видеоаналитики внедрено в ООО «ТехноГрупп» (г. Рязань), что подтверждается актом внедрения. Также получены свидетельства о государственной регистрации программ для ЭВМ, в которых реализованы разработанные алгоритмы [22, 23].

Методы исследования. Теоретические исследования в настоящей работе выполнены на основе методов теории статистических решений, теории вероятностей, теории цифровой обработки сигналов и изображений. Моделирование и экспериментальные исследования предлагаемых алгоритмов выполнялись как с использованием заранее записанных натурных видеосюжетов, так и на внутренней платформе видеокамер при наблюдении за разными участками дорог в режиме реального времени.

Степень достоверности. Достоверность результатов и выводов диссертации подтверждается корректным использованием математического аппарата, результатами моделирования на ЭВМ и экспериментальными исследованиями, результатами сравнения с подобными алгоритмами из известных источников, наличием свидетельств о государственной регистрации программ для ЭВМ.

Апробация результатов работы. Основные результаты работы докладывались на следующих конференциях:

- 21-й, 22-й и 23-й всероссийских научно-технических конференциях «Новые информационные технологии в научных исследованиях» (Рязань - 2016, 2017, 2018);

- всероссийских научно-технических конференциях «Техническое зрение в системах управления» (Москва - 2017, 2019);

- 6-й, 7-й и 9-й международных конференциях «Mediterranean Conference on Embedded Computing» (Бар - 2017, Будва - 2018, 2020).

- 7-й международной научно-технической конференции «Космонавтика. Радиоэлектроника. Геоинформатика» (Рязань - 2017);

- 20-й международной конференции «Цифровая обработка сигналов и ее применение» (Москва - 2018);

- 3-м международном научно-техническом форуме «Современные технологии в науке и образовании» (Рязань - 2020).

Присуждена премия Губернатора Рязанской области «Молодой ученый года» (2019 г.) за высокие результаты в научно-исследовательской деятельности, тема научных исследований: «Разработка и исследование алгоритмов обнаружения и оценки параметров объектов в последовательности изображений для решения задач видеоаналитики». Во время обучения в аспирантуре объявлена благодарность ректора Рязанского государственного радиотехнического университета за активную деятельность, успехи в учебной и научной работе (2018 г.).

Публикации. По теме диссертации опубликовано 14 работ [24-37], в том числе 4 статьи, индексируемые в международных реферативных базах данных Web of Science и/или Scopus; 2 статьи в научных рецензируемых изданиях, вклю-

ченных в Перечень ВАК, в которых должны быть опубликованы основные научные результаты диссертаций на соискание ученой степени кандидата наук. Результаты исследований отражены в 4 отчетах о НИР.

Соответствие паспорту специальности. Диссертация соответствует паспорту специальности 05.13.01 - «Системный анализ, управление и обработка информации (технические науки)» в части следующих пунктов:

- пункт 4. Разработка методов и алгоритмов решения задач системного анализа, оптимизации, управления, принятия решений и обработки информации;

- пункт 5. Разработка специального математического и алгоритмического обеспечения систем анализа, оптимизации, управления, принятия решений и обработки информации.

Личный вклад. Автор диссертации сформулировал основные идеи разработанных подходов и алгоритмов, принимал участие в разработке и регистрации программного обеспечения, занимался проведением экспериментальных исследований и обработкой их результатов, принимал участие в написании научных статей в составе авторского коллектива, представлял доклады по теме диссертации на конференциях. Положения, выносимые на защиту и составляющие научную новизну диссертационной работы, получены автором лично.

Положения, выносимые на защиту:

1. Разработанный алгоритм обнаружения и оценки параметров движущегося объекта (базовый алгоритм) решает поставленные задачи в режиме реального времени на базе интеллектуальной камеры, частота правильных обнаружений составляет 91,2% при частоте ошибок первого и второго рода, соответственно, 1,2% и 8,8%, частота ошибок классификации составляет 16,2%.

2. Разработанные алгоритмы слежения за объектом на основе метода оптического потока и прослеживания сегментов позволяют увеличить частоту правильных обнаружений по сравнению с базовым алгоритмом на 5% при уменьшении суммарной частоты ошибок на 6%, при этом увеличение частоты правильных

обнаружений достигает 10% по сравнению с широко используемыми алгоритмами, основанными на различных методах оценки фона.

3. Совмещение в рамках единого подхода алгоритма обнаружения объекта на изображении и алгоритма межкадрового отслеживания перемещения объекта обеспечивает повышение точности оценки параметров объектов: частота ошибок классификации сократилась на 5-7% по сравнению с базовым алгоритмом.

4. Разработанный алгоритм обнаружения остановившегося объекта на основе очереди оценок фона решает поставленную задачу в режиме реального времени, частота правильных обнаружений составляет 100% при суммарной частоте ошибок (ложных обнаружений и пропусков), равной 7,5%.

Структура и объем диссертации. Диссертация состоит из введения, четырех глав, заключения, списка сокращений и условных обозначений, списка литературы (221 источник), изложенных на 231 странице, содержит 45 рисунков, 16 таблиц и 3 приложения.

Во введении к диссертации изложены актуальность темы исследования, степень ее разработанности, цель и задачи работы, научная новизна, теоретическая и практическая значимость работы, методы исследования, степень достоверности и апробация результатов, положения, выносимые на защиту, описание структуры и объема диссертации.

Первая глава диссертации посвящена анализу проблем обнаружения и оценки параметров движущихся объектов в задачах видеоаналитики. В ней дана качественная постановка задачи; рассмотрены основные задачи, решаемые системами видеоаналитики с использованием технического зрения; приведен аналитический обзор методов и алгоритмов обнаружения и оценки параметров объектов в последовательности изображений. Рассмотрены возможные применения описанных в обзоре методов и алгоритмов в задачах видеоаналитики с использованием систем технического зрения. В частности рассмотрены подходы к решению задач систем транспортной аналитики. Дана качественная постановка задач, которые необходимо решить в ходе диссертационного исследования, и предложен общий подход к решению задач обнаружения и оценки параметров объектов.

Вторая глава посвящена разработке алгоритмов обнаружения и оценки параметров движущихся объектов для решения задач видеоаналитики. В ней проанализированы математические модели изображений и выдвинуты требования к разрабатываемым алгоритмам. На основе проведенного анализа осуществляется разработка алгоритмов, ориентированных на решение задач в области транспортной аналитики. Разработан алгоритм обнаружения и оценки параметров движущихся объектов и транспортных потоков при наблюдении за участком дороги неподвижной интеллектуальной видеокамерой. Разработан алгоритм обнаружения остановившихся объектов в заданной области изображения.

Третья глава посвящена компьютерному моделированию и экспериментальным исследованиям предлагаемых алгоритмов. Описываются методы количественного анализа эффективности работы алгоритмов. Приведены результаты статистического моделирования алгоритмов с использованием как заранее записанных натурных видеопоследовательностей, так и при наблюдении за разными участками дорог в режиме реального времени. Проведено сравнительное исследование качества обнаружения и оценки параметров объектов в задачах видеоаналитики. Показана эффективность разработанных алгоритмов с точки зрения качества решения задачи обнаружения объектов и точности оценки их параметров.

В четвертой главе рассмотрены вопросы программной реализации разработанных алгоритмов. Приведена структура созданного программного обеспечения, описаны особенности реализации предложенных алгоритмов на платформе интеллектуальных видеокамер. Проведен анализ производительности предложенных алгоритмов и программного обеспечения, показана эффективность алгоритмов с точки зрения скорости решения поставленных задач.

В заключении изложены основные итоги диссертационного исследования, сформулированы научные и практические результаты диссертации.

1 АНАЛИЗ ПРОБЛЕМ ОБНАРУЖЕНИЯ И ОЦЕНКИ ПАРАМЕТРОВ ДВИЖУЩИХСЯ ОБЪЕКТОВ В ЗАДАЧАХ ВИДЕОАНАЛИТИКИ

1.1 Вводные замечания и качественная постановка задачи

Диссертационное исследование относится к области построения ИТС. Такие системы уже разворачиваются во многих крупных городах России. Они применяются, например, для адаптивного управления светофорными объектами в пределах перекрестка, организации «зеленой волны» и т.п. Однако, несмотря на наличие первых положительных результатов, потенциал роста характеристик такого рода систем ограничен. В частности, точность детектирования ТС и оценки их характеристик недостаточно высока для решения перспективных задач интеграции транспортных средств с автоматизированным и беспилотным управлением (согласно ОДМ 218.9.011-2016 «Рекомендации по выполнению обоснования интеллектуальных транспортных систем» [38]).

Главной задачей ИТС является улучшение дорожной ситуации, что может достигаться различными способами. Технические составные части ИТС, решающие разные подзадачи, можно разделить на 2 класса:

- автоматизированные, в работе которых участвует человек-оператор, задача которого может заключаться, например, в визуальном контроле наблюдаемых участков дорог и перекрестков или же человек может заниматься задачей транспортного моделирования, для чего необходимы статистические данные, собираемые в автоматическом режиме;

- автоматические, полностью решающие определенные задачи, примером может служить адаптивная система светофоров, которая, во-первых, анализирует дорожную ситуацию, во-вторых, принимает решение об изменении режима работы того или иного светофора на перекрестке.

Рассматриваемая научная проблема состоит в необходимости значительного улучшения характеристик систем транспортной видеоаналитики на основе обработки информации, поступающей от видеодатчика в форме последовательности изображений. Данная задача в ИТС решается методами видеоаналитики, предна-

значенной для автоматизированного сбора требуемой информации путем анализа видеопоследовательности и использующей методы и алгоритмы цифровой обработки сигналов и изображений. В рассматриваемом случае в качестве требуемой информации принимаются статистические данные о транспортных потоках, включающие количество и типы ТС, скорость движения, загруженность отдельно взятых полос движения, а также информация о внештатных ситуациях и т.п.

В рамках обозначенной проблемы и направления исследований ставится цель создания качественно новых алгоритмов обнаружения, распознавания, прослеживания и оценки параметров объектов, как основы для решения современных и перспективных прикладных задач анализа последовательностей изображений.

С целью оценки параметров автомобильного потока предлагается большое количество вариантов построения детекторов транспорта. Детекторы, построенные на базе телевизионных датчиков видимого диапазона, являются наиболее перспективными. Это объясняется дополнительными возможностями, появляющимися при их использовании, - обнаружение автомобилей одним датчиком по нескольким полосам, фиксация правонарушений, распознавание номерных знаков автомобилей, обнаружение внештатных ситуаций, возможность визуального контроля оператором.

Обобщенно направление развития рассматриваемой задачи приведено на рисунке 1.1. Соответственно для эффективного управления дорожным движением в городе возникает необходимость наблюдения за большим числом перекрестков и участков дорог. Решением является установка камер видеонаблюдения, однако требуются линии связи для передачи больших объемов данных (видео) и дальнейшая обработка с использованием вычислительных центров. Для снижения данных затрат предлагается устанавливать интеллектуальные камеры, на которых возможна встроенная обработка видео. Возникает задача разработки алгоритма обнаружения, подсчета и оценки параметров транспортных средств, который в том числе должен работать в различных сложных условиях, но вычислительные возможности камер ограничены.

Список литературы диссертационного исследования кандидат наук Ершов Максим Дмитриевич, 2021 год

СПИСОК ЛИТЕРАТУРЫ

1. Алпатов Б.А., Бабаян П.В., Балашов О.Е., Степашкин А.И. Методы автоматического обнаружения и сопровождения объектов. Обработка изображений и управление. - М.: Радиотехника, 2008. - 176 с.: ил.

2. Баклицкий В.К., Юрьев А.Н. Корреляционно-экстремальные методы навигации. - М.: Радио и связь, 1982. - 254 с.

3. Путятин Е.П., Аверин С.И. Обработка изображений в робототехнике. -М.: Машиностроение, 1990. - 320 с.

4. Алпатов Б.А., Муравьев В.С., Муравьев С.И. Обработка и анализ изображений в системах автоматического обнаружения и сопровождения воздушных объектов. - Рязань: РИЦ РГРТУ, 2012. - 112 с.

5. The future of road transport: implications of automated, connected, low-carbon and shared mobility. - The European Commission's science and knowledge service, Joint Research Centre, 2019. - 148 p.

6. Об Основных направлениях и этапах реализации скоординированной (согласованной) транспортной политики государств-членов ЕАЭС [Электронный ресурс]: решение ЕАЭС от 26.12.2016 года №19 - Режим доступа: https ://www. garant.ru/products/ipo/prime/doc/71552308.

7. Гонсалес Р., Вудс Р. Цифровая обработка изображений. - М.: Техносфера, 2005. - 1072 с.

8. Pratt W.K. Digital image processing, 4th edition. - John Wiley & Sons, 2007. -807 p.

9. Coifman B., Beymer D., McLauchlan P., Malik J. A real-time computer vision system for vehicle tracking and traffic surveillance // Transportation research. Part C: Emerging technologies. - 1998. - 33 p.

10. Алпатов Б.А. Оценивание параметров движущегося фрагмента двумерного изображения // Техника средств связи. Серия «Техника телевидения». -1991. - №2. - C. 77-81.

11. Алпатов Б.А. Оценивание параметров движущегося объекта в последова-

тельности изменяющихся двумерных изображений // Автометрия. - 1991. -№3. - C. 21-24.

12. Алпатов Б.А. Оптимальное оценивание параметров движущегося объекта в последовательности изображений // Автометрия. - 1994. - №2. - С. 32-37.

13. Алпатов Б.А., Бабаян П.В. Выделение движущихся объектов в условиях геометрических искажений изображения // Цифровая обработка сигналов. -2004. - №4. - С. 9-14.

14. Трифонов А.П., Куцов Р.В. Обнаружение движущегося с произвольной скоростью объекта при неизвестных интенсивностях изображения и фона // Автометрия. - 2006. - №4. - С. 3-16.

15. Li J., Shen Z., Biao L. Automatic target detection and tracking system using infrared imagery // Proc. of Automatic target recognition IV. - SPIE, 1997. -Vol. 3069. - P. 534-540.

16. Deshpande S.D., Er M.H., Ronda V., Chan P. Max-mean and max-median filters for detection of small-targets // Proc. of Signal and data processing of small targets. - SPIE, 1999. - Vol. 3809. - P. 74-83.

17. Chen X., Shi Z., Zhao K. Research on an intelligent traffic signal controller // Proc. of International conference on intelligent transportation systems. - IEEE, 2003. - P. 884-887.

18. Bouwmans T. Traditional and recent approaches in background modeling for foreground detection: an overview // Computer science review. - Elsevier, 2014. - P. 31-66.

19. TrafiCam x-stream: Руководство по эксплуатации. - Traficon International, 2012. - 93 с.

20. Инфопро: Руководство по эксплуатации видеодетектора автотранспортных средств. - М.: Инфопроцесс, 2014. - 12 с.

21. Traffic data collection. SmartCam-td: data sheet. - Citilog, 2016. - 2 p.

22. Свидетельство о гос. регистрации программы для ЭВМ № 2020611995. Программа для определения параметров транспортных потоков по записанным сюжетам / ФГБОУ ВО РГРТУ; Бабаян П.В., Ершов М.Д., Смир-

нов С.А. - Дата приоритета 03.02.2020; зарег. 13.02.2020.

23. Свидетельство о гос. регистрации программы для ЭВМ № 2020611996. Программа анализа транспортных потоков на базе интеллектуальной камеры / ФГБОУ ВО РГРТУ; Алпатов Б.А., Бабаян П.В., Ершов М.Д. - Дата приоритета 03.02.2020; зарег. 13.02.2020.

24. Алпатов Б.А., Ершов М.Д. Разработка алгоритма обнаружения остановившихся автомобилей при наблюдении за дорожной обстановкой // Конф. «Техническое зрение в системах управления». - Москва, 2017. - С. 63-64.

25. Alpatov B.A., Ershov M.D. Real-time stopped vehicle detection based on smart camera // Proc. of 6th Mediterranean conference on embedded computing (MECO). - IEEE, 2017. - P. 171-174.

26. Алпатов Б.А., Ерохин Д.Ю., Ершов М.Д. Обработка изображений в задачах видеоаналитики // Науч.-техн. конф. «Космонавтика. Радиоэлектроника. Геоинформатика». - Рязань: РГРТУ, 2017. - С. 360-362.

27. Ершов М.Д., Шубин Н.Ю. Алгоритмы обработки изображений для решения задач анализа дорожной обстановки // Цифровая обработка сигналов. -М.: РНТОРЭС имени А.С. Попова, 2017. - № 3. - С. 63-67.

28. Ершов М.Д., Ерохин Д.Ю. Алгоритмы оценки фона для решения задач анализа видеопоследовательностей // Новые информационные технологии в научных исследованиях. - Рязань: РГРТУ, 2017. - С. 204-205.

29. Ершов М.Д., Шубин Н.Ю. Алгоритмы анализа дорожной обстановки // Доклады конф. «Цифровая обработка сигналов и ее применение-DSPA2018». - М.: РНТОРЭС им. А.С. Попова, 2018. - Том 2. - С. 583-586.

30. Alpatov B.A., Babayan P.V., Ershov M.D. Vehicle detection and counting system for real-time traffic surveillance // Proc. of 7th Mediterranean conference on embedded computing (MECO). - IEEE, 2018. - P. 120-123.

31. Алпатов Б.А., Ершов М.Д. Некаузальная обработка видеопоследовательностей для обнаружения и оценки параметров объектов // Науч.-техн. конф. «Новые информационные технологии в научных исследованиях». - Рязань: РГРТУ, 2018. - Том 2. - С. 46-47.

32. Алпатов Б.А., Бабаян П.В., Ершов М.Д. Алгоритм обработки видеопоследовательности для обнаружения и подсчета автомобилей // Конф. «Техническое зрение в системах управления». - М.: ИКИ РАН, 2019. - С. 5-6.

33. Ершов М.Д. Применение алгоритмов обработки изображений для оценки параметров транспортных потоков // Новые информационные технологии в научных исследованиях. - Рязань: РГРТУ, 2016. - С. 259-261.

34. Ершов М.Д. Особенности реализации алгоритмов анализа изображений на платформе интеллектуальных камер // Форум «Современные технологии в науке и образовании». - Рязань: РГРТУ, 2020. - Том 5. - С. 116-121.

35. Ershov M.D., Smirnov S.A., Strotov V.V. Segmentation-based Vehicle Tracker for Real-Time Parameter Estimation on Smart Camera // Proc. of 9th Mediterranean Conf. on Embedded Computing. - IEEE, 2020. - P. 401-404.

36. Alpatov B.A., Babayan P.V., Ershov M.D. Embedded Image Processing and Video Analysis in Intelligent Camera-based Vision System // Proc. of 9th Mediterranean Conf. on Embedded Computing. - IEEE, 2020. - P. 405-408.

37. Смирнов С.А., Бабаян П.В., Ершов М.Д., Муравьев В.С. Разработка и оптимизация алгоритма слежения за транспортным средством в видеопотоке на основе пирамидального метода Лукаса-Канаде // Вестник кибернетики. -Сургут: СурГУ, 2020. - № 2 (38). - С. 58-67.

38. Рекомендации по выполнению обоснования интеллектуальных транспортных систем [Электронный ресурс]. - M.: ООО "НИИ ИТС". -ОДМ 218.9.011-2016. - Режим доступа: http://docs.cntd.ru/ document/1200136601.

39. Alpatov B., Babayan P., Ershov M., Strotov V. The implementation of contour-based object orientation estimation algorithm in FPGA-based on-board vision system // Proc. of High-performance comp. in geosc. and remote sens. - SPIE, 2016. - Vol. 10007. - 8 p.

40. Subburaman V.B., Descamps A., Carincotte C. Counting people in the crowd using a generic head detector // Proc. of Advanced video and signal-based surveillance. - IEEE, 2012. - P. 470-475.

41. Конушин А.С., Конушин В.С., Филиппов И.В., Кононов В.А. Подсчет количества людей в видеопоследовательности на основе детектора головы человека // Программные продукты и системы. - Тверь: НИИ ЦПС, 2015. -№ 1 (109) . - С. 121-125.

42. Kirchner N., Alempijevic A., Virgona A., Dai X., Ploger P.G., Venkat R.V. A robust people detection, tracking, and counting system // Proc. of Australasian conference on robotics and automation. - 2014. - 8 p.

43. Han S., Han Y., Hahn H. Vehicle detection method using Haar-like feature on real time system // World academy of science, engineering and technology. -2009. - Vol. 3. - No. 11. - P. 1957-1961.

44. Wang H., Zhang H. A Hybrid method of vehicle detection based on computer vision for intelligent transportation system // International journal of multimedia and ubiquitous engineering. - 2014. - Vol. 9. - No. 6. - P. 105-118.

45. Luetteke F., Zhang X., Franke J. Implementation of the Hungarian method for object tracking on a camera monitored transportation system // ROBOTIK: 7th German conference on robotics. - VDE, 2012. - 6 p.

46. Nandashri D., Smitha P. An efficient tracking of multi object visual motion using Hungarian method // International journal of engineering research & technology. - 2015. - Vol. 4. - P. 1307-1310.

47. Andriluka M., Roth S., Schiele B. People-tracking-by-detection and people-detection-by-tracking // Computer vision and pattern recognition. - 2008. - 8 p.

48. Dehghan A., Idrees H., Zamir A.R., Shah M. Automatic detection and tracking of pedestrians in videos with various crowd densities // Pedestrian and evacuation dynamics 2012. - Springer, 2014. - P. 3-19.

49. Celebi M.E., Lecca M., Smolka B. Color image and video enhancement. -Springer, 2015. - 393 p.

50. El Helou M., Sadeghipoor Z., Susstrunk S. Correlation-based deblurring leveraging multispectral chromatic aberration in color and near-infrared joint acquisition // International conference on image processing. - IEEE, 2017. - P. 1402-1406.

51. Шапиро Л., Стокман Дж. Компьютерное зрение. - М.: Бином, 2009. - 752 с.

52. Tomasi C., Manduchi R. Bilateral filtering for gray and color images // 6th International conference on computer vision. - IEEE, 1998. - P. 839- 846.

53. Визильтер Ю.В., Желтов С.Ю. и др. Обработка и анализ изображений в задачах машинного зрения. - М.: Физматкнига, 2010. - 672 с.

54. MacQueen J.B. Some methods for classification and analysis of multivariate observations // Proc. of 5-th Berkeley symposium on mathematical statistics and probability. - 1967. - Vol. 1. - P. 281-297.

55. Dunn J.C. A fuzzy relative of the ISODATA process and its use in detecting compact well-separated clusters // Journal of cybernetics. - 1973. - Vol. 3. -P. 32-57.

56. Dempster A.P., Laird N.M., Rubin D.B. Maximum likelihood from incomplete data via the EM algorithm // Journal of the royal statistical society. - 1977. -Vol. 39. - No. 1. - 38 p.

57. Smith S.M., Brady J.M. SUSAN-a new approach to low level image processing // International journal of computer vision. - 1997. - Vol. 23. - P. 45-78.

58. Comaniciu D., Meer P. Mean shift analysis and applications // Proc. of International conference on computer vision. - IEEE, 1999. - 7 p.

59. Hamarneh G., Li X. Watershed segmentation using prior shape and appearance knowledge // Image and vision computing. - 2009. - Vol. 27. - P. 59-68.

60. Sobral A., Vacavant A. A comprehensive review of background subtraction algorithms evaluated with synthetic and real videos // Computer vision and image understanding. - Academic Press, 2014. - Vol. 122. - P. 4-21.

61. Serra J. Image analysis and mathematical morphology. - Academic press, 1982. - 621 p.

62. Алпатов Б.А., Балашов О.Е., Ершов М.Д., Муравьев В.С., Фельдман А.Б. Разработка алгоритмов обработки радиолокационных изображений в задачах мониторинга водного пространства // Доклады ТУСУР. - Томск: Издательство ТГУСУР, 2015. - № 2 (36). - С. 25-28.

63. Ларионов С.М., Селяев А.А. Определение положения объекта в сложных условиях наблюдения на основе метода сопоставления с эталоном // Вест-

ник РГРТУ. - Рязань, 2017. - №1(59) - С. 99-105.

64. Babayan P.V., Smirnov S.A., Strotov V.V., Muraviev V.S., Ershov M.D. Object tracking algorithm based on the multispectral template matching // Proc. of 7th Mediterranean conference on embedded computing. - IEEE, 2018. - P. 335-338.

65. Babayan P., Buiko S., Vdovkin L., Ershov M., Muraviev V., Sirenko A., Smirnov S. Real-time pyramidal Lukas-Kanade tracker performance estimation // Proc. of Real-time image processing and deep learning. - SPIE, 2019. -Vol. 10996. - 6 p.

66. Kalman R.E. A new approach to linear filtering and prediction problems // Journal of basic engineering. - 1960. - Vol. 82(1). - P. 35-45.

67. Бабаян П.В., Ершов М.Д. Алгоритмы устранения рассогласования разнородных изображений в бортовой системе видения // Вестник РГРТУ. - Рязань, 2015. - №4 (54). Часть 2. - С. 15-20.

68. Бабаян П.В., Ершов М.Д., Никитин Р.А. Применение алгоритма Дейкстры в задачах обработки и анализа видеосюжетов // Конф. «Космонавтика. Радиоэлектроника. Геоинформатика». - Рязань, 2013. - С. 263-264.

69. Левитин А.В. Алгоритмы: введение в разработку и анализ. - М.: Вильямс, 2006. - 576 с.

70. Dijkstra E.W. A note on two problems in connexion with graphs // Numerische mathematik. - 1959. - Vol. 1. - Issue 1. - P. 269-271.

71. Алпатов Б.А. Обнаружение и оценивание параметров изображений объектов в видеокомпьютерных системах // Вестник РГРТА. - Рязань, 2001. -№ 9. - С. 12-15.

72. Редькин В.С. Разработка и исследование программного обеспечения для распознавания лиц // Науч.-техн. конф. «Новые информационные технологии в научных исследованиях». - Рязань, 2012. - С. 87-88.

73. Бабаян П.В., Масленников Е.А. Двухэтапный алгоритм оценивания пространственной ориентации объекта с помощью дескриптора внешнего контура // Доклады 16-й междунар. конф. DSPA-2014. - 2014. - С. 539-542.

74. Alpatov B.A., Ershov M.D. Image processing-based approaches to image synthe-

sis in on-board vision system // Proc. of 5th Mediterranean conference on embedded computing (MECO). - IEEE, 2016. - P. 112-115.

75. Цуканов М.В., Пшеничкин Е.В. Сравнительный анализ алгоритмов распознавания дорожных знаков // Инновационная наука. - 2018. - С. 66-70.

76. Муравьев В.С., Смирнов С.А., Стротов В.В. Обнаружение и распознавание воздушных объектов на основе совместной обработки изображений, формируемых в различных спектральных каналах // Цифровая обработка сигналов. - 2018. - №3. - С. 56-63.

77. Архипова О.К. Алгоритм распознавания рукописных цифр на основе разреженных автокодировщиков // Науч.-техн. фору «Современные технологии в науке и образовании». - Рязань, 2018. - С. 145-150.

78. Babayan P.V., Ershov M.D., Erokhin D.Y. Neural network-based vehicle and pedestrian detection for video analysis system // Proc. of 8th Mediterranean conference on embedded computing (MECO). - IEEE, 2019. - P. 310-314.

79. Qin H., Zhen Z., Ma K. Moving object detection based on optical flow and neural network fusion // International journal of intelligent computing and cybernetics. - 2016. - Vol. 9. - P. 325-335.

80. Biswas D., Su H., Wang C., Blankenship J., Stevanovic A. An automatic car counting system using OverFeat framework // Sensors. - 2017. - Vol. 17. - 13 p.

81. Sundbeck K. Car detection with and without motion features: master's thesis. -Lund institute of technology, 2016. - 52 p.

82. Choudhury S., Chattopadhyay S.P., Hazra T.K. Vehicle detection and counting using Haar feature-based classifier // Industrial automation and electromechanical engineering conference. - 2017. - P. 106-109.

83. Dalal N., Triggs B. Histograms of oriented gradients for human detection // Int. conf. on computer vision and pattern recognition. - 2005. - P. 886-893.

84. Gouk H.G.R., Blake A.M. Fast sliding window classification with convolutional neural networks // Proc. of the 29th International conference on image and vision computing. - ACM, 2014. - P. 114-118.

85. Boser B.E., Guyon I.M., Vapnik V.N. A training algorithm for optimal margin

classifiers // Proc. of the 5th annual workshop on Computational learning theory.

- ACM, 1992. - P. 144-152.

86. Ren S., He K., Girshick R., Sun J. Faster R-CNN: towards real-time object detection with region proposal networks // Tech rep.arXiv:1506.01497. - 2016. - 14 p.

87. Liu W., Anguelov D., Erhan D., Szegedy C., Reed S., Fu Ch.-Y., Berg A.C. SSD: single shot MultiBox detector // European conference on computer vision.

- Springer, 2016. - Vol. 9905. - P. 21-37.

88. Redmon J., Farhadi A. YOLOv3: an incremental improvement // Tech report, arXiv:1804.02767. - 2018. - 6 p.

89. Ершов М.Д. Методы оптимизации первого порядка в машинном обучении // Журнал «Информационные технологии». - М.: Новые технологии, 2019. - Том 25. - № 11. - С. 662-669.

90. Кременец Ю.А. Технические средства организации дорожного движения. -М.: Академкнига, 2005. - 279 с.

91. Власов В.М., Ефименко Д.Б., Богумил В.Н. Информационные технологии на автомобильном транспорте. - М.: Academia, 2014. - 256 с.

92. Тебеньков С.Е., Левашев А.Г. Особенности современных детекторов автомобильного транспорта // Вестник ИрГТУ. - 2011. - №6(53). - С. 72-78.

93. IR 30X passive infrared vehicle detector: data sheet. - ASIM. - 2 p.

94. DT 37x ultrasonic PIR vehicle detectors: data sheet. - ASIM. - 2 p.

95. Autosense AS618: data sheet. - OSI LaserScan. - 2 p.

96. Autosense AS825: data sheet. - OSI LaserScan. - 2 p.

97. Accurate, reliable radar detector. RTMS Sx-300: data sheet. - Image sensing systems. - 2 p.

98. SmartSensor HD: data sheet. - Wavetronix. - 16 p.

99. Schuon S., Theobalt C., Davis J., Thrun S. High-quality scanning using time-offlight depth superresolution // Proc. of conference on computer vision and pattern recognition. - IEEE, 2008. - 7 p.

100. Lindner M., Kolb A., Hartmann K. Data-fusion of PMD-based distance-information and high-resolution RGB-images // International symposium on sig-

nals, circuits and systems. - IEEE, 2007. - P. 121-124.

101. Zhang J. Multi-source remote sensing data fusion: status and trends // International journal of image and data fusion. - 2010. - P. 5-24.

102. Gu5mundsson S.A., Aanaes H., Larsen R. Fusion of stereo vision and time-offlight imaging for improved 3D estimation // International journal on intelligent systems technologies and applications. - 2008. - P. 425-433.

103. Knoop S., Vacek S., Dillmann R. Sensor fusion for 3D human body tracking with an articulated 3D body model // Proc. of International conference on robotics and automation. - IEEE, 2006. - P. 1686-1691.

104. Mishra R.K., Zhang Y. A review of optical imagery and airborne LiDAR data registration methods // Open remote sensing journal. - 2012. - Vol. 5. - P. 54-63.

105. Li J. Automated extraction of road surface information from mobile lidar // XXV FIG Congress. - 2014. - 20 p.

106. Zhan Q., Liang Y., Wei C., Xiao Y. Ground object recognition using combined high resolution airborne images and DSM // Int. archives of the photogrammetry, remote sens. and spatial inform. sc. - 2012. - Vol. XXXIX-B3. - P. 573-577.

107. Arbib J., Seba T. Rethinking transportation 2020-2030: the disruption of transportation and the collapse of the internal-combustion vehicle and oil industries. -RethinkX sector disruption, 2017. - 162 p.

108. Litman T. Autonomous vehicle implementation predictions. Implications for transport planning. - Victoria transport policy institute, 2019. - 39 p.

109. Miller C., Valasek C. Remote exploitation of an unaltered passenger vehicle. -Black Hat USA, 2015. - 91 p.

110. Ершов М.Д. Применение алгоритмов обработки изображений для предупреждения столкновений с окружающими объектами // Сборник докладов науч. конф. «Гагаринские чтения». - М.: МАИ, 2017. - С. 722-723.

111. Алпатов Б.А., Селяев А.А. Алгоритм оценки местоположения объекта на двумерном изображении // Изв. вузов. Серия Приборостроение. - 1988. -№5. - С. 3-5.

112. Алпатов Б.А. Алгоритм оценивания местоположения изменяющего яркость

объекта в последовательности изображений // Изв. вузов. Серия Приборостроение. - 1991. - №7. - С. 76-81.

113. Алпатов Б.А., Бабаян П.В. Методы обработки и анализа изображений в бортовых системах обнаружения и сопровождения объектов // Цифровая обработка сигналов. - 2006. - №2. - С. 45-51.

114. Babayan P., Shubin N. Detection of curved lines and estimation of their parameters on images // Proc. of 6th Mediterranean conference on embedded computing. - IEEE, 2017. - P. 216-219.

115. Баклицкий В.К., Бочкарев А.М. Методы фильтрации сигналов в корреляционно-экстремальных системах навигации. - М.: Радио и связь, 1986. - 216 c.

116. Алпатов Б.А. Методы и алгоритмы обработки изображений в системах управления: учеб. пособие. - Рязань, 1999. - 64 с.

117. Loughlin P.J. Local spectral and temporal characterizations of a wave // Proc. of Automatic target recognition VIII. - SPIE, 1998. - Vol. 3371. - P. 552-559.

118. Алпатов Б.А., Ершов М.Д., Фельдман А.Б. Алгоритм обработки изображений для системы комбинированного видения летательного аппарата // Цифровая обработка сигналов. - М.: РНТОРЭС, 2015. - № 3. - С. 8-14.

119. Алпатов Б.А., Бабаян П.В., Стротов В.В. Анализ точностных характеристик методов слежения за фоновым изображением для бортовой видеоинформационной системы // Вестник РГРТА. - Рязань, 2007. - № 20. - С. 3-10.

120. Колмогоров Г.С., Костромина Е.В., Лучина И.И., Мальцев А.П. Оптоэлек-тронная система самонаведения THSSID // Зарубежная радиоэлектроника. -1987. - № 10. - С. 57-68.

121. Mostafavi H., Steading T.L., Smith F.W., Poulsen R.S. Optimum window for image registration // IEEE Transactions on aerospace and electronic systems. -1981. - P. 101-109.

122. Ершов М.Д., Косьянов А.К. Алгоритмы бинаризации изображений, содержащих объект // Науч.-техн. конф. «Новые информационные технологии в научных исследованиях». - Рязань: РГРТУ, 2018. - Том 2. - С. 47-48.

123. Alpatov B., Strotov V., Ershov M., Muraviev V., Feldman A., Smirnov S. The

artificial object detection and current velocity measurement using SAR ocean surface images // SPIE Remote sens. of the ocean, sea ice and etc. - 2017. - 9 p.

124. Клочко К.К. Сегментация полутоновых двумерных изображений в задачах анализа сцен // Известия высших учебных заведений. Приборостроение. -1991. - Том 34. - № 3. - С. 10-15.

125. Baumgart C.W., Ciarcia C.A. Automated target recognition technique for image segmentation and scene analysis // Applications of artificial neural networks V. -1994. - Vol. 2243. - P. 194-199.

126. Бакут П.А., ред. Применение методов сегментации изображений в автономных системах обнаружения, распознавания и сопровождения движущихся целей // Зарубежная радиоэлектроника. - 1987. - №10. - С. 3-93.

127. Алпатов Б.А., Балашов О.Е. Исследование методов оценки фрактальной размерности и сегментация изображения // Цифровая обработка сигналов и ее применения. - 2004. - Том 2. - С. 97-99.

128. Алпатов Б.А, Муравьев С.И., Муравьев B.C. Пространственный алгоритм выделения объектов на основе адаптивной пороговой обработки // Цифровая обработка сигналов и ее применения. - 2006. - Том 2. - С. 445-448.

129. Муравьев В.С. Пространственный алгоритм обнаружения и определения координат воздушных объектов на изображении // Вестник РГРТУ. - Рязань, 2009. - №2(28). - С. 17-20.

130. Soni T., Zeidler J.R., Ku W.H. Recursive estimation techniques for detection of small objects in infrared image data // Proc. of International conference on acoustics, speech, and signal processing. - IEEE, 1992. - P. 581-584.

131. Zhi-Yong Li, Zhen-Kang Shen, Zhi-Yi Li. Detection and tracking of a moving point target in a low signal-to-clutter plus noise environment // Proc. of Signal and data processing of small targets. - SPIE, 1993. - Vol. 1954. - P. 70-77.

132. Ji-Cheng Li, Zhen-Kang Shen, Biao Li. Detection of small moving objects in image sequences // Proc. of Automatic target recognition VII. - SPIE, 1997. -P. 511-517.

133. Алпатов Б.А., Бабаян П.В., Фельдман А.Б. Обнаружение и оценка парамет-

ров малоразмерных воздушных объектов в последовательности изображений // Цифровая обработка сигналов и ее применение. - 2010. - С. 117-120.

134. Алпатов Б.А., Блохин А.Н. Модели и алгоритмы обнаружения и выделения движущихся фрагментов изображений // Автометрия. - 1995. - №4. -С. 100-104.

135. Алпатов Б.А., Блохин А.Н. Алгоритм обнаружения кратковременных изменений в последовательности изображений // Проблемы мат. моделирования и обр. инф-ции в задачах автоматич. упр-я: сб. науч. тр. - Рязань: РГРТА, 1996. - С. 3-7.

136. Weiping Yang, Zhen-Kang Shen, Zhi-Yong Li. The application of difference method to dim point target detection in infrared images // Proc. of Signal and data processing of small targets. - SPIE, 1994. - Vol. 2235. - P. 258-263.

137. Nishiguchi K.-I., Kobayashi M., Ichikawa A. Small target detection from image sequences using recursive max filter // Proc. of Signal and data processing of small targets. - SPIE, 1995. - Vol. 2561. - P. 153-166.

138. Lucas B.D., Kanade T. An iterative image registration technique with an application to stereo vision // 7th International joint conference on artificial intelligence.

- 1981. - P. 121-130.

139. Shirgeri S., Naik P.U., Udupi G.R., Bidkar G.A. Design and development of optical flow based moving object detection and tracking (OMODT) system // Int. journal of computational engineering research. - 2013. - Vol. 3. - P. 65-72.

140. Бабаян П.В., Шубин Н.Ю. Алгоритм измерения координат протяженного объекта, основанный на оценке его контура // Цифровая обработка сигналов. - 2013. - №3. - С. 9-12.

141. Shi D., Zheng L., Liu J. Advanced Hough transform using a multilayer fractional Fourier method // IEEE Transactions on Image Processing. - 2010. - Vol. 19(6).

- P. 1558-1566.

142. Zheng L., Shi D. Advanced Radon transform using generalized interpolated Fourier method for straight line detection // Computer vision and image understanding. - 2011. - Vol. 115. - P. 152-160.

143. Бабаян П.В., Шубин Н.Ю. Использование модифицированного преобразования Радона для обнаружения прямых линий на зашумленном изображении // Успехи современной радиоэлектроники. - 2014. - № 10. - С. 39-42.

144. Ершов М.Д., Шубин Н.Ю. Мультиагентные системы в задачах обработки изображений // Науч.-техн. конф. «Новые информационные технологии в научных исследованиях». - Рязань: РГРТУ, 2016. - С. 254-255.

145. Виттих В.А., Скобелев П.О. Мультиагентные модели взаимодействия для построения сетей потребностей и возможностей в открытых системах // Автоматика и телемеханика. - 2003. - № 1. - С. 177-185.

146. Алпатов Б.А., Муравьев В.С., Стротов В.В., Фельдман А.Б. Исследование эффективности применения алгоритмов анализа изображений в задаче навигации беспилотных летательных аппаратов // Цифровая обработка сигналов - 2012. - №3 - С. 29-34.

147. Moravec H.P. Towards automatic visual obstacle avoidance // 5th International joint conference on artificial intelligence. - 1977. - P. 584-594.

148. Harris C., Stephens M. A combined corner and edge detector // Proc. of 4th Al-vey vision conference. - 1988. - P. 147-151.

149. Smith S.M., Brady J.M. A new approach to low level image processing // International journal of computer vision. - 1997. - Vol. 23(1). - P. 45-78.

150. Rosten E., Drummond T. Fusing points and lines for high performance tracking // International conference on computer vision. - 2005. - P. 1508-1515.

151. Lindeberg T. Feature detection with automatic scale selection // International journal of computer vision. - 1998. - Vol. 30(2). - P. 79-116.

152. Lowe D.G. Distinctive image features from scale-invariant keypoints // International journal of computer vision. - 2004. - Vol. 60(2). - P. 91-110.

153. Mikolajczyk K., Schmid C. Scale & affine invariant interest point detectors. // International journal of computer vision. - 2004. - Vol. 60(1). - P. 63-86.

154. Lindeberg T., Garding J. Shape-adapted smoothing in estimation of 3-D shape cues from affine deformations of local 2-D brightness structure // Image vision computation. - 1997. - Vol. 15(6). - P. 415-434.

155. Matas J., Chum O., Urban M., Pajdla T. Robust wide baseline stereo from maximally stable extremal regions // Machine vision conf. - 2002. - P. 384-393.

156. Shi J., Tomasi C. Good features to track // Proc. of Conference on computer vision and pattern recognition. - IEEE, 1994. - P. 593-600.

157. Ke Y., Sukthankar R. PCA-SIFT: a more distinctive representation for local image descriptors // Proc. of conf. on computer vision and pattern recognition. -IEEE, 2004. - P. 506-513.

158. Mikolajczyk K., Schmid C. A performance evaluation of local descriptors // IEEE transactions on pattern analysis and machine intelligence. - 2005. -Vol. 27(10). - P. 1615-1630.

159. Bay H., Ess A., Tuytelaars T., Gool L. Speeded-up robust features (SURF) // Computer vision and image understanding. - 2008. - Vol. 110(3). - P. 346-359.

160. Ojala T., Pietikainen M., Maenpaa M. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns // IEEE transactions on pattern analysis and machine intelligence. - 2002. - Vol. 24(7). - P. 971-987.

161. Leutenegger S., Chli M., Siegwart R. BRISK: binary robust invariant scalable keypoints // Int. conf. on computer vision. - 2011. - P. 2548-2555.

162. Alahi A., Ortiz R., Vandergheynst P. FREAK: fast retina keypoint // IEEE conference on computer vision and pattern recognition. - 2012. - 8 p.

163. Calonder M., Lepetit V., Ozuysal M., Trzcinski T., Strecha C., Fua P. BRIEF: computing a local binary descriptor very fast // IEEE transactions on pattern analysis and machine intelligence. - 2012. - Vol. 34(7). - P. 1281-1298.

164. Rublee E., Rabaud V., Konolige K., Bradski G.R. ORB: an efficient alternative to SIFT or SURF // Int. conf. on computer vision. - 2011. - P. 2564-2571.

165. Emiris I.Z., Nicolopoulos D. Randomized kd-trees for approximate nearest neighbor search // Computational geometric learning. - 2013. - 11 p.

166. Muja M., Lowe D.G. Scalable nearest neighbor algorithms for high dimensional data // IEEE Transactions on pattern analysis and machine intelligence. - 2014. -Vol. 36(11). - P. 2227-2240.

167. Fischler M.A., Bolles R.C. Random sample consensus: a paradigm for model fit-

ting with applications to image analysis and automated cartography // Comm. of the ACM. - 1981. - Vol. 24. - P. 381-395.

168. Roberts L.G. Machine perception of 3-D solids. - MIT Press, 1965. - 82 p.

169. Sobel I., Feldman G. A 3x3 isotropic gradient operator for image processing. - In Pattern classification and scene analysis, 1973. - P. 271-272.

170. Prewitt J.M.S. Object enhancement and extraction, picture processing and psy-chopictorics. - Academic Press, 1970. - P. 75-149.

171. Титов И.О., Емельянов Г.М. Выделение контуров изображения движущегося объекта // Вестник НГУ. - 2010. - № 55. - P. 27-31.

172. Kirsch R.A. Computer determination of the constituent structure of biological images // Computers and biomedical research. - 1971. - Vol. 4. - P. 315-328.

173. Robinson G.S. Edge detection by compass gradient mask // Computer graphics and image processing. - 1977. - Vol. 6. - P. 492-501.

174. Marr D.C., Hildreth E.C. Theory of edge detection // Proc. of the Royal society of London. Series B, Biological sciences. - 1980. - Vol. 207. - P. 187-217.

175. Canny J.F. A computational approach to edge detection // IEEE Transactions on Pattern analysis and machine intelligence. - 1986. - Vol. 8. - P. 679-698.

176. Mitchell M. An introduction to genetic algorithm. - MIT Press, 1996. - 158 p.

177. Ершов М.Д., Георгиева С.С. Исследование подходов к выделению контуров объектов на изображении на основе предварительной фильтрации и нечеткой логики // Журнал «Цифровая обработка сигналов». - М.: РНТОРЭС имени А.С. Попова, 2019. - № 3. - С. 46-53.

178. Mamdani E.H., Assilian S. An experiment in linguistic synthesis with a fuzzy logic controller // International journal of man-machine studies. - 1975. - Vol. 7.

- No. 1. - 13 p.

179. Sugeno M. Industrial applications of fuzzy control. - Elsevier Science Ltd, 1985.

- 278 p.

180. Aslani S., Mahdavi-Nasab H. Optical flow based moving object detection and tracking for traffic surveillance // International journal of electrical, electronics, communication, energy science and engineering. - 2013. - Vol. 7. - P. 789-793.

181. Royden C.S., Holloway M.A. Detecting moving objects in an optic flow field using direction- and speed-tuned operators // Vision research. - 2014. - P. 14-25.

182. Li D., Liang B., Zhang W. Real-time moving vehicle detection, tracking, and counting system implemented with OpenCV // Information science and technology. - 2014. - P. 631-634.

183. Lee G., Mallipeddi R., Jang G.-J., Lee M. A genetic algorithm-based moving object detection for real-time traffic surveillance // IEEE Signal processing letters. -2015. - Vol. 22. - P. 1619-1622.

184. Seenouvong N., Watchareeruetai U., Nuthong C., Khongsomboon K., Ohnishi N. A computer vision based vehicle detection and counting system // Knowledge and smart technology. - 2016. - P. 224-227.

185. Moutakki Z., Oulou I.M., Afde K., Amghar A. Real-time video surveillance system for traffic management with background subtraction using codebook model and occlusion handling // Transport and telecommunication journal. - 2017. -Vol. 18. - P. 297-306.

186. Benezeth Y., Emile B., Laurent H., Rosenberger C. Review and evaluation of commonly-implemented background subtraction algorithms // International conference on pattern recognition. - 2008. - 4 p.

187. Jian X., Xiao-Qing D., Sheng-Jin W., You-Shou W. Background subtraction based on a combination of texture, color and intensity // International conference on signal processing. - 2008. - P. 1400-1405.

188. Jain V., Kimia B.B., Mundy J.L. Background modeling based on subpixel edges // IEEE International conference on image processing. - 2007. - P. 321-324.

189. Zivkovic Z. Improved adaptive Gaussian mixture model for background subtraction // International conference on pattern recognition. - 2004. - P. 28-31.

190. Zhang H., Xu D. Fusing color and texture features for background model // Int. conf. on fuzzy systems and knowledge discovery. - 2006. - P. 887-893.

191. Bouwmans T. Background subtraction for visual surveillance: a fuzzy approach // Handbook on soft computing for video surveillance. - Taylor and Francis group, 2012. - P. 103-138.

192. Culibrk D., Marques O., Socek D., Kalva H., Furht B. Neural network approach to background modeling for video object segmentation // IEEE trans. on neural networks. - 2007. - Vol. 18(6). - P. 1614-1627.

193. Maddalena L., Petrosino A., Ferone A. Object motion detection and tracking by an artificial intelligence approach // International journal of pattern recognition and artificial intelligence. - 2008. - Vol. 22. - No. 5. - P. 915-928.

194. Hayman E., Eklundh J.-O. Statistical background subtraction for a mobile observer // IEEE International conference on computer vision. - 2003. - P. 67-74.

195. Bouwmans T., Sobral A., Javed S., Jung S., Zahzah E. Decomposition into low-rank plus additive matrices for background/foreground separation: a review for a comparative evaluation with a large-scale dataset // Comp. sc. review. - 2017. -Vol. 23. - 71 p.

196. Sobral A. Robust low-rank and sparse decomposition for moving object detection: from matrices to tensors. PhD Thesis. - Universite de La Rochelle, 2017. -166 p.

197. Javed A., Qazi K.A., Maqsood M., Shah K.A. Efficient algorithm for railway tracks detection using satellite imagery // Int. Journal of image, graphics and signal processing. - 2012. - Vol. 11. - P. 34-40.

198. Khatun M., Gray A., Marshall S. Morphological granulometry for classification of evolving and ordered texture images // 19th European signal processing conference. - 2011. - P. 759-763.

199. Valero S., Chanussot J., Benediktsson J., Talbot H., Waske B. Advanced directional mathematical morphology for the detection of the road network in very high resolution remote sensing images // Pattern recognition letters. - 2010. -P. 1120-1127.

200. Павлова В.А., Крюков С.Н., Каркаева Р.К., Созинова М.В. Автоматическое компьютерное распознавание наземных и морских объектов // Известия ЮФУ. Технические науки. - 2010. - С. 73-77.

201. Lindeberg T. Scale-space theory in computer vision. - Norwell: Kluwer academic publishers, 1994. - 435 p.

202. Burt P.J., Shashua E.H. The Laplacian pyramid as a compact image code // IEEE Transactions on communications. - 1983. - Vol. 31. - Issue 4. - P. 532-540.

203. Ершов М.Д. Использование многомасштабного подхода в задаче оценивания параметров геометрических преобразований изображений // Новые информационные технологии в научных исследованиях. - Рязань: РГРТУ, 2013. - С. 218-219.

204. Guerrero-Gomez-Olmedo R., Lopez-Sastre R.J., Maldonado-Bascon S., et al. Vehicle tracking by simultaneous detection and viewpoint estimation // Int. work-conf. on the interplay between natural and artificial computation. - 2013. -P. 306-316.

205. Wang Y., Jodoin P.-M., Porikli F., Konrad J., Benezeth Y., Ishwar P. CDnet 2014: an expanded change detection benchmark dataset // Proc. of IEEE Workshop on change detection at CVPR-2014. - 2014. - P. 387-394.

206. Yang H., Qu S. Real-time vehicle detection and counting in complex traffic scenes using background subtraction model with low-rank decomposition // IET Intelligent transport systems. - 2018. - Vol. 12. - Issue 1. - P. 75-85.

207. Stauffer C., Grimson W. Adaptive background mixture models for real-time tracking // Conf. Computer vision and pattern recognition. - 1999. - P. 246-252.

208. Tianyi Z., Tao D. Godec: randomized low-rank and sparse matrix decomposition in noisy case // Conf. Machine learning. - 2011. - P. 33-40.

209. Zhou X., Yang C., Yu W. Moving object detection by detecting contiguous outliers in the low-rank representation // Pattern analysis and machine intelligence. -2013. - Vol. 35. - P. 597-610.

210. Shakeri M., Zhang H. COROLA: a sequential solution to moving object detection using low-rank approximation // Computer vision and image understanding. - 2016. - Vol. 146. - P. 27-39.

211. Rodriguez P., Wohlberg B. Incremental principal component pursuit for video background modeling // Journal of mathematical imaging and vision. - 2016. -Vol. 55. - 18 p.

212. Quesada J., Rodriguez P. Automatic vehicle counting method based on principal

component pursuit background modeling // International conference on image processing. - 2016. - P. 3822-3826.

213. Bouvie C., Scharcanski J., Barcellos P. Tracking and counting vehicles in traffic video sequences using particle filtering // Instrumentation and measurement technology conference. - 2013. - P. 812-815.

214. Официальный сайт на русском языке среды разработки Visual Studio [Электронный ресурс]. - Microsoft, 2019. - Режим доступа: https://visualstudio.microsoft.com/ru.

215. Официальный сайт кроссплатформенной библиотеки для разработки приложений Qt [Электронный ресурс]. - The Qt Company, 2019. - Режим доступа: https://www.qt.io.

216. Платформа для прикладных программ AXIS Camera Application Platform [Электронный ресурс]. - Axis Communications AB, 2019. - Режим доступа: https://www.axis.com/ru-ru/support/developer-support/axis-camera-application-platform.

217. Библиотека RAPP: руководство пользователя [Электронный ресурс]. -Doxygen, 01.06.2016. - Режим доступа: http://www.nongnu.org/rapp/doc/rapp.

218. Библиотека Fixmath: руководство пользователя [Электронный ресурс]. -Doxygen, 01.03.2014. - Режим доступа: http://www.nongnu.org/fixmath/doc.

219. Библиотека OpenCV версии 2.4.11: документация [Электронный ресурс]. -Opencv team, 25.02.2015. - Режим доступа: https://docs.opencv.org/2.4.11.

220. Halavataya K., Sadov V. Optimizing local feature description and matching for realtime video sequence object detection // Open semantic technologies for intelligent systems (OSTIS). - Minsk, 2019. - P. 269-272.

221. Baker S., Gross R., Ishikawa T., Matthews I. Lucas-Kanade 20 years on: a unifying framework: part 2 // Tech. Report, CMU-RI-TR-03-01. - Robotics Institute, Carnegie Mellon University, 2003. - 46 p.

ПРИЛОЖЕНИЯ

224

Приложение 1

Копии актов внедрения результатов диссертационной работы

Акт

внедрения результатов кандидатской диссертации Ершова Максима Дмитриевича, выполненной в Рязанском государственном радиотехническом университете имени В.Ф. Уткина на тему «Разработка и исследование алгоритмов оценки параметров движущихся объектов в задачах видеоапалигики».

Результаты научных исследований Ершова М.Д., полученные им в Рязанском государственном радиотехническом университете имени В.Ф. Уткина (РГРТУ) в период с 2015 по 2020 год, использовались в следующих госбюджетных научно-исследовательских работах РГРТУ, проводившихся по заказам Министерства науки и высшего образования Российской Федерации:

1. НИР 19-14Г «Разработка и исследование технологии анализа изображений для систем технического зрения летательных аппаратов» (федеральная целевая программа «Исследования и разработки по Приоритетным направлениям развития научно-технологического комплекса России на 20)4-2020 годы»). Использованы результаты исследований алгоритмов обнаружения, распознавания и оценки параметров объектов в бортовых системах технического зрения.

2. НИР 2-16Г «Методы и алгоритмы обнаружения и оценивания параметров структурных элементов сцены в системах технического зрения» (грант Президента РФ для поддержки молодых учёных-кандидатов наук МК-5331.2016.9), Использованы результаты исследований алгоритмов выделения особых точек объекта и подходов на основе многомасштабной обработки.

3. НИР 10-16Г «Методы и алгоритмы обработки и анализа изображений в бортовых системах технического зрения» (грант для государственной поддержки ведущих научных школ Российской Федерации ИНЬ 7116.2016.8). Разработаны и исследованы алгоритм оценки и обновления

фоновой составляющей изображения, алгоритм автоматического обнаружения и оценки параметров объектов.

4, НИ!1 1-19!' «Разработка алгоритмического обеспечения автономных сенсоров видеоаналитики для интеллектуальных транспортных систем» (Грант Президента РФ для поддержки молодых российских ученых-кандидатов наук МК-2737.201У.9). Разработаны алгоритм выделения остановившегося объекта, алгоритм слежения за объектом на основе метода оптического потока, инициализированного особыми точками, и алгоритм прослеживания сегмента объекта.

Помимо этого, результаты научных исследований Ершова М,Д. внедрены в учебном процессе на кафедре Автоматики и информационных технологий в управлении и использованы;

1. При выполнении курсовых работ но дисциплинам «Компьютерные технологии в обработке изображений» и «Учебно-исследовательская работа» в рамках подготовки бакалавров по направлению 27.03,04 «Управление в технических системах».

2. При подготовке выпускных квалификационных работ студентами бакалавриата, обучающихся по направлению 27.03.04 «Управление в технических системах».

3. В студенческой научно-исследовательской работе.

Декан ФАИТУ, к.т.п., доцент

] 1редседатель методической комиссии ФАИТУ, к.т.н., доцент

(Борисов А.Г.)

Зам. зав. каф. АИТУ, к.т.н., доцент

(Селясв А.А.)

ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ

«ТехноГрупп»

390011, г.Рязань, Район Южный Промузел, дом 15 ИНН 6230081397 КПП 623001001 ОГРН 136230002171 Тел. Факс (4912) 42 - 70 - 07

Р/с 40702810953000003034

Рязанское отделение №8606 ПАО Сбербанк г.Ряэзнь

E-mail [e-mail]

УТВЕРЖДАЮ

Акт

внедрения результатов кандидатской диссертации Ершова Максима Дмитриевича, выполненной в Рязанском государственном радиотехническом университете имени В.Ф. Уткина на тему «Разработка и исследование алгоритмов оценки параметров движущихся объектов в задачах видео аналитики».

Комиссия в составе:

- директора Общества с ограниченной ответственностью «ТехноГрупп» («ООО «ТехноГрупп»), Лебедева A.B.,

- ведущего инженера Автоматизированной Системы Управления Дорожным Движением (АСУДД) «ООО «ТехноГрупп», Бакина О.В.,

~ инженера АСУДД «ООО «ТехноГрупп», Черемухина A.A.

составила настоящий акт о том, что результаты научных исследований Ершова М.Д., полученные им в период с 2015 по 2020 год, нашли применение при организации рабочих процессов в «ООО «ТехноГрупп».

На основании статистических данных, получаемых от программного обеспечения для детектирования транспорта, ведется работа по исследованию движения транспортных потоков на различных участках дорог г. Рязани. Результаты работы программного обеспечения применяются при настройке режима работы светофоров, при принятии иных решений по управлению и организации дорожного движения, что позволяет увеличить пропускную способность дорог и повысить безопасность всех участников дорожного движения.

Нашли применение следующие результаты научных исследований Ершова М.Д.:

1. Алгоритм обнаружения и оценки параметров движущегося объекта, учитывающий физику процесса движения транспорта через зону обработки.

2. Алгоритмы слежения за объектом на основе метода оптического потока и прослеживания сегментов.

3. Программное обеспечение видеоаналитики, состоящее из программы обработки данных для интеллектуальной камеры и программы для персонального компьютера, позволяющей выполнять настройку и отображать результаты работы.

Алгоритмы, предложенные в диссертации Ершова М.Д., позволяют повысить вероятность обнаружения автомобилей и точность оценки их параметров в транспортных системах с применением внутренней платформы интеллектуальных камер.

Председатель комиссии

(Лебедев А.В.)

Члены комиссии

(БакинО.В.,)

(Черемухин А.А.)

Приложение 2 Объекты интеллектуальной собственности

230

Приложение 3 Копии дипломов и наград

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ РЯЗАНСКИЙ ГОСУДАРСТВЕННЫЙ РАДИОТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ

БЛАГОДАРНОСТЬ

Максиму Дмитриевичу Ершову,

За активную деятельность, успехи в учебной и научной работе.