Робастные алгоритмы локализации траекторий движения транспортных средств в видеопотоке тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Бочаров Дмитрий Александрович

• Бочаров Дмитрий Александрович
• кандидат наук
• 2022

Оглавление диссертации кандидат наук Бочаров Дмитрий Александрович

Введение

Глава 1. Системы интеллектуального видеонаблюдения

«АКТС-4» и «МАРИНА». Задачи диссертационного

исследования

1.1 Системы интеллектуальной видеоаналитики

1.2 Анализ траекторий движения транспортных средств

1.3 Автоматический классификатор транспортных средств «АКТС-4»

1.3.1 Конфигурация сцены и системы регистрации

1.3.2 Модель сцены

1.3.3 Распознавание параметров автомобиля

1.4 Система распознавания номеров автомобилей «МАРИНА»

1.4.1 Локализация номеров на изображении

1.4.2 Прослеживание номеров в видеопотоке

1.5 Заключение. Постановка задач диссертационного исследования

1.5.1 Влияние ошибок детекции колёс на качество классификации ТС

1.5.2 Влияние нерелевантных точек в треках и ложных траекторий на точность оценки точки схода

Глава 2. Локализация траекторий движения колёс в системе

«АКТС-4»

2.1 Модель срабатываний детектора колёс

2.1.1 Модель движения ТС

2.1.2 Моделирование ошибок детекции

2.2 Локализация траектории движения

2.2.1 Обзор методов линейной регрессии

2.2.2 Гистограммное представление выборки срабатывний

2.2.3 Дискретное преобразование Радона

2.2.4 Быстрое преобразование Хафа

2.2.5 Алгоритм локализации траектории

2.3 Оценка числа колёсных осей

2.4 Фильтрация ЛПС детектора колёс

2.5 Эксперименты

2.5.1 Устойчивость методов линейной регрессии к выбросовому зашумлению

2.5.2 Влияние стадии фильтрации ЛПС на показатели

качества «АКТС-4»

2.6 Заключение к главе

Глава 3. Локализация траекторий движения колёс в системе

«АКТС-4» в экстремальных условиях

3.1 Устойчивость к экстремальным стационарным помехам

3.1.1 Толерантность методов линейной регрессии к выбросовому зашумлению

3.1.2 Метод робастной линейной регрессии, устойчивый к экстремальной стационарной помехе

3.1.3 Критерии оценки угла наклона по Хаф-образу

3.1.4 Критерий определения сдвига

3.1.5 Алгоритм локализации, устойчивый к экстремальной стационарной помехе

3.1.6 Оценка точности локализации в зависимости от объёма

ЛПС «стационарная помеха»

3.1.7 Влияние алгоритмов локализации траектории на показатели качества системы «АКТС-4»

3.2 Устойчивость к разреженности гистограммы

3.2.1 Критерий суммы обратных длин

3.2.2 Алгоритм вычисления критерия угла наклона

траектории по Хаф-образу

3.2.3 Оценка точности определения угла наклона траектории в зависимости от степени разреженности данных

3.3 Заключение к главе

Глава 4. Детекция точки схода прямолинейных траекторий

движения автомобилей в системе «МАРИНА»

4.1 Модель результатов прослеживания номерных знаков на видео

4.1.1 Модель движения

4.1.2 Отклонения от модели

4.2 Детекция точки схода прямолинейных траекторий

4.3 Алгоритм вычисления точки схода

4.3.1 Оценка количества итераций

4.3.2 Вычислительная сложность алгоритма

4.4 Оценка точности распознавания точки схода траекторий

4.4.1 Имитационное моделирование данных

4.4.2 Зависимость устойчивости от доли нерелевантных данных

4.4.3 Пример работы алгоритма на реальных данных

4.5 Заключение к главе

Заключение

Список литературы

Список рисунков

Список таблиц

Приложение А. Акты о внедрении результатов

диссертационного исследования

Введение диссертации (часть автореферата) на тему «Робастные алгоритмы локализации траекторий движения транспортных средств в видеопотоке»

Введение

Анализ траекторий движения транспортных средств - одна из центральных задач в области транспортного мониторинга. Информация о траекториях используется системами интеллектуального видеонаблюдения (далее - СИВ) для комплексной аналитики дорожных ситуаций: оценки потоков движения транспортных средств [1] (далее - ТС), анализа их паттернов движения [2], детекции нарушений правил дорожного движения [3] (далее - ПДД), обнаружения аномалий [4]. В последние годы задача анализа траекторий также становится всё более актуальной для систем аналитики дорожных ситуаций и принятия решений, которыми оснащаются беспилотные ТС [5].

Для регистрации ТС на дорогах общего пользования применяются разные сенсоры, среди которых наиболее распространёнными являются радары [6], лидары [7] и видеокамеры [8]. В отличие от активных сенсоров видеокамеры дешевле, проще в эксплуатации и могут применяться для регистрации ТС, движущихся в плотном потоке. Автоматическое извлечение информации о движении ТС из видеоданных обеспечивается технологиями компьютерного зрения [9; 10].

Ключевой подзадачей в анализе траектории является её локализация -оценка параметров описывающей её модели по выборке координат мгновенных положений объекта (треку движения), поставляемых пространственно-разрешающими детекторами. Выбор методов оценивания во многом опирается на предположения о распределении отклонений данных от истинной траектории, которое зачастую приближается нормальным. Однако сложные условия эксплуатации СИВ повышают риск возникновения нерелевантных наблюдений -выбросов, которые не описываются предусмотренной моделью координатной ошибки, а их распределение априорно неизвестно.

Для СИВ критично важен показатель устойчивости модулей к нерелевантным данным. Основными источниками загрязнений являются ложноположи-тельные срабатывания (далее - ЛПС) детекторов и существенные отклонения от модели движения. ЛПС не коррелируют с «чистым» сигналом, могут возникать как в единичных случаях, так и в значительных объёмах при их стабильном воспроизведении на кадрах видео. Грубые ошибки локализации траекторий, вызванные ЛПС, могут быть причиной критичных ошибок работы:

регистрации фантомных событий, ложного выставления штрафа за нарушение ПДД, ложной тарификации проезда по платным дорогам. Кроме того, для сценариев одновременного анализа множества объектов выбросы в треках вместе с нерелевантными траекториями существенно усложняют задачу автоматической геометрической калибровки камеры, в основе которой лежит анализ траекторий движения автомобилей. Данные факторы обосновывают актуальность развития робастных алгоритмов анализа траекторий.

Технологии интеллектуального видеонаблюдения занимают значительное место в таких областях науки, как обработка изображений, распознавание образов и искусственный интеллект. Большой вклад в развитие этих областей внесли отечественные и зарубежные учёные: В.Л. Арлазаров, В.Н. Вапник, Ю.В. Ви-зильтер, В.А. Сойфер, А.Я. Червоненкис, П.А. Чочиа, Р. Дерише, П. Харт, Я. Лекун и другие. В области науки, посвящённой проблемам робастной детек-ций объектов и их траекторий, проводятся исследования задач обнаружения траекторий движения объектов по радиолокационным данным, сильно зашум-лённым помехами. В таких задачах активно используются робастные методы оценивания. В работах Д. Фалконера [11] и Б. Карлсона [12] в 1977 и 1994 годах соответственно было предложено использовать преобразование Хафа для локализации линейных траекторий, что затем активно развивалось другими научными группами [13—16]. Развитию методов робастного оценивания способствовали работы таких учёных, как П. Хюбер [17], П. Россеув [18], А. Уэлш [19], М. Брейди [20], П. Хаф [21]. В области интеллектуального видеонаблюдения проблемам робастной локализации траекторий уделяется меньше внимания. Распространено использование неробастных методов оценивания, основанных, в частности, на минимизации квадратичных функций невязок [22—25], а возможные выбросы в измерениях не рассматриваются.

Существуют постановки задачи локализации, в которых анализируемые участки траекторий в поле зрения камеры считаются прямыми. Несмотря на простоту модели, она нередко используется при решении практических задач в области интеллектуальной видеоаналитики: на неё опираются в работах, посвя-щённых автоматической классификации автомобилей [26; 27], оценке скорости их движения [28; 29], автоматической калибровке камеры [30—33]. Именно такая модель траектории движения объектов будет рассмотрена в диссертационном исследовании.

Цель работы - разработать методы и алгоритмы оценки параметров прямолинейных участков траекторий движения ТС по выборкам срабатываний, поставленным несовершенными детекторами мгновенного положения на кадрах видеопотока.

Для достижения цели были поставлены и решены следующие задачи:

1. Разработать математическую модель распределений срабатываний детектора положений объекта на кадрах видеопотока, учитывающую модель движения ТС и характерные ЛПС детектора.

2. Разработать методы локализации прямолинейной траектории движения ТС, устойчивые к характерным ошибкам детекции мгновенных положений.

3. Разработать метод детекции точки схода прямолинейных участков траекторий в условиях наличия выбросов в треках, а также посторонних траекторий.

4. Экспериментально исследовать показатели устойчивости алгоритмов локализации траекторий и алгоритма детекции точки схода в зависимости от относительного объёма выбросов в выборке срабатываний.

5. Экспериментально исследовать влияние разработанных алгоритмов локализации траекторий на показатели качества работы СИВ.

Научная новизна:

1. Предложен новый алгоритм поиска точки схода прямолинейных траекторий, основанный на схеме ИЛ^ЛО и учитывающий возможные выбросы как в виде посторонних траекторий, так и среди отдельных точек треков.

2. Предложен новый метод робастной двумерной линейной регрессии, обладающий устойчивостью к кластеру выбросов с центрально-симметричной функцией распределения и долей массы, превышающей 50% от общей выборки данных.

3. Предложен новый критерий оценки угла наклона прямой по Хаф-обра-зу, устойчивый к высокой степени разреженности входной гистограммы данных.

Практическая значимость Значимость результатов диссертации обуславливается эффективностью использования разработанных алгоритмов локализации прямолинейных траекторий движения объектов для решения прикладных задач распознавания в СИВ. Результаты работы внедрены в

систему автоматической классификации транспортных средств «АКТС-4» и модуль распознавания регистрационных номеров автомобилей «МАРИНА», что подтверждается соответствующими актами от компании ООО «Визиллект Сервис» и ИППИ РАН. Предложенные в диссертационном исследовании методы и алгоритмы были также использованы ИППИ РАН в процессе выполнения научных работ по проектам:

1. Российского научного фонда (проект №14-50-00150, «Цифровые технологии и их применения»);

2. Российского фонда фундаментальных исследований (проект №19-29-09092 «Модели и методы компьютерного зрения в задачах обеспечения информационной безопасности для индустрии 4.0»).

Методология и методы исследования. В диссертационном исследовании используются методы математической статистики, цифровой обработки изображений и имитационного моделирования. Исследования проводились с использованием СИВ «АКТС-4» и «МАРИНА» в качестве источников данных срабатываний детекторов объектов и систем для экспериментальной части исследования. Реализация алгоритмов и программных комплексов, используемых в экспериментальной части работы, осуществлялась средствами языков программирования С++, Python и Matlab. Работа соответствует специальности 2.3.1. Системный анализ, управление и обработка информации, статистика (технические науки).

Основные положения, выносимые на защиту:

1. Разработанная математическая модель распределения срабатываний пространственно-разрешающего детектора колёс в «АКТС-4» учитывает линейную и равномерную модель движения ТС, координатную погрешность детекции центра колеса и ЛПС категорий «слабая помеха», «стационарная помеха», «ложная траектория». Модель позволяет численно исследовать методы локализации путём синтеза данных, имитирующих выборки срабатываний детектора колёс на основе детектора Виолы-Джонса.

2. Использование разработанного алгоритма локализации траектории движения колёс на основе приближённого вычисления М-оценки Уэл-ша для фильтрации ЛПС детектора колёс позволяет более чем на 9% уменьшить число ошибок классификации ТС в системе «АКТС-4» и

более чем на 30% снизить число ошибок неправильного подсчета числа колёсных осей.

3. Использование предложенного алгоритма локализации траектории, устойчивого к экстремальной стационарной помехе, позволяет уменьшить число ошибок определения числа колёсных осей в «АКТС-4» с 12 до 2 на выборке из 13 проездов ТС с выраженными стационарными помехами и при этом не приводит к росту числа ошибок на выборке из 4118 проездов ТС без экстремальных стационарных помех.

4. Разработанный алгоритм локализации траектории с критерием суммы обратных длин имеет большую точность оценки параметра угла наклона в сравнении с алгоритмом на основе критерия суммы квадратов значений при числе срабатываний менее чем 50 и стороне квадратной гистограммы равной 200 пикселям.

5. Разработанный алгоритм локализации прямолинейных траекторий движения объектов и поиска их точки схода согласован с моделью результатов прослеживания номерных знаков в видеопотоке и обладает устойчивостью как к нерелевантным данным в траектории, так и к посторонним траекториям.

Достоверность полученных результатов подтверждается вычислительными экспериментами как на данных, полученных путём имитационного моделирования, так и на реальных. Результаты находятся в соответствии с результатами, полученными другими исследователями.

Апробация работы. Основные результаты работы докладывались на следующих конференциях:

1. International Conference on Machine Vision (ICMV 2015, 2020);

2. European Conference on Modelling and Simulation (ECMS 2015);

3. Международная школа-конференция «Информационные технологии и системы» (ИТиС 2018, 2019).

Публикации. Основные результаты по теме диссертации изложены в 5 работах, 2 из которых изданы в периодическом научном журнале, индексируемом RSCI, 3 — входят в базы научного цитирования Web of Science и Scopus.

Все основные результаты диссертационного исследования получены лично соискателем. Свойство сходимости предложенного в третьей главе критерия суммы обратных длин к функции суммы квадратов значений исследовано Крошниным А.В. Оценка количества итераций предложенного в четвёртой

главе алгоритма поиска точки схода прямолинейных траекторий получена Шемякиной Ю.А. Постановка задач и обсуждения полученных результатов осуществлялись совместно с научным руководителем.

Объем и структура работы. Диссертация состоит из введения, 4 глав и заключения. Полный объём диссертации составляет 130 страниц, включая 44 рисунка и 15 таблиц. Список литературы содержит 140 наименований.

Глава 1. Системы интеллектуального видеонаблюдения «АКТС-4» и «МАРИНА». Задачи диссертационного исследования

1.1 Системы интеллектуальной видеоаналитики

На сегодняшний день СИВ активно развиваются и находят широкое применение в различных сферах. Данные системы представляют собой программно-аппаратные комплексы, основанные на технологиях компьютерного зрения, которые позволяют обнаруживать объекты на кадрах видео и прослеживать их движение в видеопотоке [34], анализировать паттерны движения объектов [35], детектировать определённые события [36]. Они используются для мониторинга безопасности в местах массового скопления людей [37; 38], анализа транспортных потоков и дорожных ситуаций [27], автоматического обнаружения фактов нарушения ПДД [39], детектирования задымления в помещениях [40], контроля периметра на объектах [41]. Согласно данным Allied Market Research в 2019 году рынок СИВ был оценён в 4,102 миллионов долларов США, при этом прогнозируется более чем пятикратный рост рынка к 2027 году, который оценивается в 21,778 миллионов [42]. Количество научных работ, посвящённых технологиям интеллектуального видеонаблюдения, также продолжает расти: поисковая система Google Scholar на запрос «intelligent video analysis» возвращает порядка 40, 50 и 60 тысяч ссылок на научные работы, опубликованные за 2010, 2015 и 2020 год соответственно.

Одно из приложений СИВ относится к области транспортного мониторинга. Данные о перемещении ТС, регистрируемые системами по видео с камер наружного видеонаблюдения, представляют собой богатый источник информации, который используется для анализа дорожного траффика [43; 44] и контроля безопасности [39; 45; 46], что актуально для крупных населённых пунктов с большой нагрузкой на объекты транспортной инфраструктуры. Согласно отчёту Всемирной Организации Здравоохранения только в 2015 году в результате несчастных случаев на дорогах жертвами стало 1,25 миллиона человек, основной причиной которых является небезопасное вождение и нарушение

ПДД [47].

1.2 Анализ траекторий движения транспортных средств

Одной из задач СИВ для транспортного мониторинга является локализация траекторий движения ТС и их дальнейший анализ. Мгновенные положения объектов определяются результатами работы модулей детекции и прослеживания объектов, а трек движения представляет собой набор значений вида:

т = (к, ,уг,, ч, (1.1)

где положение объекта в момент времени т определяется точкой в системе координат изображения с координатами х,у, г - индекс ТС, а na,i - число наблюдений для ¿-го ТС. Задача локализации траектории движения f-го объекта сводится к оценке параметров её описывающей модели по выборке срабатываний T.

Яркий пример использования информации о траекториях - обнаружение событий нарушения ПДД: пересечения сплошной линии разметки, разворота в неположенном месте, проезда на запрещающий сигнал светофора и других. Например, работа [48] приводит алгоритмы для распознавания сигнала светофора, детекции ТС и локализации траекторий с целью обнаружения нарушений правил перестроений. В работе Гуо и соавторов [49] описывается подход к пространственно-временному анализу траекторий ТС и выявлению атипичных событий, именованный TripVista (Triple Perspective Visual Trajectory Analytics). В работе [50] приводится исследование задачи детекции потенциально аварийных локаций. Решение базируется на обнаружении типичных и атипичных траекторий движения автомобилей, на основе которых выявляют потенциально аварийные участки. В исследовании [24] описывается подход к классификации траекторий движения ТС на перекрёстке с целью обнаружения фактов нарушения ПДД.

Другое приложение относится к технологиям автоматической геометрической калибровки камеры по результатам анализа траекторий движения ТС при известных априорных предположениях о модели перемещения. Если известно, что ТС движутся по взаимно параллельным прямым участкам дороги, восстановленные линейные траектории движения могут использоваться для детекции точки их схода на изображении с целью оценки параметров камеры. Этой задаче посвящены работы М. Дубска и соавторов [30; 31; 51] (рисунок 1.1а), Т. Тхи и соавторов [32], У. Вана и соавторов [33]. Во всех приведённых выше исследованиях

предполагается, что траектории движения ТС прямые (либо преимущественно прямые с незначительными отклонениями).

Информация о траекториях также используется для детекции и классификации полос движения на автомагистралях, чему посвящены работы [23; 52—54]. В работе [53] исследуется качество алгоритмов кластеризации траекторий для определения полос движения. В работе К. Ким и соавторов [54] для этой же задачи предлагается подход, учитывающий временную составляющую измерений и позволяющий обрабатывать сложные случаи пространственно-временных траекторий движения (изменения ускорения движения ТС, остановки и др.). Работа [23] описывает подход к классификации полос движения, основанный на локализации траекторий и их дальнейшей кластеризации.

Локализация траекторий является необходимой стадией для анализа вождения: оценки мгновенных показателей скорости и ускорения ТС, которые вычисляются путём дифференцирования функций перемещения. Этой задаче, например, посвящены работы [55; 56].

Среди отечественных исследований, относящихся к задаче анализа траекторий движения ТС, можно отметить работы В. Кустиковой и соавторов [57; 58], И. Аникина и соавторов [59], Р. Минниханова и соавторов [60] и А. Махму-товой и соавторов [61]. Работы [57; 58] посвящены задачам детектирования и классификации объектов на видео, восстановлению их траекторий движения. Отдельное внимание уделяется проблемам изменяющихся ракурсов объектов и окклюзий, для чего предлагаются устойчивые алгоритмы прослеживания объектов. В работах [59—61] исследуются проблемы выявления аномальных траекторий движения объектов по результатам их восстановления и кластеризации (рисунок 1.1б).

а) б) в)

Рисунок 1.1 — Приложения задачи анализа траекторий: а) геометрическая калибровка системы по траекториям движения объектов; б) выявление аномальных траекторий; в) предиктивный анализ движения. Иллюстрации взяты

из работ [31], [60] [9].

Вне области интеллектуальной транспортной видеоаналитики заметно направление исследований в области детекции объектов по радиолокационным данным с низкими значениями эффективной площади рассеяния, для чего применяется так называемый 1гаск-Ье1оге^е1ес1 подход [62] (рисунок 1.2). В соответствии с ним обнаружение объекта осуществляется по результатам анализа траекторий по аккумулированным сигналам детектора с использованием предположений о траектории движения. Этой задаче посвящены работы [13—16; 63; 64].

а) 8 истинных траекторий движения (вверху) и сигнал детектора (внизу).

б) Локализованные и истинные траектории (белые линии).

Рисунок 1.2 — Примеры сильно зашумлённых данных радиолокационных детекторов и траектории движения подлежащих обнаружению объектов. Иллюстрации взяты из работ [13], [14].

В диссертационной работе в качестве источника данных для разработки и исследования методов и алгоритмов локализации траекторий использованы две СИВ: автоматический классификатор ТС («АКТС-4») и система распознавания номерных знаков автомобилей («МАРИНА»). В первой, «АКТС-4», выбран модуль детекции колёс ТС, а во второй, «МАРИНА», - модуль распознавания и прослеживания номерных знаков в видеопотоке. Следующие разделы главы посвящены описанию данных систем, устройству модулей детекции объектов и условиям, приводящим к загрязнению выборок срабатываний нерелевантными данными. В заключении к главе обосновываются задачи диссертационного исследования.

1.3 Автоматический классификатор транспортных средств

«АКТС-4»

На платных дорогах России введена в эксплуатацию разработанная ООО «Визиллект Сервис» в сотрудничестве с ИППИ РАН система автоматической классификации транспортных средств «АКТС-4», представляющая собой сложную систему технического зрения [26; 27; 65]. «АКТС-4» осуществляет автоматическую классификацию ТС, используя данные с одной видеокамеры и сигнал индукционной петли.

Система «АКТС-4» устанавливается на островках безопасности, разделяющих параллельные полосы движения на пунктах взимания платы (далее -ПВП), которые располагаются на въезде и выезде с платного участка автомобильной дороги. На каждой полосе система осуществляет классификацию дважды: при въезде ТС на полосу оплаты и при его выезде. Классификация осуществляется в режиме реального времени и позволяет ускорить процесс обработки проезда ТС, предлагая кассиру-оператору вычисленный класс ТС либо осуществляя классификацию в полностью автоматическом режиме без его участия.

В системе предусмотрено две версии, которые соответствуют двум разным таблицам классификации с отличающимися схемами установки системы на полосах ПВП. Класс ТС определяется количеством колёсных осей и, в зависимости от таблицы, высотой либо над первой колёсной осью, либо полной габаритной высотой ТС.

1.3.1 Конфигурация сцены и системы регистрации

Поскольку схемы установки систем для разных таблиц классификации отличаются друг от друга, в дальнейшем описании сцены и системы регистрации будем различать версии системы: «АКТС-О» - для таблицы, использующей число осей и высоту над первой осью и «АКТС-П» - для таблицы, использующей полную габаритную высоту. В контексте, не подразумевающем различение по версиям, будем называть систему «АКТС-4».

Система функционирует на полосах двух типов: обычной, шириной 3.5-3.75 метров, и широкой - 5-6.5 метров. Видеокамеры устанавливаются на островках безопасности, расстояние от них до начала проезжей части отличается для разных версий: 0.35 метра для «АКТС-О» и 1.2-3.5 метра для «АКТС-П». Высота установки видеокамер составляет 1.3 и 2.0 метра над поверхностью дорожного полотна для версий «АКТС-О» и «АКТС-П» соответственно. Схемы установки камер приведены на рисунке 1.3.

Рисунок 1.3 — Схема установки камер для версий «АКТС-О» (слева) и «АКТС-П» (справа). Штриховая линия отображает ось движения ТС по полосе, пунктирная - углы обзора камер. В скобках приведены размеры для

широких полос.

На участке проезжей части, регистрируемом видеокамерой, ТС движутся в потоке по однополосной дороге. Отклонения траектории движения автомобилей от прямой линии пренебрежимо малы. Неровностью поверхности дорожного полотна также пренебрегается вследствие ее незначительности. Видеокамера, регистрирующая проезды автомобилей, ориентирована таким образом, что вертикальная ось на получаемом изображении пересекает образ

щита, используемого для оценки высоты и установленного напротив. Вертикальный угол наклона камеры выставляется максимальным, но при котором на изображении видна ближняя граница островка безопасности.

Для описания конфигурации системы регистрации введём ортонорми-рованную систему координат x,y,z в пространстве предметов такую, что плоскости x,z будет соответствовать плоскость дорожного полотна. Обозначив через a вектор, совпадающий с оптической осью видеокамеры, a' - его проекцию на плоскость x,z и через m - вектор направления движения в плоскости x,z, то общую конфигурацию можно приблизить следующей моделью: a' ± m, Z(a,a') ~ 45°. Схема конфигурации приведена на рисунке 1.4а. Параметры данной конфигурации во времени считаются неизменными.

Для видеорегистрации в системе используются ИК-чувствительные камеры IDS UI-5221SEM-GL с широкоугольными объективами Fujinon YV2.7x2.2SA-SA2L (или аналогичными) с управляемой диафрагмой. Кадры регистрируемого видеопотока являются одноканальными с размером 752x480 пикселей. Для покрытия всего требуемого диапазона высот ТС камеры размещались в портретной ориентации (пример кадра приведён на рисунке 1.4б). Для работы в тёмное время суток под камерами закреплены ИК-прожекторы мощностью от 10 Вт. Кадровая частота обрабатываемого модулями распознавания видеопотока составляет 40 кадров/сек. Из-за широкоугольной оптики видеокамер получаемые изображения искажены геометрическими аберрациями (радиальной дисторсией), в связи с чем на ранних стадиях обработки видеоданных предусмотрена их компенсация [66].

1.3.2 Модель сцены

Как видно из конфигурации ПВП и системы видеорегистрации, проезжающие ТС без учёта незначительных отклонений наблюдаются в профиль. В плоскости кадра объекты движутся строго последовательно вдоль горизонтальной оси, отклонения их траектории движения от прямой (за исключением внештатных ситуаций) пренебрежимо малы. Пиксельные размеры образа автомобилей за время их проезда меняются незначительно и их можно считать постоянными.

(а) (б)

Рисунок 1.4 — Конфигурация ПВП и системы регистрации (а) и пример кадра

анализируемого видео (б).

Наблюдаемую сцену можно свести к модели плоских объектов переднего плана, поступательно движущихся на квазистационарном фоне. Фон образуется жёсткими неподвижными конструкциями ПВП, попадающими в поле зрения камеры соседними полосами движения и техническим оборудованием. Иллюстрация модельного проезда ТС для трёх последовательных моментов времени приведена на рисунке 1.5.

¿1 ¿2 ¿3

Рисунок 1.5 — Схематическая иллюстрация модели сцены в системе «АКТС-4»: поступательно движущийся плоский объект переднего плана на квазистационарном фоне.

Несмотря на неподвижность объектов на заднем плане фон строго стационарным считать нельзя. Его вариативность обеспечивается за счёт следующих факторов:

— ПВП находятся под открытым небом с неконтролируемым естественным освещением;

— на заднем плане могут быть видны подвижные объекты (ТС с соседних полос, персонал);

— возможны блики от фар автомобилей, засветки от искусственного освещения;

— возможно попадание капель дождя или снега на объектив видеорегистратора, что существенно ухужшает качество изображений.

На рисунке 1.6 приведены примеры кадров с разными условиями наблюдения.

Рисунок 1.6 — Примеры кадров видео с разными условиями наблюдения: тени от конструкций ПВП, засветки от фар, искусственное освещение в тёмное время суток, следы от колёс на покрытой снегом дороге, проезд мотоцикла.

Список литературы диссертационного исследования кандидат наук Бочаров Дмитрий Александрович, 2022 год

Список литературы

1. Traffic flow estimation with data from a video surveillance camera [Текст] / A. Fedorov [et al.] // Journal of Big Data. — 2019. — Vol. 6, no. 1. — P. 1—15.

2. Hosseinzadeh, A. Learning vehicle motion patterns based on environment model and vehicle trajectories [Текст] / A. Hosseinzadeh, R. Safabakhsh // 2014 Iranian Conference on Intelligent Systems (ICIS). — IEEE. 2014. — P. 1—5.

3. Lim, D.-W. Automated detection of all kinds of violations at a street intersection using real time individual vehicle tracking [Текст] / D.-W. Lim, S.-H. Choi, J.-S. Jun // Proceedings Fifth IEEE Southwest Symposium on Image Analysis and Interpretation. — IEEE. 2002. — P. 126—129.

4. Fu, Z. Similarity based vehicle trajectory clustering and anomaly detection [Текст] / Z. Fu, W. Hu, T. Tan // IEEE International Conference on Image Processing 2005. Vol. 2. — Ieee. 2005. — P. II—602.

5. Leon, F. A Review of Tracking and Trajectory Prediction Methods for Autonomous Driving [Текст] / F. Leon, M. Gavrilescu // Mathematics. — 2021. — Vol. 9, no. 6. — P. 660.

6. Amplitude-modulated laser radar for range and speed measurement in car applications [Текст] / X. Mao [et al.] // IEEE Transactions on Intelligent Transportation Systems. — 2011. — Vol. 13, no. 1. — P. 408—413.

7. Towards fully autonomous driving: Systems and algorithms [Текст] / J. Levin-son [et al.] // 2011 IEEE intelligent vehicles symposium (IV). — IEEE. 2011. — P. 163—168.

8. Detection and classification of vehicles [Текст] / S. Gupte [et al.] // IEEE Transactions on intelligent transportation systems. — 2002. — Vol. 3, no. 1. — P. 37—47.

9. Sivaraman, S. Looking at vehicles on the road: A survey of vision-based vehicle detection, tracking, and behavior analysis [Текст] / S. Sivaraman, M. M. Trivedi // IEEE transactions on intelligent transportation systems. — 2013. — Vol. 14, no. 4. — P. 1773—1795.

10. Abdulrahim, K. Traffic surveillance: A review of vision based vehicle detection, recognition and tracking [Текст] / K. Abdulrahim, R. A. Salam // International journal of applied engineering research. — 2016. — Vol. 11, no. 1. — P. 713—726.

11. Falconer, D. G. Target tracking with the Hough transform [Текст] / D. G. Falconer // 1977 11th Asilomar Conference on Circuits, Systems and Computers, 1977. Conference Record. — IEEE. 1977. — P. 249—252.

12. Carlson, B. Search radar detection and track with the Hough transform. I. system concept [Текст] / B. Carlson, E. Evans, S. Wilson // IEEE transactions on Aerospace and Electronic Systems. — 1994. — Vol. 30, no. 1. — P. 102—108.

13. A three-dimensional Hough transform-based track-before-detect technique for detecting extended targets in strong clutter backgrounds [Текст] / B. Yan [et al.] // Sensors. — 2019. — Vol. 19, no. 4. — P. 881.

14. Moyer, L. R. A multi-dimensional Hough transform-based track-before-detect technique for detecting weak targets in strong clutter backgrounds [Текст] / L. R. Moyer, J. Spak, P. Lamanna // IEEE Transactions on Aerospace and Electronic Systems. — 2011. — Vol. 47, no. 4. — P. 3062—3068.

15. Clustering Statistic Hough Transform Based Estimation Method for Motion Elements of Multiple Underwater Targets [Текст] / Z. Yan [et al.] // IEEE Access. — 2018. — Vol. 6. — P. 23747—23766.

16. Track-before-detect for sea clutter rejection: Tests with real data [Текст] / A. Aprile [et al.] // IEEE Transactions on Aerospace and Electronic Systems. — 2016. — Vol. 52, no. 3. — P. 1035—1045.

17. Huber, P. J. Robust statistics [Текст] / P. J. Huber. — Springer, 2011.

18. Rousseeuw, P. J. Robust regression and outlier detection [Текст]. Vol. 589 / P. J. Rousseeuw, A. M. Leroy. — John wiley & sons, 2005.

19. Welsh, A. H. Robust estimation of smooth regression and spread functions and their derivatives [Текст] / A. H. Welsh // Statistica Sinica. — 1996. — P. 347—366.

20. Brady, M. L. Fast parallel discrete approximation algorithms for the Radon transform [Текст] / M. L. Brady, W. Yong // Proceedings of the fourth annual ACM symposium on Parallel algorithms and architectures. — 1992. — P. 91—99.

21. Hough, P. V. Machine analysis of bubble chamber pictures [Текст] / P. V. Hough // Proc. of the International Conference on High Energy Accelerators and Instrumentation, Sept. 1959. — 1959. — P. 554—556.

22. Viewpoint independent detection of vehicle trajectories and lane geometry from uncalibrated traffic surveillance cameras [Текст] / J. Melo [et al.] // International Conference Image Analysis and Recognition. — Springer. 2004. — P. 454—462.

23. Detection and classification of highway lanes using vehicle motion trajectories [Текст] / J. Melo [et al.] // IEEE Transactions on intelligent transportation systems. — 2006. — Vol. 7, no. 2. — P. 188—200.

24. Vehicle trajectory description for traffic events detection [Текст] / C. Yu [et al.] // Advances on digital television and wireless multimedia communications. — Springer, 2012. — P. 228—235.

25. Bose, B. Ground plane rectification by tracking moving objects [Текст] / B. Bose, E. Grimson // Proceedings of the Joint IEEE International Workshop on Visual Surveillance and Performance Evaluation of Tracking and Surveillance. — 2003. — P. 94—101.

26. Архитектура системы детекции и классификации автомобилей средствами технического зрения в естественных условиях [Текст] / А. Григорьев [и др.] // Сенсорные системы. — 2017. — Т. 31, № 1. — С. 72—84.

27. Vision-based industrial automatic vehicle classifier [Текст] / T. Khanipov [et al.] // Seventh International Conference on Machine Vision (ICMV 2014). Vol. 9445. — International Society for Optics, Photonics. 2015. — P. 944511.

28. Luvizon, D. C. Vehicle speed estimation by license plate detection and tracking [Текст] / D. C. Luvizon, B. T. Nassu, R. Minetto // 2014 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). — IEEE. 2014. — P. 6563—6567.

29. Cathey, F. A novel technique to dynamically measure vehicle speed using uncalibrated roadway cameras [Текст] / F. Cathey, D. Dailey. — 2005.

30. Dubska, M. Real Projective Plane Mapping for Detection of Orthogonal Vanishing Points. [Текст] / M. Dubska, A. Herout // BMVC. — 2013.

31. Dubska, M. Automatic Camera Calibration for Traffic Understanding. [Текст] / M. Dubska, A. Herout, J. Sochor // BMVC. Vol. 4. — 2014. — P. 8.

32. Thi, T. H. Self-calibration of traffic surveillance camera using motion tracking [Текст] / T. H. Thi, S. Lu, J. Zhang // Intelligent Transportation Systems, 2008. ITSC 2008. 11th International IEEE Conference on. — IEEE. 2008. — P. 304—309.

33. Wan, Y. Camera calibration and vehicle tracking: Highway traffic video analytics [Текст] / Y. Wan, Y. Huang, B. Buckles // Transportation Research Part C: Emerging Technologies. — 2014. — Vol. 44. — P. 202—213.

34. Tiwari, M. A review of detection and tracking of object from image and video sequences [Текст] / M. Tiwari, R. Singhai // Int. J. Comput. Intell. Res. —

2017. — Vol. 13, no. 5. — P. 745—765.

35. Motion anomaly detection and trajectory analysis in visual surveillance [Текст] / M. Chebiyyam [et al.] // Multimedia Tools and Applications. —

2018. — Vol. 77, no. 13. — P. 16223—16248.

36. Security event recognition for visual surveillance [Текст] / M. Y. Yang [et al.] // arXiv preprint arXiv:1810.11348. — 2018.

37. Garcia-Martin, A. People detection in surveillance: classification and evaluation [Текст] / A. Garcia-Martin, J. M. Martinez // IET Computer Vision. —

2015. — Vol. 9, no. 5. — P. 779—788.

38. Pore, S. D. Bidirectional people counting system in video surveillance [Текст] / S. D. Pore, B. Momin // 2016 IEEE International Conference on Recent Trends in Electronics, Information & Communication Technology (RTEICT). — IEEE. 2016. — P. 724—727.

39. Singh, D. Visual big data analytics for traffic monitoring in smart city [Текст] / D. Singh, C. Vishnu, C. K. Mohan // 2016 15th IEEE international conference on machine learning and applications (ICMLA). — IEEE.

2016. — P. 886—891.

40. Tung, T. X. An effective four-stage smoke-detection algorithm using video images for early fire-alarm systems [Текст] / T. X. Tung, J.-M. Kim // Fire Safety Journal. — 2011. — Vol. 46, no. 5. — P. 276—282.

41. Critical asset protection, perimeter monitoring, and threat detection using automated video surveillance [Текст] / A. J. Lipton [et al.] // Proceedings of the Thirty-Sixth Annual International Carnahan Conference on Security Technology. — 2002.

42. Allied Market Research [Электронный ресурс]. — URL: https://www. alliedmarketresearch.com/video-analytics-market (visited on 10/24/2022).

43. Arinaldi, A. Detection and classification of vehicles for traffic video analytics [Текст] / A. Arinaldi, J. A. Pradana, A. A. Gurusinga // Procedia computer science. — 2018. — Vol. 144. — P. 259—268.

44. Edge-computing video analytics for real-time traffic monitoring in a smart city [Текст] / J. Barthelemy [et al.] // Sensors. — 2019. —Vol. 19, no. 9. — P. 2048.

45. Edge video analytics for public safety: A review [Текст] / Q. Zhang [et al.] // Proceedings of the IEEE. — 2019. — Vol. 107, no. 8. — P. 1675—1696.

46. Asadianfam, S. Big data platform of traffic violation detection system: identifying the risky behaviors of vehicle drivers [Текст] / S. Asadianfam, M. Shamsi, A. R. Kenari // Multimedia Tools and Applications. — 2020. — Vol. 79, no. 33. — P. 24645—24684.

47. Organization, W. H. Global status report on road safety 2015 [Электронный ресурс] / W. H. Organization. — 2015. — URL: https://www.afro.who.int/ publications/global-status-report-road-safety-2015 (visited on 10/24/2022).

48. Klubsuwan, K. Traffic violation detection using multiple trajectories evaluation of vehicles [Текст] / K. Klubsuwan, W. Koodtalang, S. Mungsing // 2013 4th International Conference on Intelligent Systems, Modelling and Simulation. — IEEE. 2013. — P. 220—224.

49. Tripvista: Triple perspective visual trajectory analytics and its application on microscopic traffic data at a road intersection [Текст] / H. Guo [et al.] // 2011 IEEE Pacific Visualization Symposium. — IEEE. 2011. — P. 163—170.

50. iTV: Inferring Traffic Violation-Prone Locations With Vehicle Trajectories and Road Environment Data [Текст] / Z. Jiang [et al.] // IEEE Systems Journal. — 2020.

51. Fully automatic roadside camera calibration for traffic surveillance [Текст] / M. Dubska [et al.] // IEEE Transactions on Intelligent Transportation Systems. — 2015. — Vol. 16, no. 3. — P. 1162—1171.

52. Automatic traffic surveillance system for vehicle tracking and classification [Текст] / J.-W. Hsieh [et al.] // IEEE Transactions on Intelligent Transportation Systems. — 2006. — Vol. 7, no. 2. — P. 175—187.

53. Atev, S. Clustering of vehicle trajectories [Текст] / S. Atev, G. Miller, N. P. Pa-panikolopoulos // IEEE transactions on intelligent transportation systems. — 2010. — Vol. 11, no. 3. — P. 647—657.

54. Kim, K. Gaussian process regression flow for analysis of motion trajectories [Текст] / K. Kim, D. Lee, I. Essa // 2011 International Conference on Computer Vision. — IEEE. 2011. — P. 1164—1171.

55. Yue, H. Spatio-temporal traffic video data archiving and retrieval system [Текст] / H. Yue, L. R. Rilett, P. Z. Revesz // GeoInformatica. — 2016. — Vol. 20, no. 1. — P. 59—94.

56. Toledo, T. Estimation of vehicle trajectories with locally weighted regression [Текст] / T. Toledo, H. N. Koutsopoulos, K. I. Ahmed // Transportation Research Record. — 2007. — Vol. 1999, no. 1. — P. 161—169.

57. Kustikova, V. Video-based vehicle detection method [Текст] / V. Kustikova, I. Meyerov, N. Y. Zolotykh // Pattern recognition and image analysis. — 2014. — Vol. 24, no. 4. — P. 588—592.

58. Kustikova, V. Vehicle video detection and tracking quality analysis [Текст] / V. Kustikova, V. Gergel // Pattern Recognition and Image Analysis. — 2016. — Vol. 26, no. 1. — P. 155—160.

59. Анализ траекторий движения автотранспортных средств на потоковом видео [Текст] / И. Аникин [и др.] // Вестник НЦБЖД. — 2015. — № 4. — С. 24—34.

60. Detection of traffic anomalies for a safety system of smart city [Текст] / R. Minnikhanov [et al.] // CEUR Workshop Proceedings. Vol. 2667. — 2020. — P. 337—342.

61. Intelligent Detection of Object's Anomalies for Road Surveilance Cameras [Текст] / A. Makhmutova [et al.] // 2019 International Multi-Conference on Engineering, Computer and Information Sciences (SIBIRCON). — IEEE. 2019. — P. 0762—0767.

62. Davey, S. J. A comparison of detection performance for several track-be-fore-detect algorithms [Текст] / S. J. Davey, M. G. Rutten, B. Cheung // EURASIP Journal on Advances in Signal Processing. — 2007. — Vol. 2008. — P. 1—10.

63. Elazar, M. Search Radar Track-Before-Detect Using the Hough Transform. [Текст] / M. Elazar. — 1995.

64. Analysis of Track-Before Detect Algorithms with Hough Transform [Текст] /

C. Kabakchiev [et al.] // Proc. of the International Radar Symposium-IRS. Vol. 9. — P. 207—211.

65. Building a robust vehicle detection and classification module [Текст] / A. Grig-oryev [et al.] // Eighth International Conference on Machine Vision (ICMV 2015). Vol. 9875. — International Society for Optics, Photonics. 2015. — 98751J.

66. Kunina, I. Blind radial distortion compensation in a single image using fast Hough transform [Текст] / I. Kunina, S. Gladilin, D. Nikolaev // Computer optics. — 2016. — Vol. 40, no. 3. — P. 395—403.

67. Taylor, J. W. Smooth transition exponential smoothing [Текст] / J. W. Taylor // Journal of Forecasting. — 2004. — Vol. 23, no. 6. — P. 385—404.

68. Бочаров, Д. Детекторы проездов на основе технического зрения в автоматическом классификаторе транспортных средств [Текст] / Д. Бочаров, И. Коптелов, Е. Кузнецова // ИТиС 2015. — 127994, Москва, ГСП-4, пер. Большой Каретный, д.19, стр. 1 : Федеральное государственное бюджетное учреждение науки Институт проблем передачи информации им. А.А. Харкевича Российской академии наук (ИППИ РАН), 2015. — С. 485—497.

69. Vehicle Passes Detector Based on Multi-Sensor Analysis [Текст] /

D. Bocharov [et al.] // ICMV 2014. Vol. 9445 / ed. by A. V. B. V. P. R. J. Zhou. — Bellingham, Washington 98227-0010 USA : Society of Photo-Optical Instrumentation Engineers (SPIE), 02/2015. — P. 944510-1—944510-5. — DOI: 10.1117/12.2181378.

70. Generalization of the Viola-Jones method as a decision tree of strong classifiers for real-time object recognition in video stream [Текст] / A. Minkina [et al.] // Seventh International Conference on Machine Vision (ICMV 2014). Vol. 9445. — International Society for Optics, Photonics. 2015. — P. 944517.

71. Viola, P. Robust real-time face detection [Текст] / P. Viola, M. J. Jones // International journal of computer vision. — 2004. — Vol. 57, no. 2. — P. 137—154.

72. Vision-based vehicle wheel detector and axle counter [Текст] / A. Grigoryev [et al.] // ECMS 2015. — European Council for Modelling, Simulation, 2015. — P. 521—526. — DOI: 10.7148/2015-0521.

73. Khatri, H. Infrared-based system for vehicle axle counting and classification [Текст] / H. Khatri, S. Somani // 8th IRF International Conference. — 2014. — P. 49—52.

74. Automatic vehicle classification using wireless magnetic sensor [Текст] / S. Kaewkamnerd [et al.] // 2009 IEEE International Workshop on Intelligent Data Acquisition and Advanced Computing Systems: Technology and Applications. — IEEE. 2009. — P. 420—424.

75. Huang, C.-L. A vision-based vehicle identification system [Текст] / C.-L. Huang, W.-C. Liao // Proceedings of the 17th International Conference on Pattern Recognition, 2004. ICPR 2004. Vol. 4. — IEEE. 2004. — P. 364—367.

76. Detection of vehicle wheels from images using a pseudo-wavelet filter for analysis of congested traffic [Текст] / E. J. OBrien [et al.] // IET Image Processing. — 2018. — Vol. 12, no. 12. — P. 2222—2228.

77. Ng, J. Y. Image-based vehicle classification system [Текст] / J. Y. Ng, Y. H. Tay // arXiv preprint arXiv:1204.2114. — 2012.

78. Chintalacheruvu, N. Video based vehicle detection and its application in intelligent transportation systems [Текст] / N. Chintalacheruvu, V. Muthuku-mar // Journal of transportation technologies. — 2012. — Vol. 2, no. 04. — P. 305.

79. Dawar, D. A differential evolution based axle detector for robust vehicle classification [Текст] / D. Dawar, S. A. Ludwig // 2015 IEEE Congress on Evolutionary Computation (CEC). — IEEE. 2015. — P. 3072—3079.

80. Fuzzy C-Means Image Segmentation Approach for Axle-Based Vehicle Classification [Текст] / Z. Yao [et al.] // Transportation Research Record. — 2016. — Vol. 2595, no. 1. — P. 68—77.

81. Prototype of Video-Based Vehicle Classification System Using Vision-Based Axle Detection [Текст] / Z. Yao [et al.]. — 2014.

82. Design, development and evaluation of a software architecture for tracking multiple vehicles in camera networks [Текст] : Master's thesis / Gomez Garcia Emilio. — 2019.

83. Determination of minimum gap in congested traffic [Текст] / S. Blacoe [et al.] // Bridge & Concrete Research in Ireland, Dublin, Ireland, 6-7 September, 2012. — 2012.

84. Caprani, C. Vision systems for analysis of congested traffic [Текст] / C. Caprani, E. Obrien, S. Blacoe // IABSE Symp. Rep. — 2013.

85. Povolotskiy, M. A. Russian license plate segmentation based on dynamic time warping [Текст] / M. A. Povolotskiy, E. G. Kuznetsova, T. M. Khanipov // European Conference on Modelling and Simulation. — 2017. — P. 285—291.

86. Otsu, N. A threshold selection method from gray-level histograms [Текст] / N. Otsu // IEEE transactions on systems, man, and cybernetics. — 1979. — Vol. 9, no. 1. — P. 62—66.

87. Chen, L. Robust and fast similarity search for moving object trajectories [Текст] / L. Chen, M. T. Ozsu, V. Oria // Proceedings of the 2005 ACM SIGMOD international conference on Management of data. — 2005. — P. 491—502.

88. Duda, R. O. Use of the Hough transformation to detect lines and curves in pictures [Текст] / R. O. Duda, P. E. Hart // Communications of the ACM. — 1972. — Vol. 15, no. 1. — P. 11—15.

89. Jacobs, L. Object tracking in noisy radar data: comparison of Hough transform and RANSAC [Текст] / L. Jacobs, J. Weiss, D. Dolan // IEEE International Conference on Electro-Information Technology, EIT 2013. — IEEE. 2013. — P. 1—6.

90. Fischler, M. A. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography [Текст] / M. A. Fischler, R. C. Bolles // Communications of the ACM. — 1981. — Vol. 24, no. 6. — P. 381—395.

91. Edgeworth, F. Y. On observations relating to several quantities [Текст] / F. Y. Edgeworth // Hermathena. — 1887. — Vol. 6, no. 13. — P. 279—285.

92. Rousseeuw, P. J. Least median of squares regression [Текст] / P. J. Rousseeuw // Journal of the American statistical association. — 1984. — Vol. 79, no. 388. — P. 871—880.

93. Theil, H. A rank-invariant method of linear and polynomial regression analysis [Текст] / H. Theil // Indagationes mathematicae. — 1950. — Vol. 12, no. 85. — P. 173.

94. Sen, P. K. Estimates of the regression coefficient based on Kendall's tau [Текст] / P. K. Sen // Journal of the American statistical association. — 1968. — Vol. 63, no. 324. — P. 1379—1389.

95. Choi, S. Performance evaluation of RANSAC family [Текст] / S. Choi, T. Kim, W. Yu // Journal of Computer Vision. — 1997. — Vol. 24, no. 3. — P. 271—300.

96. Torr, P. H. MLESAC: A new robust estimator with application to estimating image geometry [Текст] / P. H. Torr, A. Zisserman // Computer vision and image understanding. — 2000. — Vol. 78, no. 1. — P. 138—156.

97. Tordoff, B. J. Guided-MLESAC: Faster image transform estimation by using matching priors [Текст] / B. J. Tordoff, D. W. Murray // IEEE transactions on pattern analysis and machine intelligence. — 2005. — Vol. 27, no. 10. — P. 1523—1535.

98. Chum, O. Matching with PROSAC-progressive sample consensus [Текст] / O. Chum, J. Matas // 2005 IEEE computer society conference on computer vision and pattern recognition (CVPR'05). Vol. 1. — IEEE. 2005. — P. 220—226.

99. Holland, P. W. Robust regression using iteratively reweighted least-squares [Текст] / P. W. Holland, R. E. Welsch // Communications in Statistics-theory and Methods. — 1977. — Vol. 6, no. 9. — P. 813—827.

100. Andrews, D. F. Robust estimates of location: Survey and advances [Текст] / D. F. Andrews, F. R. Hampel. — Princeton University Press, 2015.

101. Huber, P. J. Robust statistics [Текст]. Vol. 523 / P. J. Huber. — John Wiley & Sons, 2004.

102. Горяинов, В. Сравнение классических и робастных оценок параметров пороговой авторегрессии [Текст] / В. Горяинов // Математика и математическое моделирование. — 2017. — № 3.

103. Deming, W. E. Statistical adjustment of data. [Текст] / W. E. Deming. — 1943.

104. Митропольский, А. К. Техника статистических вычислений [Текст] / А. К. Митропольский. — Наука. Гл. ред. физ.-мат. лит., 1961.

105. Ершов, Е. Робастная ортогональная линейная регрессия для маломерных гистограмм [Текст] / Е. Ершов, Е. Асватов, Д. П. Николаев // Сенсорные системы. — 2017. — Т. 31, № 4. — С. 331—342.

106. Radon, J. Uber die bestimmung von funktionen durch ihre integralwerte langs gewisser mannigfaltigkeiten [Текст] / J. Radon // Classic papers in modern diagnostic radiology. — 2005. — Jg. 5. — S. 21.

107. Method and means for recognizing complex patterns [Текст] / P. V. Hough. — 1962. — US Patent 3,069,654.

108. Illingworth, J. A survey of the Hough transform [Текст] / J. Illingworth, J. Kittler // Computer vision, graphics, and image processing. — 1988. — Vol. 44, no. 1. — P. 87—116.

109. Khanipov, T. M. Computational complexity lower bounds of certain discrete Radon transform approximations [Текст] / T. M. Khanipov // arXiv preprint arXiv:1801.01054. — 2018.

110. Xu, L. A new curve detection method: randomized Hough transform (RHT) [Текст] / L. Xu, E. Oja, P. Kultanen // Pattern recognition letters. — 1990. — Vol. 11, no. 5. — P. 331—338.

111. Matas, J. Robust detection of lines using the progressive probabilistic hough transform [Текст] / J. Matas, C. Galambos, J. Kittler // Computer vision and image understanding. — 2000. — Vol. 78, no. 1. — P. 119—137.

112. Li, H. Fast Hough transform: A hierarchical approach [Текст] / H. Li, M. A. Lavin, R. J. Le Master // Computer Vision, Graphics, and Image Processing. — 1986. — Vol. 36, no. 2/3. — P. 139—161.

113. Hough transform: underestimated tool in the computer vision field [Текст] / D. Nikolaev [et al.] // Proceedings of the 22th European Conference on Modelling and Simulation. Vol. 238. — 2008. — P. 246.

114. Ершов, Е. Исследование свойств диадического паттерна быстрого преобразования Хафа [Текст] / Е. Ершов, С. Карпенко // arXiv preprint arXiv:1712.05615. — 2017.

115. Безматерных, П. Решение задачи линейной регрессии с помощью быстрого преобразования Хафа [Текст] / П. Безматерных, Т. Ханипов, Д. Николаев // ИТиС 2012. — ИППИ РАН, 2012. — С. 354—359.

116. Stewart, C. V. Robust parameter estimation in computer vision [Текст] / C. V. Stewart // SIAM review. — 1999. — Vol. 41, no. 3. — P. 513—537.

117. Burrus, C. S. Iterative reweighted least squares [Текст] / C. S. Burrus // OpenStax CNX. — 2012. — Vol. 12.

118. Deriche, R. Recursively implementing the Gaussian and its derivatives [Текст] / R. Deriche // Proc. Secound Int. Conf. On Image Processing. — 1992. — P. 263—267.

119. Dokladal, P. Grey-scale 1-D dilations with spatially-variant structuring elements in linear time [Текст] / P. Dokladal, E. Dokladalova // 2008 16th European Signal Processing Conference. — IEEE. 2008. — P. 1—5.

120. Dokladal, P. Computationally efficient, one-pass algorithm for morphological filters [Текст] / P. Dokladal, E. Dokladalova // Journal of Visual Communication and Image Representation. — 2011. — Vol. 22, no. 5. — P. 411—420.

121. RANSAC-GP: Dealing with outliers in symbolic regression with genetic programming [Текст] / U. Lopez [et al.] // European Conference on Genetic Programming. — Springer. 2017. — P. 114—130.

122. Ruzgiene, B. Ransac for outlier detection [Текст] / B. Ruzgiene, W. Forstner // Geodezija ir kartografija. — 2005. — Vol. 31, no. 3. — P. 83—87.

123. Xu, P. Sign-constrained robust least squares, subjective breakdown point and the effect of weights of observations on robustness [Текст] / P. Xu // Journal of geodesy. — 2005. — Vol. 79, no. 1. — P. 146—159.

124. Donoho, D. L. The notion of breakdown point [Текст] / D. L. Donoho, P. J. Huber //A festschrift for Erich L. Lehmann. — 1983. — Vol. 157184.

125. Hull, J. J. Document image skew detection: Survey and annotated bibliography [Текст] / J. J. Hull // Document Analysis Systems II. —World Scientific, 1998. — P. 40—64.

126. Amin, A. A document skew detection method using the Hough transform [Текст] / A. Amin, S. Fischer // Pattern Analysis & Applications. — 2000. — Vol. 3, no. 3. — P. 243—253.

127. Li, S. Skew detection using wavelet decomposition and projection profile analysis [Текст] / S. Li, Q. Shen, J. Sun // Pattern recognition letters. — 2007. — Vol. 28, no. 5. — P. 555—562.

128. Baird, H. The skew angle of printed documents [Текст] / H. Baird // Proceedings of SPSE 40th Symposium of Hybrid Imaging Systems. — 1987. — P. 739—743.

129. Srihari, S. N. Analysis of textual images using the Hough transform [Текст] / S. N. Srihari, V. Govindaraju // Machine vision and Applications. — 1989. — Vol. 2, no. 3. — P. 141—153.

130. Stahlberg, F. Document skew detection based on hough space derivatives [Текст] / F. Stahlberg, S. Vogel // 2015 13th International Conference on Document Analysis and Recognition (ICDAR). — IEEE. 2015. — P. 366—370.

131. Postl, W. Method for automatic correction of character skew in the acquisition of a text original in the form of digital scan results [Текст] / W. Postl. — 1988. — US Patent 4,723,297.

132. Papandreou, A. A novel skew detection technique based on vertical projections [Текст] / A. Papandreou, B. Gatos // 2011 International Conference on Document Analysis and Recognition. — IEEE. 2011. — P. 384—388.

133. Bezmaternykh, P. Textual blocks rectification method based on fast Hough transform analysis in identity documents recognition [Текст] / P. Bezmaternykh, D. Nikolaev, V. Arlazarov // Tenth International Conference on Machine Vision (ICMV2017). Vol. 10696. — International Society for Optics, Photonics. 2018. — P. 1069606.

134. Slant Rectification in Russian Passport OCR System Using Fast Hough Transform [Текст] / E. E. Limonova [et al.] // ICMV 2016. Vol. 10341. — Bellingham, Washington 98227-0010 USA : SPIE, 07/2017. — P. 1—5.

135. Макет автоматического классификатора транспортных средств [Текст] / И. Коптелов [и др.] // ИТиС 2014. — ИППИ РАН, 2014. — С. 350—356.

136. Sturges, H. A. The choice of a class interval [Текст] / H. A. Sturges // Journal of the american statistical association. — 1926. — Vol. 21, no. 153. — P. 65—66.

137. Geometric filtration of classification-based object detectors in realtime road scene recognition systems [Текст] / V. Prun [et al.] // Eighth International Conference on Machine Vision. — International Society for Optics, Photonics. 2015. — 98750O—98750O. — DOI: 10.1117/12.2228709.

138. Робастный критерий поиска точки схода проекций прямолинейных траекторий движения детектированных в видеопотоке транспортных средств [Текст] / Д. А. Бочаров [и др.] // Сенсорные системы. — 2019. — Т. 33, № 1. — С. 44—51. — DOI: 101134/S0235009219010037.

139. Бочаров, Д. А. Метод линейной регрессии, устойчивый к экстремальным стационарным помехам [Текст] / Д. А. Бочаров // Сенсорные системы. — 2020. — Т. 34, № 1. — С. 44—56. — DOI: 10.31857/S0235009220010059.

140. Bocharov, D. Slope detection criterion robust to sparse 2D data [Текст] / D. Bocharov, A. Kroshnin, D. Nikolaev // ICMV 2020. Vol. 11605. — Bellingham, Washington 98227-0010 USA : Society of Photo-Optical Instrumentation Engineers (SPIE), 01/2021. — P. 116050I1—116050I7. — DOI: 10.1117/12.2586861.

Список рисунков

1.1 Приложения задачи анализа траекторий: а) геометрическая калибровка системы по траекториям движения объектов; б) выявление аномальных траекторий; в) предиктивный анализ движения. Иллюстрации взяты из работ [31], [60] [9].......... 13

1.2 Примеры сильно зашумлённых данных радиолокационных детекторов и траектории движения подлежащих обнаружению объектов. Иллюстрации взяты из работ [13], [14]............ 14

1.3 Схема установки камер для версий «АКТС-О» (слева) и «АКТС-П» (справа). Штриховая линия отображает ось движения ТС по полосе, пунктирная - углы обзора камер. В скобках приведены размеры для широких полос................. 16

1.4 Конфигурация ПВП и системы регистрации (а) и пример кадра анализируемого видео (б).......................... 18

1.5 Схематическая иллюстрация модели сцены в системе «АКТС-4»: поступательно движущийся плоский объект переднего плана на квазистационарном фоне.......................... 18

1.6 Примеры кадров видео с разными условиями наблюдения: тени от конструкций ПВП, засветки от фар, искусственное освещение в тёмное время суток, следы от колёс на покрытой снегом дороге, проезд мотоцикла.............................. 19

1.7 Архитектура системы «АКТС-4»: блоки отображают подсистемы, сплошные линии - поток высокоразмерных данных (изображения), пунктирные линии - потоки малоразмерных данных, штриховые -физические сигналы. Серым выделен блок распознавания и принятия решений............................. 20

1.8 Для определения проезда ТС используется критерий пересечения автомобилем условной плоскости Р.................... 21

1.9 Кадры проезда автомобиля с визуализациями результатов детекции колёс..................................... 23

1.10 Примеры распознаваний изображений номерных знаков (а,б); схематичная иллюстрация событий в системе «МАРИНА» на примере распознаваний двух номеров с идентификаторами ID 1, ID 2 (в): начало распознавания номера (enter), уточнение ответа системы (change) и завершение распознавания (exit), красным отмечены события наиболее точного ответа системы.......... 24

1.11 Архитектура потока данных в системе распознавания номеров «МАРИНА». Блоки отображают модули системы и логические конструкторы объектов структур данных; сплошные линии отображают высокоразмерные данные (изображения), штриховые -

низкоразмерные............................... 26

1.12 Визуализация стадий детекции в системе «МАРИНА»: а) исходное изображение; б) визуализация классифицированных ключевых точек (зелёным отображены точки, относящиеся к областям текста, стадии 1-2); в) результат детекции области интереса (стадии 3); г) локализованная рамка номерного знака (стадия 4)........... 27

1.13 Примеры кадров видео (а,в) и визуализации х,у координат треков движения распознанных номеров, где цвет кодирует уникальный идентификатор объекта (б,г)........................ 29

1.14 Кадры с визуализацией ЛПС детекторов колесных осей. Слева направо: срабатывания на образах топливных баков, иллюстрации на кузове автомобиля, фаре, отражениях освещения на поверхности асфальта................................... 30

1.15 Кадры проезда ТС с визуализациями результатов детекции колёс и примером категории ошибок «ложной траектории»........... 30

1.16 Кадры проезда ТС с визуализациями результатов детекции колёс и примером категории ошибок «стационарная помеха».......... 31

2.1 Изображения дискретизованных выборок реальных детекций для 4 разных проездов с отмеченными релевантными данными и ЛПС (верхний ряд) и диаграммы рассеяния х,у координат срабатываний детектора, синтезированных в соответствии с предложенной моделью (нижний ряд): «о» - релевантные детекции, «х» - ЛПС категории «слабая помеха», «+» - ЛПС категории «стационарная помеха», «□» - ЛПС категории «ложная траектория»......... 41

2.2 Иллюстрация эффекта неустойчивости МНК к выбросу, притягивающим к себе оптимальную прямую.............. 42

2.3 Функции потерь М-оценок: квадратичная, Хьюбера, Эндрю, Уэлша . 45

2.4 Диаграммы рассеяния х,т и х,у пар координат срабатываний детектора колёс ТС с 2 осями и их гистограммные представления. . 46

2.5 Схематическая иллюстрация в,¿-параметризации прямой в алгоритме БПХ (а); исходная гистограмма с тремя прямыми (б) и

её Хаф-образ для углов в диапазоне [-45°, 45°] (в)........... 49

2.6 Иллюстрация итераций работы алгоритма подсчёта числа осей: а) сглаженная х,т гистограмма и её Хаф образ; б) результат стирания одного трека; в) стирание обоих треков. Максимум Хаф-образа (в) имеет значение меньше порога, работа алгоритма завершена с

ответом «2»................................. 54

2.7 Диаграмма рассеяния детекций колёс одного автомобиля на х, плоскости. Прямой линией экспертно размечена траектория движения истинноположительных откликов детектора, штриховой

- граница окрестности траектории.................... 55

2.8 Стадии алгоритма определения области нахождения истинноположительных детекций: а) входная гистограмма срабатываний, б) сглаженная гистограмма с гауссовским ядром, в) Хаф-образ, г) локализованная траектория (внутренняя прямая) и оцененная область истинных детекций (внешние прямые)....... 56

2.9 Примеры синтезированных выборок с использованием предложенной модели распределений релевантных данных и выбросовых загрязнений (п^ = 1000). Штриховая линия отображает истинную прямую 1ху. По строкам выборки синтезированные с выбросами категорий «слабая помеха», «стационарная помеха» и «ложная траектория». По столбцам -уровни загрязнения: 20%, 40%, 60% и 80% от общего числа данных. 58

2.10 Зависимости величин Г от уровня загрязнений данных для разных моделей выбросового шума и алгоритмов локализации траектории. . 59

3.1 Синтезированная выборка срабатываний детектора с ЛПС

категории экстремальная «стационарная помеха», объём которой составляет 60% от объёма всей выборки................. 67

3.2 Пример зависимости устойчивости итеративного робастного метода линейной регрессии от параметров пространственного распределения не выбросов. Объёмы релевантных и не релевантных данных идентичны (50 и 50 точек). Штрихпунктирная линия на рисунке (а) отображает прямую, оцененную методом по одной итерации. Штриховая и штрихпунктирная на рисунке (б) отображают прямые, полученные методом по одной и двум итерациям соответственно. Иллюстрации взяты из работы П. Ху [123]. 69

3.3 Гистограммное представление выборки данных и интегральные проекции вдоль правильного (фх) и неправильного (ф2) направления. Как видно, проекция под углом ф\ значительно более выражена, чем под ф2........................... 71

3.4 Гистограмма со сверхтяжелым выбросовым кластером (а), её Хаф-образ для преимущественно горизонтальных прямых (б) и графики значений критериев в зависимости от угла наклона: критерий максимального значения (в), суммы квадратов значений (г), суммы модулей градиентов (д) и суммы квадратов градиентов (е). Значения критериев отнормированы на их максимальные

значения................................... 73

3.5 Гистограмма со сверхтяжелым шумом (а) и интегральные проекции вдоль правильного направления: исходная (б) и домноженная на выборочные дисперсии вдоль прямых (в)................. 74

3.6 Стадии предложенного метода линейной регрессии на примере двумерной гистограммы данных с сверхтяжелым выбросовым шумом. На рисунке: 1) гистограмма облака точек с рисунка 3.1; 2) результат свёртки гистограммы с гауссовским ядром; 3) результат применения БПХ к сглаженной гистограмме с отображенными значениями критерия БМО и его максимумом в строке £а; 4) взвешенная на дисперсию интегральная проекция на направление под углом а, которое соответствует индексу строки Ьа в Хаф образе;

7) отображение оцененной линейной модели............... 76

3.7 Схематичная иллюстрация метода оценки невязки между двумя прямыми. В качестве значения для прямых 1\,12 берётся максимальная из длин дуг (1\,(12...................... 78

3.8 Примеры синтезированных гистограмм срабатываний детектора колёс с различной степенью загрязнённости стационарными помехами................................... 79

3.9 Зависимость устойчивости алгоритмов локализации траектории от объёма ЛПС категории «стационарная помеха». Показатель устойчивости определён через долю правильных оценок параметров прямой Iху на выборке гистограмм синтезированных срабатываний. . 80

3.10 Общий вид полнофункционального макета «АКТС-4» (а) и кадр проезда модели автомобиля с помещённым тестовым объектом (б). . 81

3.11 Гистограммы детекций колёсных осей со стационарными помехами

из тестовой выборки............................ 81

3.12 Гистограммы данных разной плотности и соответствующие им кривые SSV для прямых с наклонами [—45°;45°]. Гистограмма справа получена по подвыборке значений из множества данных, соответствующем гистограмме слева................... 82

3.13 Примеры синтезированных гистограмм (сверху) и их интервальные преобразования (снизу)........................... 84

3.14 Значения ошибок оценки угла наклона траектории 1ху в зависимости от числа точек при фиксированном линейном размере гистограммы 1ху............................... 87

4.1 Иллюстрация модели для 7 треков. Точками с заливкой изображены треки, удовлетворяющие модели, точками без заливки - треки-выбросы (2-й и 4-й). Для каждого трека прямая линяя, отображающая модель прямолинейных сегментов трека. Ромбом и квадратом изображены точки-выбросы внутри 3-го и 7-го треков соответственно. Точка v соответствует точке схода........... 93

4.2 Зависимости точности определения точки схода от уровня загрязнения выбросами для предложенного и референтного алгоритмов..................................101

4.3 Визуализация треков движения распознанных номеров и результатов работы предложенного алгоритма и алгоритма Т. Тхи

для сцены 1.................................102

4.4 Визуализация треков движения распознанных номеров и

результатов работы предложенного алгоритма и алгоритма Т. Тхи для сцены 2.................................102

Список таблиц

1 Категоризация срабатываний детектора колёс в системе «АКТС-4». 31

2 Список обозначений, используемых в главе 2.............. 36

3 Параметры модели срабатываний детектора колёс в системе «АКТС-4».................................. 40

4 Параметры имитационной модели при исследовании качества фильтрации ЛПС.............................. 59

5 Набор проездов ТС, на котором осуществлялось исследование алгоритмов локализации траекторий движения колёс.......... 61

6 Качество определения числа осей и классификации ТС для разных методов предобработки срабатываний детектора: INIT - без фильтрации ЛПС; MED - аппроксимация траектории медианой по у координате; MOV - локализация траектории на основе М-оценки

Уэлша. «AX» и «CL» обозначают ошибки определения числа осей и

классификации ТС соответственно.................... 62

7 Баланс ошибок занижения и завышения числа колёсных осей для разных сценариев предварительной обработки срабатываний детектора. INIT - без фильтрации ЛПС; MED - аппроксимация траектории медианой по у координате; MOV - локализация траектории на основе М-оценки Уэлша. «ф> и «ф> обозначают

ошибки занижения и завышения соответственно............ 63

8 Список обозначений, используемых в главе 3.............. 66

9 Параметры имитационной модели при исследовании устойчивости к стационарной помехе............................ 78

10 Количество ошибок определения числа колёсных осей в системе «АКТС-4» в зависимости от алгоритма локализации траектории. MOV обозначает алгоритм локализации на основе М-оценки Уэлша, SMG+VAR - устойчивую к стационарным ЛПС модификацию. ... 82

11 Параметры имитационной модели при исследовании устойчивости оценки угла наклона в зависимости от плотности гистограммы 1ху. . 86

12 Список обозначений, используемых в главе 4.............. 89

13 Параметры модели прослеживания номерных знаков ТС, релевантные траектории движения которых сходятся в точке на плоскости кадра видеопотока....................... 94

14 Оценка числа итераций при фиксированной вероятности получить надёжную гипотезу д = 0.999 для долей релевантных данных среди точек трека и среди треков ..................... 98

15 Параметры имитационной модели при исследовании устойчивости определения точки схода..........................100

Приложение А

Акты о внедрении результатов диссертационного исследования

VISILLEOT

SERVICE

ООО «Визиллект Сервис» ИНН/КПП 7707761588/770701001 ОГРН 1117746856248

127051, г Москва, Большой Каретный переулок, дом 17, строение 2, этаж 1, помещение III тел./факс: [phone] e-mail: [e-mail]

Акт о внедрении

результатов диссертационного исследования Бочарова Д А. «Робастные алгоритмы локализации траекторий движения транспортных средств в видеопотоке», представленного на соискание учёной степени кандидата технических наук по специальности 2.3.1 «Системный анализ, управление и обработка информации, статистика».

Алгоритмы локализации траекторий движения колёс и алгоритм фильтрации ложно-положительных срабатываний детектора колёс, предложенные Бочаровым Д.А. в диссертационном исследовании «Робастные алгоритмы локализации траекторий движения транспортных средств в видеопотоке», внедрены в аппаратно-программный комплекс автоматической классификации транспортных средств «АКТС-4», разработанный ООО «Визиллект Сервис». Данные алгоритмы позволили существенно улучшить точность работы модуля определения числа колёсных осей транспортного средства и тем самым сократить число ошибок в работе системы.

Генеральный директор ООО «Визиллект Сервис»

/ Большаков А.С. /

41л^и41/

Федеральное государственное бюджетное учреждение науки Институт проблем передачи информации им. A.A. Харкевича Российской академии наук

ИППИ РАН

Большой Каретный пер., д. 19, стр. 1, Москва, 127051 ОКПО: 02699464 ОГРН: 1037700064940 ИНН/КПП: 7707020131/770701001

тел.: [phone] | факс: [phone] | сКгесЪэгф^р.ги

06. /г? 20^ г. №11615-_/_

На № от

Акт о внедрении результатов диссертационного исследования

Данный акт подтверждает, что результаты исследовательской работы, полученные Бочаровым Д.А. и приведённые в диссертации «Робастные алгоритмы локализации траекторий движения транспортных средств в видеопотоке», представленной на соискание учёной степени кандидата технических наук по специальности 2.3.1 «Системный анализ, управление и обработка информации, статистика», были использованы в рамках научно-исследовательского проекта, направленного на повышение качества работы системы автоматического распознавания номерных знаков автомобилей в видеопотоке «МАРИНА». Разработанный алгоритм детекции точки схода прямолинейных траекторий движения номерных знаков позволил повысить точность автокалибровки системы.