Нейро-сетевые алгоритмы детектирования и классификации объектов в задаче дефектовки дорожного полотна тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Полянцева Ксения Андреевна

• Полянцева Ксения Андреевна
• кандидат наук
• 2023

Оглавление диссертации кандидат наук Полянцева Ксения Андреевна

Введение

Глава 1. Исследование существующих алгоритмов мониторинга состояния дорожного полотна

1.1. Анализ существующих алгоритмов обработки изображений

1.2. Подходы в мониторинге состояния дорожного полотна

1.3. Алгоритмы мониторинга состояния дорожного полотна, основанные на стереозрении

1.3.1. Преобразование трехмерного объекта на плоскость изображения

1.3.2. Калибровка стереопары

1.3.3. Ректификация и построение карты смещений

1.4. Алгоритмы мониторинга состояния дорожного полотна, основанные на нейронных сетях

1.4.1. Алгоритмы, основанные на пороговой сегментации

1.4.2. Алгоритмы, основанные на морфологических методах

1.4.3. Алгоритмы, основанные на применении локальных бинарных шаблонов

1.4.4. Алгоритмы нейронных сетей для обработки стереоизображений

1.5. Выводы

Глава 2. Исследование и разработка алгоритмов накопления данных и детектирования дефектов дорожного полотна

2.1. Разработка адаптивного алгоритма эффективного накопления и обработки стереоизображений

2.1.1. Синхронизация видеопотоков

2.1.2. Алгоритм буферизации и накопления данных

2.2. Исследование и разработка нейро-сетевого алгоритма детектирования

2.2.1. Накопление и предобработка данных

2.2.2. Исследование алгоритма SegStereo

2.2.3. Исследование алгоритма GC-Net

2.2.4. Исследование алгоритма SGM-Nets

2.2.5. Исследование алгоритма MC-CNN

2.2.6. Исследование алгоритма на основе MC-CNN с применением расширенной свертки

2.2.7. Разработка алгоритма Prophetam-DD

2.3. Выводы

Глава 3. Исследование и разработка алгоритма классификации дефектов дорожного полотна

3.1. Исследование и разработка нейро-сетевого алгоритма классификации

3.1.1. Исследование алгоритма YOLO

3.1.2. Исследование алгоритма Mask R-CNN

3.1.3. Исследование алгоритма ResNeXt

3.1.4. Исследование алгоритма VGG

3.1.5. Исследование алгоритма на основе Mask R-CNN с добавлением слоев пакетной нормализации

3.1.6. Разработка алгоритма Prophetam-DC

3.2. Выводы

Глава 4. Система детектирования дефектов дорожного полотна

4.1. Реализация разработанных нейро-сетевых алгоритмов детектирования и классификации

4.2. Разработка единой платформы

4.3. Организация отказоустойчивого функционирования

4.3. Выводы

Заключение

Список использованных источников

Приложение А. Свидетельства о государственной регистрации программ для ЭВМ

Приложение Б. Акты о внедрении

Введение

Введение диссертации (часть автореферата) на тему «Нейро-сетевые алгоритмы детектирования и классификации объектов в задаче дефектовки дорожного полотна»

Актуальность темы диссертации

Информационные технологии и как индустрия, и как наука в лице информатики, последние несколько десятков лет находятся в фазе стремительного прогресса. Достигнутый на данный момент уровень развития цифровых технологий обработки данных открыл нам возможность все более широкого использования вычислительных средств и алгоритмов для повышения качества жизни общества.

Особенно быстро развивается сфера прикладного машинного обучения, при помощи которого можно решать гораздо больший спектр вычислительных задач по сравнению с традиционными алгоритмическими подходами. В такие задачи входит анализ статистических данных, распознавание устной речи, обработка естественного человеческого языка. Также, значительную часть задач машинного обучения занимают различные системы компьютерного зрения.

Под компьютерным зрением обычно понимается создание алгоритмов, моделирующих способности человеческого зрения, например способность обнаружить, классифицировать или отслеживать объекты реального мира. Данный класс задач называется задачами машинного зрения. В него также входят задачи, связанные со стереозрением. Стереозрение - это подвид задач компьютерного зрения, целью которых является восстановление трехмерной информации о сцене при помощи пары цифровых фотографий, называемых стереопарой. Стереопара подразумевает съемку двух изображений сцены с двух горизонтально отличающихся точек в пространстве.

Задачи, решаемые посредством машинного обучения и компьютерного зрения, встречаются во многих сферах жизни, однако на данный момент большую популярность набирают решения с использованием этих технологий в области транспортных систем. Одной из таких задач является проблема детектирования и классификации дефектов дорожного покрытия различных типов.

Система автомобильных дорог как основной компонент инфраструктуры, играет важнейшую социально-экономическую роль. Роль обеспечивать транспорт

для людей и товаров, с чем связан интенсивный рост числа протяженности дорог. Известно, что стоимость реконструкции дорог является чрезвычайно высокой, поэтому наиболее эффективным подходом является вмешиваться в этапы износа дорожного покрытия на ранних стадиях. Таким образом, главной задачей профилактического обслуживания является своевременное обслуживание правильного участка дороги. Кроме того, состояние дорожного покрытия играет важную роль в обеспечении безопасности на дорогах.

Каждый год большое количество людей погибает из-за некачественного дорожного покрытия на дорогах. В России за период январь-октябрь 2021 года было зарегистрировано 96314 дорожно-транспортных происшествий, причиной части из них (более 40%) стало некачественное дорожное покрытие и обустройство улично-дорожной сети, что привело к гибели 4941 человека [1, 157]. Дорожное покрытие имеет срок эксплуатации, по истечению которого оно становится непригодным для использования. Многие факторы имеют решающее значение для сохранности дорожного полотна. Среди них: погодные условия, качество асфальтового покрытия, своевременный ремонт, пропускная способность в различных частях проезжей части. Сохранность дорожного полотна обеспечивается правильным содержанием. К примеру, в зимний период необходимо своевременно очищать дорожное полотно от снега, также необходимо мыть барьерные ограждения, возобновлять разметку, своевременно производить ремонт ям и выбоин. Для поддержания качества автомобильных дорог в надлежащем состоянии, необходимо своевременное оповещение дорожных служб о наличии дефектов.

Для оценки состояния дорожного полотна существуют передвижные дорожные лаборатории, оснащенные камерами, гиро-инерциальной системой позиционирования, системой глобального позиционирования (Global Positioning System), лазерным трехмерным сканером и другими датчиками, а также гироскопами. Такого рода лаборатории фиксируют (фотографируют) всю дорогу, которую необходимо обследовать, и полученные изображения обрабатываются операторами вручную. Специалисты помечают на изображениях объекты, такие

как линии разметки, кромку дороги и дефекты дорожного покрытия. Однако, при протяженности дорог в России, которая на начало 2021 года составляет более 1,5 миллионов километров [2], вручную выделение дефектов становится очень трудоемким, поэтому необходимо автоматизировать процесс детектирования дефектов, таких как выбоины, проломы, просадки, сдвиги, волны и другие, на дорогах различных категорий. Также важно оповещать дорожные службы [157], чтобы они могли вовремя приступить к ремонту.

Протяженность автомобильных дорог общего

ИниНШШ

2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020

Рис. 1 - Протяженность автомобильных дорог общего пользования

В связи с вышеизложенным, можно выделить ряд проблем:

- ежегодное увеличение протяженности автомобильных дорог общего пользования ведет к необходимости проводить непрерывный мониторинг состояния дорожного покрытия на предмет наличия дефектов.

- увеличивается необходимость в большом количестве дорогостоящих передвижных лабораторий, посредством которых происходит сбор данных. Однако, обработка данных происходит в ручном режиме, а следовательно, требуется все больше квалифицированных специалистов.

Решение этих проблем возможно путем автоматизации детектирования и классификации дефектов дорожного полотна и организации непрерывного мониторинга дорожной инфраструктуры за счет использования современных методов обработки изображений и машинного зрения.

Степень разработанности темы исследования.

К настоящему моменту известно довольно много методов детектирования объектов на изображениях. Однако в задаче детектирования и классификации дефектов дорожного полотна они не могут использоваться, так как сами дефекты на изображениях обладают рядом специфических особенностей:

- они являются текстурированными, причем для разных дефектов текстуры обладают уникальными характеристиками, варьирующимися в широком диапазоне значений;

- обладают низкой контрастностью относительно фоновых объектов сцены на изображении;

- имеют широкий разброс геометрических параметров (длины, ширины, глубины).

Разработкой специализированных методов, основанных на машинном зрении, предназначенных для обнаружения дефектов и анализа профиля дороги занимаются многие российские (А.С. Конушин, А.С. Крылов, Д.Н. Сидоров, В. Киншаков и др.) и зарубежные исследователи (J. C. Chou, W. A. O'Neill, H. D. Cheng, J. M. Alvarez, T. Gevers, Y. LeCun, A. M. Lopez, M. Staniek, S. Bang, S. Park, H. Kim, Y. san Yoon, H. Kim и др.).

Большой вклад в разработку методов и алгоритмов, основанных на стереозрении, применяемых для правильного определения состояния дорожного покрытия и анализа профиля дороги внесли M. Okutomi, S. Noguchi, U. Franke, A. Joos, S. Nedevschi. Marcin Staniek, использовал в своих исследованиях модифицированные нейронные сети Хопфилда, однако, вычислительная сложность данных алгоритмов довольно высока.

T.D. Chung и M.K. Ahamed Khan использовали метод сегментированного анализа дорожного покрытия в реальном времени, основанный на пороговом значении и сегментации, однако в данном методе требуется ручная обработка данных.

M. M. Garcillanosa, J. M. L. Pacheco, R. E. Reyes, и J. J. P. San Juan в своих исследованиях использовали алгоритм, который способен работать на устройствах

с малой вычислительной мощностью, в частности на микрокомпьютере Raspberry Pi, на встроенной установке анализа изображений в реальном времени. Однако система может работать на максимальной скорости транспортного средства 10 км/ч-20 км/ч и только в дневное время.

Во всех проанализированных исследованиях точность алгоритмов детектирования и классификации не превышает 87% [94-101] несмотря на то, что обучение и тестирование данных алгоритмов не проводилось на реальных данных, а проводилось на небольших выборках из общедоступных наборов данных KITTY. Также все рассмотренные методы и алгоритмы не предназначены для использования на устройствах с малой [32-38, 98-102] вычислительной мощностью, а также для использования с данными, которые были собраны в разное время суток и при разной освещенности.

Таким образом, наблюдается противоречие между существующим математическим обеспечением и необходимостью обработки изображений, детектирования и классификации объектов на изображении в режиме реального времени.

Разрешение этого противоречия возможно в рамках решения сложной научной задачи создания новых и совершенствования существующих алгоритмов детектирования и классификации объектов на изображениях.

Научная задача диссертационного исследования: алгоритмизация процессов мониторинга качества дорожного покрытия с учетом повышенных требований к оперативности, автономности и мобильности используемого программно-аппаратного обеспечения.

Целью диссертационной работы является повышение эффективности оперативного детектирования и классификации дефектов дорожного покрытия за счет создания алгоритмического обеспечения для устройств с малой вычислительной мощностью.

Задачи диссертационной работы:

1. Проанализировать существующие исследования и алгоритмы по тематике диссертации, выявить недостатки существующих алгоритмов и на основании этого разработать новые алгоритмы для достижения поставленной цели;

2. Разработать адаптивный алгоритм эффективного накопления и обработки изображений, содержащих информацию о состоянии дорожного полотна с учетом скорости движения камеры;

3. Разработать нейро-сетевой алгоритм детектирования дефектов дорожного полотна с оперативной обработкой данных на устройствах с малой вычислительной мощностью.

4. Разработать алгоритм классификации дефектов дорожного полотна, которые будут удовлетворять критериям точности и скорости обработки;

5. Произвести вычислительный эксперимент на реальных данных для оценки эффективности работы разработанных алгоритмов.

Объектом исследования в диссертационной работе являются алгоритмы детектирования и классификации объектов на изображении.

Предметом исследования в диссертационной работе является совершенствование и оптимизация алгоритмов детектирования и классификации объектов на изображении.

Методы исследования. В диссертационной работе для решения задач были применены методы интеллектуального анализа данных, методы машинного обучения, включая методы распознавания образов и машинного зрения.

Научная новизна исследования заключается в следующем:

1. Разработан адаптивный алгоритм эффективного накопления и обработки видеоинформации о состоянии дорожного полотна, отличающийся от существующих использованием стереопары, подстраивающейся под скорость движения источника съемки и учетом нестабильности канала связи, позволяющий уменьшить размер накапливаемой информации, и сократить вычислительную сложность обработки информации, получаемой с оконечных устройств. (2.3.8, п.2)

2. Предложен нейро-сетевой алгоритм детектирования (Prophetam-DD) объектов на видеоизображении, отличающийся от существующих: получением карты диспаратности посредством выбора множества вариантов для каждой точки изображения, вместо совмещения исходных значений и точностью детектирования не менее 96%, позволяющий проводить оперативный анализ изображений на устройствах с малой вычислительной мощностью для обработки на борту. (2.3.8, п.13)

3. Впервые предложен нейро-сетевой алгоритм классификации (Prophetam-DС) дефектов дорожного полотна по видеоизображению, отличающийся от существующих: обработкой двух потоков - стереоизображения и моноизображения, что позволяет получать больше значимых признаков и приводит к повышению точности многоклассовой классификации дефектов дорожного полотна, составляющей не менее 92%, позволяющий проводить оперативный и непрерывный мониторинг состояния дорожного полотна, а также расширить сеть оконечных устройств для увеличения площади обследования с целью автоматизации процесса эксплуатации и ремонта дорожной инфраструктуры. (2.3.8, п.13)

4. Разработана архитектура программно-аппаратного комплекса сбора, хранения, передачи и обработки информации о состоянии дорожного полотна, отличающаяся от существующих возможностью непрерывного мониторинга состояния дорожного полотна и отвечающая требованиям масштабируемости и отказоустойчивости, позволяющая обеспечивать функционирование информационный системы при различных внешних условиях и растущей нагрузки. (2.3.8, п.9)

Практическая и теоретическая ценность работы заключается в следующем:

1. Адаптивный алгоритм сбора и накопления видеоинформации о состоянии дорожного полотна за счет корректировки количества, обрабатываемых кадров в секунду, и организации очереди в буфере микроконтроллера позволяет уменьшить

размер накапливаемых данных и производить мониторинг дорожного полотна в местности с нестабильным каналом связи.

2. Нейро-сетевой алгоритм детектирования (Prophetam-DD) объектов на видеоизображении за счет построения карт диспаратности на основе выбора множества вариантов для каждой точки изображения позволяет понизить сложность вычислений в задаче детектирования дефектов дорожного полотна, благодаря чему можно проводить оперативный анализ на устройствах с малой вычислительной мощностью.

3. Нейро-сетевой алгоритм детектирования (Prophetam-DD) объектов за счет фильтрации изображений на которых отсутствуют дефекты и выделении только значимых областей с дефектами позволяет повысить эффективность накопления и хранения информации не менее, чем на 36% по сравнению с существующими системами.

4. Комбинирование алгоритмов (пп.1-3) позволяет передавать на классификацию только значимые области изображений с дефектами, что позволяет повысить точность и снизить вычислительную сложность в задаче многоклассовой классификации.

5. Нейро-сетевой алгоритм классификации (Prophetam-DС) дефектов дорожного полотна по видеоизображению за счет параллельной обработки двух потоков разного типа (стерео- и моно-) изображений позволяет повысить точность многоклассовой классификации дефектов дорожного полотна при разных условиях окружающей среды, и составляет не менее 92%.

6. Архитектура программно-аппаратного комплекса за счет обоснованных принципов построения высоконагруженных систем с учетом отказоустойчивости и масштабируемости позволяет осуществлять непрерывный мониторинг состояния дорожного полотна, что приводит к своевременному реагированию ответственных за данный участок улично-дорожной сети организаций.

Теоретическая ценность работы заключается в доказательстве целесообразности использования нейро-сетевых алгоритмов детектирования и

классификации, а также алгоритмов накопления данных, основанных на стереозрении, в задаче обнаружения объектов.

Соответствие паспорту научной специальности. Область исследования и содержание диссертации соответствуют паспорту специальности 2.3.8 -Информатика и информационные процессы (технические науки) в части:

- п. 2 «Техническое обеспечение информационных систем и процессов, в том числе новые технические средства сбора, хранения, передачи и представления информации. Комплексы технических средств, обеспечивающих функционирование информационных систем и процессов, накопления и оптимального использования информационных ресурсов»;

- п. 9 «Разработка архитектур программно-аппаратных комплексов поддержки цифровых технологий сбора, хранения и передачи информации в инфокоммуникационных системах, в том числе, с использованием «облачных» интернет-технологий и оценка их эффективности»;

- п. 13 «Разработка и применение методов распознавания образов, кластерного анализа, нейро-сетевых и нечетких технологий, решающих правил, мягких вычислений при анализе разнородной информации в базах данных».

Степень достоверности и апробация результатов.

Достоверность результатов исследования подтверждается корректным применением алгоритмов, программного обеспечения, экспериментальной базой, а также результатами апробации в ряде отечественных и международных конференций.

Основные результаты диссертационного исследования были представлены на международных технических конференциях: Системы генерации и обработки сигналов в области бортовых коммуникаций (Москва, 2019г., 2020г., 2022г.); Волновая электроника и ее применение в информационных и телекоммуникационных системах (WECONF) (Санкт-Петербург, 2019г., 2022г.); International Conference «Quality Management, Transport and Information Security, Information Technologies» (IT&QM&IS) (Сочи, 2019г.); Международная отраслевая научно-техническая конференция «Технологии информационного общества»

(Москва, 2018г., 2019г.); Международная конференция РАЕН «Мобильный бизнес: перспективы развития и реализации систем радиосвязи в России и за рубежом» (Сейшельские острова, 2019 г.); Интеллектуальные технологии и электронные устройства в дорожно-транспортном комплексе (TIRVED) (Москва, 2021г.); Системы синхронизации, формирования и обработки сигналов (Архангельск, 2022г.).

Положения, выносимые на защиту

1. Адаптивный алгоритм обеспечения функционирования системы накопления и передачи информации о состоянии дорожного полотна, позволяющий по сравнению с существующими алгоритмами учитывать скорость движения камеры для корректировки частоты обновления кадров и неустойчивость канала связи посредством организации очереди в буфере бортового микрокомпьютера, что приводит к повышению эффективности хранения информации не менее чем на 36%.

2. Нейро-сетевой алгоритм детектирования (Prophetam-DD) объектов на изображении, позволяющий уменьшить размер обрабатываемой информации на дальнейших этапах преобразования информации в данные и знания за счет фильтрации изображений на которых отсутствуют дефекты, присутствуют повторяющиеся дефекты, и выделения только значимой части изображения, что обеспечивает оптимальное накопление и использование информационных ресурсов, и точностью работы не менее 96%.

3. Нейро-сетевой алгоритм классификации (Prophetam-DС) дефектов дорожного покрытия, позволяющий за счет реализации обработки двух потоков (моно и стереоизображений) увеличить количество значимых признаков объекта, повысить точность многоклассовой классификации до уровня 92% при различных внешних факторах. А также оптимизация структуры нейро-сетевого алгоритма, позволяет использовать его на устройствах с малой вычислительной мощностью (микрокомпьютерах).

4. Архитектура программно-аппаратного комплекса непрерывного мониторинга состояния дорожного полотна, позволяющая обеспечить поддержку

технологий сбора, хранения, передачи и обработки информации с учетом отказоустойчивости и масштабируемости за счет применения научно-обоснованных принципов построения высоконагруженных систем.

Реализация и внедрение. Алгоритмы и архитектура программно-аппаратного комплекса, разработанные в настоящей работе, внедрены в следующих организациях:

- «ИФСК «АРКС» (ООО) (г. Москва) как модуль общего комплекса дефектовки состояния дорожного полотна. В части информации, собираемой с помощью фото-видеокамер;

- «СпецДорСтрой» (ООО) (г. Гудермес) позволили осуществить выбор эффективных решений при разработке программного комплекса мониторинга состояния верхнего замыкающего слоя дорожной одежды;

- в учебный процесс кафедры «Математическая кибернетика и информационные технологии» ордена Трудового Красного Знамени федеральном государственном бюджетном образовательном учреждении высшего образования «Московский технический университет связи и информатики» (МТУСИ).

Имеются соответствующие акты внедрения результатов диссертационной

работы - 3 шт.

Публикации. Публикации в рецензируемых периодических изданиях, входящих в перечень ВАК - 2, в научных изданиях, индексируемых в международной базе Scopus - 10 (одна Q1). Свидетельства о государственной регистрации программы для ЭВМ - 4.

Личный вклад. Все основные научные результаты диссертации, выносимые на защиту, получены автором лично. Разработка методов и алгоритмов исследования, результаты экспериментальных измерений и анализ результатов проведены самостоятельно. В работах [159-165], написанных в соавторстве с научным руководителем, который сформулировал общую постановку задач исследования, соискатель сформулировал и реализовал подходы к решению задач, а также получил основные экспериментальные результаты, провел их анализ и интерпретацию. В работах, выполненных диссертантом самостоятельно [157, 158],

представлены результаты 2 и 4 глав диссертационной работы соответственно. В [160] отражена разработка платформы для цифровой сертификации дорожной инфраструктуры (глава 3, глава 4). В [161, 163] рассмотрена проблема обеспечения отказоустойчивости кластерных вычислительных систем (глава 4). В [165] отражена разработка методов сбора данных (глава 2).

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка используемой литературы, содержащего 166 наименований, и приложений. Основное содержание работы изложено на 144 страницах машинописного текста. Имеется 3 таблицы, 97 рисунков, 2 приложения, общий объем диссертации 169 страницы.

Глава 1. Исследование существующих алгоритмов мониторинга состояния дорожного полотна

Общая структура диссертационной работы представлена на рисунке 1.1.

Исследование существующих алгоритмов мониторинга состояния дорожного патогна Разработка аппаратного модуля сбора стереопотока данных Разработка адаптивного алгоритма сбора информации с учетом скорости т/с и нестабильное! и каналов связи

(глава 1) (глава 2) (глава 2)

1

Разработка нейросетевого алгоритма

Первичный сбор данных при разных условиях видимости и скорости ТС Разработка нейросетевого алгоритма построения карт лиспаратиости детектирования дефектов для фильтрации данных с учетом

(глава 2) (глава 2) аппаратных особенностей (глава 2)

1

1

Разработка нсйросстсвого алгоритма классификации дефектов с учегом аппаратных особенностей Разработка отказоустойчивой

архитектуры программно-аппаратного комплекса здрегации и Проведение натурного эксперимента

обработки данных (глава 4)

(глава 3) (глава 4)

Рис. 1.1 - Общая структура работы

1.1. Анализ существующих алгоритмов обработки изображений

Обработка изображений - это способ обработки сигналов, выполнения определенных операций с изображениями для того, чтобы в результате получить улучшенное изображение или с целью извлечения из них некоторой информации или признаков. [3]

Цифровая обработка изображений имеет множество преимуществ по сравнению с аналоговой обработкой изображений, что позволяет применять гораздо более широкий набор алгоритмов к входным данным (входными данными в данном случае являются сами изображения). [4]

Необходимо понимать, что компьютерные алгоритмы играют наиболее важную роль в обработке цифровых изображений. Разработчики используют и реализуют множество алгоритмов для решения различных задач, которые включают обнаружение, анализ, реконструкцию, восстановление, улучшение, сжатие и спектральную оценку цифровых изображений. Иногда алгоритмы могут быть взяты из библиотек или объединены в более индивидуальную версию, состоящую из нескольких функций алгоритма.

Алгоритмы обработки изображений, обычно используемые для полного захвата изображений, можно разделить на:

- Низкоуровневые методы, такие как улучшение цвета и устранение шума;

- Методы среднего уровня, такие как сжатие и бинаризация;

- Методы более высокого уровня, включающие алгоритмы сегментации, обнаружения и распознавания, извлекают семантическую информацию из захваченных данных. [5]

Типы алгоритмов обработки изображений

Некоторые из обычных алгоритмов обработки изображений заключаются в следующем:

Алгоритм повышения контрастности: Алгоритм улучшения цвета далее подразделяется на:

- Алгоритм выравнивания гистограммы - использование гистограммы для улучшения контрастности изображения;

- Алгоритм адаптивного выравнивания гистограммы - это выравнивание гистограммы, которое адаптируется к локальным изменениям контраста;

- Алгоритм маркировки связанных компонентов - предназначен для поиска и маркировки непересекающихся областей.

Алгоритм сглаживания и полутонизации: Размывание и полутонирование включает в себя следующее:

- Алгоритм распространения ошибок;

- Алгоритм сглаживания Флойда-Стейнберга;

- Упорядоченный алгоритм сглаживания;

- Алгоритм сглаживания Риммерсмы;

- Алгоритм отображения разности Эльзера - это алгоритм поиска, используемый для общих проблем удовлетворения ограничений. Первоначально он использовался для рентгеновской дифракционной микроскопии.

Алгоритм обнаружения признаков:

Обнаружение признаков состоит из:

- Алгоритм Марра-Хильдрета - это алгоритм раннего обнаружения ребер;

- Алгоритм детектора Канни-Края - детектор Канни-Края используется для обнаружения широкого диапазона краев на изображениях;

- Обобщенный алгоритм преобразования Хафа;

- Алгоритм преобразования Хафа;

- Алгоритм SIFT (масштабно-инвариантное преобразование признаков): SIFT - это алгоритм для идентификации и определения локальных объектов на изображениях;

- Алгоритм SURF (Ускоренные надежные функции): SURF-надежный детектор локальных функций;

Список литературы диссертационного исследования кандидат наук Полянцева Ксения Андреевна, 2023 год

Список использованных источников

1. Госавтоинспекция. Показатели состояния безопасности дорожного движения [Электронный ресурс]. - URL: http://stat.gibdd.ru (дата обращения 15.11.2021).

2. Федеральная служба государственной статистики [Электронный ресурс]. -URL: https://rosstat.gov.ru/folder/23455 (дата обращения 15.11.2021).

3. University of Tartu. Digital Image processing [Электронный ресурс]. - URL: https://sisu.ut.ee/imageprocessing/book/1 (дата обращения: 16.11.2021).

4. Eduardo A.B. da Silva, Gelson V. Mendon5a, 4 - Digital Image Processing, Editor(s): WAI-KAI CHEN, The Electrical Engineering Handbook, Academic Press, 2005, Pages 891-910, ISBN 9780121709600, https://doi.org/10.1016/B978-012170960-0/50064-5.

5. Prescient technologies. Image Processing Algorithms [Электронный ресурс]. -URL: https://www.pre-scient.com/knowledge-center/image-processing/image-processing-algorithms.html (дата обращения: 01.12.2021)

6. Medium. CTO & Data Scientist. Understanding of Convolutional Neural Network (CNN) [Электронный ресурс]. - URL: https://medium.com/@RaghavPrabhu/understanding-of-convolutional-neural-network-cnn-deep-learning-99760835f148. (дата обращения: 01.12.2021).

7. Medium. Why are Convolutional Neural Networks good for image classification? [Электронный ресурс]. - URL: https://medium.datadriveninvestor.com/why-are-convolutional-neural-networks-good-for-image-classification-146ec6e865e8. -(дата обращения: 01.12.2021).

8. ГОСТ Р 50597 2017 Дороги автомобильные и улицы. Требования к эксплуатационному состоянию, допустимому по условиям обеспечения безопасности дорожного движения. Методы контроля. [Электронный ресурс] // [https://dorogi-onf.ru/media/normative/2018/06/gost-50597-2017.pdf/].

9. Сафонов, Р.А. Типичные дефекты верхнего дорожного покрытия в России / Р.А.Сафонов // Вестник ЮурГУ. Серия «Строительство и архитектура». -2020. - Т. 20, No 1. - С. 75-84. DOI: 10.14529/build200210.

10.Руденский, А.В. Экспертный метод оценки состояния асфальтобетонных покрытий / А.В. Руденский, А.А. Штромберг, Э.А. Карагезян // Труды РосдорНИИ. - М., 1989. - Вып. 1. - С. 114-122.

11.Руденский, А.В. Экспертная оценка состояния асфальтобетонных покрытий / А.В. Руденский // Труды НИИМосстроя. - 2009. - No 3. - С. 11-15.

12.Апталаев М.Н., Жалко М.Е. Влияние водно-теплового режима основания автомобильной дороги на состояние дорожной одежды // Интернет-журнал «Транспортные сооружения», Том 3, No4 (2016) http://t-s.today/PDF/02TS416.pdf (доступ свободный). Загл. С экрана. Яз. Рус., англ. DOI: 10.15862/02TS416.

13.Piryonesi, S. Madeh, and Tamer El-Diraby. Using Data Analytics for Cost-Effective Prediction of Road Conditions: Case of The Pavement Condition Index:[summary report]. No. FHWA-HRT-18-065. United States. Federal Highway Administration. Office of Research, Development, and Technology, 2018.

14.Múcka, Peter. "International Roughness Index specifications around the world." Road Materials and Pavement Design 18.4 (2017): 929-965., DOI: 10.1080/14680629.2016.1197144.

15.MOROVA, Nihat, et al. "Prediction of the pavement serviceability ratio of rigid highway pavements by artificial neural networks." íleri Teknoloji Bilimleri Dergisi 2.1 (2013): 12-25.

16.Piryonesi, S. Madeh, and Tamer E. El-Diraby. "Data analytics in asset management: Cost-effective prediction of the pavement condition index." Journal of Infrastructure Systems 26.1 (2020): 04019036. Doi:10.1061/(ASCE)IS.1943-555X.0000512.

17.Abu-Samra S, Zayed T, Tabra W. Pavement condition rating using multiattribute utility theory. Journal of Transportation Engineering Part B: Pavements. 2017 Sep 1;143(3). 04017011. https://doi.org/10.1061/JPE0DX.0000011.

18.Lydon D, Taylor S, Lydon M, Early J. A review of Vision based Methods for Pothole Detection and Road Profile Analysis. In Civil Engineering Research Association of Ireland (CERI 2020) 2020.

19.Kennedy, C. K., P. Fevre, and C. S. Clarke. Pavement deflection: equipment for measurement in the United Kingdom. No. TRRL Lab Rpt. 834 Monograph. 1978.

20.Grabowski, Dariusz, Maciej Szczodrak, and Andrzej Czyzewski. "Economical methods for measuring road surface roughness." Metrology and Measurement Systems (2018): 533-549., doi: 10.24425/123905.

21.M. Monti, "Large-area laser scanner with holographic detector optics for real-time recognition of cracks in road surfaces," Opt. Eng., vol. 34, no. 7, p. 2017, Jul. 1995, doi: 10.1117/12.204793.

22.Q. Li, M. Yao, X. Yao, and B. Xu, "A real-time 3D scanning system for pavement distortion inspection," Meas. Sci. Technol., vol. 21, no. 1, p. 015702, Jan. 2010, doi: 10.1088/0957-0233/21/1/015702.

23.L. Bursanescu, M. Bursanescu, M. Hamdi, A. Lardigue, and D. Paiement, "Three-dimensional infrared laser vision system for road surface features analysis," in ROMOPTO 2000: Sixth Conference on Optics, 2001, vol. 4430, p. 801, doi: 10.1117/12.432808.

24.R. Gui, X. Xu, D. Zhang, and F. Pu, "Object-Based Crack Detection and Attribute Extraction from Laser-Scanning 3D Profile Data," IEEE Access, vol. 7, pp. 172728-172743, 2019, doi: 10.1109/ACCESS.2019.2956758.

25.K. Urano, K. Hiroi, S. Kato, N. Komagata, and N. Kawaguchi, "Road Surface Condition Inspection Using a Laser Scanner Mounted on an Autonomous Driving Car," in 2019 IEEE International Conference on Pervasive Computing and Communications Workshops (PerCom Workshops), 2019, pp. 826-831, doi: 10.1109/PERCOMW.2019.8730820.

26.S. F. Yeganeh, A. Golroo, and M. R. Jahanshahi, "Automated rutting measurement using an inexpensive RGB-D sensor fusion approach," J. Transp. Eng. Part B Pavements, vol. 145, no. 1, p. 04018061, Mar. 2019, doi: 10.1061/JPEODX.0000095.

27.L. Fridman, D. E. Brown, W. Angell, I. Abdic, B. Reimer, and H. Y. Noh, "Automated synchronization of driving data using vibration and steering events," Pattern Recognit. Lett., vol. 75, pp. 9-15, 2016, doi: 10.1016/j.patrec.2016.02.011.

28.S. C. Radopoulou, I. Brilakis, K. Doycheva, and C. Koch, "A Framework for Automated Pavement Condition Monitoring," in Construction Research Congress 2016: Old and New Construction Technologies Converge in Historic San Juan -Proceedings of the 2016 Construction Research Congress, CRC 2016, 2016, pp. 770- 779, doi: 10.1061/9780784479827.078.

29.Bhatt, Umang, Shouvik Mani, Edgar Xi, and J. Zico Kolter. "Intelligent pothole detection and road condition assessment." arXiv preprint arXiv:1710.02595 (2017).

30.T. Fukuhara, K. Terada, M. Nagao, A. Kasahara, and S. Ichihashi, "Automatic Pavement-Distress-Survey System," J. Transp. Eng., vol. 116, no. 3, pp. 280-286, May 1990, doi: 10.1061/(ASCE)0733- 947X(1990)116:3(280).

31.Nagao, Makoto. Shape recognition by human-like trial and error random processes. Department of Electrical Engineering, Kyoto University, 1984.

32.Guralnick, Sidney A., and Eric S. Suen. Advanced testing of an automated nde system for highway pavement surface condition assessment. No. NCHRP-IDEA Project 012. 1995.

33.Takasaki, Hiroshi. "Moiré topography." Applied optics 9.6 (1970): 1467-1472., doi: 10.1364/A0.9.001467.

34.Kafri, Oded, and I. Glatt. "Moiré deflectometry: a ray deflection approach to optical testing." Optical Engineering 24.6 (1985): 944-960.

35.Howe, Roger, and Gerardo G. Clemena. An assessment of the feasibility of developing and implementing an automated pavement distress survey system incorporating digital image processing. No. VTRC 98-R1. Virginia Transportation Research Council (VTRC), 1997.

36.Tien Sy Nguyen, Manuel Avila, Stéphane Begot, Jean-Christophe Bardet. Detection of Defects in Road Surface by a Vision System. Electrotechnical

Conference, The 14th IEEE Mediterranean, 2008, AJACCIO, France. Pp.847 -851. Ffhal-00666928f.

37.Tien Sy Nguyen, Stéphane Begot, Florent Duculty, Jean-Christophe Bardet, Manuel Avila. PAVE- MENT CRACKING DETECTION USING AN ANISOTROPY MEASUREMENT. 11ème IASTED International Conference on Computer Graphics and Imaging (CGIM), Feb 2010, Innsbruck, Austria.hal-00608266.

38.РОСДОРНИИ. Диагностика автомобильных дорог [Электронный ресурс]. -URL: https://rosdornii.ru/activity/diagnostika-dorog/ (дата обращения: 15.10.2021).

39.L. Ying and E. Salari, "Beamlet transform based technique for pavement image processing and classification," in Proceedings of 2009 IEEE International Conference on Electro/Information Technology, EIT 2009, 2009, pp. 141-145, doi: 10.1109/EIT.2009.5189598.

40.C. Koch and I. Brilakis, "Pothole detection in asphalt pavement images," Adv. Eng. Informatics, vol. 25, no. 3, pp. 507-515, Aug. 2011, doi: 10.1016/j.aei.2011.01.002.

41.C. Koch, G. M. Jog, and I. Brilakis, "Automated pothole distress assessment using asphalt pavement video data," J. Comput. Civ. Eng., vol. 27, no. 4, pp. 370-378, Jul. 2013, doi: 10.1061/(ASCE)CP.1943-5487.0000232.

42.L. Qingquan and L. Xianglong, "A model for segmentation and distress statistic of massive pavement images based on multi-scale strategies," in The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2008, vol. 37, pp. 63-67.

43.K. Vigneshwar and B. Hema Kumar, "Detection and counting of pothole using image processing techniques," in 2016 IEEE International Conference on Computational Intelligence and Computing Research, ICCIC 2016, 2017, pp. 1-4, doi: 10.1109/ICCIC.2016.7919622.

44.MacQueen J. (1967). Some methods for classification and analysis of multivariate observations. In Proc. 5th Berkeley Symp. On Math. Statistics and Probability, pages 281—297.

45.Dunn J.C. A Fuzzy Relative of the ISODATA Process and Its Use in Detecting Compact Well-Separated Clusters // Journal of Cybernetics. — 1973. — (т. 3, № 3). — С. 32-57. — ISSN 0022-0280. — doi:10.1080/01969727308546046.

46.T. D. Chung and M. K. Ahamed Khan, "Watershed-based real-time image processing for multi-potholes detection on asphalt road," in 2019 IEEE 9th International Conference on System Engineering and Technology, ICSET 2019 -Proceeding, 2019, pp. 268-272, doi: 10.1109/ICSEngT.2019.8906371.

47.M. M. Garcillanosa, J. M. L. Pacheco, R. E. Reyes, and J. J. P. San Juan, "Smart Detection and Reporting of Potholes via Image-Processing using Raspberry-Pi Microcontroller," in 2018 10th International Conference on Knowledge and Smart Technology: Cybernetics in the Next Decades, KST 2018, 2018, pp. 191-195, doi: 10.1109/KST.2018.8426203.

48.ОКБ БурСтройПроект. Датчики состояния поверхности дорожного полотна "ДСПД" [Электронный ресурс]. - URL:

http://www.burstroy.ru/datchik/datchik_2.html (дата обращения: 15.10.2021).

49.АО "ТРАССКОМ". Автоматический дорожный метеокомплекс «ИНЕЙ» [Электронный ресурс]. - URL: https://trasscom.ru/produkty/avtomaticheskij-dorozhnyj-kompleks-inej/. - (дата обращения: 17.10.2021).

50.Mathworks. Stereo Camera Calibrator App - MATLAB [Электронный ресурс]. - URL: https://uk.mathworks.com/help/vision/ug/stereo- camera-calibrator-app.html. - (дата обращения: 24.10.2021).

51.Вудвортс, Р. С. "Зрительное восприятие глубины." Хрестоматия по психологии. Психология ощущений и восприятия/под ред. ЮБ Гиппенрейтер, ВВ Любимова, МБ Михалевской (1999): 343-382.

52.Medical. The perception of distance [Электронный ресурс]. - URL: http://medicalency.com/vospriyatie-udalennosti.htm (дата обращения: 01.11.2021).

53.Hartley, R., & Zisserman, A. (2004). Multiple View Geometry in Computer Vision (2nd ed.). Cambridge: Cambridge University Press. Doi:10.1017/CBO9780511811685.

54.Abdelmoghit Zaarane, Ibtissam Slimani, Wahban Al Okaishi, Issam Atouf, Abdellatif Hamdoun, Distance measurement system for autonomous vehicles using stereo camera, Array, Volume 5, 2020, 100016, ISSN 2590-0056, https://doi.org/10.1016/j.array.2020.100016.

55.Adrian Kaehler and Gary Bradski. Learning OpenCV 3: Computer Vision in C++ with the OpenCV Library (1st. ed.). O'Reilly Media, Inc., 2016

56.M. Okutomi and S. Noguchi, "Extraction of road region using stereo images," in Proceedings. Fourteenth International Conference on Pattern Recognition (Cat. No.98EX170), 2002, vol. 1, pp. 853-856, doi: 10.1109/icpr.1998.711284.

57.U. Franke and A. Joos, "Real-time stereo vision for urban traffic scene understanding," in IEEE Intelligent Vehicles Symposium, Proceedings, 2000, pp. 273-278, doi: 10.1109/ivs.2000.898354.

58.S. Nedevschi et al., "3D lane detection system based on stereovision," in IEEE Conference on Intelligent Transportation Systems, Proceedings, ITSC, 2004, pp. 161-166, doi: 10.1109/itsc.2004.1398890.

59.R. Labayrade, D. Aubert, and J.-P. Tarel, "Real time obstacle detection in stereovision on non-flat road geometry through 'v-disparity' representation," 2003, pp. 646-651, doi: 10.1109/ivs.2002.1188024.

60.Z. Hou, K. C. P. Wang, and W. Gong, "Experimentation of 3D pavement imaging through stereovision," in International Conference on Transportation Engineering 2007, ICTE 2007, 2007, pp. 376-381, doi: 10.1061/40932(246)62.

61.Y. Xie, S. Zeng, Y. Zhang, and L. Chen, "A cascaded framework for robust traversable region estimation using stereo vision," in Proceedings - 2017 Chinese Automation Congress, CAC 2017, 2017, vol. 2017-Janua, pp. 3075-3080, doi: 10.1109/CAC.2017.8243303.

62.Cantzler, H. "Random sample consensus (ransac)." Institute for Perception, Action and Behaviour, Division of Informatics, University of Edinburgh (1981).

63.Geiger, A, P Lenz, C Stiller, and R Urtasun. "Vision Meets Robotics: The KITTI Dataset." The International Journal of Robotics Research 32, no. 11 (September 2013): 1231-37. https://doi.org/10.1177/0278364913491297.

64.A.Burlacu, A. Baciu, V. I. Manta, and S. Caraiman, "Ground geometry assessment in complex stereo vision-based applications," in 2017 21st International Conference on System Theory, Control and Computing, ICSTCC 2017, 2017, pp. 558-563, doi: 10.1109/ICSTCC.2017.8107094.

65.A.Wedel, H. Badino, C. Rabe, H. Loose, U. Franke, and D. Cremers, "B-spline modeling of road surfaces with an application to free-space estimation," IEEE Trans. Intell. Transp. Syst., vol. 10, no. 4, pp. 572- 583, Dec. 2009, doi: 10.1109/TITS.2009.2027223.

66.M. Wu, S. K. Lam, and T. Srikanthan, "Nonparametric Technique Based HighSpeed Road Surface Detection," IEEE Trans. Intell. Transp. Syst., vol. 16, no. 2, pp. 874-884, 2015, doi: 10.1109/TITS.2014.2345413.

67.R. Fan, Y. Liu, X. Yang, M. J. Bocus, N. Dahnoun, and S. Tancock, "Real-time stereo vision for road surface 3-d reconstruction," in IST 2018 - IEEE International Conference on Imaging Systems and Techniques, Proceedings, 2018, pp. 1-6, doi: 10.1109/IST.2018.8577119.

68.F. Oniga, S. Nedevschi, M. M. Meinecke, and T. B. To, "Road Surface and Obstacle Detection Based on Elevation Maps from Dense Stereo," in 2007 IEEE Intelligent Transportation Systems Conference, 2007, pp. 859-865, doi: 10.1109/ITSC.2007.4357734.

69.Z. Zhang, X. Ai, C. K. Chan, and N. Dahnoun, "An efficient algorithm for pothole detection using stereo vision," in ICASSP, IEEE International Conference on Acoustics, Speech and Signal Processing - Proceedings, 2014, pp. 564-568, doi: 10.1109/ICASSP.2014.6853659.

70.Mahmoudzadeh, A., Firoozi Yeganeh, S., and Golroo, A.: KINECT, A NOVEL CUTTING EDGE TOOL IN PAVEMENT DATA COLLECTION, Int. Arch. Photogramm. Remote Sens. Spatial Inf. Sci., XL-1/W5, 425-431, https://doi.org/10.5194/isprsarchives-XL-1-W5-425-2015, 2015.

71.Microsoft. Microsoft Kinect [Электронный ресурс]. - URL: https://developer.microsoft.com/en-us/windows/kinect/. - (дата обращения: 11.11.2021.

72.Y. Li, C. Papachristou, and D. Weyer, "Road Pothole Detection System Based on Stereo Vision," in Proceedings of the IEEE National Aerospace Electronics Conference, NAECON, 2018, vol. 2018-July, pp. 292-297, doi: 10.1109/NAEœN.2018.8556809.

73.M. U. Ul Haq, M. Ashfaque, S. Mathavan, K. Kamal, and A. Ahmed, "Stereo-Based 3D Reconstruction of Potholes by a Hybrid, Dense Matching Scheme," IEEE Sens. J., vol. 19, no. 10, pp. 3807-3817, May 2019, doi: 10.1109/JSEN.2019.2898375.

74.Staniek, Marcin. "Neural networks in stereo vision evaluation of road pavement condition." Proc. Int. Symp. Non-Destructive Testing Civil Engineering. 2015.

75.Staniek, Marcin. "Stereo vision method application to road inspection." The Baltic Journal of Road and Bridge Engineering 12.1 (2017): 38-47.

76.Staniek M. (2018) Measures for Matching Stereo Images in Road Pavement Diagnostics. In: Sierpinski G. (eds) Advanced Solutions of Transport Systems for Growing Mobility. TSTP 2017. Advances in Intelligent Systems and Computing, vol 631. Springer, Cham. https://doi.org/10.1007/978-3-319-62316-0_21.

77.Marcin Staniek, Piotr Czech, Self-correcting neural network in road pavement diagnostics, Automation in Construction, Volume 96, 2018, Pages 75-87, ISSN 0926-5805, https://doi.org/10.1016/j.autcon.2018.09.001.

78.Томилин М. Камера-обскура // «Советское фото»: журнал. — 1974. — № 1. — С. 42—43. — ISSN 0371-4284

79.M. G. Gorodnichev, K. A. Dzhabrailov, K. A. Polyantseva and R. A. Gematudinov, "On Automated Safety Distance Monitoring Methods by Stereo Cameras," 2020 Systems of Signals Generating and Processing in the Field of on Board Communications, 2020, pp. 1-8, doi: 10.1109/IEEECONF48371.2020.9078616.

80.Рюмин, А. В. Использование сверхширокоугольных камер в составе досмотровых роботов / А. В. Рюмин // Прикладные проблемы безопасности технических и биотехнических систем. - 2017. - № 1. - С. 33-40.

81.Tsai Roger Y. (1986) "An Efficient and Accurate Camera Calibration Techniquefor 3D Machine Vision,'' Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Miami Beach, FL, 1986, - 364-374 с.

82.Медведев, М. В. Трехмерная реконструкция объектов в системе технического зрения мобильного робота / М. В. Медведев, А. П. Кирпичников // Вестник Казанского технологического университета. - 2014. - Т. 17. - № 15. - С. 326-330.

83.3айцев, К. И. 77-30569/230289 Алгоритм регистрации трехмерных образов объектов с помощью пассивной стереоскопической системы с использованием кратномасштабной обработки изображений / К. И. Зайцев, А. Н. Перов, В. И. Алехнович // Наука и образование: научное издание МГТУ им. Н.Э. Баумана. - 2011. - № 13. - С. 18.

84.Bradski, Gary, and Adrian Kaehler. Learning OpenCV: Computer vision with the OpenCV library. " O'Reilly Media, Inc.", 2008.

85.Yufka, Alpaslan & Dobrucali, Oguzcan. (2008). Indoor Localization System for Mobile Robots. 10.13140/RG.2.1.2747.7604.

86.Nurollah Tatar & Hossein Arefi (2019) Stereo rectification of pushbroom satellite images by robustly estimating the fundamental matrix, International Journal of Remote Sensing, 40:23, 8879-8898, DOI: 10.1080/01431161.2019.1624862.

87.Scharstein, Daniel, and Richard Szeliski. "A taxonomy and evaluation of dense two-frame stereo correspondence algorithms." International journal of computer vision 47.1 (2002): 7-42.

88.Математическая энциклопедия Ред. коллегия: И. М. Виноградов (глав ред) [и др.] М., «Советская Энциклопедия», 1977—1985 гг.

89.Adrian Kaehler and Gary Bradski. 2016. Learning OpenCV 3: Computer Vision in C++ with the OpenCV Library (1st. ed.). O'Reilly Media, Inc.

90.Fusiello, A., Trucco, E. & Verri, A. A compact algorithm for rectification of stereo pairs. Machine Vision and Applications 12, 16-22 (2000). https://doi.org/10.1007/s001380050120

91.Вахитов, А. Т. Обзор алгоритмов стереозрения / А. Т. Вахитов, Л. С. Гуревич, Д. В. Павленко // Стохастическая оптимизация в информатике. - 2008. - Т. 4. - С. 151-169.

92.R. I. Hartley (1999). "Theory and Practice of Projective Rectification". International Journal of Computer Vision. 35 (2): 115-127. doi:10.1023/A:1008115206617.

93.Bradski GR, Kaehler A, (2008), Learning OpenCV: computer vision with the OpenCV library. O'Reilly.

94.J. C. Chou, W. A. O'Neill, and H. D. Cheng, "Pavement distress classification using neural networks," in Proceedings of the IEEE International Conference on Systems, Man and Cybernetics, 1994, vol. 1, pp. 397-401, doi: 10.1109/icsmc.1994.399871.

95.Transportation Research Board. NCHRP [Электронный ресурс]. - URL: https://www.trb.org/NCHRP/NCHRP.aspx. - (дата обращения: 17.11.2021.

96.Kimiko O. Bowman and L. R. Shenton, "Estimator: Method of Moments", pp 2092-2098, Encyclopedia of statistical sciences, Wiley (1998).

97.H.-D. Cheng, "Automated real-time pavement distress detection using fuzzy logic and neural network," in Nondestructive Evaluation of Bridges and Highways, 1996, vol. 2946, pp. 140-151, doi: 10.1117/12.259131.

98.J. M. Alvarez, T. Gevers, Y. LeCun, and A. M. Lopez, "Road scene segmentation from a single image," in Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 2012, vol. 7578 LNCS, no. PART 7, pp. 376-389, doi: 10.1007/978-3-642-33786-4_28.

99.C.-A. Brust, S. Sickert, M. Simon, E. Rodner, and J. Denzler, "Convolutional Patch Networks with Spatial Prior for Road Detection and Urban Scene Understanding," Feb. 2015.

100. S. Milhomem, T. da S. Almeida, W. G. da Silva, E. M. da Silva, and R. L. de Carvalho, "Weightless Neural Network with Transfer Learning to Detect Distress in Asphalt," Int. J. Adv. Eng. Res. Sci., vol. 5, no. 12, pp. 294-299, 2018, doi: 10.22161/ijaers.5.12.40.

101. S. Bang, S. Park, H. Kim, Y. san Yoon, and H. Kim, "A deep residual network with transfer learning for pixel-level road crack detection," in ISARC 2018 - 35th International Symposium on Automation and Robotics in Construction and International AEC/FM Hackathon: The Future of Building Things, 2018, doi: 10.22260/isarc2018/0103.

102. Chun and S. K. Ryu, "Road surface damage detection using fully convolutional neural networks and semi-supervised learning," Sensors (Switzerland), vol. 19, no. 24, p. 5501, Dec. 2019, doi: 10.3390/s19245501.

103. Бобков А.В. Системы распознавания образов : учебное пособие. Москва: Издательство МГТУ им. Н. Э. Баума, 2018. 187 pp.

104. Буэно Г.Г., Эспиноса А.Х.Л., Суарес О.Д. Обработка изображений с помощью OpenCV. Москва: ДМК Пресс, 2016. 210 pp.

105. Солем Я.Э. Программирование компьютерного зрения на языке Python. ДМК Пресс, 2016. 312 pp.

106. Кэлер А., Брэдски Г. Изучаем Opencv 3. ДМК Пресс, 2017. 826 pp.

107. Henrique Oliveira, Paulo Lobato Correia Automatic Road Crack Segmentation Using Entropy And Image Dynamic Thresholding // 17th European Signal Processing Conference (EUSIPCO 2009) Glasgow, Scotland, August 2428, 200.

108. Shengchun Wang Wensheng Tang Pavement Crack Segmentation Algorithm Based on Local Optimal Threshold of Cracks Density Distribution // International Conference on Intelligent Computing - 2011.

109. G Gunawan, Heri Nuriyanto, S Sriadhi, Achmad Fauzi, Ari Usman, F Fadlina, Haida Dafitri, Janner Simarmata, Andysah Putera Utama Siahaan,and Robbi Rahim Mobile Application Detection of Road Damage using Canny

Algorithm // 1st International Conference on Green and Sustainable Computing (ICoGeS) 2017.

110. N. Otsu, "A Threshold Selection Method from Gray-Level Histograms," in IEEE Transactions on Systems, Man, and Cybernetics, vol. 9, no. 1, pp. 62-66, Jan. 1979, doi: 10.1109/TSMC.1979.4310076.

111. Shengchun Wang and Wensheng Tang /Pavement Crack Segmentation Algorithm Based on Local Optimal Threshold of Cracks Density Distribution / International Conference on Intelligent Computing ICIC 2011: Advanced Intelligent Computing pp 298-302.

112. Naoki Tanak , Kenji Uernatsu A Crack Detection Method in Road Surface Images Using Morphology. //IAPR Workshop on Machine Vision Applications, Nov. 17-19, 1998.

113. Wei, Na, Xiangmo Zhao, Tao Wang, and Hongxun Song. "Mathematical morphology based asphalt pavement crack detection." In International Conference on Transportation Engineering 2009, pp. 3883-3887. 2009.

114. Yuchun Fang and Zhan Wang, "Improving LBP features for gender classification," 2008 International Conference on Wavelet Analysis and Pattern Recognition, 2008, pp. 373-377, doi: 10.1109/ICWAPR.2008.4635807.

115. Yong Hu, Chun-xia Zhao A Local Binary Pattern Based Methods for Pavement Crack Detection //Journal of Pattern Recognition Research 1 (20103) 140-147 May 12, 200.

116. David O.E., Netanyahu N.S. (2016) DeepPainter: Painter Classification Using Deep Convolutional Autoencoders. In: Villa A., Masulli P., Pons Rivero A. (eds) Artificial Neural Networks and Machine Learning - ICANN 2016. ICANN 2016. Lecture Notes in Computer Science, vol 9887. Springer, Cham. https://doi.org/10.1007/978-3-319-44781-0_3.

117. Zbontar, Jure, and Yann LeCun. "Stereo matching by training a convolutional neural network to compare image patches." J. Mach. Learn. Res. 17.1 (2016): 2287-2318.

118. Гудфеллоу Я., Бенджио И., Курвилль А. Глубокое Обучение. Москва: ДМК Пресс, 2017. 652 pp.

119. 3D Cults. JETSON NANO CASE [Электронный ресурс]. - URL: https://cults3d.com/en/3d-model/tool/jetson-nano-case (дата обращения: 01.12.2021).

120. Margolis, J.M. (1985). Engineering Thermoplastics: Properties and Applications (1st ed.). CRC Press. https://doi.org/10.1201/9781003066156.

121. E. Polyzos, A. Katalagarianakis, D. Van Hemelrijck, L. Pyl, Delamination analysis of 3D-printed nylon reinforced with continuous carbon fibers, Additive Manufacturing, Volume 46, 2021, 102144, ISSN 2214-8604, https://doi. org/ 10.1016/j .addma.2021.102144.

122. Russell, Bryan C.; Torralba, Antonio; Murphy, Kevin P.; Freeman, William T. (2008). "Label Me: A Database and Web-Based Tool for Image Annotation" (PDF). International Journal of Computer Vision. 77 (1-3): 157-173. doi:10.1007/s11263-007-0090-8.

123. LableMe [Электронный ресурс]. - URL: http://labelme.csail.mit.edu/Release3.0/ (дата обращения: 01.12.2021).

124. A. Shaked and L. Wolf, "Improved Stereo Matching with Constant Highway Networks and Reflective Confidence Learning," 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, pp. 6901-6910, doi: 10.1109/CVPR.2017.730.

125. Mayer, N., Ilg, E., Hausser, P., Fischer, P., Cremers, D., Dosovitskiy, A., Brox, T., 2016. A large dataset to train convolutional networks for disparity, optical flow, and scene flow estimation nikolaus. In: 2016 IEEE Conference on Computer Vision and Pattern Recognition. pp. 4040-4048. https://doi.org/10.1109/CVPR.2016.438.

126. Close Kendall, A., Martirosyan, H., Dasgupta, S., Henry, P., Kennedy, R., Bachrach, A., Bry, A., 2017. End-to-end Learning of Geometry and Context for Deep Stereo Regression. In: Proceedings of the IEEE International Conference on Computer Vision. pp. 66-75. https://doi.org/10.1109/ICCV.2017.17.

127. Онищенко, Е. П. Нейронные сети для анализа и генерации изображений / Е. П. Онищенко // XXI Всероссийская студенческая научно-практическая конференция Нижневартовского государственного университета : сборник статей, Нижневартовск, 02 апреля - 03 2019 года / Ответственный редактор Д.А. Погонышев. - Нижневартовск: Нижневартовский государственный университет, 2019. - С. 102-105.

128. Yu, Fisher and Vladlen Koltun. "Multi-Scale Context Aggregation by Dilated Convolutions." CoRR abs/1511.07122 (2016).

129. Chicco D. (2021) Siamese Neural Networks: An Overview. In: Cartwright H. (eds) Artificial Neural Networks. Methods in Molecular Biology, vol 2190. Humana, New York, NY. https://doi.org/10.1007/978-1-0716-0826-5_3

130. Sharma, Sudhir & Chandra, Pravin. (2011). An Adaptive Sigmoidal Activation Function Cascading Neural Networks. Advances in Intelligent and Soft Computing. 87. 105-116. 10.1007/978-3-642-19644-7_12.

131. "Chen, L.C., Papandreou, G., Kokkinos, I.: Semantic image segmentation with deep convolutional nets and fully connected CRFs. arXiv preprint arXiv:1412.7062 (2014)"

132. Yu, Fisher, and Vladlen Koltun. "Multi-scale context aggregation by dilated convolutions." arXiv preprint arXiv:1511.07122 (2015).

133. Liu X., Luo Y., Ye Y., Lu J. (2017) MC-DCNN: Dilated Convolutional Neural Network for Computing Stereo Matching Cost. In: Liu D., Xie S., Li Y., Zhao D., El-Alfy ES. (eds) Neural Information Processing. ICONIP 2017. Lecture Notes in Computer Science, vol 10636. Springer, Cham. https://doi.org/10.1007/978-3-319-70090-8_26

134. Жерон О. Прикладное машинное обучение с помощью Scikit-Learn и TensorFlow: концепции, инструменты и техники для создания интеллектуальных систем // Пер. с англ. - СпБ.: ООО "Альфа-книга': 2018. -688 с

135. Макмахан Б., Рао Д. Знакомство с PyTorch: глубокое обучение при обработке естественного языка = Natural Language Processing with PyTorch.

Build Intelligent Language Applications Using Deep Learning. — Питер, 2020. — 256 с.

136. H. Hirschmuller, "Accurate and efficient stereo processing by semi-global matching and mutual information," 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05), 2005, pp. 807-814 vol. 2, doi: 10.1109/CVPR.2005.56.

137. Redmon, Joseph et al. "You Only Look Once: Unified, Real-Time Object Detection." 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2016): 779-788.

138. S. Jiang, T. Xu, J. Li, B. Huang, J. Guo and Z. Bian, "IdentifyNet for NonMaximum Suppression," in IEEE Access, vol. 7, pp. 148245-148253, 2019, doi: 10.1109/ACCESS.2019.2944671.

139. Zhuanzhi. Yan Lecun [Электронный ресурс]. - URL: https://www.zhuanzhi.ai/document/bbf11e032d71fc226a3c3373f438ca2d (дата обращения: 09.12.2021).

140. He, Kaiming, Georgia Gkioxari, Piotr Dollar, and Ross Girshick. "Mask r-cnn." In Proceedings of the IEEE international conference on computer vision, pp. 2961-2969. 2017.

141. Ren, Shaoqing et al. "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks." IEEE Transactions on Pattern Analysis and Machine Intelligence 39 (2015): 1137-1149.

142. Xie, Saining et al. "Aggregated Residual Transformations for Deep Neural Networks." 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2017): 5987-5995.

143. Simonyan, Karen, and Andrew Zisserman. "Very deep convolutional networks for large-scale image recognition." arXiv preprint arXiv:1409.1556 (2014).

144. Бруттан, Ю. В. Исследование нейронных сетей для анализамедицинских изображений / Ю. В. Бруттан, А. Новиков // Вестник

Псковского государственного университета. Серия: Технические науки. -2020. - № 11. - С. 49-54.

145. Прокопеня, А. С. Сверточные нейронные сети для распознавания изображений / А. С. Прокопеня, И. С. Азаров // Big Data and Advanced Analytics. - 2020. - № 6-1. - С. 271-280.

146. F. Schilling, The Effect of Batch Normalization on Deep Convolutional Neural Networks. Stockholm, Sweden: KTH Royal Institue of Technology, School of Computer Science and Communication, 2016.

147. Ioffe, Sergey and Christian Szegedy. "Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift." ArXiv abs/1502.03167 (2015).

148. Setiawan, Wahyudi & Damayanti, Fitri. (2020). Layers Modification of Convolutional Neural Network for Pneumonia Detection. Journal of Physics: Conference Series. 1477. 052055. 10.1088/1742-6596/1477/5/052055.

149. COCO. Common Objects in Context [Электронный ресурс]. - URL: https://cocodataset.org/#home (дата обращения: 12.12.2021).

150. Chzhen, Evgenii. "Optimal rates for F-score binary classification." arXiv preprint arXiv:1905.04039 (2019).

151. Zhang E., Zhang Y. (2009) Average Precision. In: LIU L., OZSU M.T. (eds) Encyclopedia of Database Systems. Springer, Boston, MA. https://doi.org/10.1007/978-0-387-39940-9_482.

152. СП 42.13330.2016. Свод правил. Градостроительство. Планировка и застройка городских и сельских поселений. Актуализированная редакция СНиП 2.07.01-89*.

153. Guilherme F. Lima, Rodrigo C.M. Santos, and Roberto Gerson de Albuquerque Azevedo. 2016. Programming Multimedia Applications in GStreamer. In Proceedings of the 22nd Brazilian Symposium on Multimedia and the Web (Webmedia '16). Association for Computing Machinery, New York, NY, USA, 19-20. DOI:https://doi.org/10.1145/2976796.2988193.

154. Github. Apache Kafka [Электронный ресурс]. - URL: https://github.com/apache/kafka (дата обращения: 18.12.2021).

155. Rao, B. & Rao, N.. (2019). HDFS Logfile Analysis Using ElasticSearch, LogStash and Kibana. 10.1007/978-981-10-8797-4_20.

156. Bellini, Gustavo & Miachiro, Marcos & Souza, Allan & Ximenes, Bruno & Vargas, Valcir. (2019). Elasticsearch, Kibana e Logstash (Pilha ELK): transformando dados brutos em informa?oes poderosas de forma rápida e eficiente. 1-1. 10.20396/sinteses.v0i7.10241.

157. К.А. Полянцева. Высоконагруженная платформа для агрегации и анализа неструктурированных данных о состоянии дорожного полотна // Автоматизация в промышленности. - 2022. - №5. (Перечень рецензируемых научных изданий от 20.12.2022г., №126)

158. К.А. Полянцева. Разработка алгоритмов накопления данных посредством стереопары и детектирования дефектов дорожного полотна // Современные наукоемкие технологии. Учредители: ООО «Издательский дом «Академия естествознания». - 2022. - №. 5. (Перечень рецензируемых научных изданий от 20.12.2022г., №2255)

159. K.A. Polyantseva. On the Applicability of Neural Networks in the Tasks of Detecting Dangerous Movement / K.A. Polyantseva, M.G. Gorodnichev, M.S. Moseva, T.D. Potapchenko // Wave Electronics and its Application in Information and Telecommunication Systems (WECONF). - DOI: 10.1109/WEC0NF.2019.8840654. Publisher: IEEE, 2019. - P. 1-4.

160. K.A. Polyantseva. Development of a Platform for Road Infrastructure Digital Certification / M.S. Moseva, M.G. Gorodnichev, K.A. Polyantseva, A.V. Sheremetev, K.A. Dzhabrailov // Intelligent Technologies and Electronic Devices in Vehicle and Road Transport Complex (TIRVED). - DOI: 10.1109/TIRVED53476.2021.9639102. Publisher: IEEE, 2021. - P. 1-8.

161. K.A. Polyantseva. Providing Fault Tolerance of Cluster Computing Systems Based on Fault-Tolerant Dynamic Computation Planning / Tourouta E., Gorodnichev M., Polyantseva K., Moseva M. // Digitalization of Society,

Economics and Management. Lecture Notes in Information Systems and Organisation. - DOI: 10.1007/978-3-030-94252-6_10. Publisher: Springer, 2022. -P. 143-150.

162. K.A. Polyantseva. Neural Network Approaches in the Problems of Detecting and Classifying Roadway Defects / K.A. Polyantseva, M.G. Gorodnichev. // Wave Electronics and its Application in Information and Telecommunication Systems (WECONF). - DOI: 10.1109/WECONF55058.2022.9803392. Publisher: IEEE, 2022. -P. 1-7.

163. K.A. Polyantseva. Ensuring Fault Tolerance of a Computing System with a Client-Server Architecture Based on Fault-Tolerant Computing Planning / E.N. Tourouta, M.G. Gorodnichev, K.A. Polyantseva. // Wave Electronics and its Application in Information and Telecommunication Systems (WECONF). - DOI: 10.1109/WECONF55058.2022.9803752. Publisher: IEEE, 2022. -P. 1-5.

164. K.A. Polyantseva. Development of a System for Fixing Road Markings in Real Time / M.S. Moseva, M.G. Gorodnichev, K.A. Polyantseva, G.G. Vlasov, M.D. Gromov. // Systems of Signal Synchronization, Generating and Processing in Telecommunications (SYNCHROINFO). - DOI: 10.1109/SYNCHROINFO55067.2022.9840971. Publisher: IEEE, 2022. -P. 1-7.

165. K.A. Polyantseva. On the Problem of Restoring and Classifying a 3D Object in Creating a Simulator of a Realistic Urban Environment / Gorodnichev Mikhail, Sergey Erokhin, Ksenia Polyantseva, Marina Moseva. // Sensors 22, no. 14: 5199. - DOI: 10.3390/s22145199. Publisher: MDPI, 2022. -P. 1-20.

166. Турута Е.Н Концепция и методы обеспечения отказоустойчивости паралаллеьных вычислительных систем, выполняющих фиксированные комплексы задач: дис. д-р. тех. наук: 05.13.13. - Москва, 1996. - 134 с.

Приложение А. Свидетельства о государственной регистрации программ для ЭВМ

Приложение Б. Акты о внедрении

Ректор ордена Трудового Красного Знамени федерального государственного бюджс того обра юна гельного учреждения

АКТ

об использовании результатов диссертационной работы Полянцевой К.А. на тему: «Нейросетевые алгоритмы детектирования и классификации объектов в задаче дсфсктовки дорожного полотна» в учебном процессе кафедры «Математическая кибернетика и информационные

технологии» МТУСИ

Комиссия в составе: заместителя проректора по учебной работе МТУСИ. к.э.н., доц. Аджнковой Алтынай Султахановны; начальника Отдела планирования и организации учебного процесса МТУСИ Кузнецовой Виктории Анатольевны, удостоверяет, что в учебном процессе кафедры «Математическая кибернетика и информационные технологии» при выполнении лабораторных и практических работ по дисциплинам: «Системы искусственного интеллекта». «Программное обеспечение систем искусственного интеллекта», «Методы обработки изображений и распознавания образов» используются результаты диссертации Полянцевой Ксении Андреевны, а именно: нейросетевые архитектуры, позволяющие улучшить производительность и увеличить точность детектирования и классификации. Эффективность внедрения заключается в приобретении студентами знаний по перспективным направлениям развития науки и техники.

Заместитель проректора по учебной работе

А.С. Аджикова

Начальник Отдела планирования и организации учебного процесса

В.А. Кузнецова

&)АРКС

Общество с Ограниченной Ответственностью «ИФСК «АРКС»

ОГРН 1027714003503 ИНН 7714275324

117342. Россия, г. Москва. Муниципальный округ Коньково ви.тер.г.. Обручева ул., д. 52. стр. 1. этаж 4. помещ 4 1 Теп.; *7 [phone]. факс *7 [phone], ifcc@arks ш. www arts.ru

АКТ

о внедрении результатов диссертационной работы Полянцевой Ксении Андреевны, представленной на соискание ученой степени кандидата технических наук

Настоящим актом подтверждается, что основные результаты диссертационного исследования Полянцевой Ксении Андреевны «Нейросетевые алгоритмы детектирования и классификации объектов в задаче дефектовки дорожного полотна» в настоящее время используется в работе ООО «ИФСК «АРКС», а именно:

- программная реализации разработанных алгоритмов накопления и обработки видеоданных и нейросетевого алгоритма детектирования объектов, которая позволяет проводить тестирование на реальных данных, собираемых с систем мониторинга состояния дорожного полотна;

- единая цифровая платформа для агрегации данных обо всех детектированных повреждениях.

Результаты диссертационного исследования находятся в стадии пробной эксплуатации, а по ее окончании будут внедрены в систему' комплекса дефектовки состояния дорожного полотна для содержания в эксплуатационном состоянии.

Генеральный директор ООО «ИФСК «АРКС»

А.С. Денисов

Л

Общество с ограниченной ответственностью

СПЕЦДОРСТРОЙ

366900, г. Гудермес, ул. Исаева, 32

тел: [phone]б"

\vtvw. specdorstroy.com_

ИНН 2005504189 ¡п{пга snecdorstrov.com

мех Яг 95 от 01 марта 2022 г.

АКТ

о внедрении результатов диссертационной работы Полянцевон Ксении Андреевны, представленной на соискание ученой степени кандидата технических наук

Настоящим актом подтверждается, что основные результаты диссертационного исследования Полянцевой Ксении Андреевны «Нейросетевые алгоритмы детектирования и классификации объектов в задаче дефектовки дорожного полотна» в настоящее время используется в работе отдела эксплуатации и содержания автомобильных дорог федерального значения ООО «СПЕЦДОРСТРОЙ», а именно:

- нейросетевои алгоритм детектирования объектов на видеоизображении, который позволяет проводить анализ данных в режиме реального времени с точностью 96,78%.;

- нейросетевои алгоритм классификации дефектов дорожного полотна по видеоизображению, который позволяет проводить непрерывный мониторинг состояния дорожного полотна в режиме реального времени, при этом расширяя сеть оконечных устройств для увеличения площади мониторинга с точностью

Результаты диссертационного исследования позволили осуществить выбор эффективных решений при разработке программного комплекса мониторинга состояния верхнего замыкающего слоя дорожной одежды, непосредственно воспринимающего воздействие колес автомобильного транспорта и погодно-климатических факторо!

92,01%.

Генеральный директор

Тавзиев Ислам Исасвич