Модель, метод и устройство построения карты глубин стереоизображения на основе иерархической нечёткой системы тема диссертации и автореферата по ВАК РФ 05.13.05, кандидат наук Якушев Алексей Сергеевич

• Якушев Алексей Сергеевич
• кандидат наук
• 2022

Оглавление диссертации кандидат наук Якушев Алексей Сергеевич

Введение

Глава 1 Анализ существующих моделей, методов и устройств выделения контуров и построения карты глубин стереоизображения

1.1 Обзор и анализ моделей выделения контуров объектов и построения карты глубин

1.1.1 Существующие модели выделения контуров объектов на изображениях

1.1.2 Обзор математических моделей построения карты глубин

1.1.3 Интеллектуальные алгоритмы построения карты глубин

1.2 Обзор и анализ существующих методов построения карты глубин

1.3 Обзор и анализ устройств построения карты глубин

1.4 Критерии оценки точности построения карты глубин стереоизображения

1.5 Патентный поиск, существующих моделей, методов и устройств для построения карты глубин

Выводы по первой главе

Глава 2 Модель построения карты глубин на основе иерархической нечёткой системы

2.1 Обобщённая математическая модель иерархической нечёткой системы построения карты глубин стереоизображения

2.1.1 Математическая модель предварительной подготовки изображений

2.1.2 Математическая модель выделения контуров модифицированным фильтром Канни

2.1.3 Математическая модель иерархической нечёткой системы

2.2 Метод построения карты глубин стереоизображения

2.3 Алгоритм построения карты глубин стереоизображения

Выводы по второй главе

Глава 3 Структурно-функциональная организация и программная реализация устройства построения карты глубин стереоизображения

3.1 Структурно-функциональная организация построения карты глубин стереоизображения

3.2 Иерархическая схема вычислительного процесса расчёта диспаритета

3.3 Программная реализация и алгоритмизация этапов построения карты глубин стереоизображения

3.4 Компьютерное моделирование иерархической схемы вычислительного процесса расчёта диспаритета

Выводы по третьей главе

Глава 4 Устройство построения карты глубин стереоизображения и экспериментальная оценка точности построения карты глубин стереоизображения

4.1 Устройство построения карты глубин стереоизображения для экспериментального исследования

4.2 Экспериментальная оценка функционирования устройства построения карты глубин на основе модели, метода и устройства

4.3 Оценка временной и аппаратной сложностей устройства построения карты глубин стереоизображения

4.4 Анализ точности построения карты глубин стереоизображения

Выводы по четвертой главе

Основные результаты работы

Список литературы

Приложение А

Приложение Б

Список сокращений и условных обозначений

КГ - карта глубин

ПЗС - прибор с зарядовой связью

ПК - персональный компьютер

ФП - функция принадлежности

LF - light field - камера светового поля

LIDAR - light detection and ranging - обнаружение и определение

дальности с помощью света MAD - mean absolute differences - средняя абсолютная разность

MIMO - multiple inputs multiple outputs - несколько входов, несколько

выходов

MISO - multiple inputs single output - несколько входов, один выход

MSD - mean square sum of differences - средняя квадратичная сумма

разностей

NCC - normalized cross-correlation - нормализованная взаимная

корреляция

PSNR - peak signal-to-noise ratio - пиковое отношение сигнал/шум

RGB - red, green, blue - красный, зелёный, синий

RMSE - root mean square error - корень из среднеквадратической ошибки

SAD - sum of absolute differences - сумма абсолютных разностей

SATD - sum of absolute transformed differences - сумма абсолютных

преобразованных разностей SGMA - semi-global matching algorithm - алгоритм полуглобального

соответствия

SISO - single input single output - один вход, один выход

SL - structured light - камера структурированного света

SLAM - simultaneous localization and mapping - одновременная

локализация и построение карты SSD - square sum of differences - квадратичная сумма разностей

SSDA - sequential similarity detection algorithm - последовательный

алгоритм обнаружения сходства ToF - time of flight - камера, измеряющая задержку отраженного света

7

Введение

Введение диссертации (часть автореферата) на тему «Модель, метод и устройство построения карты глубин стереоизображения на основе иерархической нечёткой системы»

Актуальность темы исследования.

Актуальным научным и практическим направлением развития отрасли приборостроения электронно-вычислительных средств и систем управления является разработка моделей, методов и специализированных устройств, обеспечивающих построение карты глубин стереоизображения, под которой понимается расчёт значений диспаритета, получаемых путём последовательности операций обработки двух фото или видео изображений.

В настоящее время для построения карты глубин стереоизображения используют следующие методы: анализа стереопары, расчёта значения диспаритета нейронными сетями или аппаратом нечёткой логики. К устройствам для формирования данных карт относят: камеры структурированного света, камеры, измеряющие задержку отраженного света, пленоптические камеры или камеры светового поля, устройства на основе технологии LIDAR.

Для формирования карты глубин стереоизображения используются различные алгоритмы, наибольшее распространение получили: полуглобальное соответствие (SGMA - Semi-global matching algorithm) и суммы абсолютных разностей (SAD - Sum of absolute différences). Данные алгоритмы обладают рядом недостатков. В первом алгоритме карта глубин стереоизображения получается за несколько проходов при которых необходимо дважды определить значения диспаритета, что увеличивает число вычислительных операций и уменьшает его производительность. Во втором алгоритме из-за неодинаковости степени освещённости пикселей на двух изображениях стереопары, ухудшается точность формирования карты глубин стереоизображения. Для преодоления этих недостатков применяют алгоритмы построения карты глубин стереоизображения, дополняемые такими операциями как: размытие и выделение контуров объектов, объединение границ и др.

Описанные недостатки формируют необходимость повышения точности построения карты глубин стереоизображения, которая оценивается показателями:

корень из среднеквадратической ошибки (RMSE - Root mean square error), стремится к минимальному значению и пиковое отношение сигнал/шум (PSNR -Peak signal-to-noise ratio), стремится к максимальному значению.

Степень разработанности проблемы. Исследованием методик построения карты глубин и выделения контуров объектов занимались как российские, так и зарубежные учёные: Матюнин С.Б., Ватолин Д.С., Козлов В.Л., Фисенко В.Т., Дюдин М.В., Ляшева С.А., Павлидис Т., Девятков В.В., Галкин В.А., Аксенов А.Ю., Косовская Т. М., Pileun K., Jingdao C. и др. Изучением и разработкой карт глубин с применением нечёткой логики занимались такие учёные, как Perez-Patricio M., Abiel A., Arias-Estrada M., Takeshi R., Taro K., Sugeno М. и др. В основе большинства работ данных авторов лежит алгоритм SAD. Кроме нечётко-логических систем для построения карты глубин применяют нейронные сети, рассмотренные в работах следующих авторов: Гапон Н.В., Семенищев Е.А., Жданова М.М., Сизякин Р.А., Воронин В.В. и др. В нейронных сетях используется процесс обучения сети, что приводит к увеличению количества вычислительных операций в её структуре и снижает производительность системы в целом. Нечёткий вывод не использует в своей структуре процесс обучения и это позволяет повысить производительность построения карты глубин стереоизображения. В случае использования аппарата нечёткой логики исследователи разрабатывают одноуровневые нечёткие системы. Это ограничивает их функционал при решении задач обработки видео или фото информации в связи со сложностью операций преобразования, анализа и обработки. Данные операции проблематично описать одноуровневой нечёткой системой из-за переизбытка входных и выходных переменных, что ведёт к «проклятию размерности».

Изложенное выше указывает на актуальность поставленной научно-технической задачи разработки модели, метода и устройства построения карты глубин стереоизображения.

Работа выполнена при поддержке Минобрнауки Российской Федерации в рамках грантов Президента РФ для государственной поддержки молодых российских ученых № МД-2893.2015.8 (исполнитель проекта), № МД-707.2017.8

(исполнитель проекта) и в Госзадании № 2.1396.2017/4.6 (исполнитель проекта), а также программы «Умник» № 15249ГУ/2020 (руководитель проекта).

Цель диссертационной работы - повышение точности построения карты глубин стереоизображения на основе оценки пикового отношения сигнал/шум и корня из среднеквадратической ошибки.

В соответствии с поставленной целью в работе решаются следующие основные задачи:

1. Анализ существующих моделей, методов и устройств построения карты глубин стереоизображения с целью обоснования выбранного направления исследования.

2. Разработка обобщённой математической модели иерархической нечёткой системы построения карты глубин стереоизображения и модификация фильтра Канни с целью улучшения точности формирования карты глубин и распознавания границ объектов на стереоизображениях.

3. Формирование метода построения карты глубин стереоизображения на основе обобщённой математической модели иерархической нечёткой системы построения карты глубин стереоизображения.

4. Создание структурно-функциональной организации и устройства на основе метода построения карты глубин стереоизображения.

Объект исследования: устройство построения карты глубин стереоизображения.

Предмет исследования: вычислительные процессы в устройстве построения карты глубин стереоизображения.

Методы исследования. Для решения поставленных задач использовались теория нечёткой логики и множеств, методы математического моделирования, вычислительной математики и статистики, системы искусственного интеллекта и машинного обучения, основы теории построения алгоритмов, теории распознавания образов и обработки изображений, методы построения интеллектуальных устройств для систем обработки видеоданных, а также теория проектирования вычислительных устройств и ЭВМ.

Научная новизна и основные положения, выносимые на защиту:

1. Обобщённая математическая модель иерархической нечёткой системы построения карты глубин стереоизображения, включающая математические модели предварительной подготовки изображений, выделения контуров модифицированным фильтром Канни и иерархическую нечёткую систему, отличающаяся тем, что при распознавании границ рассматривается угол направления градиента в диапазоне от 0° до 360° и обладающая свойством аддитивности при дефаззификации чёткого значения диспаритета на выходе второго уровня иерархии нечёткой системы.

2. Метод построения карты глубин стереоизображения, отличающийся последовательностью вычислительных операций, включающих преобразования цветных изображений в градации серого и их размытие, выделение контуров модифицированным фильтром Канни, удаление концевых точек и объединение разрывов границ и вывода значения диспаритета карты глубин стереоизображения с помощью иерархической нечёткой системы, позволяющий повысить коэффициент пикового отношения сигнал/шум, во время операции удаления концевых точек.

3. Структурно-функциональная организация и устройство построения карты глубин стереоизображения, отличающиеся иерархической схемой вычислительного процесса расчёта диспаритета, позволяющие за счёт обеспечения свойства полноты нечёткой базы правил повысить точность построения карты глубин стереоизображения в 1,5 раза, оцениваемую коэффициентом корень из среднеквадратической ошибки.

Практическая ценность работы состоит в следующем:

1. Разработан способ формирования иерархической нечёткой системы (пат. РФ № 2676114, пат. РФ № 2709125), реализующий процесс построения нечётко-логических систем, и быстродействующий дефаззификатор (Пат. РФ № 2670826), уменьшающий время обработки информации на выходе нечёткой системы в 1,2 раза.

2. Реализована программа для ЭВМ «Программа для графической обработки изображений» №2020667278, выполняющая операции предварительной подготовки видеоизображений для последующего построения карты глубин стереоизображения, улучшающая значение пикового отношения сигнал/шум ^Щ) в 1,33 раза.

3. Создано программное решение для определения смещения объектов на изображениях, отраженное в свидетельствах о государственной регистрации программ ЭВМ: «Программа расчёта расстояния перемещения объектов на двумерных изображениях» № 2020664468 и «Программа расчёта расстояния перемещения объектов на основе распознавания цветовой метки» № 2020665538, позволяющие повысить точность построения карты глубин стереоизображения в 1,5 раза за счёт использования быстродействующего дефаззификатора, основанного на методе отношения площадей.

4. Выполнена программная реализация математической иерархической нечёткой системы, представленная в свидетельствах для государственной регистрации программ ЭВМ («Программа обучения для дефаззификации на основе метода разности площадей» № 2016612747, «Программа автоматизированной адаптации функций принадлежности для проведения нечётко-логического вывода» № 2016615425, «Программа нечётко-логического вывода разными методами дефаззификации и проведения их сравнительного анализа» № 2016615804), позволяющая сократить число операций в структуре нечёткого вывода более чем в 1,1 раза.

Реализация результатов работы.

Результаты, полученные в диссертационной работе, внедрены в ООО «НПО Кабельные сети» и ООО «Антенна Плюс» в условиях опытно-промышленных испытаний системы видеообработки информации.

Предложенные модель, метод и устройство построения карты глубин стереоизображения на основе обобщённой математической модели иерархической нечёткой системы построения карты глубин стереоизображения, используются в образовательном процессе кафедры «Вычислительная техника» Юго-Западного

государственного университета в рамках дисциплин 09.03.01 «Теория нечёткой логики и множеств» и 09.06.01 «Автоматизированные нечётко-логические системы в промышленности», что подтверждается соответствующими актами внедрения.

Соответствие паспорту специальности.

Согласно паспорту специальности 05.13.05 - «Элементы и устройства вычислительной техники и систем управления» проблематика, рассмотренная в диссертации, соответствует пунктам 1 и 2 паспорта специальности. 1. Разработка научных основ создания и исследования общих свойств и принципов функционирования элементов, схем и устройств вычислительной техники и систем управления, в части разработки схемы вычислительного процесса и структурно-функциональной организации построения карты глубин стереоизображения с применением модифицированного фильтра Канни и аппарата нечёткой логики, позволяющее повысить точность выделения границ объектов и создания карты глубин стереоизображения. 2. Теоретический анализ и экспериментальное исследование функционирования элементов и устройств вычислительной техники и систем управления в нормальных и специальных условиях, с целью улучшения технико-экономических и эксплуатационных характеристик, в части разработки модели, метода и устройства построения карты глубин стереоизображения на основе получения экспериментальных результатов построения карты глубин стереоизображения с оценкой точности коэффициентами PSNR и ЯМБЕ, доказывающие эффективность разработанных модели, метода и устройства.

Апробация результатов исследования. Диссертационная работа отражает результаты научных исследований, проводимых с 2015 по 2021 годы.

Основные теоретические положения и научные результаты диссертационной работы докладывались, обсуждались и получили положительную оценку на 19 Международных и Всероссийских научно-технических конференциях: «Оптико-электронные приборы и устройства в системах распознавания образов, обработки изображений и символьной информации» (г. Курск, 2017, 2018, 2019, 2021), «Автоматизация и энергосбережение машиностроительного и металлургического производств, технология и надежность машин, приборов и оборудования» (г.

Вологда, 2017), «Нелинейная динамика машин» (г.Москва, 2017), «Проблемы управления и моделирования в сложных системах» (г. Самара, 2017), «Интеллектуальные системы, управление и мехатроника» (г. Севастополь, 2017), «Интеллектуальные и информационные системы» (г. Тула, 2017), «Мехатроника, автоматика и робототехника» (г. Новокузнецк, 2018), «Исторические, философские, методологические проблемы современной науки» (г. Курск, 2018), «Юбилейная ХХХ международная инновационная конференция молодых учёных и студентов по проблемам машиноведения» (г. Москва, 2018), «XIII Всероссийское совещание по проблемам управления (ВСПУ-2019)» (г. Москва, 2019), «Новые информационные технологии и системы» (г. Пенза, 2019), «Фундаментальные исследования и инновационные технологии в машиностроении»» (г. Москва, 2019), «Динамика сложных сетей и их применение в интеллектуальной робототехнике» (г. Иннополис, 2019), «Медико-экологические информационные технологии-2020» (г. Курск, 2020), «Интеллектуально-информационные технологии и интеллектуальный бизнес (ИНФОС - 2020)» (г. Вологда, 2020), «Завалишинские чтения 2021» (г. Санкт-Петербург, 2021).

Личный вклад автора. Выносимые на защиту научные положения разработаны соискателем лично. В научных работах, выполненных в соавторстве, личный вклад соискателя состоит в следующем: построение обобщённой математической модели иерархической нечёткой системы построения карты глубин стереоизображения [40, 43, 86-91, 100-107], разработка метода построения карты глубин стереоизображения [15-17, 42, 66, 67, 80-82, 94, 96-98], создание устройства построения карты глубин стереоизображения [15, 94, 96], выполнение экспериментального исследования построения карты глубин стереоизображения [17], описание алгоритма построения карты глубин стереоизображения [97], формирование правил выделения границ объектов модифицированным фильтром Канни [98], проведение анализа методов нечёткой импликации [99].

Публикации. По теме диссертации опубликованы 30 научных работ, в том числе 6 статей в научных рецензируемых изданиях, входящих в перечень ВАК РФ, 6 работ, входящих в международную базу данных Scopus и WoS (1 статья

опубликована в международном журнале с квартилем Q1), 1 глава в монографии, получено 3 патента РФ на изобретение и 8 свидетельств о государственной регистрации программ для ЭВМ.

Структура и объем диссертации. Диссертация состоит из введения, 4 глав, заключения, списка литературы, включающего 118 наименований, и 2 приложений. Диссертационное исследование изложено на 148 страницах машинописного текста и содержит 79 рисунков, 12 таблиц.

Глава 1 Анализ существующих моделей, методов и устройств выделения контуров и построения карты глубин стереоизображения

1.1 Обзор и анализ моделей выделения контуров объектов и построения

карты глубин

Важной задачей, в ориентации мобильных роботов и управлении беспилотными летательными аппаратами (БПЛА) является определение препятствий и расстояний до них с заданной точностью. Для решения этой задачи используются различные датчики (например, ультразвуковые и инфракрасные дальномеры, удара и т.д.) или использовать системы технического зрения. Одним из эффективных средств определения взаимного расположения объектов является анализ данных о глубине сцены и препятствий, расположенных на пути следования робота или БПЛА [1 - 3]. Обнаружение препятствий возможно осуществить на основе оценки информации, полученной с карты глубин.

1.1.1 Существующие модели выделения контуров объектов на изображениях

При построении карты глубин одним из этапов является распознавание границ объектов на изображении. Для этого применяются следующие модели: Шарра, Робертса, Прюитта, Лапласиана Гаусиана и Собеля [1]. Анализ, представленный в работах [1 - 3], показал, что при использовании операторов Прюитта, Собеля и Робертса выделяются не все границы объектов на изображении, при этом предполагается, что их совместное использование улучшает итоговый результат. Операторы Кирша и Робинса при обработке формируют ошибочные контура, т.е. выделяют контурами то, что не является контуром. Оператор Лапласиана гаусиана показал лучший результат, но данный оператор при реализации в системах видеообработки трудно реализуем за счёт необходимости вычисления второй производной.

Кроме описанных выше методов выделения контуров также применяются: субполосный метод, используемый для распознавания изображений после дистанционного зондирования Земли [4], алгоритм кластеризации выделения контуров с высокой устойчивостью к шумам импульсного типа [5], Вейвлет преобразования, реализованные для обработки цифровых изображений в задачах ориентации роботов и в средствах таможенного контроля [6 - 7], комбинаторный алгоритм, созданный для кластеризации ориентированного градиента [8], фрактальный подход, разработанный для обработки аэрофотоснимков [9], метод регуляризации Тихонова для сглаживания одномерных сигналов с подавлением шумов и выделением границ объектов [10], метод на основе скалярного поля подходящий для машинного зрения [11]. Большинство описанных методов являются дифференциальными, то есть в формулах расчетов необходимо вычисление дифференциалов разных порядков. Данная операция трудно реализуема в параллельно-конвейерных устройствах (например, ПЛИС), работающих с целочисленными данными. Проведя анализ различных методов и статей, сделан вывод, что наиболее рационально использовать для выделения контуров объектов на изображениях метод Канни. Рассмотрев работы [12 - 14] сделан вывод в необходимости модификации стандартного фильтра Канни [15 -17]. Это объясняется тем, что в стандартном фильтре выделяются не все границы, и при этом получается большая толщина выделенных границ. Кроме этого не все определённые границы правильно объединяются в контура. Для устранения описанных выше недостатков в диссертационном исследовании разработан модифицированный фильтр Канни (гл.2 п.2.1.2), дополненный операциями удаления концевых точек и объединения разрывов границ.

1.1.2 Обзор математических моделей построения карты глубин

При построении карты глубин стереоизображения применяют следующие алгоритмы: средняя абсолютная разность (MAD - Mean absolute differences), сумма абсолютных разностей (SAD), квадратичная сумма разностей (SSD - Square sum of

differences), средняя квадратичная сумма разностей (MSD - Mean square sum of differences), нормализованная взаимная корреляция (NCC - Normalized cross-correlation), последовательный алгоритм обнаружения сходства (SSDA - Sequential similarity detection algorithm), сумма абсолютных преобразованных разностей (SATD - Sum of absolute transformed differences), полуглабольное соответсвие (SGMA) [18]. Данные алгоритмы направлены на поиск сходства одного изображения относительно другого. Для всех алгоритмов необходимо два изображения Р и Е: изображение P на котором ищут сходство относительно изображения Е.

Алгоритм MAD начинает проход с левого верхнего угла изображения Р, для поиска формируется окно размером m x n и выполняется проход по всем пикселям изображений Р и Е. В каждом шаге вычисляется для двух изображений средняя абсолютная разность интенсивностей, значения которых сравниваются для двух изображений Р и Е, чем меньше значение данной разности, тем более схожи пиксели в рассматриваемых изображениях Р и Е. Расчёт по MAD выполняется по формуле 1.1:

где Si,j - величина сходства пикселей двух изображений; IP - интенсивность текущего пикселя в изображении P, IE - интенсивность текущего пикселя в изображении E, m, n - размеры изображений, i, j - координаты левого верхнего угла в изображении Р, a, b - величины смещения координаты пикселя для изображения Р и непосредственно координаты пикселя для изображения Е.

В MAD значения разностей берутся по модулю, после чего суммируются и находится среднее значение. К недостатку данного алгоритма относят чувствительность к шумам на изображениях.

Алгоритм SAD строится на основе MAD, в математической форме представлен в формуле 1.2:

(1.1)

m n

si,j = HIW+ a - 1,j+ b -1) - IE(a,b)|. (1.2)

a=1 b=1

Достоинством алгоритма SAD является быстрота и снижение вычислительных операция по сравнению с MAD.

В алгоритме SSD значение, полученное по SAD возводится в квадрат и исключается модуль, математически данный алгоритм представлен в формуле 1.3:

m n

si,j = IKW+ a - + b - D - TE(a,b))2. (1.3)

a=1 b=1

Алгоритм SSD усложняет вычислительный процесс за счёт необходимости возведения в квадрат полученного результата, что сокращает скорость получения значения Sj

Алгоритм MSD совмещает в себе два алгоритма MAD и SSD, рассчитывается по формуле (1.4):

1 m n 2

Sij =-Il(Ip(i + a - 1,j + b -1) - IE(a,b))2. (1.4)

j m • n a=1 b=1

По сравнению с алгоритмом SSD в MSD итоговое значение Sy усредняется. Недостатком является усложнение математического аппарата из-за операции усреднения в которой реализуется операция деления, сложно реализуемая аппаратно.

Алгоритм NCC рассчитывается по формуле (1.5):

m n

III Ip(i,j)(a>b) - X(Ip(, j)^ • IE(i,j) (a,b) - X(IE(i,j))

S = a=1 b=1 _ Si,j I-. (1.5)

J'mn 2mn 2

II( I p(i,j) (a,b) - X(IP(i,j))) •IKI E(i,j) (a,b) - X(IE(i,j)))

a=1 b=1 a=1 b=1

где X(IP(jj)) и X(IE(ij)) - ожидаемые эталонные значения интенсивностей для

каждого изображения.

К недостаткам алгоритма NCC относят: сложность математического аппарата, необходимость наличия эталонных значений X(IP(i,j)) и X(IE(ij)).

Алгоритм SSDA модифицирует метод MAD и рассчитывается за три шага.

На первом шаге рассчитывается абсолютная ошибка, вычисляемая по формуле 1.6:

у(М,а,Ь) = 1р(у) (а,Ь) - п - 1Еа.1)(а,Ь) + V.1

1Е(У)

(1.6)

В формуле (1.6) 1Р(^} и 1Е(1]) рассчитываются по формулам (1.7) и (1.8):

_ 1 т п

1Р(1о) =—И^о)^. (1.7)

(1.8)

т • п

а=1 Ь=1

_ 1 т п

т • п

а=1 Ь=1

Вторым шагом устанавливается величина порога 1. Третий шаг накопление рассчитанной ошибки до момента превышения порога 1, вычисляется по формуле (1.9):

( я ^

(1.9)

тш

1<Я<тп

V я=1

где Я -накапливающаяся ошибка, 1 - порог.

В данном алгоритме накапливаются ошибки и чем медленнее рост ошибки, тем более схожи два изображения. К недостаткам относят: необходимость нескольких проходов, подбор порога, хранение в памяти накапливающейся ошибки.

Алгоритм БАТБ формируется за счёт вычисления сумм абсолютных разностей, прошедших преобразование Адамара. В данном методе суммируются значения разностей интенсивностей, взятые по модулю после прохождения преобразования Адамара. В котором умножается окно изображения Р на окно изображения Е и после результат умножается на матрицу Адамара. Матрица Адамара размером 4 на 4 имеет вид:

"1 -11 1"

1 -11 -1

11 -1 -1 1 -1 -1 1

Н4х4 =

(1.10)

Алгоритм БАТБ в математическом виде представлен в формуле (1.11):

m n

Si,j = II ((|Ip(i + a - 1,j + b -1) - IE(a, b)|) X H4X4).

(1.11)

a=1 b=1

Недостатком алгоритма БЛТБ является необходимость в дополнительном умножении на матрицу Адамара.

Для каждого из представленных выше алгоритмов определяется минимальное значение Бу в окне поиска и в результате вычисляется величина диспариета Б, вычисляемого по формуле (1.12):

По значениям диспаритета D строится карта глубин стереоизображения.

1.1.3 Интеллектуальные алгоритмы построения карты глубин

При реализации систем построения карты глубин стереоизображения имеется возможность дополнения их интеллектуальными алгоритмами. Алгоритмы искусственного интеллекта позволяют улучшить быстродействие данных систем, а также сократить число вычислительных операций в их структуре. Постоянно изменяющиеся входные данные левого и правого изображения стереопары, позволяют сделать вывод о применимости интеллектуальных алгоритмов в моделях и устройствах построения карты глубин стереоизображения. К изменяющейся информации в данных изображениях относят: цветовые компоненты RGB, тон, яркость, насыщенность цвета, уровень освещенности при съемке и др. Интеллектуальные управляющие системы бывают следующих типов: экспертные, нечетко-логические, генетические и нейронные сети. Распространение в системах обработки изображений получили нейронные сети и нечетко-логические системы, из-за недостатков других алгоритмов. Основным недостатком экспертных систем является, то что данные алгоритмы не позволяют построить автоматические системы. В генетических алгоритмах к главному недостатку относится необходимость строить генетическое дерево, что увеличивает количество вычислительных операций в его структуре.

Di,j = minSi,j.

(1.12)

Нечётко-логические системы подразделяются на группы по количеству входных и выходных переменных: SISO (одна входная переменная, одна выходная), MISO (несколько входных переменных, одна выходная) и MIMO (несколько входных и несколько выходных переменных). Также деление происходит по количеству уровней: одноуровневые и иерархические [19]. На рисунках 1.1 - 1.2 представлены виды нечетких систем.

а) б) в)

Рисунок 1.1 - Одноуровневые нечёткие системы: а - SISO, б - MISO, в - MIMO

а)

б)

Рисунок 1.2 - Иерархические нечёткие системы: а - SISO, б - MISO

Одноуровневые нечеткие системы активно внедряются в такие системы как: управление мобильными роботами, складирование и перенос изделий, определение препятствий, управление температурой печи или холодильного оборудования и т.д. В таких системах количество входных и выходных переменных ограничено,

например, для управления движением мобильного робота достаточно чтобы в нечеткую систему на вход поступили значения требуемой скорости и времени движения, а на выходе будет сформировано напряжение, передаваемое на двигатели робота. При выполнении обработки и фильтрации изображений, а также распознавании объектов на них выполняется последовательность вычислительных операций, включающих в себя формулы для расчета требуемых переменных. Из этого следует, что для описания таких систем нужно формировать иерархические нечеткие системы.

Список литературы диссертационного исследования кандидат наук Якушев Алексей Сергеевич, 2022 год

Список литературы

[1]. Алексеев В.В. Аналитическая модель обработки графических изображений в системах жизнеобеспечения города для выявления повреждений объектов [Текст] / В.В. Алексеев, Д.В. Лакомов // Труды МАИ. - 2018. - № 103.- С. 1-24.

[2]. R. Muthukrishnan, M.Radha, Edge Detection Techniques for Image Segmentation //International Journal of Computer Science & Information Technology (IJCSIT). - 2012. - №3(6). - Pp. 259 - 267.

[3]. Гонсалес Р. Цифровая обработка изображений / Р. Гонсалес, Р. Вудс. - М: Техносфера, 2005 - 1007с.

[4]. Жиляков Е.Г. О выделении контуров объектов на изображениях земной поверхности [Текст] / Е.Г. Жиляков, А.А. Черноморец, А.Н. Заливин // Научные ведомости белгородского государственного университета. Серия: Экономика, Информатика. - 2011. - № 1(96). - С. 196-200.

[5]. Белим С.В., Кутлунин П.Е. Выделение контуров на изображениях с помощью алгоритма кластеризации [Текст] / С.В. Белим, П.Е. Кутлунин // Компьютерная оптика. - 2015. - Т.39. - №1. - С.119-124.

[6]. Безуглов Д.А., Кузин А.П. Информационная технология выделения контуров изображения [Текст] / Д.А. Безуглов, А.П. Кузин // Академический вестник Ростовского филиала Российской таможенной академии. - 2015.- №1(18). - С.33-39.

[7]. Акинин М.В. Нейросетевой алгоритм выделения контуров на изображениях, основанный на Вейвлете Габора [Текст] / М.В. Акинин, Т.И. Лапина, М.Б. Никифоров // Известия Тульского государственного университета. Технические науки. - 2013. - № 9-1. - С. 208-216.

[8]. Залесский Б.А. Комбинаторный алгоритм выделения контуров объектов на цифровых изображениях [Текст] // Информатика.- 2013. - № 3(39). - С. 13-20.

[9]. Леготкин Р.Л. Выделение контуров на цифровом аэрофотоизображении с помощью фрактального подхода [Текст] // Известия высших учебных заведений. Геодезия и аэрофотосъемка. - 2002. - №5. - С.69-72.

[10]. Цибанов В.Н. Применение метода регуляризации Тихонова для выделения контуров изображений [Текст] / В.Н. Цибанов, А.С. Крылов// Вестник Московского университета. Серия 15: Вычислительная математика и кибернетика. - 2008. - №2.

- С. 11-16.

[11]. Волков И.А. Выделение фрагментов плоского изображения на основе его представления в виде скалярного поля: обработка изображений, полевая модель изображения, выделение контуров, выделение сегментов [Текст] // Вестник МГТУ. Труды Мурманского государственного технического университета. - 2010. - Т.13.

- №3. - С. 607-612.

[12]. Лапин М.В. Методы обработки изображения для выделения заранее определенных меток и маркеров [Текст] // Труды молодых ученых Алтайского государственного университета. - 2019. - № 16. - С.170-173.

[13]. Костюхина Г.В. Настройка модифицированного детектора Канни на основе модели энергетических признаков Вейвлет-преобразования [Текст] / Г.В. Костюхина, М.П. Шлеймович // Южно-Сибирский научный вестник. - 2019. -№ 2(26). -С. 123 - 128.

[14]. Карачёв Д.К. Оптимизация алгоритма двойного порогового фильтра оператора Канни [Текст] // Международный научный журнал «Инновационное развитие». - 2017. - № 5(10). - С.147 - 148.

[15]. Бобырь М.В. Модернизированный фильтр Канни для построения карт глубин [Текст]/ М.В. Бобырь, А.Е Архипов, А.С. Якушев // Завалишинские чтения 21: сборник трудов XVI международной конференции по электромеханике и робототехнике. - Санкт-Петербург, 2021. - С.20-24.

[16]. Bobyr M.V. Three-coordinate definition of color mark and distance to objects according to strereo image / M.V. Bobyr, N.A. Milostnaya, Yakushev A.S.// Динамика сложных сетей и их применение в интеллектуальной робототехнике (Dynamics of Complex Networks and their Application in Intellectual Robotics): cборник материалов III Международной школы-конференции молодых учёных. - Иннополис, 2019. -С. 38-40.

[17]. Бобырь М.В. Метод обработки стереоизображений для управления мобильным роботом [Текст] / М.В. Бобырь, А.Е. Архипов, А.С. Якушев // Юбилейная ХХХ международная инновационно-ориентированная конференция молодых учёных и студентов: сборник трудов конференции. - Москва, ИМАШ РАН, 2019. - С.436-439.

[18]. Алгоритм сопоставления изображений. Алгоритм MAD, SAD, SSD, MSD, NCC, SSDA, SATD, LBD [Электронный ресурс], Режим доступа: https://russianblogs.com/article/4731334238/, свободный - 12.07.2021.

[19]. Бобырь М.В. Обучение нейро-нечетких систем: монография. - М.: АРГАМАК-МЕДИА, 2017 - 240 с.

[20]. Емельянов С.Г. Интеллектуальные системы на основе нечеткой логики и мягких арифметических операций / С.Г. Емельянов, В.С. Титов, М.В. Бобырь. -

М.:А АРГАМАК-МЕДИА, 2014 - 341с.

[21]. K. Pileun, C. Jingdao, K.C.Yong, SLAM-driven robotic mapping and registration of 3D point clouds // Automation in Construction. - 2018. -V. 89. - Pp. 38-48.

[22]. D. Zhu, X. Sun, S. Liu, P. Guo, A SLAM method to improve the safety performance of mine robot // Safety Science.- 2019. - V. 120. - Pp.422-427.

[23]. S. Oishi, Y. Inoue, J. Miura, S. Tanaka, SeqSLAM++: View-based robot localization and navigation // Robotics and Autonomous Systems.- 2019. - V.112. - Pp.13-21.

[24]. Матюнин С.Б. Обработка областей наложений объектов при построении карт глубины для видео [Текст] / С.Б. Матюнин, Д.С. Ватолин // Цифровая Обработка Сигналов. - 2014. - № 3. - С.23-29.

[25]. Mohan D.A., Ram Dr.A.R., Review on Depth Estimation for Computer Vision Applications // International Journal of Engineering and Innovative Technology (IJEIT).-2015.- Vol. 4. - Is. 11. - Pp.235-239.

[26]. Чугунов Р.А. Методика построения карт глубины стереоизображения с помощью капсульной нейронной сети [Текст] / Р.А.Чугунов, А.Д.Кульневич, С.В. Аксенов // Доклады ТУСУР. - 2019. - Т. 22. - № 1. - C.83-86.

[27]. F.Blais, Review of 20 years of range sensor development // Journal of Electronic Imaging. - 2004. - Vol.13. - no. 1. - Pp. 231-243.

[28]. A. S. Ogale, Y.Aloimonos, Shape and the Stereo Cor-respondence Problem // International Journal of Computer Vision.- 2005. - Vol. 65. - no. 3. - Pp. 147-162.

[29]. M. Kukkonen, M. Maltamo, P. Packalen, Image matching as a data source for forest inventory - Comparison of Semi-Global Matching and Next-Generation Automatic Terrain Extraction algorithms in a typical managed boreal forest environment // International Journal of Applied Earth Observation and Geoinformation. - 2017.- V. 60.-Рр. 11-21.

[30]. A. J. Malekabadi, M.Khojastehpour, B. Emadi, Comparison of block-based stereo and semi-global algorithm and effects of pre-processing and imaging parameters on tree disparity map // Scientia Horticulturae. 2019. - V.247. - Pp.264-274.

[31]. C.Zhao, W.S.Lee, D. He, Immature green citrus detection based on colour feature and sum of absolute transformed difference (SATD) using colour images in the citrus grove // Computers and Electronics in Agriculture. 2016. - V. 124. - Pp. 243-253.

[32]. J. Tariq, S. Kwong, H. Yuan, HEVC intra mode selection based on Rate Distortion (RD) cost and Sum of Absolute Difference (SAD) // Journal of Visual Communication and Image Representation. -2016.- V.35.- Pp. 112-119.

[33]. Введение в эпиполярную геометрию [Электронный ресурс], Режим доступа: https://waksoft.susu.ru/2021/01/26/vvedenie-v-epipolyarnuyu-geometriyu-i-stereozrenie/, свободный - 12.07.2021.

[34]. Сурдин В.Г. Камера-обскура / В.Г. Сурдин, М.А. Карташёв // Квант. - 1999. -№2. - С.12-15.

[35]. Карта глубины [Электронный ресурс], Режим доступа: https://neerc.ifmo.ru/wiki/index.php?title=%D0%9A%D0%B0%D1%80%D1%82%D0 %B0_%D0%B3%D0%BB%D1%83%D0%B1%D0%B8%D0%BD%D1%8B, свободный - 12.07.2021.

[36]. Протасов С.И. Об одном подходе к решению задачи ректификации стереоизображений по сцене без калибровки камер [Текст] / С.И. Протасов, А.А.

Крыловецкий, С.Д. Кургалин // Известия ЮФУ. Технические науки. - 2012. - №6.

- С.144-148.

[37]. Дюдин М.В. Способ выделения контура изображения легких на рентгеновском снимке грудной клетки [Текст] / М.В. Дюдин, В.В. Жилин, К.Д.А. Кассим, П.С. Кудрявцев // Известия Юго-Западного государственного университета. Серия: Управление, вычислительная техника, информатика, медицинское приборостроение. - 2014. - №4. - С. 107-114.

[38]. Кирпичников А.П. Автоматическое распознавание автомобильных номеров [Текст] / А.П. Кирпичников, С.А. Ляшева, А.В. Обухов, М.П. Шлеймович// Вестник технологического университета. - 2015. - Т.18. - №4. - С. 218-222.

[39]. M.V. Bobyr, S.G.Emelyanov, A nonlinear method of learning neuro-fuzzy models for dynamic control systems // Applied Soft Computing Journal. - 2020. - V. 88. - Pp. 106030.

[40]. M.V. Bobyr, A.S. Yakushev, A.A.Dorodnykh, Fuzzy devices for cooling the cutting tool of the CNC machine implemented on FPGA // Measurement. - 2020. - V. 152. -Pp. 107378 (Q1 IF 3.927).

[41]. M.V. Bobyr, S.A. Kulabukhov, Simulation of control of temperature mode in cutting area on the basis of fuzzy logic // Journal of Machinery Manufacture and Reliability. -2017. - V.46(3). - Pp. 288-295.

[42]. Бобырь М.В. Распознавание оттенка цветовой метки на основе нечеткой кластеризации [текст] / М.В. Бобырь, А.Е. Архипов, А.С. Якушев // Информатика и автоматизация. - 2021. - Т.20. - №2. - С.407-434.

[43]. Бобырь М.В. Аппаратно-программный мехатронный комплекс для фиксации подвижных объектов [текст] / М.В. Бобырь, А.А. Дородных, А.С. Якушев, В.А. Булатников // Программная инженерия. - 2020. - Т.11. - №2. - С.77-85.

[44]. Intel RealSense-обзор камер [Электронный ресурс], Режим доступа: https://evo.net.ua/intel-realsense-obzor-kamer/, свободный - 12.07.2021.

[45]. Камеры глубины - тихая революция (когда роботы будут видеть) часть 1 [Электронный ресурс], Режим доступа: https://habr.com/ru/post/457524/, свободный

- 12.07.2021.

[46]. Технологии 3d сканирования: фотограмметрия, триангуляция, структурированный свет [Электронный ресурс], Режим доступа: https://3dradar.ru/post/47801/, свободный - 12.07.2021.

[47]. Обзор Microsoft Kinect: беспроводной контроллер нового поколения [Электронный ресурс], Режим доступа: https://www.ferra.ru/review/games/109656.htm, свободный - 12.07.2021.

[48]. Time of flight [Электронный ресурс], Режим доступа: https://habr.com/ru/post/224605/, свободный - 12.07.2021.

[49]. Stereo depth camera Intel D400 [Электронный ресурс], Режим доступа: https://software.intel.com/ru-ru/realsense/d400, свободный - 12.07.2021.

[50]. ELP-1M2CAM001-HOV90 Dual Lens [Электронный ресурс], Режим доступа: http://www.webcamerausb.com/elp-hd-color-uvc-webcam-cmos-ov9712-dual-lens-3d-usb-stereo-vision-camera-for-3d-printer-people-counting-p-253.html, свободный -12.07.2021.

[51]. oCamS-1CGN-U - USB 3.0 Stereo Camera [Электронный ресурс], Режим доступа: https://github.com/withrobot/oCamS/tree/master/Product/oCamS-1CGN-U, свободный - 12.07.2021.

[52]. Времяпролетный метод: современное состояние развития ToF-технологии и ее применение в 3d-системах [Электронный ресурс], Режим доступа: http:// secuteck.ru/ articles2/videonabl/vremyaproletnyy-metod- sovremennoe-sostoyanie-razvitiya-tof-tehnologii-i-ee-primenenie-v-3d-sistemah, свободный -12.07.2021.

[53]. Master A., Camera Lytro Cinema // MediaVision. - 2016. - № 5. - Pp. 37—39.

[54]. Власенко В. И. Техника объёмной фотографии / В.И. Власенко — М.: «Искусство». 1978. - 102 с.

[55]. Волосов Д. С. Фотографическая оптика. / Д.С. Волосов - 2-е изд. - М.: «Искусство». 1978. -543 с.

[56]. Рожков С.Н. Стереоскопия в кино-, фото-, видеотехнике / С.Н.Рожков, Н.А. Овсянникова. - М.: «Парадиз», 2003. - 136 с.

[57]. E. H. Adelson и J. Y. A. Wang, Single Lens Stereo with a Plenoptic Camera / IEEE Transactions on Pattern Analysis and Machine Intelligence.- 1992. - V.14. - №2.- Pp.99106.

[58]. R. Ng, M. Levoy, M. Bredif, G. Duval, M. Horowitz, and P. Hanrahan, Light Field Photography with a Hand-Held Plenoptic Camera / Stanford University Computer Science Tech Report CSTR 2005-02. 2005. - V.2.- Pp. 1-11.

[59]. LYTRO И камеры светового поля [Электронный ресурс], Режим доступа: https://beardycast.com/article/gadget/lytro/, свободный - 12.07.2021.

[60]. Технология лидар [Электронный ресурс], Режим доступа: https://technokauf.ru/branches/izyskaniya_i_zemelnyy_kadastr/lidar_tekhnologiya/, свободный - 12.07.2021.

[61]. Лидар [Электронный ресурс], Режим доступа: https://gistroy.ru/article/lidar/, свободный - 12.07.2021.

[62]. Лидар WGS [Электронный ресурс], Режим доступа: https://sick.trascon.ru/store/catalogue/category/sistemnye-resheniia/sistemy-pomoshchi-voditeliu/wgs_2646/, свободный - 12.07.2021.

[63]. Лидары в беспилотных автомобилях [Электронный ресурс], Режим доступа: https://vc.ru/transport/61028-lidary-v-bespilotnyh-avtomobilyah, свободный -12.07.2021.

[64]. Степанов Д.Н. Исследование процесса калибровки и оптических характеристик стереонасадки 3DBERRY [Текст] / Д.Н. Степанов, А.В. Смирнов // Программные системы: теория и приложения. - 2018.- Т. 9. - № 3 (38). - С. 11-28.

[65]. Алтухов В.Г. Вычисление расстояния до объекта на основе карты глубин полученной методом зеркального разделения изображений [Текст] / В.Г. Алтухов, А.Б. Колкер // Автоматика и программная инженерия. - 2017. - № 1 (19). - С. 6569.

[66]. M.V. Bobyr, A.S. Yakushev, N.A. Milostnaya, Three-coordinate definition of color mark and distance to objects according to strereo Image / 3rd School on Dynamics of Complex Networks and their Application in Intellectual Robotics, DCNAIR 2019. -2019. - Pp.29-31. - doi: 10.1109/DCNAIR.2019.8875548.

[67]. M.V. Bobyr, A.S. Yakushev, S.A. Kulabukhov, A.E. Arkhipov, System of stereovision based on fuzzy-logical method of constructing depth map / International Russian Automation Conference, RusAutoCon 2018. - 2018. - Pp.8501701. - doi; 10.1109/RUSAUTOCON.2018.8501701.

[68]. U. Sara, M. Akter, M. S. Uddin Image quality assessment through FSIM, SSIM, MSE and PSNR - a comparative study / Journal of Computer and Communications. -2019. - №7. - pp.8-18.

[69]. Пат. № 2497196, МПК G06T 17/00, H04N 13/02. Способ и устройство для обработки карты глубины / Г.Р.Б.М Клейн, В. Х. А. Брюльс. Заявитель и патентообладатель: Конинклейке Филипс, Электроникс H.B. (NL). -№2010118466/07; заявл. 02.10.2008; опубл. 27.10.2013; Бюл. №30.

[70]. Пат. № 2721177, МПК G06T 7/00. Способ и устройство для определения карты глубины для изображения / К. Варекамп, П.Л.Э. Вандевале. Заявитель и патентообладатель: Конинклейке Филипс H.B. (NL). - №2018105095; заявл. 12.07.2016; опубл. 18.05.2020; Бюл. №14.

[71]. Пат. № 2417548, МПК H04N 13/00, H04N 5/232, G06T 17/00. Фиксация и создание стереоизображений и стереовидео в реальном времени моноскопическим маломощным мобильным устройством / Х. Ван, С.-Т. Ли, Ш. Манджунатх. Заявитель и патентообладатель: Квэлкомм Инкорпорейтед. - № 2009107082/09; заявл. 30.07.2007; опубл. 27.04.2011; Бюл.№12.

[72]. Пат. № 2698402, МПК G06T 7/593, H04N 13/10. Способ обучения сверточной нейронной сети для восстановления изображения и система для формирования карты глубины изображения (варианты) / В.В. Анисимовский, А.Ю. Щербинин, С.А. Турко. Заявитель и патентообладатель: Самсунг Электроникс КО., ЛТД. -№2018131290; заявл. 30.08.2018; опубл. 26.08.2019; Бюл. №24.

[73]. Пат. № 2718423, МПК G06T 5/00. Способ определения карты глубин для изображения и устройство для его осуществления / К. Варекамп. Заявитель и патентообладатель: Конинклейке Филипс H.B. (NL). - №201744798; заявл. 06.05.2016; опубл. 02.04.2020; Бюл.№10.

[74]. Пат. № 2504010, МПК вОбТ 5/00, вОбТ 7/00. Способ и устройство заполнения зон затенения карты глубин или несоответствий, оцениваемой на основании по меньшей мере двух изображений / Д. Алессандрини, Р. Балте, С. Патё. Заявитель и патентообладатель: Франс Телеком. - №2011102402/08; заявл. 22.06.2009; опубл. 10.01.2014; Бюл. №1.

[75]. Пат. № 2716311, МПК вОбБ 17/17, вОбТ 11/00, вОбК 3/02. Устройство для восстановления карты глубины с поиском похожих блоков на основе нейронной сети / Н.В. Гапон, В.В. Воронин, Р.А. Сизякин, М.М. Жданова, Е.А. Семенищев, О.С. Балабаева. Заявитель и патентообладатель: Федеральное государственное бюджетное образовательное учреждение высшего образования «Донской государственный технический университет» (ДГТУ). - №201936818; заявл. 18.11.2019; опубл. 12.03.2020; Бюл. №8.

[76]. Пат. № 2382406, МПК вОбК 9/00. Способ улучшения карты диспарантности и устройство для реализации способа / В.В. Буча, А.К. Игнатов. Заявитель и патентообладатель: «САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд.». - №200814011/28; заявл. 10.10.2018; опубл. 20.02.2010; Бюл.№5.

[77]. Пат. № 2419880, МПК вОбТ 7/00, вОбТ 9/40, И04К 15/00. Способ и устройство для вычисления и фильтрации карты диспарантности на основе стерео изображений / В.В. Буча, А.К. Игнатов. Заявитель и патентообладатель: «САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд.». - №2018144840/09; заявл. 14.11.2008; опубл. 27.05.2011; Бюл. №15.

[78]. Пат. №2587425, МПК вОбТ 7/00, вОбК 9/46. Способ получения карты глубины изображения повышенного качества / С. Пегг, Х. Сандерсон, Д.Ч. Флак. Заявитель и патентообладатель: ДАЙНЭМИК ДИДЖИТЛ ДЕПС РИСЕРЧ ПТИ ЛТД. - № 2013114208/08; заявл. 14.09.2011; опубл. 20.06.2016; Бюл. №17.

[79]. Пат. № 2479039, МПК вОбТ 15/00. Способ улучшения плотной и разреженной карт диспарантности, точности реконструируемой трехмерной модели и устройство для реализации способа / П.В. Скрибцов. Заявитель и патентообладатель: Закрытое акционерное общество «БОУ Лабораториз». -№2012111443/08; заявл. 26.03.2012; опубл. 10.04.2013; Бюл. №10.

[80]. Бобырь М.В., Милостная Н.А., Якушев А.С. Программа для графической обработки изображений/ Свидетельство о государственной регистрации программы для ЭВМ №2020667278, заявл. 08.12.2020, опубл. 22.12.2020.

[81]. Бобырь М.В., Архипов А.Е., Якушев А.С. Программа расчёта расстояния перемещения объектов на основе распознавания цветовой метки/ Свидетельство о государственной регистрации программы для ЭВМ №2020665538, заявл.П.П .2020, опубл.27.11.2020.

[82]. Бобырь М.В., Архипов А.Е., Якушев А.С. Программа расчёта перемещения объектов на двумерных изображениях / Свидетельство о государственной регистрации программы для ЭВМ №2020664488, заявл. 11.11.2020, опубл. 13.11.2020.

[83]. Козлов В.Л. Методики повышения точности измерения расстояний на основе корреляционного анализа стереоизображения [Текст] // Приборы и методы измерений. - 2018. - Т.1. - №1. - С.45-55.

[84]. Фисенко В.Т., Фисенко Т.Ю. Компьютерная обработка и распознавание изображений / В.Т. Фисенко, Т.Ю.Фисенко. - С-Пб. : СПбГУ ИТМО. - 2008. -192 с.

[85]. Малыхина М.П. Аспекты практического применения цветового различия для распознавания и выделения границ изображений [Текст] / М.П. Малыхина, Д.А. Шичкин // Научный журнал КубГАУ. - 2013. - Т. 89. - № 5. - С 623-63.

[86]. Пат. №2670826 Российская Федерация, МПК B25J 5/00, B25J 9/16, G05B 19/045, G05D 1/02. Способ и устройство мобильного робота для прохождения замкнутых контуров и лабиринтов / С.А. Кулабухов, М.В. Бобырь, А.С. Якушев. Заявитель и патентообладатель: Юго-Западный государственный университет (ЮЗГУ). - № 2017129984; заявл. 24.08.2017; опубл. 25.10.2018; Бюл. №30.

[87]. Пат. №2676114 Российская Федерация, МПК B23Q 11/10, B23Q 15/00. Устройство и способ управления температурой в зоне резания / М.В. Бобырь, М.А. Абдулджаббар, А.С. Якушев. Заявитель и патентообладатель: Юго-Западный государственный университет (ЮЗГУ). - №2017129946; заявл. 24.08.2017; опубл. 26.12.2018; Бюл. №36.

[88]. Пат. №2709125 Российская Федерация, МПК B23Q 11/10, B23Q 15/18. Способ и устройство для управления охлаждением режущего инструмента при обработке изделий на оборудовании с ЧПУ / М.Ю. Лунева, А.А Дородных., А.С. Якушев, М.В. Бобырь, А.Е. Архипов. Заявитель и патентообладатель: Юго-Западный государственный университет (ЮЗГУ). - №2018117316; заявл. 10.05.2018; опубл. 16.12.2019; Бюл. №35.

[89]. Обучение нейро-нечетких систем [Текст]: монография / М.В. Бобырь. - М.: ИНФРА-М, 2017 - С. 240, раздел: 4.1 - «Нечеткая иерархическая система угловой ориентации мобильного робота» - С. 185-204.

[90]. Бобырь М.В. Нечеткая иерархическая система угловой ориентации мобильного робота. Часть I [текст] / М.В. Бобырь, С.А. Кулабухов, А.С. Якушев // Мехатроника, автоматизация, управление. - 2016. - Т.17. - №7. - С.458-464.

[91]. Бобырь М.В. Нечеткая иерархическая система угловой ориентации мобильного робота. Часть II [текст] / М.В. Бобырь, С.А. Кулабухов, А.С. Якушев // Мехатроника, автоматизация, управление. - 2016. - Т.17. - №8. - С.531-535.

[92]. Бобырь М.В. Метод расчета карты глубин на основе мягких операторов [Текст] / М.В. Бобырь, А.Е. Архипов, Н.А. Милостная// Системы и средства информатики. - 2019. - Т.29. - №2. - С.71-84.

[93]. Пегат А. Нечеткое моделирование и управление [Текст] / А. Пегат; пер. с англ.

- 2-е изд. - М.:БИНОМ. Лаборатория знаний. - 2013. - 798с.

[94]. Бобырь М.В. Построение карты глубины с использованием модернизированного фильтра Канни. Часть I [Текст] / М.В. Бобырь, А.Е. Архипов, А.С. Якушев, Ц. ЦАО // Промышленные АСУ и контроллеры. - 2021. - №4. - С.12

- 20.

[95]. M. Perez-Patricio, A. Aguilar-Gonzalez, M. Arias-Estrada, H.R. Hernandez-De Leon, J.L. Camas-Anzueto, J.A. J. Osuna-Coutino, An FPGA stereo matching unit based on fuzzy logic // Embedded hardware design microprocessors and microsystems. - 2016. - V.42. - Pp. 87-99.

[96]. Бобырь М.В. Построение карты глубины с использованием модернизированного фильтра Канни. Часть II [текст] / М.В. Бобырь, А.Е. Архипов,

А.С. Якушев, С. Бхаттачарья // Промышленные АСУ и контроллеры. - 2021. - №5.

- С.3-15.

[97]. Якушев А. С. Алгоритм построения карты глубины методом определения градиента расстояний от границ изображений / М.В. Бобырь, Н.А. Милостная, А.С. Якушев // Оптико-электронные приборы и устройства в системах распознавания образов и обработки изображений (Распознавание-2021): материалы XVI Международной научно-технической конференции. - Курск, 2021. - С.72-74.

[98]. Якушев А. С. Правила выделения контуров объектов на изображениях модифицированным фильтром Канни // Оптико-электронные приборы и устройства в системах распознавания образов и обработки изображений (Распознавание-2021): материалы XVI Международной научно-технической конференции. - Курск, 2021. - С.261-263.

[99]. M.V. Bobyr, A.S. Yakushev, A.A. Dorodnykh, Analysis of fuzzy models of implication in the task of controlling a mobile robot // Proceedings - 2018 International Conference on Industrial Engineering, Applications and Manufacturing, ICIEAM 2018.

- 2018. - Pp.8728798. - doi: 10.1109/ICIEAM.2018.8728798.

[100]. M.V.Bobyr, S.A. Kulabukhov, A.V. Sorokoletova, A.S. Yakushev Fuzzy model for capturing moving object with pneumatic mechanisms // Proceedings - 2018 International Conference on Industrial Engineering, Applications and Manufacturing, ICIEAM 2018. - 2018. - Pp. 8728591. - doi: 10.1109/ICIEAM.2018.8728591.

[101]. M.V. Bobyr, A.S. Yakushev, N.A. Milostnaya Fuzzy algorithm of a mobile robot's motion // 2nd International Conference on Industrial Engineering, Applications and Manufacturing, ICIEAM 2016 - Proceedings. - 2016. - Pp. 355-360. - doi: 10.1109/ICIEAM.2016.7910971.

[102].Якушев А. С. Метод центра тяжести с коррекцией для распознавания цветовой метки // Медико-экологические информационные технологии-2020: сборник научных статей XXIII Международной научно-технической конференции. Часть 2. - Курск, 2020. - С.124-128.

[103]. Бобырь М.В., Дородных А.А., Якушев А.С. Программа для управления автоматизированным мехатронным комплексом с помощью операторской панели /

Свидетельство о государственной регистрации программы для ЭВМ .№2019610810, заявл. 29.12.2018, опубл. 18.01.2019.

[104]. Кулабухов С.А., Бобырь М.В., Якушев А.С. Программа обучения дефаззификации для метода разности площадей / Свидетельство о государственной регистрации программы для ЭВМ №2016612747, заявл. 28.12.2015, опубл. 9.03.2016.

[105]. Кулабухов С.А., Бобырь М.В., Якушев А.С. Программа нечетко-логического вывода разными методами дефаззификации и проведения их сравнительного анализа / Свидетельство о государственной регистрации программы для ЭВМ №2016615804, заявл. 04.04.2016, опубл. 20.06.2016.

[106]. Кулабухов С.А., Бобырь М.В., Якушев А.С. Программа автоматизированной адаптации функций принадлежности для алгоритмов нечетко-логического вывода / Свидетельство о государственной регистрации программы для ЭВМ №2016615425, заявл. 25.03.2016, опубл. 20.06.2016.

[107]. Кулабухов С.А., Бобырь М.В., Якушев А.С. Программа управления мобильным роботом для ориентации его в пространстве и обхождения препятствий / Свидетельство о государственной регистрации программы для ЭВМ №2015619396, заявл. 6.07.2015, опубл. 2.09.2015.

[108]. Middlebury Stereo Datasets. [Электронный ресурс], Режим доступа: http://vision.middlebury.edu/stereo/data, свободный - 12.07.2021.

[109]. Котюжанский Л.А. Вычисление карты глубины стереоизображения на графическом процессоре в реальном времени [Текст] // Фундаментальные исследования. - 2012. - № 6(2). - С. 444-449.

[110]. Ершов Е.И. Алгоритмы стереозрения на основе параллакса движения монокулярной камеры бокового обзора [Текст] / Е.И. Ершов, В.Н. Карнаухов, М.Г. Мозеров // Информационные процессы. - 2015. - Т.15. - №4. - С.414-427.

[111]. С. Georgoulas, L. Kotoulas, G.Ch. Sirakoulis, I. Andreadis, A. Gasteratos, Realtime disparity map computation module // Microprocessors and microsystems. - 2008. -№32. - pp. 159-170.

[112]. M. Gong, Y.Yang, Fast unambiguous stereo matching using reliability-based dynamic programming // IEEE Transactions on patern analysis and machine intelligence. - 2005. - V.27. - № 6. - pp. 998 - 1003.

[113]. O. Veksler, Dense features for semi-dense stereo correspondence // International journal of computer vision. - 2002. - № 47. - pp.247-260.

[114]. J. C. Kim, K.M. Lee, B.T. Choi, S.U. Lee, A dense stereo matching using two-pass dynamic programming with generalized ground control points // Proccedings IEEE conference on computer vision and pattern recognition. - 2005. - pp. 1075-1082.

[115]. Савельев М.В. Конструкторско-технологическое обеспечение производства ЭВМ. Учебное пособие для вузов. - М.: Москва «Высшая школа», 2001 - 319с.

[116]. Кулабухов, С.А. Метод, алгоритм и устройство дефаззификации для системы управления ориентацией мобильного робота: дис. канд. техн. наук: 05.13.05 : защищена 07.12.2018 / С.А. Кулабухов; Юго-Западный государственный университет (ЮЗГУ). - Курск, 2018. - 136 с.

[117]. C. Georgoulas, I. Andreadis, A real-time fuzzy hardware structure for disparity map computation // Journal of Real-Time Image Processing. - 2011. - Vol. 6. - Iss. 4. -Pp. 257-273.

[118]. Чумаченко А.В. Оптимизация вычисления SAD для задачи восстановления рельефа по изображениям стереопар в высокопроизводителньых системах стереозрения [Текст] // Известия ЮФУ. Технические науки. - 2013. - №3(140). -С.89-96.

Приложение А

Копии свидетельств о государственной регистрации программ для ЭВМ

Приложение Б

Копии свидетельств о государственной регистрации изобретений