Методы обработки и представления данных об окружающем пространстве в реальном масштабе времени с использованием многокамерных видеосистем тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Гайворонский Виталий Александрович

• Гайворонский Виталий Александрович
• кандидат наук
• 2023

Оглавление диссертации кандидат наук Гайворонский Виталий Александрович

ВВЕДЕНИЕ

ГЛАВА 1. АНАЛИЗ МЕТОДОВ И СРЕДСТВ ФОРМИРОВАНИЯ ОБЪЕМНЫХ ПАНОРАМНЫХ ИЗОБРАЖЕНИЙ

1.1 Анализ существующих систем регистрации панорамных изображений

1.2 Анализ методов поиска особых точек на изображениях для формирования панорамных изображений

1.3 Анализ программно-аппаратных и математических методов получения данных о пространстве

1.4 Анализ особенностей построения объемного панорамного изображения и постановка задач дальнейшего исследования

Выводы по главе

ГЛАВА 2. ИССЛЕДОВАНИЕ И ФОРМИРОВАНИЕ ЦИФРОВОЙ МОДЕЛИ ОБЪЕМНОГО ПАНОРАМНОГО ИЗОБРАЖЕНИЯ

2.1 Исследование и классификация методов и программно-аппаратных систем для построения цифровой модели пространства

2.2 Разработка и исследование структурной модели построения объемного панорамного изображения

2.3 Исследование и разработка метода калибровки стереопар многокамерной системы

2.4 Исследование и построение метода поиска особых точек для получения панорамного изображения

2.5 Исследование системы построение карт глубины для статичных изображений и видеопотока

Выводы по главе

ГЛАВА 3. РАЗРАБОТКА И ИССЛЕДОВАНИЕ АЛГОРИТМИЧЕСКИХ И ПРОГРАММНО-АППАРАТНЫХ СРЕДСТВ ДЛЯ ФОРМИРОВАНИЯ ОБЪЕМНОГО ПАНОРАМНОГО ИЗОБРАЖЕНИЯ В РЕАЛЬНОМ МАСШТАБЕ ВРЕМЕНИ

3.1 Разработка структурной модели экспериментального стенда

3.2 Разработка и исследование нахождения особенностей на снимках для построения объемного изображения

3.3 Программно-аппаратная реализация системы калибровки и построения данных о пространстве

Выводы по главе

ГЛАВА 4. ИССЛЕДОВАНИЕ ЭФФЕКТИВНОСТИ ПРИМЕНЕНИЯ ПРЕДЛОЖЕННОГО ПОДХОДА ПОСТРОЕНИЯ ЦИФРОВОЙ МОДЕЛИ ПРОСТРАНСТВА В РЕАЛЬНОМ МАСШТАБЕ ВРЕМЕНИ

4.1 Программно-аппаратная реализация многокамерной системы для построения объемного панорамного изображения

4.2 Качество функционирования системы построения объемного панорамного изображения

4.3 Анализ работы системы построения объемного панорамного изображения

4.4 Оценка полученных данных и результаты исследования системы построения объемного панорамного изображения

Выводы по главе

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

ПРИЛОЖЕНИЕ А

ПРИЛОЖЕНИЕ Б

ПРИЛОЖЕНИЕ В

Введение диссертации (часть автореферата) на тему «Методы обработки и представления данных об окружающем пространстве в реальном масштабе времени с использованием многокамерных видеосистем»

ВВЕДЕНИЕ

Актуальность темы исследования и степень ее разработанности.

В настоящие время наблюдается интенсивное развитие средств визуализации, которые находят все большее применение в качестве систем технического зрения в различных отраслях производства, сельском хозяйстве, быту, научных исследованиях и других областях деятельности человека. Особый интерес вызывают системы дополненной и виртуальной реальности, когда непосредственное присутствие человека невозможно по тем или иным причинам, а визуальная оценка ситуации в окружающем пространстве необходима для принятия решений в реальном масштабе времени.

Требование реального времени накладывает жесткие ограничения на формирование модели окружающего пространства. Зачастую эта информация представляет собой стандартный видеопоток с фиксированной частотой кадра, при этом речь о формировании панорамной и объемной модели не идет, это создает ряд проблем при оценке ситуаций и принятия оперативных решений. Дополнительные возможности дает использование многокамерных систем, однако построение панорамы и объема, в таких ситуациях, обычно выносится в постобработку.

Существенный вклад в разработку методов обработки информации в системах технического зрения, в том числе в создании объемных и панорамных изображений, внесли Абрамов В.В., Анисимов Б.В., Бейтс Р., Быков Р.Е., Гонсалес Р., Горлов Д.В., Джгаркава Г.М., Дьяконов Б., Ким Н.В., Киричук В.С., Константинов И.С., Красильников Н.Н, Милов В.Р., Препарата Ф., Приоров А.Л., Розенфельд А., Старк Г., Сойфер В.А., Титов Д.В., Шапиро Л., и другие. В работах, посвященных формированию панорамных изображений, достаточно полно решены задачи поиска особенностей, выделение признаков на снимках, и их использование для последующего построения различных проекций панорамы. Задача отображения объема и

определения расстояния между объектами в реальном времени успешно решается за счет использования активных систем, в состав которых помимо фото и видеоаппаратуры входят отдельные системы определения расстояний (лидар, ик-проекции и так далее). Такие системы сбора информации одновременно являются источниками дополнительного излучения, что в ряде случаев является недопустимым. Для пассивных систем, использующих только видеопоток, решение этой задачи, даже при отсутствии панорамы, является трудоемким.

В настоящее время, помимо многокамерных моноблоков, существует множество систем технического зрения, обеспечивающих получение моновидеопотоков заданного пространства с различных ракурсов. Учитывая, что эти устройства объединены в общую систему и имеют общее управление, возможно решение проблемы синхронизации видеопотоков, т. е. по сути также можем рассматривать их как многокамерные системы. Однако, задача использования многокамерных систем при формировании объемных панорамных изображений в реальном времени недостаточно отражена в литературных источниках. Ее решение значительно расширило бы возможности применения систем технического зрения в различных областях народного хозяйства страны. В связи с этим решение задачи получения объемного панорамного изображения на многокамерных системах в режиме реального времени является актуальной.

Объектом исследования в данной работе являются процессы сбора, первичной обработки и построения структуры данных, полученных с многокамерных систем, для формирования объемного панорамного изображения в реальном времени.

Предметом исследования являются модели, методы и алгоритмы сбора, первичной обработки и построения структуры данных для формирования в реальном времени трёхмерной модели окружающего пространства.

Целью данной работы является совершенствование информационных технологий применения многокамерных видеосистем в области создания трёхмерной модели окружающего пространства в режиме реального времени.

Для достижения поставленной цели необходимо решить следующие задачи:

1. Провести анализ технических средств сбора видеоинформации о пространстве и существующих подходов к формированию объемного изображения пространства;

2. Построить классификации технических средств сбора видеоинформации о пространстве и существующих подходов к формированию объемного изображения пространства;

3. Предложить метод построения объемного панорамного изображения для многокамерных систем;

4. Разработать и исследовать модели данных о пространстве для формирования и хранения объемного панорамного изображения;

5. Разработать систему формирования и вывода объемного панорамного изображения в реальном времени;

6. Разработать и создать программно-аппаратный экспериментальный стенд отладки и тестирования алгоритмов формирования объемного панорамного изображения в реальном масштабе времени для многокамерных систем;

7. Провести эксперименты, подтверждающие работоспособность предложенных моделей, методов и алгоритмов для построения объемного панорамного изображения в реальном масштабе времени.

Научную новизну работы составляет следующее:

1. Новый метод построения объемной панорамной модели пространства в реальном времени, отличающийся использованием

пассивных систем получения информации от многокамерных видеосистем;

2. Разработанная структурная модель данных о пространстве, отличительной особенностью которой является возможность представления объемного панорамного изображения в виде множества облаков точек, полученных в ходе обработки видеопотоков многокамерных систем;

3. Модифицированные модели поиска особенностей на изображениях и калибровки технических средств, обеспечивающие построение объемного панорамного изображения и отличающиеся от существующих возможностью адаптации к обработке информации от многокамерных систем с различной геометрией расположения камер;

4. Алгоритмы реализующие разработанные модели и схемы создания объемного панорамного изображения для многокамерных систем в реальном масштабе времени.

Теоретическая значимость исследования обусловлена развитием методов построения объемных панорамных изображений в системах технического зрения, созданием новых моделей данных о пространстве, моделей и алгоритмов, обеспечивающих обработку видеоинформации в реальном масштабе времени.

Практическая значимость исследования заключается в создании инструмента построения объемного панорамного изображения в режиме реального времени для многокамерных систем, в разработке программно-аппаратного комплекса настройки оборудования и оценки работоспособности алгоритмов сбора и построения данных о пространстве, для указанных выше технических систем.

Результаты работы используются в учебном процессе НИУ «БелГУ», а также в ООО «ЭЛСИС БелГУ» и ООО «АЛГОРИТМПРО», что подтверждается соответствующими актами.

Связь с научными и инновационными программами. Результаты диссертационного исследования использованы при выполнения проекта №12857ГУ/2018 по теме «Построение объемного панорамного изображения для многокамерных систем» в рамках программы «УМНИК» Фонда содействия развитию малых форм предприятий в научно-технической сфере и проекта №14.581.21.0003 от 29.09.2014 по теме «Исследование и разработка цифровой портативной фото/видео аппаратуры для панорамной съемки».

Область исследования. Диссертационная работа соответствует паспорту специальности 2.3.8. Информатика и информационные процессы по следующим областям:

п.2. Техническое обеспечение информационных систем и процессов, в том числе новые технические средства сбора, хранения, передачи и представления информации. Комплексы технических средств, обеспечивающих функционирование информационных систем и процессов, накопления и оптимального использования информационных ресурсов.

п.4. Разработка методов и технологий цифровой обработки аудиовизуальной информации с целью обнаружения закономерностей в данных, включая обработку текстовых и иных изображений, видео контента. Разработка методов и моделей распознавания, понимания и синтеза речи, принципов и методов извлечения требуемой информации из текстов. Положения, выносимые на защиту:

1. Метод построения объемного панорамного изображения для многокамерных систем;

2. Классификация технических средств сбора видеоинформации о пространстве и существующих подходов к формированию объемного изображения пространства;

3. Методы, модели и алгоритмы построения структуры данных для хранения объемного изображения и калибровки многокамерных систем;

4. Программно-аппаратная реализация стенда отладки и тестирования алгоритмов формирования объемного панорамного изображения в реальном масштабе времени для многокамерных систем;

5. Результаты полунатурных экспериментов.

Личный вклад автора. Результаты исследований, представленные в работе получены автором лично, либо при его непосредственном участии.

Достоверность и обоснованность результатов обусловлена корректностью применяемых математических методов, отсутствием противоречий известным положениям теории и практики компьютерного моделирования и подтверждается результатами вычислительных экспериментов.

Апробация результатов исследования.

Результаты исследования были представлены на региональных, Всероссийских и Международных конференциях: Участие в международном салоне "Изобретения и инновации", «Module intelligent optique entièrement intégré pour letraitement digital des vidéo en temps reel (AnyCon FX5 -FPGA)», г. Тур, Франция, 14-16 октября 2016; Фонд содействия развитию малых форм предприятий в научно-технической сфере «У.М.Н.И.К.», «Разработка методов построения объемного панорамного изображения для многокамерных систем», г. Белгород, 2017; Среднерусский экономический форум 2017, площадка «Роль молодежи в цифровой экономике, г. Курск, 2017; 69-я международная ярмарка «Идеи-Инновации-Новые разработки» IENA-2017, г.

Нюрнберг, Германия, 2017; Международная выставка инноваций и конкурс научных разработок HI-TECH 2018, победитель в номинации «Лучший инновационный проект и лучшая научно-техническая разработка года» за разработку «Способ получения трехмерного панорамного изображения и устройства для его реализации», г. Санкт-Петербург, 2018; III Международная выставка изобретений и инноваций, «Цифровая портативная камера для панорамной съемки», г. Воронеж, 2018; Международный военно-технический форум «Армия - 2018», «Способ построения трехмерного панорамного изображения и устройства для его регистрации», г. Кубинка, 2018; Среднерусский экономический форум 2018, выставка молодежных бизнес-проектов ЦФО «Старт», г. Курск, 2018; VII международная научная-практическая конференция «Информационные технологии в науке, образовании и производстве» (ИТНОП 2018), «О поиске объектов на панорамных изображениях, полученных с помощью многокамерных систем», г. Белгород, 17-19.10.2018; Международная выставка инноваций и конкурс научных разработок HI-TECH 2019, победитель в номинации «Лучший инновационный проект и лучшая научно-техническая разработка года» за разработку «Способ получения трехмерного стабилизированного изображения и устройства для его реализации», г. Санкт-Петербург, 1214.03.2019; Международный форум «Открытые инновации», «Цифровой модуль связи УФ-диапазона», Сколково, 2019; Национальная выставка

Министерства науки и высшего образования «ВУЗПР0МЭКСП0-2019», «Цифровая портативная камера для панорамной съемки», г. Москва, 2019; XXII Московский международный салон изобретений и инновационных технологий АРХИМЕД, «Методы и алгоритмы построения Зх-мерного панорамного изображения для многокамерных систем», г. Москва, 2019; Глобальный инновационный форум на Кипре «The automated system of intelligent technical vision for collecting and processing priority data in the management of beef farming», Кипр, 2020; EuroInvent 13-я европейская

выставка творчества и инноваций «Automated system of intelligent artificial vision for collecting and processing priority data in beef stock farming management», г. Яссы, Румыния, 2021; Международная научно-практическая конференция InnoCSE, «О информационных технологиях в учебном процессе для студентов технических специальностей в условиях дистанционного обучения», г.Екатеринбург, 2021; Международная научно-техническая конференция Оптико-электронные приборы и устройства в системах распознавания образов и обработки изображений, «Методы неинвазивного экомониторинга состояния живых объектов сельскохозяйственного производства на основе технического зрения», г. Курск, 2021; Выставка научных достижений «Белгородского государственного национально исследовательского университета» в Министерстве науки и высшего образования Российской Федерации, проведенной в рамках Года науки и технологий, г. Москва, 2022.

Публикации. По теме диссертационного исследования опубликовано 9 печатных работы (из них - 3 из перечня ВАК и 2 Scopus), получен 1 патент и 2 свидетельства о регистрации программы для ЭВМ.

Объем и структура работы. Диссертация состоит из введения, четырех глав, заключения, списка использованных источников и приложений. Работа изложена на 132 страницах основного текста, включающего 62 рисунка, 4 таблицы, список литературных источников из 122 наименований, а также 3 приложения.

Работа выполнена на кафедре математического и программного обеспечения информационных систем института инженерных и цифровых технологий Белгородского государственного национального исследовательского университета.

ГЛАВА 1. АНАЛИЗ МЕТОДОВ И СРЕДСТВ ФОРМИРОВАНИЯ ОБЪЕМНЫХ ПАНОРАМНЫХ ИЗОБРАЖЕНИЙ

1.1 Анализ существующих систем регистрации панорамных

изображений

Система регистрации панорамных изображений - панорамная камера или набор камер, с фиксированным положением оптических модулей, позволяющих производить фото и видео фиксацию, превышающим угол обзора человеческого зрения. Данная система, позволяет производить параллельный сбор кадров с оптических модулей, а последующее построение панорамного изображения производит квалифицированный персонал в ручном режиме, либо используется автоматизированные системы построения панорамных изображений, работающее вне устройства съемки и в отложенной обработке, т.е. отсутствует режим построения в реальном времени.

Многокамерные системы позволяют получать панорамные фото и видео данные, на основе которых предполагается построение объемных моделей. Данные системы предполагают использование в системах безопасности, систем умного города, в развлекательный и образовательных целях, для обеспечения полного погружения и эффекта присутствия, а также для управления автономными системами передвижения (такие как автономный транспорт, сельскохозяйственная техника и т.д.).

Построение объемного изображения, применяемое в системах безопасности и умного города, позволяет производить контроль за перемещением объектов вокруг устройства фиксации данных.

На рисунке 1.1 представлена укрупненная модель работы системы управления многокамерным устройством в рамках систем безопасности и умного города, на рисунке 1.2 представлена схема управления сельскохозяйственным транспортом с использованием многокамерных

систем, для принятия решении по управлению техникой на основе данных о пространстве.

Рисунок 1.1 - Схема работы систем безопасности на основе многокамерных систем

Рисунок 1.2. - Схема работы систем управления автономным сельскохозяйственным транспортом

На рисунках 1.1 и 1.2. красными блоками показаны возможности применения многокамерных устройств с применением методов построения данных о пространстве, в системах управления и принятия решений. Предлагаемые подходы позволяют повысить качество данных о пространстве при использовании в вышеупомянутых системах и использоваться как уточняющие данные при дальнейшей обработке информации и принятия решений.

При использовании многокамерных панорамных систем применяются две системы просмотра и управления итоговых результатов:

1) Системы виртуальной и дополненной реальности - позволяют построить панорамную модель в виртуальном пространстве и обеспечить эффект присутствия;

2) Плоские системы отображения - мониторы, смартфоны и иные стандартные устройства отображения ЭВМ.

Для решения задачи разработки метода построения объемного панорамного изображения необходимо проанализировать типы панорам.

Панорамным изображением называются все типы снимков подходящее под одно из следующих описаний:

1) Изображения с углом обзора, превышающие человеческий (чаще всего это снимки с углом обзора в 180 градусов и выше);

2) Снимки, с использованием «вытянутого» формата, где соотношение сторон соответствует 1х2, 1х3 и выше (например, широкоформатные снимки);

3) Изображения, полученные путем соединения отдельных кадров в общую панораму, где каждый кадр имеет стандартный угол обзора и соотношение сторон.

Далее панорамы подразделяются на два типа, это планарная панорама и виртуальная панорама.

Планарная панорама может проецироваться целиком на экран монитора или распечатана на бумажном носителе. Для данной проекции используются прямолинейная панорама [68,72,78,81].

Прямолинейная панорама - панорама, в которой сохраняется геометрия объектов, т. е. прямые линии остаются прямыми. Минусом данных панорам является угол обзора, поскольку при его увеличении, по краям происходит сильное искажение объектов. Угол зрения таких панорам составляет порядка 90-110 градусов (Рисунок 1.3).

Для получения таких панорам используются методы:

1) Выделение области кадра, не имеющей ярко выраженной дисторсии;

2) Панорамный фотоаппарат с объективом, не имеющим вращения. В свою очередь, виртуальные панорамы предназначены для

демонстрации панорамных изображении с использованием специальных устройств и программного обеспечения, которые, например, за счет очков виртуальной реальности с использованием встроенного гироскопа, позволяют пользователя за счет вращения головой управлять панорамой, достигая

эффекта погружения. В основном такие панорамы имеют сферический и цилиндрический вид.

К виртуальным панорамам относятся следующие виды проекций: цилиндрическая, сферическая, кубическая.

Цилиндрическая проекция - проецирование на боковую часть цилиндра. Достигает охват по горизонтали до 360 градусов, по вертикали имеет более существенные ограничения, в основном зависящие от вертикального угла обзора камеры [60].

б)

Рисунок 1.4- Цилиндрическая панорама, а - свернутая, б - развернутая

Отличительной особенностью таких панорам (Рисунок 1.4) является выгибание горизонтальных линий. Длинные прямые объекты_ в проекции

будут иметь вид изогнутых, в следствии, в архитектурной съемке практически не применяются.

Ярко выраженным устройством, для съемки цилиндрических панорам является отечественный фотоаппарат «Горизонт», который, за счет вращения объектива, позволяет одним кадром получить цилиндрическую панораму. Минусом данного фотоаппарата является отсутствие возможности съемки с углом обзора в 360 градусов.

Сферическая (эквидистантная) проекция - следующий тип виртуальных панорам, получается за счет разворота сферы на плоскость. В основе данной проекции лежит собранное изображение из отдельных кадров в эквидистантную (сферическая панорама, развернутая на плоскости) проекцию. Данная проекция позволяет отобразить изображение с охватом 360х180 градусов (полная панорама), но при этом на проекции будут видны существенные искажения. Данная проекция используется для демонстрации различных виртуальных туров, рекламной демонстрации павильонов и так далее.

Данный вид панорам позволяют снимать обычные фотоаппараты с использованием специального вращающегося штатива, все современные смартфоны поддерживают технологию съемки и последующей сшивки сферических панорам, а также использование специальных устройств, которые позволяют снимать сферическую панораму «одним щелчком», за счет использования большого количества объективов на устройстве.

Ниже (Рисунок 1.5) представлена развертка сферической панорамы:

Рисунок 1.5 - Развертка сферической панорамы К преимуществам сферической проекции можно отнести полноту охвата пространства и возможное использование всего 2 широкоугольных оптических модулей, но при этом, при построении развертки (Рисунок 1. 5) возможна потер данных о пикселях, что усложнит процесс построения объемного изображения при использовании данного вида проекции.

Следующим типом является кубическая проекция (Рисунок 1.6). В данном виде проекции происходит отображение сферы на 6 граней куба, по факту, 6 кадров, снятых с использованием прямолинейной проекции. Сегодня это один из самых распространенных методов построения панорамы.

Рисунок 1.6 - Кубическая проекция

Для просмотра данных проекции используются различные методы отображения панорамных изображений. Самым простым методом просмотра является отображение любого типа панорамы на экране устройства, без специальных устройств просмотра и обеспечения свертки панорам. Данный метод несет в себе большие искажения, что мешает пользователю понять реальную геометрию объектов [43,46].

1.2 Анализ методов поиска особых точек на изображениях для формирования панорамных изображений

Формирование панорамного изображения можно разбить на следующие операции:

1) Поиск и выделение особенностей на смежных изображениях - из массива кадров панорамного изображения выбираются те, которые необходимо соединить для итоговой панорамы;

2) На паре соединяемых изображений происходит поиск соответствующих особенностей, на их основе будет произведено совмещение, выравнивание и коррекция пропорций;

3) Совмещение изображений в итоговую панораму, или данная панорама возвращается в исходный массив и предыдущие операции выполняются повторно, до окончания построения итоговой панорамы.

При поиске особенностей на изображениях используются специализированные методы, такие как дескриптор SIFT и SURF. Данные дескрипторы (дескриптор - идентификатор ключевой точки, позволяющий выделить её из множества точек на снимке). Они являются наиболее быстрыми и наиболее качественными в плане нахождения особенностей на изображении, вдобавок, при нахождении особенностей им не важен поворот изображения и достаточно большая степень нахождения особенностей при использовании кадров с разным углом зрения.

Для первых двух этапов необходимо определить соответствия на соседних изображениях, за счет нахождения особых точек и дескрипторов на них. Особая точка - это точка на изображении окрестности которой можно отличить от других окрестностей на изображении.

SIFT дескриптор является неким стандартом в компьютерном зрении и составлении панорам.

К преимуществам можно отнести:

1. инвариантность относительно поворота изображения;

2. инвариантность относительно масштаба;

3. устойчивость к шуму;

4. устойчивость к изменениям освещения;

5. вычислительная эффективность.

Дескриптор SURF (Speeded up Robust Features) относится к числу тех дескрипторов, которые одновременно выполняют поиск особых точек и

строят их описание, инвариантное к изменению масштаба и вращения. Кроме того, сам поиск ключевых точек обладает инвариантностью в том смысле, что повернутый объект сцены имеет тот же набор особых точек, что и образец [18].

SURF рассматривает изображение как единое целое и выделяет особенности всего изображения, поэтому он плохо работает с объектами простой формы. При этом он является последователем метода SIFT, потеряв в качестве распознавания, SURF увеличил скорость нахождения особенностей. При дальнейшем выборе необходимого метода, стоит учитывать баланс между скоростью работы и качеством нахождения особенностей.

Было проведено сравнение результатов распознавания с методами SURF и SIFT. Для этих целей были разработаны два тестовых приложения, которые позволяли произвести расчет скорости нахождения особенностей на изображении. Результаты аналитического сравнения подходов приведены в таблице 1.1.

Таблица 1.1. Аналитическое сравнение результатов распознавания

Метод Кол-во точек Качество распознавания, % Объем требуемой памяти, Мб Время сопоставления, сек

SURF 200 74 0,05 ~ 0,5-1

SIFT 63 0,98 ~ 0,5-1,2

SURF 500 76 0,86 ~0,8-1,3

SIFT 78 0,93 ~0,9-1,5

SURF 1000 75 1,2 ~1-1,2

SIFT 78 1,2 ~1,2-1,5

Из таблицы 1.1 видно что скорость вычислений при использовании SURF является выше, при этом SIFT обеспечивает более высокую точность определения особенностей на снимках.

1.3 Анализ программно-аппаратных и математических методов получения данных о пространстве

В настоящее время известно несколько методов реконструкции объемного объекта:

• построение на основе вращения оптического модуля вокруг объекта;

• построение на основе стереозрения;

• структуры из освещенности

• проецирование на объект;

• построение карт глубины на основе фокусировки (пленоптическая

камера).

К активным методам относятся методы проецирования на объект (ик проекция, структурированный свет), к пассивным методам относятся методы на основе вращения, стереозрения и системы на основе фокусировки.

Системы проецирования на объект являются наиболее точными, суть их работы заключается в том, что на объект проецируется инфракрасная сетка (Рисунок 1.8), лазерный луч или структурированный свет (Рисунок 1.7).

Рисунок 1.7 - Излучение структурированного света

На объект проецируется инфракрасная сетка или шаблон из светлых и темных линий. На основе инфракрасной сетки, помимо снимка, передается информация о расположении точек в пространстве - глубина каждого пикселя. На основе данного метода построены такие популярные системы как Microsoft Kinect, Apple FacelD.

Список литературы диссертационного исследования кандидат наук Гайворонский Виталий Александрович, 2023 год

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

1) Абрамов, В.В. Реконструкция трехмерных поверхностей по двум проекциям при отслеживании камерой заданной точки сцены [Текст]/ В.В. Абрамов, В.С. Киричук, В.П. Косых, Г.И. Перетягин, С.А. Попов //Автометрия, 1998, №5, с. 3-16.

2) Абламейко, С.В. Обработка изображений: технологии, методы, применение: Учебное пособие. [Текст]/ С.В. Абламейко, Д.М. Лагуновский. -Минск: Амалфея, 2000. - 304 с.

3) Александров, В. В. Представление и обработка изображений: Рекурсивный подход [Текст] / В. В. Александров, Н. Д. Горский. - М.: Наука, 1985. - 192 с.

4) Айфичер, Э. Цифровая обработка сигналов: Практический подход [Текст]/ Э. Айфичер, Б.Джервис. - М.: Издательский дом «Вильямс», 2004. -992 с.

5) Аксенов, O.O. Совмещение изображений [Текст] / О.О. Аксенов. -ЦОС №3. - 2005. - С.51-55.

6) Анисимов, Б.В. Распознавание и цифровая обработка изображений [Текст] / Б.В. Анисимов, В.Д. Курганов, В.К. Злобин. - М.: Высшая школа, 1983. - 295 с.

7) Арлазаров, В. Л. Обработка изображений и анализ данных [Текст] / В. Л. Арлазаров, Н. Е. Емельянов. - Т.38, ИСА РАН, 2008. - 368 с.

8) Бакут, П.А. Сегментация изображений: методы пороговой обработки [Текст] / П.А. Бакут, Г.С. Колмогоров, И.Э. Ворновицкий // Зарубежная радиоэлектроника. № 10, 1987. - С. 6 -24.

9) Бегунов, Б.Н. Теория оптических систем [Текст] / Б.Н. Бегунов, Н.П. Заказнов - М.: Машиностроение, 2008. - 448 с.

10) Бейтс, Р. Восстановление и реконструкция изображений [Текст] / Р. Бейтс, М. Мак-Донелл. - М.: Мир, 1989. - 336 с.

11) Беллман, Р. Введение в теорию матриц [Текст]/ Р. Беллман. - М.: Наука, 1976. - 367 с.

12) Битюцкий, О.И. Поиск и локализация реперных фрагментов при совмещении повторных снимков [Текст] / Битюцкий О.И., Перетягин Г.И. //Автометрия №3, 1988. - С.78-83

13) Бондаренко, М.А. Оценка информативности комбинированных изображений в мультиспектральных системах технического зрения [Текст] / М.А. Бондаренко, В.Н. Дрынкин. - Программные системы и вычислительные методы. - 2016. - № 1. - С. 64-79

14) Быков, Р.Е. Цифровое преобразование изображений [Текст]: учеб.пособие для ВУЗов / Р.Е. Быков, Р.Фрайер, К.В. Иванов, А.А, Манцветов.

- М.: Горячая линия - Телеком,2003. - 228 с.

15) Быков, Р. Е. Анализ и обработка цветных и объемных изображений [Текст] / Р. Е. Быков, С. Б. Гуревич. - М.: Радио и связь, 1984. -248 с.

16) Быстрые алгоритмы в цифровой обработке изображений / Под ред. Т.С. Хуанга. - М.:Радил и связь, 1984.

17) Вапник, В.Н. Теория распознавания образов. Стохастические проблемы обучения [Текст]/ Вапник В.Н., Червоненкис А.Я. - М.: Наука, 1974.

- 415с.

18) Василенко, Г.И. Восстановление изображений [Текст]/ Г.И. Василенко, А.М. Тараторин. - М.: Радио и связь, 1986. - 304 с.

19) Визильтер, Ю.В. Обработка и анализ в задачах машинного зрения: Курс лекций и практических занятий [Текст] / Ю.В. Визильтер, С.Ю. Желтов, А.В. Бондаренко, М.В. Ососков, А.В. Моржин. - М.:Физматкнига, 2010. - 672 с.

20) Вирт, Н. Алгоритмы и структуры данных: учебное пособие [Текст] / Н. Вирт. - Москва: ДМК Пресс, 2010. - 272 с.

21) Воеводин, В.В. Матрицы и вычисления [Текст] / В.В. Воеводин, Ю.Л. Кузнецов. - М.:Наука, 1984. - 318 с.

22) Гайворонский, В.А. О поиске объектов на панорамных изображениях, полученных с помощью многокамерных систем [Текст] / Гайворонский В.А., Трубицына Д.И. // Информационные технологии в науке, образовании и производстве (ИТНОП-2018) VII Международная научно-техническая конференция. Сборник трудов конференции, Белгород, 17-19 октября 2018 г.: ООО ГиК (Белгород), 2018. - С. 49-51.

23) Гайворонский, В.А. Разработка программного обеспечения для систем панорамного фото и видео наблюдения [Текст]: Диссертация на соискание академической степени магистра//В.А. Гайворонский. - Белгород, 2016. - 85 с.

24) Гайворонский, В.А. Система отображения панорамных изображений [Текст] / В.А. Гайворонский, Д.И. Трубицына // Сборник аннотаций 15-ой Курчатовской молодежной научной школы, 2017 г.

25) Гайворонский, В.А. Программа формирования цифрового панорамного изображения от нескольких источников [Текст]: Свидетельство о государственной регистрации программы для ЭВМ // И.С. Константинов, С.А. Лазарев, Ю.Н. Маслаков, К.А. Рубцов, Н.О. Ефимов, Н.К. Веселых, В.А. Гайворонский, С.Г. ГУрцев. - Россия, Номер свидетельства: RU 2016619319, Номер заявки: 2016617182, Дата регистрации: 04.07.2016, Дата публикации: 17.08.2016

26) Ганмахер, Ф.Р. Теория матриц [Текст] / Ф.Р. Гантмахер. -М.:Физматлит, 2004. - 560 с.

27) Голд, Б. Цифровая обработка сигналов [Текст] / Б. Голд, Ч. Рейдер. - М.: Сов. Радио, 1973. - 376 с.

28) Гольденберг, Л. М. Цифровая обработка сигналов [Текст]: справочник / Л. М. Гольденберг, Б. Д. Матюшкин, М. Н. Поляк. - М.: Радио и связь, 1985. - 308 с.

29) Гонсалес, Р. Цифровая обработка изображений [Текст] / Р. Гонсалес, Р. Вудс. - М.: Техносфера, 2006. - 1072 с.

30) Гонсалес, Р. Цифровая обработка изображений в среде MATLAB [Текст] / Р. Гонсалес, Р. Вудс, С.Эддинс. - М.: Техносфера, 2006. - 616 с.

31) Гонсалес, Р. Цифровая обработка изображений. Издание 3-е, исправленное и дополненное [Текст] / Р. Гонсалес, Р. Вудс. - М.: Техносфера, 2012. - 1104 с.

32) Горлов Д.В. Распознавание изображений на основе признаков, инвариантных к сдвигу, вращению, масштабированию: Автореф. дис. канд. техн. наук: - Красноярск, 2002. - 20 с.

33) Гришенцев, А.Ю. Методы и модели цифровой обработки изображений: Монография [Текст] / А.Ю. ГришенцеВ, А.Г. Коробейников. -СППб: Изд.Центр Университета ИТМО, 2014. - 189 с.

34) Грузман, И.С. Цифровая обработка изображений в информационных системах: Учебное пособие [Текст] / И.С. Грузман, В.С. Киричук и др. - Новосибирск: НГТУ, 2002, - 352 с.

35) Губанов, А.В. Методы оценивания взаимного смещения фрагментов цифровых изображений [Текст] / Губанов А.В., Ефимов В.М., Киричук B.C. // Автометрия № 3, 1988. - С. 70-79.

36) Гужов, В.И. Методы измерения 3D-профиля объектов. Контактные, триангуляционные системы и методы структурированного освещения [Текст]/ Гужов В.И. - Новосибирск:НГТУ, 2015, - 82 с.

37) Даджион, Д. Цифровая обработка многомерных сигналов [Текст]/ Д. Даджион, Р. Мерсеро. - М.:Мир, 1988, 488 с.

38) Джгаркава Г.М, Лавров Д.Н. Использование метода SURF для обнаружения устойчивых признаков изображения при создании сферических панорамных снимков / Омский государственный университет им. Ф.М. Достоевского, Математические структуры и моделирование, вып. 22, 2011

39) Дегтярев, С. В., Методы цифровой обработки изображений: уч. пос. Ч. 1. [Текст]/ С. В. Дегтярев, С. С. Садыков, С. С. Тевс, Т. А. Ширабакина. - Курск: КурскГТУ, 2001. - 167 с.

40) Дубовик, А.С. Прикладная оптика [Текст]/ А.С. Дубовик. - М.: Недра, 2002. - 612 с.

41) Дуда, Р. Распознавание образов и анализ сцен [Текст]/ Р. Дуда, П. Харт - М.: Мир, 1976. - 511 с.

42) Дьяконов, В. МАТЬАБ. Обработка сигналов и изображений: Специальный справочник [Текст] / В. Дьяконов, И. Абраменкова. - СПб.: Питер, 2002. - 608 с.

43) Желтов, С.Ю. Обработка и анализ изображений в задачах машинного зрения [Текст] / С.Ю. Желтов. - М.: Физматкнига, 2010. - 672 с

44) Журавель, И.М. Краткий курс теории обработки изображений [Текст] / И.М. Журавель. - М., 1999

45) Журавлёв, Ю.И. Об алгебраических методах в задачах распознавания и классификации [Текст]/ Журавлёв Ю.И. //Распознавание, классификация, прогноз.Вып. 1 .—М. :Наука,1988.—С.9-16.

46) Журавлёв, Ю.И. Распознавание образов и распознавание изображений [Текст]/ Журавлёв Ю.И., Гуревич И.Б. //Распознавание, классификация, прогноз. Вып.2.—М.:Наука,1989.—С.5-72.

47) Иванов, Е.Л. Слияние изображений в многоканальной системе наблюдения местности [Текст]/ Е.Л. Иванов, М.С. Смагин. - Датчики и системы. - 2006. - №11. - С. 6-12.

48) Ким, Н.В. Обработка и анализ изображений в системах технического зрения. Учебное пособие / Н.В. Ким. - М.: Издательство МАИ, 2001. - 164 с

49) Киричук, В. С. Алгоритмы обнаружения точечных объектов по стерео изображениям сцен [Текст]/ В. С. Киричук, А. К. Шакенов //Автометрия № 2, 2005, - С. 14-21.

50) Киричук, В. С. Обнаружение точечных динамических объектов по изображениям, регистрируемым движущейся камерой [Текст] / В. С. Киричук,

A. К. Шакенов // Автометрия № 1, 2004. - С. 3-9.

51) Кнут, Д. Искусство программирования, том 4. Комбинаторные алгоритмы [Текст]/ Кнут Д. - М.: «Вильямс», 2013. — 960

52) Конушин А. Слежение за точечными особенностями сцены (Point feature tracking). Компьютерная графика и мультимедиа. Выпуск №1(5)/2003.

53) Константинов, И.С. Анализ методов определения особых точек на изображениях [Текст] / Константинов И.С., Лазарев С.А., Шуляк Б.Ю // Информационные системы и технологии. - №3 (107). - 2018. - С.33-39.

54) Кравченко, В. Цифровая обработка сигналов и изображений: Монография [Текст] / М. Басараб, В. Волосюк, О. Горячкин, А. Зеленский, В. Кравченко, А. Ксендзук, Б. Кутуза, В. Лукин, А. Тоцкий, В. Яковлев; под ред.

B. Кравченко. - М.:ФИЗМАТЛИТ, 2007, - 552 с.

55) Красильников, Н.Н. Цифровая обработка изображений [Текст] / Н.Н. Красильников. - М.: Вузовская книга, 2001. - 320 с.

56) Красильников, Н.Н. Цифровая обработка 2D- и 3D-изображений: Учебное пособие [Текст] / Н.Н. Красильников. - СПб.: БХВ-Петербург, 2011, - 608 с.

57) Клетте Рейнхард Компьютерное зрение. Теория и алгоритм.Пер. с англ. - Слинкин А.А.под ред.Д.А. Мовчан. - М.:ДМК-Пресс,2019.-506 с.

58) Куприянов, М.С. Цифровая обработка сигналов: процессоры, алгоритмы, средства проектирования [Текст] / М.С. Куприянов, Б.Д. Матюшкин. — СПб.: Политехника, 1999

59) Лайонс Р. Цифровая обработка сигналов [Текст] / Р. Лайонс. - М.: ООО «Бином-Пресс», 2006. -656 с.

60) Лебедев, Д. С. Кодирование и обработка изображений [Текст] / Д.

C. Лебедев, В. В. Зяблов. - М.: Наука, 1988. - 177 с.

61) Лукьяница, А.А. Цифровая обработка видеоизображений [Текст]/

A.А. Лукьяница, А.Г. Шишкин - М.: Ай-Эс-Эс Пресс, 2009. - 562с.

62) Марр, Д. Зрение. Информационный подход к изучению представления и обработки зрительных образов: Пер. с англ. -М.: Радио и связь, 1987. - 400 с.

63) Мерков, А. Б. Распознавание образов. Введение в методы статистического обучения [Текст]/ А. Б. Мерков - М.: Едиториал УРСС, 2011.

- 256 с.

64) Методы компьютерной обработки изображений [Текст] / под ред.

B.А. Сойфера. - Изд.2-е, испр. - М.:ФИЗМАТЛИТ, 2003. - 784 с.

65) Милов, В.Р. Распознавание образов и обработка изображений в информационно-аналитических системах: Монография [Текст] / В.Р. Милов, В.Г. Баранов, В.В. Кондатьев, Ю.Х. Зарипова, Ю.С. Бажанов, А.В. Бухнин, В.А. Утробин; под ред. В.Р. Милова, В.Г. Баранова. - М.: Радиотехника, 2014.

- 144 с.

66) Милованов, М.В. Алгебра аналитическая геометрия. Учеб. пособие для мат. спец. ун-тов и пед. ин-тов [Текст] / М. В. Милованов, Р. И. Тышкевич, А. С. Феденко. - В 2 ч. Ч. 1 - Мн.: Выш. шк. , 1984. - 302 с., ил.

67) Монич, Ю.И. Оценки качества для анализа цифровых изображений [Текст] / Ю.И. Монич, В.В. Старовойтов. - Искусственный интеллект. - 2008. - №4.

68) Перевалов, Д.С. Что может и не может компьютерное зрение с OpenCV [Электронный ресурс]/ Д.С. Перевалов. URL: http://logic.pdmi.ras.ru/csclub/sites/default/files/CS Club 2011 February Vision. pdf.

69) Приоров, А.Л. Цифровая обработка изображений. Учебное пособие [Текст]/ А.Л. Приоров, А.В. Альпаков, В.В. Хрящев. - Ярославль: Ярославский гос. Универсситет,2007.

70) Потапов, А.А. Новейшие методы обработки изображений [Текст] / А.А. Потапов, Ю.В. Гуляев, С.А. Никитов, А.А. Пахомов, В.А. Герман // Под ред. А.А. Потапова. - М.: Физматлит, 2008. - 496 с.

71) Препарата Ф. Вычислительная геометрия [Текст] / Ф. Препарата, М. Шеймос - М.: Мир, 1989. - 295 с.

72) Прэтт, У. Цифровая обработка изображений: Кн.1, Кн.2 [Текст] / У.Прэтт; пер. с англ. - М.: Мир, 1982. - 792 с.

73) Рабинович, Е.В. Методы и средства обработки сигналов: Учебное пособие [Текст] / Е.В. Рабинович. - Новосибирск: НГТУ, 2008. - 120 с

74) Рабинер, Л. Теория и применение цифровой обработки сигналов [Текст] / Л. Рабинер, Б. Гоулд. - М.: Мир, 1978. - 848 с.

75) Розенфельд, А. Распознавание и обработка изображений с помощью вычислительных машин / Розенфельд А. // Пер. с англ. под. ред. Л.С. Лебедева. - М.: Мир, 1972. - 232 с.

76) Рудаков, П.И. Обработка сигналов и изображений [Текст] / П.И. Рудаков, И.В. Сафонов. - М.: Диалог-МИФИ, 2000. - 416 с.

77) Реконструкция изображений: Пер. с англ. / Под ред. Г.Старка. - М.: Мир, 1992. - 632 с.

78) Савельева, И.П. Панорамное фото [Текст]/ И.П. Савельева - М.: 2011.- 195с.

79) Сато, Ю. Обработка сигналов. Первое знакомство. 2-е издание [Текст]/ Ю. Сато. - М.: Додэка XXI, 2009. - 176 с.

80) Сергиенко, А.Б. Цифровая обработка сигналов: Учебное пособие для студентов вузов/ А. Б. Сергиенко. - СПб.: Питер, 2002. - 603 с.: ил.

81) Сойфер, В.А. Методы компьютерной обработки изображений [Текст] / В.А. Сойфер. - 2-е изд., испр. - М.: ФИЗМАТЛИТ, 2003.

82) Ташлинский, А.Г. Оценивание параметров пространственных деформаций последовательностей изображений [Текст] / А.Г. Ташлинский. -Ульяновск: УлГТУ, 2000. - 132 с.

83) Титов, Д.В. Теоретические основы цифровой обработки изображений встраиваемых оптико-электронных устройств [Текст] / Ю.С. Бехтин, Д.В. Титов, С.Г. Емельянов. - М.: Аргамак-Медиа, 2016. - 296 с.

84) Титов, Д.В. Многофункциональная встраиваемая система технического зрения для интеллектуальных комплексов видеонаблюдения [Текст] / Д.В. Титов, А.С. Сизов, М.И. Труфанов. - Телекоммуникации. - 2011. - № 4. - С. 19- 23.

85) Титов, Д.В. Метод и модели создания встраиваемых оптикоэлектронных устройств распознавания изображений в многомерном пространстве признаков: диссертация на соискание степени кандидата технических наук: 05.13.05 / Д.В. Титов, 2012. - 134 с.

86) Ту, Дж. Принципы распознавания образов [Текст] / Дж. Ту, Р. Гонсалес. - М.: ИЛ, 2010, - 545 а

87) Тышкевич, Р.И. Линейная алгебра и аналитическая геометрия [Текст] / Р.И. Тышкевич, А.С. Феденко. - Минск: Вышейшая школа, 1968. -504 с.

88) Фисенко, В.Т. Компьютерная обработка и распознавание изображений. Учебное пособие [Текст] / В.Т. Фисенко, Т.Ю. Фисенко. - СПб.: СПбГУ ИТМО, 2008. - 192 с.

89) Форсайт, Д.А. Компьютерное зрение. Современный подход [Текст] / Д.А. Форсайт, Ж. Понс. - М.: Издательский ом «Вильямс», 2004, - 928 с.

90) Фу, К. Последовательные методы в распознавании образов и обучения машин [Текст]/ Фу К. - М.: Наука, 1971г. - 256с.

91) Фукунага, К. Введение в статистическую теорию распознавания образов [Текст]/ Фукунага К. - М.: Наука. Главная редакция физико-математической литературы, 1979. - 368 с.

92) Фурман, А.Я. Визуализация изображений в трехмерных сценах. Учебное пособие [Текст]/ А.Я. Фурман. - Йошкар-Ола: МарГТУ, 2007. - 280 а

93) Фурман, Я.А. Распознавание групповых точечных объектов в трехмерном пространстве [Текст]/ Я.А. Фурман, Д.Г. Хафизов. - Автометрия. - 2003. - Т. 39 (№.1). - С. 3-18.

94) Хорн, Б.К.П. Зрение роботов [Текст] / Б.К.П. Хорн. - М.: Мир, 1989,- 478 с.

95) Хуанг, Т.С. Быстрые алгоритмы в цифровой обработке изображений. Преобразования и медианные фильтры [Текст] / Т.С. Хуанг. -М.: Мир, 2012, - 786 c.

96) Шапиро Л., Стокман Дж. Компьютерное зрение [Текст] / Л. Шапиро, Дж. Стокман. — М.: БИНОМ. Лаборатория знаний, 2006.-752 с.: ил.

97) Ширабакина, Т.А. Особенности способов калибровки систем технического зрения [Текст] / Т.А. Ширабакина, М.И. Труфанов, С.С. Тевс. -Датчики и системы. - 2005. - №5. - С. 63-65.

98) Шлезингер, М.И. Математические средства обработки изображений [Текст] /М.И. Шлезингер. - К.: Наукова думка, 1989. - 200 с.

99) .Шлихт, Г. Ю. Цифровая обработка цветных изображений [Текст] / Г. Ю. Шлихт. - М.: Издательство ЭКОМ, 1997. - 336 с.

100) Якушенков, Ю.Г. Основы оптико-электронного приборостроения: учебник. 2-е издание, переработанное и дополненное [Текст] / Ю.Г. Якушенков. - М.: Логос, 2013. - 376 с.

101) Яне, Б. Цифровая обработка изображений [Текст] / Б.Яне. - М.: Техносфера, 2007, - 584 с.

102) Яншин, В. В. Анализ и обработка изображений: принципы и алгоритмы [Текст] / В. В. Яншин. — М.: Машиностроение, 1995. - 112 с.

103) Ярославский, Л.П. Введение в цифровую обработку изображений [Текст] / Л.П. Ярославский. - М.: сов. Радио, 1979. -312 с.

104) Edwards, C.L. Design and Analysis of Dual-Camera Dual-Band Infrared Imaging System / C.L. Edwards, L.R. Gauthier, D.T. Prendergast // SPIE Proc. - 2009. - V. 7298. - PP. 72983T-1.. .12.

105) Gonzalez, R., Autonomous Tracked Robots in Planar Off-Road Conditions / R. Gonzalez, F. Rodriguez, J. Guzman // Modeling, Localization, and Motion Control — Springer, 2014.

106) Hartley, K., Multiple View Geometry in Computer Vision, Second Edition / K. Hartley, A. Zisserman, // Cambridge University Press, March 2004.

107) Konstantinov, I.S. Singular Point Comparisons During Panoramic Image Formation / I.S. Konstantinov, B.J. Shuljak, S.A. Lazarev and A.N. Zalivin // The International Journal of Soft Computing, 2015. Vol. 10 (6), pp. 454-457.

108) Konstantinov, I.S. Algorithms in Portable Digital Device UHDTV Panoramic Image Formation / I.S. Konstantinov, S.A. Lazarev, K.A. Rubcov and Y.N. Maslakov // Application of information and communication - AICT2016: Confernce proceedings - Baku, Azerbaijan, 2016, pp. 449-451.

109) Konstantinov, I.S. Method For Improving Image Recognition In Portable Panoramic Video Capture Devices / I.S Konstantinov, S. A. Lazarev, Y. N. Maslakov, K. A. Rubtsov, V. A. Gaivoronskiy // Journal of Advanced Research in Dynamical and Control Systems, Volume 10, Issue 10 Special Issue, 2018, pp. 18711878.

110) Lim, Jae S. Two-Dimensional Signal and Image Processing. Englewood Cliffs, NJ: Prentice Hall, 1990. pp. 536-540.

111) Park, S.C. Super-resolution image reconstruction: a technical overview / S.C. Park, M.K. Park, M.G. Kang // Signal Processing Magazine, IEEE, 2003. -V. 20, № 3. - P. 21-36.

112) Pratt W.K. Digital Image Processing: PIKS Inside, Third Edition.- New York: Wiley, 2001. - 738 p.

113) Perlow, R. B., Enhanced Target Detection Using Stereoscopic Imaging Radar/ R. B. Perlow, B. D. Steinberg // IEEE transactions on aerospace and electronic systems. 1995. Vol. 31, № 3. P. 1139-1148.

114) Piella, G. A New Quality Metric for Image Fusion / G. Piella, H. Heijmans // IEEE Signa Processing Letters. - 2002. V. 9 (No. 3). - P. 81-84.

115) Pietikainen M., Hadid A., Zhao G., Ahonen T. Computer vision using local binary patterns. Springer, 2011.

116) Rabiner, L.R. Digital Signal Processing / Rabiner L.R., Schafer R.W. / Pearson; US edition / September 15, 1978, p. 962.

117) Radke, R.J. Image Change Detection Algorithms: A systematic survey / R.J. Radke, S. Andra, O. Al-Kofahi, B. Roysam // IEEE Transactions on Image Processing. - 2005. - V. 14(3). - P. 294-307.

118) Se, S. Stereo Vision-based Obstacle Detection for Partially Sighted People / S. Se, M. Brady // Proceedings of the Third Asian Conference on Computer Vision. 1998. Vol. 1. P. 152-159.

119) Sonka, M. Image Processing, Analysis and Machine Vision / M. Sonka, V. Hlavac, R. Boyle. - CL Engineering, 2007. - 872 p.

120) Szeliski, R. Computer Vision: Algorithms and Applications / R. Szeliski. - Springer, 2010. - 812 p.

121) Tomasi, C. Bilateral filtering for gray and color images / Tomasi C., Manduchi R.// Inproc. IEEE Int. Conf on Computer Vision. - 1998. - P. 836-846.

122) Tsai, R.Y. Multipleframe image restoration and registration [Текст] / R.Y. Tsai, T.S. Huang // Advances in Computer Vision and Image Processing. Greenwich, CT: JAI Press Inc. - 1984. - P. 317-339

camera_model.m

clc clear close all

imageFileNames = { '/Users/vitalii/Desktop/matlab/test/camera/1/1_1.jpg',... '/Users/ vitalii /Desktop/matlab/test/camera/1/1_2.jpg',... '/Users/ vitalii /Desktop/matlab/test/camera/1/1_3.jpg',... '/Users/ vitalii /Desktop/matlab/test/camera/1/1_4.jpg',... '/Users/ vitalii /Desktop/matlab/test/camera/1/1_5.jpg',... '/Users/ vitalii /Desktop/matlab/test/camera/1/1_6.jpg',... '/Users/ vitalii /Desktop/matlab/test/camera/1/1_7.jpg',... };

[imagePoints, boardSize, imagesUsed] = detectCheckerboardPoints(imageFileNames); imageFileNames = imageFileNames(imagesUsed);

originalImage = imread(imageFileNames{1}); [mrows, ncols, ~] = size(originalImage);

squareSize = 25;

worldPoints = generateCheckerboardPoints(boardSize, squareSize);

[cameraParams, imagesUsed, estimationErrors] = estimateCameraParameters(imagePoints, worldPoints, ...

'EstimateSkew', false, 'EstimateTangentialDistortion', false, ... 'NumRadialDistortionCoefficients', 2, 'WorldUnits', 'millimeters', ... 'InitialIntrinsicMatrix', [], 'InitialRadialDistortion', [], ... 'ImageSize', [mrows, ncols]);

h1=figure; showReprojectionErrors(cameraParams);

h2=figure; showExtrinsics(cameraParams, 'CameraCentric');

displayErrors(estimationErrors, cameraParams);

undistortedImage = undistortImage(originalImage, cameraParams);

calibr.m

imageFileNames1 = {'/Users/vitalii/test/matlab/cam1/2990.png',... '/Users/vitalii/test/matlab/cam1/318.png',... '/Users/vitalii/test/matlab/cam1/3344.png',... '/Users/vitalii/test/matlab/cam1/3905.png',... '/Users/vitalii/test/matlab/cam1/46.png',... '/Users/vitalii/test/matlab/cam1/495.png',... };

imageFileNames2 = {'/Users/vitalii/test/matlab/cam2/2990.png',... '/Users/vitalii/test/matlab/cam2/318.png',... '/Users/vitalii/test/matlab/cam2/3344.png',... '/Users/vitalii/test/matlab/cam2/3905.png',... '/Users/vitalii/test/matlab/cam2/46.png',... '/Users/vitalii/test/matlab/cam2/495.png',...

[imagePoints, boardSize, imagesUsed] = detectCheckerboardPoints(imageFileNames1, imageFileNames2);

worldPoints = generateCheckerboardPoints(boardSize, squareSize);

11 = imread(imageFileNames1{1}); [mrows, ncols, ~] = size(I1);

[stereoParams, pairsUsed, estimationErrors] = estimateCameraParameters(imagePoints, worldPoints, ...

'EstimateSkew', false, 'EstimateTangentialDistortion', false, ... 'NumRadialDistortionCoefficients', 2, 'WorldUnits', 'millimeters', ... 'InitialIntrinsicMatrix', [], 'InitialRadialDistortion', [], ... 'ImageSize', [mrows, ncols]);

h1=figure; showReprojectionErrors(stereoParams);

h2=figure; showExtrinsics(stereoParams, 'CameraCentric');

displayErrors(estimationErrors, stereoParams);

12 = imread(imageFileNames2{1});

[J1, J2] = rectifyStereoImages(I1, I2, stereoParams);

raspb_streo_test.m

clear close all

zero_top=raspi('192.168.1.132','pi','raspberry') zero_bottom=raspi('192.168.1.133','pi','raspberry')

cam_top=cameraboard( zero_top,'Resolution','1280x720','Rotation',270,'AWBMode', 'incandescent','ExposureMode' ,'sports' );

cam_bottom=cameraboard( zero_bottom,'Resolution','1280x720','Rotation',270,'AWBMode', 'incandescent','ExposureMode' ,'sports' );

i=0;

while i<30 i=i+1

img_top=snapshot(cam_top); img_bottom=snapshot(cam_bottom);

figure(1) imagesc(img_top) drawnow

figure(2)

imagesc(img_bottom) drawnow

end i=0

while i<30 i=i+1

img_top=rgb2gray(snapshot(cam_top));

img_bottom=rgb2gray(snapshot(cam_bottom));

figure(1)

imshow(img_top)

drawnow

figure(2)

imshow(img_bottom) drawnow

name1=convertStringsToChars('./1/1_'+string(i)+'.jpg'); name2=convertStringsToChars('./2/2_'+string(i)+'.jpg');

pause(1)

imwrite(img_top,name1) imwrite(img_bottom,name2)

end

point_cloud_4_cam.m

clc

clear all close all

load('point_mouse.mat'); load('point_bear.mat'); load('mouse_rect_img.mat'); load('bear_rect_img.mat');

ptCloud2 = pointCloud(point_bear, 'Color', img_rect_bear); ptCloud = pointCloud(point_mouse, 'Color', img_rect_mouse);

figure(1) pcshow(ptCloud2);

zeta=(deg2rad(35)) Z = [cos(zeta) sin(zeta) 0 0; ... -sin(zeta) cos(zeta) 0 0; ... 0 0 1 0; ... 0 0 0 1];

X = [1 0 0 0; ...

0 cos(zeta) -sin(zeta) 0; ... 0 sin(zeta) cos(zeta) 0; ... 0 0 0 1];

Y = [cos(zeta) 0 sin(zeta) 0; ... 0 1 0 0; ...

-sin(zeta) 0 cos(zeta) 0; ... 0.2 0 0.1 1]; tform = affine3d(Y);

ptCloudOut1 = pctransform(ptCloud2,tform);

axis([-3 3 -3 3 -3 3])

xlabel('X')

ylabel('Y')

zlabel('Z')

point_cloud_stereo.m

clear close all

zero_top=raspi('192.168.1.132','pi','raspberry') zero_bottom=raspi('192.168.1.133','pi','raspberry')

cam_right=cameraboard( zero_top,'Resolution','1280x720','Rotation', 270 ; cam_left=cameraboard( zero_bottom,'Resolution','1280x720','Rotation',270 );

load('rgb_1280_25.mat'); showExtrinsics(stereoParams);

i=0;

while i<30 i=i+1

img_top=snapshot(cam_right); img_bottom=snapshot(cam_left);

end i=0

while i<1

img_right=snapshot(cam_right); img_left=snapshot(cam_left);

img_gray_right=rgb2gray(img_right); img_gray_left=rgb2gray(img_left);

right1 = detectSURFFeatures(img_gray_right, 'MetricThreshold', 2000); left2 = detectSURFFeatures(img_gray_left, 'MetricThreshold', 2000);

figure(10); imshow(img_right); hold on;

plot(selectStrongest(right1, 30));

figure(11); imshow(img_left); hold on;

plot(selectStrongest(left2, 30));

[features1, validBlobs1] = extractFeatures(img_gray_right, right1); [features2, validBlobs2] = extractFeatures(img_gray_left, left2);

indexPairs = matchFeatures(features1, features2, 'Metric', 'SAD', ... 'MatchThreshold', 5);

matchedPoints1 = validBlobs1(indexPairs(:,1),:); matchedPoints2 = validBlobs2(indexPairs(:,2),:);

figure(12);

showMatchedFeatures(img_right, img_left, matchedPoints1, matchedPoints2); legend('Putatively matched points in I1', 'Putatively matched points in I2');

[fMatrix, epipolarInliers, status] = estimateFundamentalMatrix(matchedPoints1, matchedPoints2, 'Method', 'RANSAC','NumTrials', 10000, 'DistanceThreshold', 0.1, 'Confidence', 99.99);

inlierPointsl = matchedPoints1(epipolarInliers, :); inlierPoints2 = matchedPoints2(epipolarInliers, :);

figure(13);

showMatchedFeatures(img_right, img_left, inlierPointsl, inlierPoints2); legend('Inlier points in Il', 'Inlier points in I2');

[tl, t2] = estimateUncalibratedRectification(fMatrix, ...

inlierPointsl.Location, inlierPoints2.Location, size(img_left)); tforml = projective2d(t1); tform2 = projective2d(t2);

[img_rect_left, img_rect_right] = rectifyStereoImages(img_left, img_right, tform2,tform1); figure(14);

imshow(stereoAnaglyph(img_rect_left, img_rect_right));

[img_rect_left, img_rect_right] = rectifyStereoImages(img_left, img_right, stereoParams,'OutputView','valid');

figure(l);

imshow(stereoAnaglyph(img_rect_left, img_rect_right)); title('map');

img_gray_rect_right=rgb2gray(img_rect_right); img_gray_rect_left=rgb2gray(img_rect_left); disparityMap = disparitySGM(img_gray_rect_left, img_gray_rect_right,'DisparityRange',[0 128],'UniquenessThreshold',0 ); figure(2);

imshow(disparityMap, [0, 128]);

colormap jet;

colorbar;

title('Disparity Map');

h3=1/9*[ 1 1 1;1 1 1;1 1 1]; img3=imfilter(disparityMap,h3);

points3D = reconstructScene(img3, stereoParams);

points3D(100:120,100:120,:) points3D = points3D ./ 1000; point_mouse=points3D;

ptCloud = pointCloud(points3D, 'Color', img_rect_left);

player3D = pcplayer([-3, 3], [-3, 3], [-1, 8], 'VerticalAxis', 'y','VerticalAxisDir', 'down');

view(player3D, ptCloud); figure(20);mesh(disparityMap);

end

РОССИЙСКАЯ ФЕДЕРАЦИЯ

(L9)

RU

iiii

2 654 127ш> С1

(SL) МПК авбтэлю (2)006.0 ii

ФЕДБГАЛЬНАЯ СЛУЖБА НО ИНТЕЛЛЕКТУАЛЬНОЙ t ó TfcJÍHHOÍTH

'■JS> ОПИСАНИЕ ИЗОБРЕТЕНИЯ К ПАТЕНТУ

(S2)fllK

Ü06T № (2006.01); Ü06T ЗЛЮ62 (2006.01)> H04N ¡3/0239 (2006.01); H04N 5/2323S (2006.01); H04N 5/265(2006.01}

О

I4-. гч

(2J)(22} Заявка. 2016150169, 30.12.201 S

(24) Дата начала отсчета срока действия патента: 20.12.2016

Дл^ регистрации: lfi.0i.2018

] [риоритст(ьи.

(22) Дата подачи заявки. 20.12.2016

(45) Опубликовано: 16.05.201Í Б юл. № 14

Алресллл переписки:

JOBOI í, Белгородская обл., г. Белгород, у л Победы, 35, HIIV 1 БелГУ", ОИС, Токтаревой Г.М.

(72i Aaropfiij:

Константинов Игорь Сергеевич (EU), Лазарев Сергей Александрович (RU), Рубцов Константин Анатольевич iRUj, Маслаков Юрий Николаевич (EUj. Курись Сергей Геннадьевич i.RL'j, ij г.л енн Александр Николаевич i RUj, Ефимов Никита Олегович (RU), Веселых Никита Константинович (RU), Гайворон-гкнй Виталий Александровичей})

(731 Патентообладателей):

Федеральное государственно« автономное образовательное учреждение высшего образования' Белгородский государственный национальный исследовательский университет" (НИУ "БелГУЧ iRITi

(K)ÜiKüi||DiyMcim3i цнгироваЕшых в отчей о поиске: US 201ЙЛ]?60104 А1, OB.12JOI6. US Ш7380 В1Р 15.11.2016. HD 1276ЫН С2, 20.05.2006 U5 2QO£il0240612Ai.GH0.2008. US mi5}6B2, 14.06.201 ]. U3 2009/0202102 AL, 13.0S.2005. WO 2016/I3S043 Al 01.092016.

Ti С

M O tn

M 4

o

Lfí

<¿>

OJ

H

aí

Способ форнире-ьаыкя цифре-яого пане-рамне-го

(57) Рефера!.

Изобретение относится к вычислительной технике, а именно к средствам: формирования ЦИфрОБОГО [ИЛОрйМЕЕОГО J!.lC-f¡p.l ^Lbllli высокого разрешсЕгия из нескольким изображений. Технический результат эишщш в ееовыц:снии качества цифрового пашртаип изображения высокого разрешения. Способ формирования цифрового тшршншо изображения от нескольких источников: получают и обрабатывают нзображсЕш: с камер, расположенных па гранях правильного многогранника: обрезают каждое изображение по границам секции правильного многоугольника, формируют составное

L 1|- I

и-зебражензи

сферическое панорамное изображение: осуществляют коррекцию нзображеЕшй по модели векторЕЕОй два граммы ноля с коррекцией искажений, обрезают изображения, вычисляют а областях перекрытии изображений при помо]цн метода SLTRF пары особых точек исполнительно па основе аффннЕЕЫх преобразований осуществляют нелинейную деформацию каждого обрезанного изображение по данный о пара* особы* точек ь области перекрытия нзображеЕЕИй, рассчитывают адресные матрицы местоположения и принадлежности отдельного пиксели граням пртщыпго многогранЕЕИка а декартовой системе координату строят проекции

ФЕДЕРАЛЬНАЯ СЛУЖБА ПО ИНТЕЛЛЕКТУАЛЬНОЙ СОБСТВЕННОСТИ

(12) ГОСУДАРСТВЕННАЯ РЕГИСТРАЦИЯ ПРОГРАММЫ ДЛЯ ЭВМ

Номер регистрации (свидетельства): Автор:

2020615229 Гайворонский Виталии Александрович (КГ)

Дата регистрации: 19.05.2020 Правообладатель:

Номер и дата поступления заявки: Гайворонский Виталии Александрович(RC)

2020614266 12.05.2020

Дата публикации: 19.05.2020

Контактные реквизиты:

УКяШ.кй mail.ru

Название программы для ЭВМ:

Построение объемного панорамного изображения

Реферат:

Программа предназначена для построения объемного панорамного изображения на основе данных с многокамерных систем. Данные с камер объединяются в стсреобазу. на их основе строятся карты глубины, с каждой стереопары, после чего образуется массив точек в пространстве (облако точек). В процессе выполнения происходит выравнивание парных снимков для удаления искажений оптики. Впоследствие массивы точек объединяются в единый массив, на основе данных расположения каждой из стерсобаз. в конечном итоге образуя объемные данные для панорамного изображения. Программа может применяться в системах безопасности, сканирования объемных объектов, управления автономными устройствами. ОС: Windows, MacOS.

Язык программирования: MATLAB Объем программы для ЭВМ: 4258 байт

У I НСРЖДЛЮ и.о. проректора по образовательной ^^яЛе^ельности ФГАОУ ВО

" осударственный сследовательский

ких наук, профессор А. В. Маматов

[Ьессор

Акт о внедрении рез^МШИсследований, полученных в диссертации Гайворонского Виталия Александровича «МЕТОДЫ ОБРАБОТКИ И ПРЕДСТАВЛЕНИЯ ДАННЫХ ОБ

ОКРУЖАЮЩЕМ ПРОСТРАНСТВЕ В РЕАЛЬНОМ МАСШТАБЕ ВРЕМЕНИ С ИСПОЛЬЗОВАНИЕМ МНОГОКАМЕРНЫХ ВИДЕОСИСТЕМ» Мы, нижеподписавшиеся, директор Института инженерных и цифровых технологий ФГАОУ ВО «Белгородский государственный национальный исследовательский университет», доктор технических наук, профессор Полыциков К. А., заведующий кафедрой математического и программного обеспечения информационных систем, доктор технических наук, профессор Константинов И.С., составили настоящий акт о внедрении результатов научных исследований, полученных Гайворонским В.А., в образовательный процесс специалистов по направлениям подготовки 02.03.02 «Фундаментальная информатика и информационные технологии» и 02.03.03 «Математическое обеспечение и администрирование информационных систем».

В лекционные и лабораторные занятия по дисциплинам «Математическое моделирование», «Структуры и алгоритмы компьютерной обработки данных», «Алгоритмы и анализ сложности», «Учебная (проектно-технологическая) практика» были включены следующие исследованные темы:

1. Теоретические основы построения панорамных и объемных изображений;

2. Структуры данных при представлении изображений и в и деои зоб раже н и й;

ДАЮ»:

Дирек БелГУ»

Яценко

АКТ

использования метода построения объемного панорамного изображения для

многокамерных систем

1. Настоящий акт составлен о том, что в ООО «ОЛСИС БелГУ» принят к использованию разработанный Гайворонским В.А. метод построения объемного панорамного изображения для многокамерных систем в режиме реального времени

2. Новизна метода заключается в разработке методов калибровки многокамерных систем и представления данных об окружающем пространстве в реальном масштабе времени, с применением многокамерных систем. Стоит отметить, что разработанные методы и алгоритмы используют пассивные методы определения расстояния до объектов в пространстве, что не ограничивает возможность использования устройства в лабораторных условиях, чувствительных к внешним источникам излучения (активные системы).

3. Разработанный автором пакет программ, реализующий созданный метод построения объемного панорамного изображения позволяет усовершенствовать и повысить эффективность использования уже существующих многокамерных систем.

) «УТВЕРЖДАЮ» Ю «АЛГОРИТМПРО» А.А. Пивоваров

¿>Г____2023 г.

АКТ

использования методов и алгоритмов калибровки и представления данных об окружающем пространстве для многокамерных систем в режиме реального

времени

1. Настоящий акт составлен о том, что в ООО «АЛГОРИТМПРО» принят к использованию прототип программной реализации представления данных об окружающем пространстве в реальном масштабе времени для многокамерных систем, разработанный старшим преподавателем кафедры математического и программного обеспечения информационных систем НИУ «БелГУ» Гайворонским Виталием Александровичем в рамках диссертационного исследования.

2. Представленный прототип программной реализации представления данных об окружающем пространстве применялся для формирования объемного изображения с использованием массива камер. Преимуществами представленного прототипа программной реализации отмечается эффективность разработанных методов, которые позволяют обрабатывать видеопоток с нескольких источников и одновременно просматривать объемную панорамную проекцию под различными углами зрения.

3. По сравнению с известными программными решениями, предложенный Гайворонским В.А. прототип позволяет проводить калибровку многокамерных систем, что в свою очередь дает возможность использовать различные конфигурации многокамерных систем.