Метод, алгоритмы и модульное оптико-электронное устройство трехмерного технического зрения с множественными источниками изображений тема диссертации и автореферата по ВАК РФ 05.13.05, кандидат наук Фролов Михаил Михайлович

• Фролов Михаил Михайлович
• кандидат наук
• 2019

Оглавление диссертации кандидат наук Фролов Михаил Михайлович

ВВЕДЕНИЕ

1 ИССЛЕДОВАНИЕ МЕТОДОВ И УСТРОЙСТВ ВЫЧИСЛЕНИЯ ТРЕХМЕРНЫХ КООРДИНАТ ОБЪЕКТОВ РАБОЧЕЙ СЦЕНЫ

1.1 Анализ методов и устройств трехмерного технического зрения и методов калибровки

1.2 Методы вычисления параметров и сопоставления характерных точек объектов

2 МАТЕМАТИЧЕСКАЯ МОДЕЛЬ ОБРАБОТКИ ИЗОБРАЖЕНИЙ УСТРОЙСТВОМ ТРЕХМЕРНОГО ТЕХНИЧЕСКОГО ЗРЕНИЯ С МНОЖЕСТВЕННЫМИ ИСТОЧНИКАМИ ИЗОБРАЖЕНИЙ

2.1 Ввод изображения оптико-электронным датчиком

2.2 Фильтрация изображения

2.3 Вычисление параметров оптико-электронных датчиков в составе оптико-электронного устройства

2.4 Сегментация и построение контуров изображений объектов

2.5 Передача данных по коммуникационной сети

2.6 Модель синтеза множества характерных точек и обобщения сегментов и контуров объектов полученных с разных оптико-электронных датчиков

3 МЕТОД, АЛГОРИТМЫ ОБРАБОТКИ ИЗОБРАЖЕНИЙ И СТРУКТУРНО-ФУНКЦИОНАЛЬНАЯ ОРГАНИЗАЦИЯ ОПТИКО-ЭЛЕКТРОННОГО УСТРОЙСТВА ТРЕХМЕРНОГО ТЕХНИЧЕСКОГО ЗРЕНИЯ С МНОЖЕСТВЕННЫМИ ИСТОЧНИКАМИ ИЗОБРАЖЕНИЙ

3. 1 Метод формирования тремерной рабочей сцены при использовании нескольких оптико-электронных датчиков

3.2 Алгоритм формирования тремерной рабочей сцены при

использовании нескольких оптико-электронных датчиков

3.3 Алгоритм калибровки системы оптико-электронных датчиков в оптико-электронном устройстве

3.4 Структурно-функциональная организация оптико-электронного устройства трехмерного технического зрения с множественными источниками изображений

4 ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ

4.1 Аппаратно-программный стенд для проведения экспериментальынх исследований

4.2 Методика проведения экспериментальных исследований

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ

ВВЕДЕНИЕ

Введение диссертации (часть автореферата) на тему «Метод, алгоритмы и модульное оптико-электронное устройство трехмерного технического зрения с множественными источниками изображений»

Актуальность темы

Анализ изображений трехмерных объектов и синтеза виртуальных трехмерных сцен, соответствующих реальному физическому пространству, является весьма актуальным и востребованным для многих задач в области создания автономных робототехнических транспортных решений и задач дополненной и совмещенной реальности.

Аспект вычисления трехмерных координат, позиций, оптических и иных свойств объектов важен в первую очередь для построения системы трехмерных объектов со связями, определяющими их взаимное местоположение.

Задача синтеза трехмерной виртуальной сцены и распознавания объектов рабочей сцены в реальном масштабе времени востребована в промышленности для построения автоматических устройств транспортировки объектов на складе, цехе, значительном по объему и площади пространстве, иных промышленных объектов в условиях динамически меняющейся обстановки в расположении объектов.

Данная задача является комплексной и состоит из ряда подзадач, тесно и неразрывно связанных между собой: а именно - задачи трехмерного очувствления, задачи анализа и распознавания трехмерных данных, задачи вычисления трехмерных координат.

Направлению исследования решения задач, связанных с трехмерным пространственным зрением в условиях динамически меняющейся обстановки и стационарных условиях посвящены работы ряда ученых и научных школ, в частности, В.А.Сойфера, Я.А.Фурмана, Р.Гонзалеса, Р.Харалика, Liping Zheng,

Lucien Reeves, Woodham, Horn.

К настоящему времени в достаточной мере исследованы вопросы трехмерного технического зрения в условиях стационарного положения оптико-электронных датчиков и вычисления трехмерных координат объектов в условиях предварительно откалиброванных бинокулярных оптико-электронных систем. Также в достаточной мере для текущих задач промышленности и прикладных задачи исследованы вопросы вычисления параметров объектов при их наблюдении с единственной позиции при известных обобщенных формах анализируемого трехмерного объекта.

Однако, в ряде практических случаев, связанных с анализом объектов на значительных по объему и площади пространстве, возникает задача вычисления их трехмерных координат при априори не определенных параметрах оптико-электронных датчиков и бинокулярных оптико-электронных устройствах с нестационарным положением оптико-электронных датчиков.

При этом, задача вычисления параметров трехмерных объектов в условиях априорной неопределенности положения оптико-электронных датчиков (ОЭД) весьма востребована, особенно в условиях множественных источников видеоданных и потенциального перемещения объектов рабочей сцены. Однако, известные методы не обеспечивают достаточной точности вычисления трехмерных координат при априори некалиброванных ОЭД.

Таким образом, сложилось противоречие между необходимостью повышения точности трехмерных параметров рабочих сцен и вычисления пространственных связей между объектами в условиях протяженных и значительных по объему пространств и низкой точностью известных оптико-электронных устройств трехмерного технического зрения.

В этой связи актуальной научно-технической задачей является разработка математической модели, метода, алгоритмов и специализированного модульного оптико-электронного устройства для трехмерного технического зрения, обеспечивающего повышение точности вычисления пространственных координат объектов.

Диссертационная работа выполнена в рамках грантов Президента: для поддержки научных школ - НШ-2357.2014.8 «Исследование и разработка комплексного анализа видеоизображений для задач управления сложными техническими системами на основе адаптивных нейро-нечетких систем вывода с мягкими вычислениями».

Целью работы является повышение точности вычисления трехмерных параметров объектов рабочей сцены в условиях априори неопределенного положения оптико-электронных датчиков посредством разработки новых математической модели, метода, алгоритмов обработки изображений и создания модульного оптико-электронного устройства.

Научно-техническая задача и цель декомпозированы на следующие частные задачи диссертационного исследования:

- анализ методов и вычислительных устройств анализа, сопоставления и передачи изображений для вычисления параметров положения объектов в трехмерном пространстве;

- разработка математической модели вычисления параметров пространственного положения объектов рабочей сцены в условиях произвольного местоположения оптико-электронных датчиков;

- разработка структурно-функциональной организации модульного оптико-электронного устройства трехмерного технического зрения для вычисления параметров объектов трехмерной рабочей сцены и

синтеза виртуальной модели пространства; - проведение экспериментальных исследований и анализ полученных результатов.

Методы исследования. Для решения поставленных в работе задач использованы методы распознавания образов, методы обработки и анализа растровых изображений, основы теории цепей и сигналов, схемотехники, статистики.

Новыми научными результатами и положениями, выносимыми на защиту, являются:

1) Математическая модель построения трехмерной рабочей сцены, основанная на бинокулярном техническом зрении с несколькими ОЭД, реализующими стереопары, отличающаяся возможностью реализации трехмерного зрения при априори некалиброванных параметрах взаимного положения ОЭД, дополнительным повышением точности вычисления координат точек и поверхностей объектов за счет процедур калибровки;

2) Метод и алгоритм формирования трехмерной модели объектов рабочей сцены, отличающиеся возможностью обработки серии изображений объекта, полученных при априори неизвестных точках наблюдения за счет введения процедур адаптивной калибровки пар оптико-электронных датчиков, позволяющие сформировать объемную модель объектов рабочей сцены;

3) Алгоритм калибровки модульного устройства технического зрения на базе двух оптико-электронных датчиков с неизвестным взаимным положением, обеспечивающий возможность реализации трехмерного технического зрения;

4) Структурно-функциональная организация модульного оптико-электронного устройства трехмерного технического зрения для обработки изображений, поступающих с территориально распределенных источников видеоданных, отличающаяся введением модулей сегментации, вычисления спектральных признаков, вычисления взаимного положения, синтеза объектов рабочей сцены, обеспечивающего вычисление и анализ параметров объектов рабочей сцены в реальном масштабе времени.

Объект исследований - методы обработки изображений в устройстве анализа изображений и вычисления пространственных координат объектов.

Предмет исследований - вычислительные устройства для анализа изображений трехмерных рабочих сцен.

Практическая ценность работы состоит в следующем:

- обоснован и апробирован новый метод формирования трехмерной модели объектов рабочей сцены при наблюдении объектов с нескольких точек, отличающийся повышенной по сравнению с аналогами точностью;

- создан макет вычислительного модуля на базе портативного вычислительного средства, обеспечивающий решение задач вычисления признаков объектов для задач их последующего распознавания и анализа.

Результаты работы внедрены в ЗАО «Скинер», ООО «ТехаргосСпецсистемы» и используются в учебном процессе Юго-западного государственного университета по учебным дисциплинам «Цифровая обработка и анализ изображений», «Современные проблемы науки и производства».

Соответствие паспорту специальности. Содержание диссертации соответствует п.1 «Разработка научных основ создания и исследования общих

свойств и принципов функционирования элементов, схем и устройств вычислительной техники и систем управления» и п.2 «Теоретический анализ и экспериментальное исследование функционирования элементов и устройств вычислительной техники и систем управления в нормальных и специальных условиях с целью улучшения технико-экономических и эксплуатационных характеристик» паспорта специальности 05.13.05 - Элементы и устройства вычислительной техники и систем управления.

Соответствие паспорту специальности. Содержание диссертации соответствует п.1 «Разработка научных основ создания и исследования общих свойств и принципов функционирования элементов, схем и устройств вычислительной техники и систем управления» в части разработки аппаратных модулей для вычисления параметров примитивов объектов рабочей сцены и построения метода и устройства синтеза трехмерной сцены наблюдаемого рабочего пространства и п.2 «Теоретический анализ и экспериментальное исследование функционирования элементов и устройств вычислительной техники и систем управления в нормальных и специальных условиях с целью улучшения технико-экономических и эксплуатационных характеристик» паспорта специальности 05.13.05 - Элементы и устройства вычислительной техники и систем управления в части создания новых математической модели, метода, алгоритмов и устройства для вычисления параметров объектов рабочей сцены для решении задачи их анализа и распознавания, а также улучшения эксплуатационных характеристик оптико-электронного устройства за счет повышения точности вычисления трехмерных координат объектов..

Апробация работы. Основные положения диссертационной работы докладывались и получили положительную оценку на международных и российских конференциях, семинарах, симпозиумах: на Международных

научно-технических конференциях «Оптико-электронные приборы и устройства в системах распознавания образов, обработки изображений и символьной информации» «Распознавание - 2017, 2019» (г. Курск), на Всероссийских НТК в г. Орле в Академии ФСО в 2013, 2015, 2016, 2017 гг., на международной научно-технической конференции «Информационные технологии и математическое моделирование систем» (г. Москва) в 2016, 2017, 2018 гг., на научно-технических семинарах кафедры «Вычислительная техника» Юго-западного государственного университета с 2012 по 2019гг.

Публикации. Результаты проведенных исследований и разработок опубликованы в 11 печатных работах, в том числе 3 статьях в журналах, рекомендованных перечнем ВАК.

Личный вклад автора. Все выносимые на защиту научные результаты получены соискателем лично. В работе [81] соискателем предложены математическая модель и алгоритмы обработки изображений при вычислении параметров трехмерных объектов по изображениям с нескольких оптико-электронных датчиков. В работе [68] соискателем разработаны алгоритм и аппаратным модуль кодирования визуальной информации при вычислении первичных признаков объектов (контура, сегменты изображений) и их передаче в единый центр обработки в разработанном оптико-электронном устройстве. В [69] представлен алгоритм распределения времени передачи данных при множественных источниках изображений для их единой обработки. В [70] Разработаны алгоритмы и аппаратные решения исключения из дальнейшей обрабтки неинформативных и помеховых данных на изображениях при вычислении параметров трехмерного положения объектов рабочей сцены. В [54] предложен алгоритм калибровки оптико-электронных датчиков разработанной системы технического зрения. В [61] предложен

алгоритм взаимного определения координат при калибровке оптико-электронных датчиков при их неизвестном априорном положении. В [77] Разработан алгоритм вычисления трехмерных координат объектов и сопоставления объектов рабочей сцены. В [62] соискателем предложены способ, алгоритм передачи пакетов изображений при анализе объектов с нескольких точек изображений, обеспечивающие формирование первичных данных для построения трехмерной рабочей сцены в реальном времени. В [58] разработан подход вычисления внешних и внутренних параметров калибровки оптико-электронных датчиков системы технического зрения. В [82] предложена структурно-функциональная организация модульного территориально распределенного устройства трехмерного технического зрения. В [85] разработаны модели и программного обеспечение для экспериментальных исследований вычисления трехмерных координат в системе технического зрения при внесении шума и иных искажающих воздействий.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы, включающего 87 наименований источников, изложена на 107 страницах и поясняется 14 рисунками и 2 таблицами.

1 ИССЛЕДОВАНИЕ МЕТОДОВ И УСТРОЙСТВ ВЫЧИСЛЕНИЯ ТРЕХМЕРНЫХ КООРДИНАТ ОБЪЕКТОВ РАБОЧЕЙ СЦЕНЫ

Как отмечено выше, актуальность работы обусловлена необходимостью совершенствования методов и средств обработки изображений для решения задач анализа и распознавания трехмерных объектов рабочей сцены в задачах промышленности, медицины, народного хозяйства и научной сферы.

К настоящему времени известно достаточно большое количество исследований, проводимых как отдельными учеными, так и большими коллективами, направленными на совершенствование методов и средств обработки изображений. Разработаны аппаратные модули, алгоритмическое обеспечение и общедоустпные библиотеки технического зрения и синтеза трехмерных изображений, такие как ореп^, opengl, которые облегчают создание специализированных методов и устройств обработки изображений.

Тем не менее, широкий спектр задач на сегодняшний день остаются нерешенными. В частности, весьма хорошо исследованы методы, базирующиеся на анализе и построении устройств трехмерного технического зрения для случаев, когда используются один или два оптико-электронных датчика. Обязательным условием является, что эти видеокамеры должны быть предварительно откалиброваны. При этом задача калибровки исследована и решена с необходимой точностью только для классического расположения оптико-электронных датчиков (ОЭД) - для ОЭД с параллельными оптическими осями.

Несмотря на то, что на практике задача бинокулярного технического зрения встречается достаточно часто, она не удовлетворяет всем практическим

аспектам и требованиям, которые возникают в современной промышленности и научных исследованиях. В частности , при реализации систем технического зрения в промышленности возникает задача реализации бинокулярного технического зрения в условиях, когда оптические оси оптико-электронных датчиков не параллельны друг другу , сами оптико-электронные датчики находятся на некотором смещении друг относительно друга не только по горизонтали, но и по вертикали и по глубине. Для такого случая не развиты ни методы калибровки системы из оптико-электронных датчиков, ни методы вычисления трехмерных координат.

Кроме того, актуальным остается вопрос наилучшего выбора пар оптико-электронных датчиков для стереозрения в условяих, когда оптико-электронных датчиков более двух с общими пересекающимися областями наблюдения рабочей сцены. В этом случае необходимо решить вопрос выбора наилучших с точки зрения точности бинокулярного технического зрения оптико-электронных датчиков по изображениям которых далее решать задачу вычисления трехмерных координат.

В рамках настоящей работы термины «бинокулярное зрение» и «стереоскопическое зрение» считаем синонимами.

Большое внимание в научной литературе уделяется распознаванию, построении карты глубины и анализу изображений, содержащих одного или нескольких объектов в устройствах при заранее откалиброванных ОЭД. Проблемой, которая не решена на данный момент, является анализ изображений объектов и вычисления их трёхмерных характеристик в пространстве рабочей цены в условиях, когда данную рабочую цену наблюдают с нескольких территориально распределенных оптико-электронных датчиков. Задача обусловлена практической необходимостью для

решения задач распознавания объектов в больших по пространствам территориях. Сложность же заключается в том, что для точного решения задачи необходимо решение и задач калибровки, и задач трехмерного восприятия и задач сопоставления точек и трекинга объектов.

Одной из проблем при решении указанной задачи, является то, что две и более ОЭД должны иметь общие области на изображениях, а также должно быть известно взаимное положение и параметры калибровки этих оптико-элеткронных датчиков. Кроме того изображения объектов могут перекрываться другими объектами или конструктивными элементами промышленного объекта. Для обеспечения полного перекрытия поля зрения крупных промышленных и иных крупных объектов используется несколько оптико-электронных датчиков одновременно. Для решения задачи вычисления трехмерных координат объектов по изображениям с этих датчиков должны быть сопоставлены ключевые точки объектов, что также недостаточно проработано на данный момент времени в известных работах для случаев получения изображений объектов с разных точек наблюдения вследствие перспективных различий в получаемых изображениях объектов.

Таким образом, объективно сложилось практическая необходимость развития методов и устройств анализа и вычисления параметров объектов в трёхмерном пространстве рабочий сцены при большой протяженности рабочей цены в уловиях нескольких источников изображений. Отдельно вследствие территориальной распределенности оптико-элеткронных датчиков должны быть разработаны подходы передачи данных в единый модуль обработки .

Традиционные подходы для калибровки подразумевают, во-первых, параллельные оси визирования обоих общих электронных датчиков и идентичные параметры внутренних величин оптико электронных датчиков,

что невозможно в сформулированной задаче. Поэтому необходимо в рамках данной работы выполнить совершенствование методов калибровки, которые обеспечат повышение точности вычисления взаимного пространственного положения оптико электронных датчиков, входящих в единую оптико-электронную систему.

Важным аспектом, который также должен быть решен в рамках данной работы, должно быть создание специализированных аппаратно ориентированных алгоритмов сопоставления объектов, которые позволяют решить задачи вычисления трехмерных координат в пространстве рабочей сцены [1].

Проведен анализ известных методов и устройств обработки изображений, обеспечивающих предварительный анализ и вычисление данных об объектах рабочей сцены для последующего построения трехмерной рабочей сцены.

Показано, что в достаточной мере исследованы и реализованы на базе традиционных и специализированных вычислительных устройств задачи вычисления пространственного положения объектов с использованием бинокулярных оптико-электронных устройств, состоящих из системы предварительно откалиброванных оптико-электронных датчиков.

1.1 Анализ методов и устройств трехмерного технического зрения и методов калибровки

Рассмотрим наиболее типичные представленные в научной литературе методы и устройства вычисления параметров объектов при их наблюдении в пространстве рабочей сцены [2].

Наиболее типичным подходом, применяемым в настоящее время для решения задач трехмерного технического зрения, является подход представленный в работе [3] . Подход построен по традиционной классической схеме организации бинокулярного зрения. Метод вычисления трехмерных координат объекта согласно данной работе включает следующие основные шаги: калибровку оптико-электронных датчиков, вычисления характерных точек, вычисление координат трехмерных точек и синтез трехмерной модели объекта посредством анализа координат характерных точек. В работе используется модель расположения оптико-электронных датчиков с параллельными оптическим осями. Как уже было отмечено, использование оптико электронных датчиков с параллельными оптическими осями не всегда возможно, особенно для задач анализ объектов рабочих сцен больших промышленных территорий, что является недостатком и ограничением практического применения данной работы.

Известны также работы, связанные с анализом трехмерного восприятия другим подходом, обеспечивающим вычисление координат точек объекта в трехмерном пространстве и базирующийся на использовании специально нанесенных характерных точек на объект. В частности, подобное устройство технического зрения применяется при анализе движений спортсменов и рассмотрено в [4]. Очевидно, что недостатком такой устройства является

обязательное расположение характерных точек на объекте, что не всегда возможно в условиях промышленного предприятия и нецелесообразно экономически.

Отдельного внимания заслуживает публикация [5] в которой представлены новейшие подходы к реконструкции трехмерного пространства для криволинейных поверхностей, как наиболее сложных объектов для вычисления трехмерных координат.

Рассмотрим далее другие известные методы и устрйоства, применимые для решения частных задач трехмерного технического зрения.

Существует способ распознавания объектов [6]. Он заключается в формировании последовательности оптических лазерных сигналов высокочастотных импульсов с фиксированной несущей частотой. При постоянном направлении этих сигналов в область наблюдения они отражаются от движущихся объектов, и, таким образом, можно определить местоположение этих объектов и их скорость. Недостатком этого способа является необходимость в использовании дополнительного оборудования по формированию и направлению сигналов, а, следовательно, это повышает неустойчивость системы и влияет на стоимость.

Заслуживает внимания устройство для распознавания объектов [7]. Оно предназначено для принятия решения о распознавании изображения в сравнении с соседними элементами. Объект, полученный с устройства видеозахвата, сравнивается с эталонным изображением или с базой эталонов, после чего делается вывод об идентичности объектов.

Известен способ обнаружения движущихся объектов [8]. В способе получают набор последовательных во времени изображений и проводят их анализ. По полученному набору изображений строят карту диспарантности, и

по этой карте идентифицируют изменяющиеся объекты. Недостатком данного способа является низкая скорость обработки изображений.

Рассмотрим способ компьютерного распознавания объектов [9], способ позволяет обеспечить идентификацию объектов для малого набора эталонных объектов, тем самым повысить достоверность распознавания [10]. Область распознавания уменьшается в результате выполнения следующих шагов: обработка введенного в компьютер изображения распознаваемого объекта, выявление фрагментов и опорных точек его контура, проводится виртуальный охват фрагментов и опорных точек его контура описанной фигурой, все точки которой сближают с точками контура обрабатываемого изображения объекта до тех пор, пока одни ее точки не совпадут с точками контура обрабатываемого изображения, а другие ее точки не образуют сплошную границу между двумя близлежащими точками контура обрабатываемого изображения, замыкая, таким образом, полностью его контур.

Недостатком данного способа является высокая сложность в реализации и, следовательно - низкая скорость обработки изображений. Еще один недостаток заключается в том, что при наличии шума на изображениях сильно снижается качество обработки, а, следовательно, точность распознавания.

Рассмотрим другую систему распознавания объектов и слежения за ними [11], лишенную данного недостатка. Устройство позволяет получить технический результат в виде создания такой системы, приспособленной для распознавания объектов определённого типа. Этот результат достигается за счёт того, что система имеет матричные датчики, каждый из которых предназначен для выполнения функций датчика первого типа, обеспечивающего возможность обнаружения присутствия объекта в рабочей зоне датчика и определения его положения, и датчика второго типа,

обеспечивающего возможность использования этого положения объекта, определенного датчиком первого типа, для идентификации или распознавания объекта и возможность фокусирования или работы с более высокой разрешающей способностью, чем датчик первого типа. Недостатком данной системы является сложная система обмена информацией между двумя датчиками. Таким образом, ее нецелесообразно использовать в тех случаях, когда задача слежения за объектом не является первостепенной.

Известна система и способ анализа и распознавания объекта [12]. В техническом решении определяют наличие объекта в зоне наблюдения с помощью двух и более разнесенных видеокамер с заранее известным их расположением; производят одновременное слежение за тремя типами объектов (точка, область, граф); на основе априорных и найденных данных реконструируют 3D модель объекта; в случае достаточной полноты и целостности информативных признаков полученной 3D модели проводят расчет углов, определяющих ориентацию объекта в пространстве; в случае, если найденный ракурс является достаточно представительным и отличается от ракурсов на предыдущих кадрах, производят распознавание на основе наиболее репрезентативных кадров изображения.

Список литературы диссертационного исследования кандидат наук Фролов Михаил Михайлович, 2019 год

источников

видеоданных

Таким образом, результаты сравнительного анализа с известными устройствами аналогами подтвердили повышение точности разработанного модульного оптико-электронного устройства трехмерного технического зрения, а также адекватность разработанных математической модели, метода и алгоритмов обработки изображений фактически полученным экспериментальным результатам.

На рис 4.3 представлены средние погрешности определения трехмерных координат при различном расстоянии до объекта рабочей сцены.

Рис. 4.3 Зависимость погрешности вычисления координат от местоположения и дальности до объекта рабочей сцены

Полученные экспериментальные исследования подтвердили

соответствие разработанных теоретических моделей фактическим данным. Кроме того установлено ожидаемое повышение точности трехмерного восприятия рабочий сцены для значительных по объему рабочих пространств за счет использования множественных источников изображения применения процедура калибровки и выбора наиболее рациональных парк оптико электронных датчиков для стереоскопического восприятия.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

Рассмотрим основные полученные в диссерационной работе результаты.

1) Создана математическая модель построения трехмерной рабочей сцены оптико-электронным устройством трехмерного технического зрения с множественными источниками изображений, новизна которой состоит в реализации трехмерного зрения при априори некалиброванных параметрах взаимного положения множественных ОЭД и синтеза трехмерной модели пространства с использованием данных от территориально распределенных источников видеоизображений, что обеспечивает большее перекрытие пространства рабочей сцены и повышение точности вычисления трехмерных координат;

2) Предложен алгоритм калибровки бинокулярного устройства на базе двух оптико-электронных датчиков, размещенных в разных точках рабочей сцены с неизвестным взаимным положением, обеспечивающие возможность реализации трехмерного технического зрения созданным оптико-электронным устройством, при этом за счет использования модифицированной в работе процедуры калибровки на основе использования эпиполярных линий и расширенной процедуры сопоставления объектов повышена точность сопоставления объектов;

3) Разработаны метод и алгоритм формирования трехмерной модели анализируемого пространства рабочей сцены, отличающиеся возможностью обработки серии изображений объектов, полученных при априори неизвестных точках наблюдения, и позволяющие сформировать объемную модель объектов рабочей сцены с повышенной по сравнению с аналогами точностью сопоставления объектов и установления их взаимного местоположения;

4) Разработана структурно-функциональная организация и выполнено макетирование модульного вычислительного устройства для обработки изображений, поступающих с территориально распределенных источников видеоданных, обеспечивающего вычисление и анализ параметров объектов рабочей сцены в реальном масштабе времени с существенно (в 2.1 раза) увеличненной точностью вычисления координат объектов в трехмерном пространстве, и полнотой (в 4.5 раза в выражении относительного объема рабочей сцены). Проведены экспериментальные исследования оптико-электронного устройства, подтвердившие корректность и адекватность созданных теоретических положений, а также перспективность его применения на практие в прикладных задачах промышленности и фундаментальных научных исследованиях.

СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ

1. Адаптивные системы технического зрения / В.Н. Гридин, В.С. Титов, М.И. Труфанов // Центр информационных технологий в проектировании РАН. ISBN 978-5-02-025391-9. - М.: Наука, 2009. - 441с

2. A.E. Johnson and M. Hebert IEEE Trans. Pattern Analysis and Machine Intelligence, 21(5), pp. 433-449,1999

3. Медведев. М.В., Кирпичников А.П. Трехмерная реконструкция объектов в системе технического зрения мобильного робота // Вестник Казанского технологического университета, 2014, №2. - С.326-30.

4. Анализ некоторых методов экспериментального исследования кинематических и динамических характеристик движений спортсмена / Кузнецов и др. // Ученые записки университета им. П.Ф. Лесгафта. 2019.№3, -С. 174-180.

5. A high precision 3D reconstruction method for bend tube axis based on binocular stereo vision /J. Sun, Y. Zhang, X. Cheng/ Optics Express, v.27, N3, Feb 2019. https://doi.org/10.1364/0E.27.002292

6. System and method of adaptive controlling of traffic using camera data. Malkes; William A. (Knoxville, TN). 16/030,396, July 9, 2018, 10,373,489, Feb 14, 2019.

7. Пат. № 2223545РФ, МКИ G06K9/62. Устройство для распознавания объектов [Текст] / Анисимов В.Ю., Борисов Э.В., Шостак С.В. - № 2002118221/09; заявлено 09.07.2002; опубл. 10.02.2004.

8. Пат. № 2246760РФ, МКИ G06K9/52. Способ обнаружения изменяющихся объектов [Текст] / Гречнев В.В. №001132441/09; заявлено 29.11.2001; опубл. 20.02.2005

9. Пат. № 2250499РФ, МКИ G06K9/80. Способ компьютерного распознавания объектов [Текст] / Иванов А.Л., Кловский О.Д., Юдашкин А.А., Корнев Ю.С. №2003133252/09; заявлено 17.11.2003; опубл. 20.04.2005.

10. Wang, Y.F. Inegration of active and passive sensing techniques for representing three-dimensional objects [Text] / Y.F.Wang, J.K. Aggarwal // IEEE transactions on robotics and automation. - 1984. - Vol. 5, №. 4. - P. 460 - 470

11. Пат. № 2251739РФ, МКИ G06K9/78, G06T7/00. Система распознавания объектов и слежения за ними [Текст] / КОУЭН Питер Джеффри. - № 2001121986/09; заявлено 20.07.2003; опубл. 10.05.2005

12. Пат. № 2370817РФ, МКИ G06K9/80. Система и способ отслеживания объекта [Текст] / Мурынин Александр Борисович, Базанов Петр Валерьевич, Кузнецов Виктор Дмитриевич. №2004123248/09; заявлено 29.07.2004; опубл. 20.10.2009.

13. Пат. № 2363018РФ, МКИ G01S17/06. Способ селекции объектов на удаленном фоне [Текст] / Подгорнов Владимир Аминович, Подгорнов Семен Владимирович, Щербина Александр Николаевич. №2007141107/28; заявлено 06.11.2007; опубл. 27.07.2009

14. Пат. № 2250499РФ, МКИ G06K9/80. Способ компьютерного распознавания объектов [Текст] / Иванов А.Л., Кловский О.Д., Юдашкин А.А., Корнев Ю.С. № 2003133252/09; заявлено 17.11.2003; опубл. 20.04.2005

15. Пат. № 2384881РФ, МКИ G06K9/66. Способ адаптивного распознавания объектов, система для адаптивного распознавания объектов [Текст] / Воскресенский Виктор Валериевич, Сборщиков Владимир Александрович, Хилько Александр Иванович, Яхно Владимир Григорьевич,

Хоботов Александр Геннадьевич, Остапенко Евгений Валерьевич. № 2007130876/09; заявлено 14.08.2007; опубл. 20.03.2010.

16. Пат. № 2403616РФ, МКИ G06K9/48, H04N1/409, G06T9/20. Способ помехоустойчивого градиентного выделения контуров объектов на цифровых изображениях [Текст] / Самойлин Евгений Александрович. № 2009130816/09; заявлено 12.08.2009; опубл. 10.11.2010

17. Тимофеев А.В. Распознавание сложных стерео- и мульти-изображений в реальном времени [Текст]/ А.В. Тимофеев, О.А. Дерин// International Book Series "INFORMATION SCIENCE & COMPUTING", Number 5, Supplement to the International Journal "INFORMATION TECHNOLOGIES & KNOWLEDGE" Volume 2 / 2008 Institute of Information Theories and Applications FOI ITHEA Sofia, Bulgaria, 2008 C. 149-152

18. Пат. № 2042150РФ, МКИ G01S13/50. Способ обнаружения движущихся объектов и устройство для его осуществления [Текст] / Емельянов С.Ю., Емельянов Ю.А., Чистяков Б.В. - № 5066996/09; заявлено 28.08.1992; опубл. 20.08.1995

19. Methods and computer program products for calibrating stereo imaging systems by using a planar mirror Torma; Peter (Zsambek, HU) 15/074,677 March 18, 2016 10,373,337 Sep 7, 2017.

20. Alignment of multiple camera images by matching projected one dimensional image profiles Gao; Xinting (Singapore, SG), Xu; Shan (Singapore, CN) Lu (Cupertino, CA) 15/785,239 October 16, 2017 10,360,662 Apr 18, 2019.

21. Apparatus and method for measuring position of stereo camera. Kim; Jae-Hean (Sejong, KR), Kang; Hyun (Daejeon, KR), Jung 15/046,929, February 18, 2016 10,356,394, Dec 29, 2016.

22. Vehicle vision system with gray level transition sensitive pixels. Biemer; Michael (Aschaffenburg-Obernau, DE) MAGNA ELECTRONICS INC. 14/875,965, October 6, 2015, 10,356,337, Apr 7, 2016.

23. Methods and systems for high precision locationing with depth values Brown; Patrick Martin (North Medford, NY), SYMBOL TECHNOLOGIES, LLC, 15/008,710, January 28, 2016 10,352,689, Aug 3, 2017.

24. Robust recognition on degraded imagery by exploiting known image transformation under motion Hoffmann; Heiko (Simi Valley, CA), 15/282,915 September 30, 2016 10,332,265 Sep 30, 2015.

25. Патент RU 2474973 C2, МПК H04N 13/00 (2006.01). Устройство стереовидения в реальном времени [Текст] / В.А.Ежов, И.Н.Компанец. -2011110889/07, 23.03.2011. Опубл. 10.02.2013.

26. Патент RU 2012118206 A, МПК G06K 9/32 (2006.01). Способ автоматической трехмерной калибровки бинокулярной системы технического зрения и устройство для его реализации [Текст] / К.Е.Румянцев, С.В.Кравцов, -2012118206/08, 03.05.2012. Опубл. 10.11.2013.

27. System and method for detecting still objects in images, Han; Feng (Lawrenceville, NJ), Shan; Ying (Sammamish, WA), Sarnoff Corporation (Princeton, NJ), 11/780,109, July 19, 2007, 7,853,072, Jan 31, 2008.

28. Hardware-oriented dynamically adaptive disparity estimation algorithm and its real-time hardware, Akin; Abdulkadir (Ecublens, CH), ECOLE POLYTECHNIQUE FEDERALE DE LAUSANNE (EPFL), 14/267,140, May 1, 2014, 9,756,312, Nov 5, 2015.

29. Machine vision system calibration using inaccurate calibration targets, Liu; Gang (Natick, MA), Cognex Corporation (Natick, MA), 13/835,759, March 15, 2013, 10,032,273, Sep 18, 2014.

30. Calibration system and method for multi-camera vision system, Knudsen; Timor (Freising, DE), MAGNA ELECTRONICS INC. (Auburn Hills, MI), 14/195,135, March 3, 2014, 9,688,200, Sep 4, 2014.

31. System and method for finding correspondence between cameras in a three-dimensional vision system, Liu; Lifeng (Arlington, MA), Wallack; Aaron S. (Natick, MA), Cognex Corporation (Natick, MA), 14/062,718, October 24, 2013, 9,124,873, May 1, 2014.

32. Machine vision calibration with cloud computing systems , Hickman; Ryan M. (Mountain View, CA), Google Inc. (Mountain View, CA), 13/601,319, August 31, 2012, 8,965,104, Feb 10, 2012.

33. Alison Noble J. Finding corners, Image and Vision Computing [Text] // v.6 n.2, May 1988, P.121-128

34. Dalmiya C.P., Santhi N., Sathyabama B. A novel feature descriptor for automatic change detection in remote sensing images // The Egyptian Journal of Remote Sensing and Space Sciences. In press, corrected proof, Available online 11 December 2018

35. Xiuying Shia, Jianjun Penga, Jiping Lib, Pitao Yana, Hangyu Gong. The Iterative Closest Point Registration Algorithm Based on the Normal Distribution Transformation // Procedia Computer Science, Volume 147, - 2019, P. 181-190

36. Lowe, D. Distinctive image features from scale-invariant keypoints, cascade filtering approach [Text] // IJCV, 60(2), January 2004, P. 91 - 110

37. Bay, H. SURF: Speeded up robust features [Text] / H. Bay, T. Tuytelaars, L. Van Gool // In ECCV, 2006.

40. Бибило, П.Н. VHDL. Эффективное использование при проектировании цифровых систем [Текст] / Бибило П. Н., Авдеев Н. А. - М: Солон-Пресс, 2006. - 344с.

41. Адаптивные системы технического зрения / В.Н. Гридин, В.С. Титов, М.И. Труфанов; Центр информационных технологий в проектировании РАН. ISBN 978-5-02-025391-9. - М.: Наука, 2009. - 441с

42. Timofeev A.V., Andreev V., Gulenko I.E., Derin O.A., Litvinov M.V. Design and implementation of multi-agent manmachine interface on the base of virtual reality models. - 9th International Conference SPEECOM'2004 (September 20-22, 2004, St.Petersburg), pp.670-675

43. Методы компьютерной обработки изображений [Текст] / Под ред. В.А. Сойфера. - М.: Физматлит. - 2001. - 784 с.

44. Jahne, B. Principles of filter design. Handbook of Computer Vision and Applications [Text] / B. Jahne, H.Scharr, S.Korkel // Academic Press, 1999

45. Автоматизированная система обнаружения движения на видео / Адушкина А.С., Кудрина М.А./ Информационные технологии и нанотехнологии, 2015. C.348-352

46. Viola, P. Robust real-time object detection [Text] / Viola P., Jones M. // IEEE ICCV Workshop on Statistical and Computational Theories of Vision. 2001.

47. Минченков, М.В. Алгоритм автоматической сегментации изображений для систем технического зрения" [Текст] / М.В. Минченков, Хельвас А.В., Юрин Д.В. // Сборник трудов "Обработка информации и моделирование". М.:МФТИ, 2002. - С. 66-80.

48. Gozbenko V.E., Kargapoltsev S.K., Kornilov D.N., Minaev N.V., Karlina A.I. Definition of the main coordinates of the car with two-level spring suspension. International Journal of Applied Engineering Research. 2016. Т. 11. № 20. Р. 10367-10373.

49. Wang L.-L., Tsai W.-H. Camera calibration by Vanishing Lines for 3-D Computer Vision // The IEEE transactions on pattern analysis and machine intelligence. 1991. V. 13, № 4. P. 370-376

50. Абламейко, С.В. Обработка изображений: технология, методы, применение [Текст] / Абламейко С. В., Лагуновски Д.М. - Минск: «Амалфея», 2000. - 304с

51. Horaud R., Mohr R., Lorecki B. On single-scanline camera calibration // IEEE transactions on robotics and automation. 1993. V. 9. № 1. P. 71-75.

52. Труфанов, М.И. Калибровка установочного положения датчиков бинокулярного оптико-электронного устройства [Текст] / М.И. Труфанов // Сборник материалов МНТК «Медико-экологические информационные технологии». - Курск. - 2005. - С. 91 - 92

53. Yoshihiko N., Michihiro S., Hiroshi N., Atsushi I. Simple calibration algorithm for high-distortionlens camera // The IEEE transactions on pattern analysis and machine intelligence. 1992. V. 14, № 11. P. 1095-1099

54. М.М. Фролов. Калибровка ОЭД мобильного транспортного робота /М.М. Фролов, М.И. Труфанов, В.С. Титов // Информационные технологии и математическое моделирование систем 2015. Труды международной научно-технической конференции (Москва, Центр информационных технологий в проектировании РАН), с.165-167.

55. Калибровка камеры и 3D реконструкция [Электронный ресурс]// Режим доступа: https://docs.opencv.org/2.4/modules/calib3d/doc/camera_ calibration_and_3d_reconstruction.html (дата последнего посещения 24.11.2018)

56. Медведев М.В., Кирпичников А.П. Трехмерная реконструкция объектов в системе технического зрения мобильного робота // Вестник Казанского технологического университета. 2014. №15. - С. 326-330

57. Титов, В.С. Метод автоматической калибровки радиальной дисторсии линз системы технического зрения [Текст] / В.С. Титов, М.И. Труфанов // Датчики и системы. - 2004. - №6. - С.63-65.

58. М.М. Фролов. Алгоритм калибровки системы трехмерного технического зрения на базе территориально распределенных оптико-электронных датчиков / М.М. Фролов // Перспективы развития науки и образования: сборник научных трудов по материалам XXIII международной научно-практической конференции, 30 ноября 2017 г./Под общ. ред. А.В. Туголукова - Москва: с.306-309

59. Longuet-Higgins, H. A computer algorithm for reconstructing a scene from two projections [Text] / Longuet-Higgins H. // Nature, ch. 6.2-6.3. 1981. - P. 133-135.

60. Определение внешних параметров калибровки камеры системы технического зрения/ Куротхин В.Ю./ Современные технологии. системный анализ. моделирование, 2017, №1, - с.132-136.

61. М.М. Фролов, Модель относительного позиционирования двух малогабаритных летательных аппаратов // М.М. Фролов, М.И. Труфанов, А.В. Помельников / Информационные технологии и математическое моделирование систем 2015. Труды международной научно-технической

конференции (Москва, Центр информационных технологий в проектировании РАН), с.161-165.

62. М.М. Фролов. Оптико-электронное устройство вычисления координат точки фокусировки взгляда оператора в пространстве для реализации бесконтактного человеко-машинного интерфейса / М.М, Фролов, Болецкий Е.Б., Труфанов М.И.// Информационные технологии и математическое моделирование систем 2016. Труды международной научно-технической конференции (Москва, Центр информационных технологий в проектировании РАН), с.143-145

63. J. H. Friedman, J.L. Bently, R.A.Finkel. An algorithm for finding best matches in logarithmic expected time. In ACM Transaction on Mathematical Software, volume 3, pages 209-226, 1977.

6464 Neetesh Prajapati,Amit Kumar Nandanwar,G.S. Prajapati. Edge Histogram Descriptor, Geometric Moment and Sobel Edge Detector Combined Features Based Object Recognition and Retrieval System. (IJCSIT) International Journal of Computer Science and Information Technologies. - 2016. - Vol. 7 (1). -Р. 407-412.

65. Boulanger, J. Space-time adaptation for patch based image sequence restoration / J. Boulanger, C. Kervrann, P. Bouthemy // IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, vol. 8, no. 6, pp. 1096-1102

66. Алгоритм уточнения вычисленных координат контура объекта газа в жидкости при измерении поверхностного натяжения [Текст] / П.С. Козлов, Е.В.Лукьянчиков, М.И. Труфанов // Известия Юго-Западного государственного университета. - 2012. - № 2. - Часть 2. - С. 90 - 95

67. Цибанов, В.Н. Применение метода регуляризации Тихонова для выделения контуров изображений [Текст] / В.Н.Цибанов, А.С.Крылов// Вестник МГУ сер. Вычисл. Матем. и Киберн. - 2008. - № 2. - C. 11-16

68. М.М. Фролов. Обобщенная модель телекоммуникационного канала с позиции информационного мониторинга // . М.М. Фролов. Кузьмин А.Л., Миняев А.А., Марьянов П.А./ Телекоммуникации, 2011, - С. 34-42.

69. М.М. Фролов. Алгоритм распределения однородного непрерывного ограниченного ресурса в иерархических системах транспортного типа с древовидной структурой // М.М. Фролов, Логинова И.В., Беседин И.И. / Информационные системы и технологии, 2013. - № 2(76). - С. 99-106.

70. М.М. Фролов. Предварительная фильтрация неинформативного трафика / Актуальные направления развития систем охраны специальной связи и информации для нужд государственного управления: IX Всероссийская межведомственная научная конференция: материалы и доклады. Орёл, 2015 г. - С.72-74.

71. Способ обработки высокоскоростного потока разнородной информации. Патент №2476043 от 30.01.2013, Заявка №2011441705, М.М. Фролов, Н.С. Архипов и др.

72. Саблина В.А., Терехина А.А. Обзор методов нахождения ключевых точек для сопоставления изображений // Методы и средства обработки и хранения информации. Межвузовский сборник научных трудов. Под ред. Б.В. Кострова; Рязанский государственный радиотехнический университет. - Рязанъ: Редакционно-издательский центр РГРТУ, 2018 - С.113-117.

73. Rosten, E., and T. Drummond. Machine Learning for High-Speed Corner Detection // 9th European Conference on Computer Vision. Vol. 1, 2006, Р. 430- 443

74. Kapil Juneja. Multiple feature descriptors based model for individual identification in group photos // Journal of King Saud University - Computer and Information Sciences. - February 2017.

75. Lowe, D.G. Object recognition from local scale-invariant features [Text] // In Proceedings of the 7th International Conference on Computer Vision, Kerkyra, Greece, 1999, P. 1150-1157. Lindeberg, T. Feature Detection with Automatic Scale Selection // International Journal of Computer Vision,v.30 n.2, Nov. 1998, P. 79-116

76. Захаров, А.А. Поиск объектов на изображениях с использованием структурного дескриптора на основе графов / А.А. Захаров, А.Е. Баринов, А.Л. Жизняков, В.С. Титов // Компьютерная оптика. - 2018. - Т. 42, № 2. - С. 283290. - DOI: 10.18287/2412-6179-2018-42-2-283-290

77. М.М. Фролов. Оптико-электронное устройство вычисления координат точки фокусировки взгляда оператора в пространстве для реализации бесконтактного человеко-машинного интерфейса / М.М, Фролов, Болецкий Е.Б., Труфанов М.И.// Информационные технологии и математическое моделирование систем 2016. Труды международной научно-технической конференции (Москва, Центр информационных технологий в проектировании РАН), с.143-145

78. Полунин,А.В.Подходы к разработке алгоритма обнаружения и сопоставления характерных точек при движении видеосенсора /А.В.Полунин,

А.Б. Мишин// Материалы 8-й Всероссийской научной конференции. Орел: Академия ФСО России 2013 г. Ч.10. - С. 60 - 62

79. Matas, J., O. Chum, M. Urba, and T. Pajdla. Robust wide-baseline stereo from maximally stable extremal regions // Proceedings of British Machine Vision Conference. 2002, Р. 384-396

80. Лукьянчиков, Е.В. Выбор алгоритма повышения разрешения цифрового изображения для портативных устройств / Е.В. Лукьянчиков // Материалы IX Международной конференции "Распознавание-2010". - Курск, 2010. - С. 242-243

81. М.М. Фролов. Оптико-электронное устройство вычисления параметров объемных объектов рабочей сцены при множественных источниках видеоданных // М.М. Фролов, М.И. Труфанов / Известия Юго-Западного государственного университета. 2018. Т. 22, № 6(81). С. 198-205. https://doi.org/10.21869/2223-1560-2018-22-6-198-205.

82. М.М. Фролов. Структурно-функциональная организация системы трехмерного технического зрения на базе территориально распределенных оптико-электронных датчиков / Современные проблемы физико-математических наук. Материалы III Международной научно-практической конференции, 23-26 ноября 2017 г. / под общ. ред. Т.Н. Можаровой. - Орел: ОГУ, 2017. с.367-368

83. Jeff Bier, Choosing a Processor: Benchmarks and Beyond (S043), Berkeley, California: Berkeley Design Technology, Inc., USA, 2006

84. Использование плат Nallatech для быстройобраобтки видеоданных / http://www.nallatech.com/Latest-News/nallatech-announces-availability-of-xilinx-

virtex-5-fpga-memory-and-io-module-for-pci-express-platforms.html [Интернет-ресурс] .

85. М.М. Фролов. Моделирование искажающих воздействий на кадр видеопоследовательности / М.М. Фролов, Миняев А.А., Полунин А.В., Морковин С.В. // Оптико-электронные приборы и устройства в системах распознавания образов, обработки изображений и символьной информации. Распознавание - 2018 . - С.138-140.

86. Jackel О. Grafik-Computer, Springer-Verlag, 1992. [6] Cobernuss М., Ruesseler Н.. Verfanren und Schaltungsarundnung zur Untetduckung verdeckter Bikfpunkte, DE 41 43 576 A1, German Patent Of ice 1993.

87. Real-Time Rendering, Third Edition, by Tomas Akenine-Moller AK Peters; 3 edition | July 31, 2008 | English | ISBN: 1568814240 | 1045 Pages.