Алгоритмы определения безразмерных признаков изображений проекций трехмерных объектов и их распознавание тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат наук Терехин, Андрей Викторович

• Терехин, Андрей Викторович
• кандидат наук
• 2015

Оглавление диссертации кандидат наук Терехин, Андрей Викторович

СОДЕРЖАНИЕ

ВВЕДЕНИЕ

ГЛАВА 1 ОБЗОР И АНАЛИЗ АЛГОРИТМОВ, МЕТОДОВ И СИСТЕМ РАСПОЗНАВАНИЯ ТРЕХМЕРНЫХ ОБЪЕКТОВ

Введение

1.1 Историческое развитие робототехники

1.1.1 Слепые роботы. «Механические руки»

1.1.2 САР с техническим зрением

1.2 САР трехмерных объектов

1.2.1 Датчики технического зрения Balluff серии ВVS OI

1.2.2 Системы автоматического распознавания Omron

1.2.3 3D камеры IFM Electronic серии 03D2

1.2.4 3D Системы технического зрения SICK

1.2.5 Достоинства и недостатки существующих систем распознавания трехмерных объектов

1.3 Алгоритмы предварительной обработки изображений проекций трехмерных объектов

1.3.1 Фильтрация изображения

1.3.2 Сегментация изображений

1.3.3 Нормализация проекции трехмерного объекта

1.4 Признаки, используемые для распознавания трехмерных объектов

1.5 Алгоритмы, используемые для распознавания трехмерных объектов

1.5.1 Алгоритм k-средних

1.5.2 Алгоритм вычисления оценок

1.5.3 Алгоритм поиска ближайших соседей

1.6 Выбор и обоснование алгоритма построения трехмерной модели объекта

Выводы по главе 1

Постановка задачи исследования

ГЛАВА 2 РАЗРАБОТКА АЛГОРИТМИЧЕСКОГО ОБЕСПЕЧЕНИЯ ОБРАБОТКИ И СТРУКТУРЫ СИСТЕМЫ РАСПОЗНАВАНИЯ ТРЕХМЕРНЫХ ОБЪЕКТОВ ПО ИЗОБРАЖЕНИЯМ ИХ ПРОЕКЦИЙ

Введение

2.1 Алгоритм нормализации ориентации бинарных изображений проекций трехмерного объекта

2.2 Алгоритм поиска ключевых точек для вычисления диагональных коэффициентов формы

2.3 Алгоритм вычисления диагональных признаков формы бинарных изображений проекций трехмерного объекта

2.3.1 Алгоритм классификации плоских геометрических фигур вписанных в квадрат по диагональным признакам формы

2.3.2 Алгоритм классификации плоских геометрических фигур вписанных в прямоугольник по диагональным признакам формы

2.4 Алгоритм определения диапазонов значений признаков формы

2.5 Обоснование необходимости применения имитационных моделей в САР произвольно расположенных трехмерных объектов

2.6 Алгоритм формирования описания поверхности трехмерного объекта

2.7 Алгоритм сопоставления пар проекций по двум снимкам множества объектов на сцене

2.8 Разработка подхода к распознаванию трехмерных объектов

2.8.1 Разработка структуры системы автоматического распознавания трехмерных объектов: режим обучения

2.8.2 Разработка структуры системы автоматического распознавания трехмерных объектов: режим распознавания

2.9 Структура эталона трехмерного объекта

Выводы по главе 2

ГЛАВА 3 ИССЛЕДОВАНИЕ РАЗРАБОТАННЫХ АЛГОРИТМОВ И СИСТЕМЫ РАСПОЗНАВАНИЯ НА ТЕСТОВЫХ ТРЕХМЕРНЫХ ОБЪЕКТАХ

3.1 Постановка задачи исследований на макетных трехмерных объектах

3.1.1 База тестовых изображений плоских геометрических фигур и проекций трехмерных объектов

3.1.2 Исходные данные для исследований

3.1.3 Макет системы автоматического распознавания трехмерных объектов

3.1.4 Структура программного обеспечения системы

3.1.5 Поиск ключевых точек на изображения проекций тестовых трехмерных объектов для вычисления диагональных коэффициентов формы

3.2 Определение отклонений диагональных признаков формы на тестовых изображениях плоских геометрических фигур от эталонных

3.3 Выявление наилучших показателей распознавания проекций тестовых трехмерных объектов с использованием различных алгоритмов

3.3.1 Исследование алгоритма k-средних для распознавания проекций тестовых трехмерных объектов

3.3.2 Исследование метода ближайших соседей для распознавании проекций тестовых трехмерных объектов

3.3.3 Исследование алгоритма вычисления оценок при распознавании проекций трехмерных объектов

3.4 Исследования выбранного алгоритма распознавания на парах изображений отдельных объектов с использованием моделей окто-деревьев и нескольких эталонов

3.5 Исследование алгоритма сопоставления проекций трехмерных объектов на выборках пар снимков нескольких раздельно расположенных трехмерных объектов

Выводы по главе 3

ГЛАВА 4 ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ РАЗРАБОТАННЫХ АЛГОРИТМОВ И СИСТЕМЫ РАСПОЗНАВАНИЯ НА РЕАЛЬНЫХ ТРЕХМЕРНЫХ ОБЪЕКТАХ

4.1 Постановка задачи эксперимента на реальных трехмерных объектах

4.1.1 Экспериментальная база изображений проекций реальных трехмерных объектов

4.1.2 Описание экспериментов над изображениями проекций реальных трехмерных объектов

4.1.3 Поиск ключевых точек на изображениях проекций реальных трехмерных объектов для вычисления диагональных коэффициентов формы

4.2 Экспериментальная проверка разработанных алгоритмов на отдельных реальных трехмерных объектах

4.3 Экспериментальная проверка разработанных алгоритмов на изображениях нескольких отдельно расположенных реальных трехмерных объектов (детали шарового крана)

4.4 Экспериментальная проверка разработанных алгоритмов на изображениях нескольких отдельно расположенных реальных трехмерных объектов (радиодетали)

Выводы по главе 4

ЗАКЛЮЧЕНИЕ

СПИСОК ЛИТЕРАТУРЫ

ПРИЛОЖЕНИЕ 1 Патент

ПРИЛОЖЕНИЕ 2 Свидетельства о регистрации программы на ЭВМ

ПРИЛОЖЕНИЕ 3 Копии актов о внедрении

ПРИЛОЖЕНИЕ А Изображения и таблицы к главе 1

ПРИЛОЖЕНИЕ Б Примеры изображений ортогональных проекций тестовых и реальных трехмерных объектов к главам 3, 4

ПРИЛОЖЕНИЕ В Диагональные признаки формы ортогональных проекций тестовых и реальных трехмерных объектов к главам 3, 4

ПРИЛОЖЕНИЕ Г Статистические данные к главе 3

ПРИЛОЖЕНИЕ Д Статистические данные к главе 4

Введение диссертации (часть автореферата) на тему «Алгоритмы определения безразмерных признаков изображений проекций трехмерных объектов и их распознавание»

ВВЕДЕНИЕ

Область технического зрения изучается специалистами с середины прошлого века, когда началась развиваться кибернетика, в современном ее понимании, и были построены первые роботы манипуляторы. Еще тогда возникла задача реализации возможности «видеть» слепым «роботам-сборщикам». Среди решаемых задач так же выделяются следующие: задача распознавания объектов, определения их местоположения, выявление дефектов. Существует множество подходов, алгоритмов и методов, позволяющих распознавать объекты на изображениях. Некоторые больше используют аппаратные возможности систем, другие — опираются на программное обеспечение.

Повсеместное увеличение объемов производства влечет за собой внедрение автоматических конвейеров и сборочных линий. Их неотъемлемой частью являются роботизированные узлы, оборудованные техническим зрением. Все существующие системы автоматического распознавания требуют фиксированного положения детали либо используются для локализации дефектов на однотипных объектах на конвейере. При массовом производстве это крайне неудобно, но направление распознавания нескольких произвольно расположенных трехмерных объектов настолько развито слабо и редко применяется из-за большого количества ошибок в отдельных сложных случаях: когда объекты имеют одинаковые характеристики у аналогичных проекций; когда с одного ракурса нельзя различить объекты, отличающиеся только формами боковых граней.

Сейчас данная задача в основном решается с использованием признаков контура, формы, текстуры и др. Все эти признаки, как в отдельности, так и в совокупности, не могут решить некоторые задачи распознавания и имеют различные единицы измерения, что в ряде случаев затрудняет их совместный анализ. Разработка нового набора признаков в виде безразмерных коэффициентов, имеющих общий диапазон значений является актуальной задачей.

Анализ существующих систем автоматического распознавания (САР) показал, что на практике в основном используется одна камера на отдельных сборочных узлах, при этом расположение распознаваемых объектов жестко фиксировано в поле зрения САР. Многокамерные САР в основном применяются для обнаружения дефектов на крупных объектах. При конвейерной сборке множества произвольно расположенных небольших объектов, обычно используется ручной труд.

Задача распознавания произвольно расположенного трехмерного объекта на конвейере сводится к определении его типа и обнаружении его местоположения для того, чтобы робот манипулятор автоматически выполнял по заранее заданной инструкции процесс сборки/покраски.

На данный момент направление распознавания трехмерных объектов только начинает развиваться. При этом используются либо средства плоской геометрии либо трехмерное моделирование с использованием различных дополнительных датчиков.

Любой трехмерный объект отображается на двумерной плоскости в виде проекции. Снимки с камер представляют собой плоские изображения. Поэтому нельзя полностью исключить из процесса распознавания алгоритмы и подходы плоской геометрии.

Для решения вышеописанной проблемы идентификации объектов со схожими ортогональными проекциями, САР должна быть построена на основе нового комбинированного подхода, использующего как алгоритмы плоской геометрии, так и трехмерное моделирование.

В связи с вышеизложенным, разработка подходов и алгоритмов, а так же создание САР произвольно расположенных на ленте конвейера трехмерных объектов с использованием двух видео датчиков является актуальной задачей. Исследование направлено на автоматизацию процесса сборки узлов промышленных изделий таких как элементы двигателей, станков, приборов, или небольших механически собираемых изделий, таких как шаровые краны, и

т.д., который в настоящее время осуществляется вручную рабочими-сборщиками.

Цель диссертационной работы - разработка нового подхода к решению задачи распознавания ТО и определения их координат, новых алгоритмов определения безразмерных признаков изображений проекций ТО, создание макета САР и экспериментальное исследование ее возможностей.

Для достижения поставленной цели необходимо выполнить следующие задачи:

1. Анализ состояния задачи распознавания отдельно расположенных ТО.

2. Разработка нового подхода к распознаванию ТО с использованием двух камер, одна из которых располагается над сценой, вторая — под углом к сцене.

3. Разработка алгоритма сопоставления изображений проекций на двух снимках, полученных с камер, при наличии в поле зрения САР нескольких ТО.

4. Разработка новых алгоритмов выделения признаков и предварительной обработки изображений, позволяющих решать задачи автоматического распознавания и классификации произвольно и отдельно расположенных ТО.

5. Разработка структуры эталона объекта, включающей в себя информацию о его признаках шести ортогональных проекций, и позволяющей использовать известные алгоритмы вычисления оценок для распознавания ТО.

6. Разработка макета экспериментальной САР ТО с использованием двух камер и проведение исследований по распознаванию тестовых и реальных ТО.

Научная новизна. Новые научные результаты, полученные в работе, состоят в следующем:

- Предложен новый подход к распознаванию произвольно расположенных ТО, заключающийся: 1) в использовании двух видеодатчиков, позволяющих получать как ортогональные, так и косоугольные проекции объектов под любым ракурсом; 2) трехмерных моделей ТО; и 3) набора безразмерных признаков формы изображений двух проекций объектов; 4) алгоритма вычисления оценок.

- Предложен новый алгоритм определения принадлежности ортогональной и косоугольной проекции на двух снимках к каждому из трехмерных объектов, обеспечивающий возможность распознавания ТО по двум снимкам проекций;

- Предложены алгоритмы вычисления безразмерных диагональных признаков формы изображений проекций ТО, инвариантных к переносу, изменению масштаба и повороту ТО в поле зрения системы;

- Проведенными исследованиями на реальных ТО доказана перспективность применения предложенного подхода и разработанных алгоритмов для построения САР ТО с повышенной точностью распознавания ТО в сложных ситуациях.

Теоретическая значимость исследования обусловлена тем, что:

- доказана применимость комбинированного подхода (на основе использования плоских изображений и трехмерных моделей) для распознавания произвольно расположенных ТО;

- изложены доказательства необходимости применения трехмерных моделей для формирования косоугольных проекций распознаваемых объектов в случаях наличия одинаковых проекций у разных ТО;

- выявлены закономерности в значениях диагональных признаков плоских выпуклых геометрических фигур, позволяющие создать классы проекций ТО по их форме.

Практическая ценность работы.

Значение полученных результатов исследования для практики подтверждается тем, что:

1. Разработаны алгоритмы вычисления диагональных признаков формы, инвариантных к пространственному расположению бинарных изображений проекций ТО.

2. Создана САР нескольких отдельно расположенных на сцене ТО, находящихся в произвольном порядке.

3. Проведены вычислительные эксперименты по оценке точности разработанных алгоритмов, результаты которых позволили выявить их возможности при распознавания единичных и нескольких отдельно расположенных тестовых и реальных ТО.

4. Разработанные алгоритмы применяются в учебном процессе кафедры информационных систем МИВлГУ в лабораторных и практических работах.

5. Полученные научные результаты приняты к использованию на промышленных предприятиях.

6. По результатам исследований, проведенных автором в рамках диссертации, получены два свидетельства об официальной регистрации на разработанные с его участием программные продукты, и один патент на полезную модель.

Методы исследования. В работе использованы методы геометрии, тригонометрии, алгебры логики, математической статистики, цифровой обработки изображений, планирования экспериментов и распознавания образов.

На защиту выносится:

1. Алгоритм сопоставления пар изображений, позволяющий отнести ортогональные и косоугольные проекции, полученные с разных камер, к каждому распознаваемому ТО;

2. Алгоритмы вычисления диагональных признаков формы проекций ТО, использование которых позволяет с высокой точностью распознавать тестовые и реальные ТО;

3. САР нескольких отдельно расположенных ТО, которая может использоваться как основа для построения систем машинного зрения промышленного назначения;

4. Результаты экспериментальных исследований на САР по распознаванию нескольких произвольно расположенных реальных ТО, подтвердившие высокую точность идентификации объектов разработанной системой.

Степень достоверности результатов исследований обусловлена тем,

что:

1. Теоретическая составляющая диссертации построена на известных и проверяемых данных и согласуется с опубликованными экспериментальными результатами по теме диссертации и смежным отраслям в изданиях, рекомендованных Высшей аттестационной комиссией РФ;

2. Подход базируется на анализе существующих решений в области распознавания объектов, а так же развитии алгоритмов анализа плоских изображений.

3. Использованы современные методики сбора и обработки информации с применением средств вычислительной техники.

Апробация работы. Материалы диссертационной работы докладывались и обсуждались на: Международном симпозиуме «Надежность и качество» (г. Пенза, 2012г., 2013 г.); Международной конференции «Распознавание 2013» (г. Курск, 2013г.); «Перспективы развития информационных технологий» (г. Новосибирск, 2013 г.), «Наука и современность 2013» (г. Новосибирск, 2013 г.), 11-th International Conference on Pattern Recognition and Image Analysis (r. Самара, 2013 г.), Всероссийские научные «Зворыкинские чтения». Регионы России (г. Муром, 2014 г.).

Публикации. Основные результаты диссертации опубликованы в 28 печатных работах, в том числе в 8 статьях в журналах из списка ВАК. Получены 1 патент на полезную модель и 2 свидетельства о регистрации программы для ЭВМ.

ГЛАВА 1 ОБЗОР И АНАЛИЗ АЛГОРИТМОВ, МЕТОДОВ И СИСТЕМ РАСПОЗНАВАНИЯ ТРЕХМЕРНЫХ ОБЪЕКТОВ

Введение.

Автоматизация производства, контроль и управление им на базе электроники, создание и применение новых конструкционных материалов получили широкое применение начиная с 40-50-х года прошлого века, тогда началась современная эпоха научно-технической революции [1, 2]. А возникновение спроса на сборочные узлы было преддверием нового этапа в развитии человеко-машинных систем: появились первые роботизированные системы, применяемые в производстве, а так же начались активные исследования и разработки в этой области [2-5].

Современные роботизированные системы, обеспечивающие гибкость при автоматизированном производстве, включают [1]: станки с ЧПУ; промышленные роботы; роботизированный технологический комплекс; гибкие производственные системы, характеризуемые сочетанием технологических единиц и роботов, управляемые ЭВМ, имеющие оборудование для перемещения обрабатываемых деталей и смены инструмента; системы контроля качества на базе ЭВМ- техническое приложение компьютеров и управляемых ими машин для проверки качества изделий.

1.1 Историческое развитие робототехники

Первые промышленные автоматы могли выполнять основные технологические операции (сварка, покраска, сборка и др.), а так же вспомогательные технологические операции (загрузка-выгрузка технологического оборудования, транспортные и др.) с минимальным участием человека, либо автоматически. При использовании сменной технологической оснастки выполняемые операции могли осуществляться одним промышленным роботом, при неизменном уровне качества, это позволяло увеличить производительность труда в целом, что и сказалось на их (роботов) дальнейшем развитии [3].

Операции, осуществляемые роботами, мало отличались от тех операций, которые выполнялись автоматами и автоматизированными устройствами. Но в процессе накопления опыта роботизации, отличия в действиях автоматов и роботов оказались значительными, что послужило основой для выделения роботов в отдельный класс технических средств автоматизации, которые могли быть обучены с помощью специальных ЭВМ выполнению различных операций во времени и пространстве [6]. В процессе дальнейшего развития, роботы стали способны воспроизводить все многообразие двигательных функций человека в процессе работы, что позволяло использовать их для обслуживания оборудований различных типов.

Промышленные роботы с адаптивным управлением оснащены сенсорной частью. Сигналы, передаваемые датчиками, анализируются и в зависимости от результатов принимается решение о последующих действиях. Чтобы робот обладал адаптивными к изменению состояния рабочей среды свойствами его необходимо снабдить зрительным анализатором, т.е. техническим зрением [7].

Под техническим зрением в робототехнике понимают процесс восприятия роботом окружающих объектов с помощью датчиков оптической информации (видео-датчиков), оценки местоположения объектов и их распознавания на основе полученной видеоинформации [8-10].

Количество видео-датчиков (ВД) в системах автоматического распознавания (САР) определяется сложностью решаемой задачи. По числу ВД САР подразделяются на монокулярные (однокамерные), бинокулярные (двухкамерные), бинокулярные с дополнительным третьим видео-датчиком (трехкамерные), бинокулярные с дополнительным третьим и четвертым ВД (четырехкамерные) и многокамерные.

С количеством ВД связана и классификация САР по виду рабочей информации. По этому признаку различают одномерные, двумерные и трехмерные САР [11]. К одномерным относятся системы, снимающие информацию в точке, совокупности точек или линий. Двумерные системы анализируют информацию, снимаемую с плоских изображений. Трехмерные

САР обеспечивают восприятие и анализ объемных изображений. Последние способны восстанавливать трехмерные изображения по их проекциям [9].

В настоящее время системы автоматического распознавания применяются на многих этапах производственного процесса. Основные направления (Приложение А, рис. А1), в которых востребованы САР следующие [12]:

- контроль производства (67%);

- диагностика, тестирование и поддержка (33%)

Постоянное совершенствование подходов к распознаванию объектов с использованием САР в области контроля производства говорит об актуальности данного вопроса в наше время.

1.1.1 Слепые роботы. «Механические руки»

История механических рук начинается с атомной физики. Многие материалы, с которыми приходится иметь дело в этой области науки, обладают радиоактивностью - свойством выделять в окружающее пространство опасные для здоровья человека лучи. Механические руки стали устанавливать там, где доступ человека нежелателен, а сам он - управляющий руками, располагался в другом, безопасном помещении. Оператор, работающий на манипуляторе, приводил в движение управляющий механизм, звенья которого соединены с соответствующими звеньями исполнительного механизма, повторяющего все движения руки оператора [13].

При работе с радиоактивными веществами расстоянии от оператора до исполнительных рук манипулятора могло доходить до десятков метров. Надёжное и точное управление на значительном расстоянии - вот первое требование, которое всегда предъявлялось к любой конструкции копирующего манипулятора [13].

Робот типа «рука»

Каждый робот рассчитан на выполнение той или иной работы, которая и определяет его конструкцию, размеры, степень подвижности, число рук и пальцев на руке, грузоподъёмность, точность движения. На рис. А2

(Приложение А) изображена структурная схема робота типа «Рука». Рукой управляет либо оператор с пульта, либо мозг робота - его ЦВМ (цифровая вычислительная машина). В блоке памяти находится программа действий робота, которую вводят в него или которую он приобретает во время обучения [13].

Общий блок управления электрическими, гидравлическими или пневматическими двигателями, расположенными в плече руки, предплечье, в кисти, состоит из цепей управления движением руки по каждой из координатных осей. Сколько степеней свободы у руки, столько и цепей управления [13].

Робот - манипулятор, встав на рабочее место, согласовывает свою работу с обслуживаемым технологическим оборудованием. Движения руки точные, повороты строго рассчитаны во времени. Робот с оборудованием образует автоматизированную ячейку. Из таких ячеек составляют робототехнологические комплексы или линии [13]. Примером такой линии является сборочный конвейер грузовых автомобилей. Сложный технологический процесс сборки требует многократной установки, съёма, погрузки[13]. До применения роботов манипуляторов, технологическим процессом сборки заготовок и деталей (вес которых может превышать 10 кг) занимались сотни людей.

1.1.2 САР с техническим зрением

Камеры, используемые для промышленных САР, включают видеодатчики, смарт-камеры и камеры на базе компьютера. Такие камеры предполагают преимущественно цифровое исполнение, то есть применение цифровой обработки изображения независимо от типа выхода, и получение первичного сигнала также в цифровой форме. Единицей (наименьшим элементом) цифрового изображения является пиксель (общее количество пикселей, суммированное по двум осям, определяет разрешение камеры) [14].

В зависимости от способов пространственной визуализации изображения, которое получает и визуализирует камера, выделяются три основных типа датчиков:

- Ш или однострочная камера — линейный массив. В данном случае видеокамера в течение выбранного промежутка времени захватывает одномерное проекционное изображение. Полученные данные — об одной или нескольких линиях — могут быть использованы в дальнейшем для получения двумерного или трехмерного изображения [14].

- 20-камера обеспечивает двумерное проекционное изображение (кадр). При этом описание кадра основано на контрасте и яркости отдельных участков изображения. Кадр, в зависимости от используемой камеры, может быть монохромным (представленным в градациях яркости серой шкалы) или же цветным. Также существуют специальные камеры, которые выдают инфракрасное изображение [14].

- ЗЭ-камера выдает трехмерное изображение, или образ, в котором информация о двумерном изображении — профиле объекта—сочетается с данными о высоте профилей объекта — анализируемых камерой участков изображения, распределенных с некоторой частотой по всему объему объекта [14].

1.1.2.1 САР с одной камерой

Рассмотренные в п.п 1.1.1 роботы с программным управлением обладали одним существенным недостатком - отсутствием зрения. В таких роботах не было сенсорной части, все действия жёстко фиксировались и регулярно повторялись. Это накладывало существенные ограничения на возможности самостоятельного обнаружения и распознавания объектов. Поэтому перед кибернетикой встала задача развития программных и аппаратных средств, позволяющих роботам «видеть». Компьютерное зрение оформилось как самостоятельная дисциплина только к концу 60-х годов. Это направление возникло в рамках искусственного интеллекта в тот его период, когда еще были

активны споры о возможности создания мыслящей машины. Оно выделилось из работ по распознаванию образов [8-10, 15-69].

Простейшим типом САР являются однокамерные системы (см. Приложение А рис. АЗ) [70-73]. Однако с их помощью можно решать довольно сложные задачи: распознавание формы, определение координат и ориентации объекта манипулирования, контроль поверхности объекта и др.

На вход САР поступает плоское изображение проекции объекта [74] манипулирования (ОМ) с области сцены (ОС) при помощи видео-датчика (ВД). Дальнейшие операции предварительной обработки (ПО), выделения контуров, сегментации, вычислении признаков и в конечном итоге распознавания происходят внутри САР.

1.1.2.2 САР с двумя камерами

Двух-, трех-, четырех- и многокамерные системы позволяют воспринимать и обрабатывать трехмерную информацию (см. Приложение А, рис. А4). Часто в подобных САР используются алгоритмы реконструкции трехмерной поверхности [70-73].

В зависимости от конкретной реализации САР эти алгоритмы могут различаться. Одни формируют поверхность на основе датчиков расстояний, другие по нескольким плоским изображениям проекций трехмерных объектов, третьи - с использованием лазерной триангуляции и др. При этом для распознавания трехмерных объектов до сих пор часто используются алгоритмы распознавания и признаки плоских объектов. В настоящее время ведутся активные исследования в данной области.

Применение двух и более видео-датчиков позволяет запечатлеть дополнительную информацию о трехмерном объекте (отверстия, невидимые с другой камеры, форма боковых проекций, и др.). При этом возникает задача совместной обработки информации, получаемой с нескольких камер, особенно когда на сцене не один объект. Данная задача требует создания алгоритмов сопоставления проекций на паре (или большем количестве) изображений, полученных с видео-датчиков.

1.2 САР трехмерных объектов

Среди современных фирм, занимающихся созданием 3D САР, одними из наиболее известных являются Balluff, Omron, IFM Electronic, SICK [70-73].

1.2.1 Датчики технического зрения Balluff серии BVS Ol

Balluff предлагает камеры технического зрения серии BVS-E Standart и BVS-E Advanced для распознавания объектов в промышленности. Датчики машинного (технического) зрения Balluff BVS Ol (технические характеристики приведены в таблице AI Приложения А) подходят так же для контроля качества готовой продукции, ее сортировки, контроля положения и решения других производственных задач на основе распознавания объектов [70].

Камера технического зрения BVS представляет собой отдельное устройство со встроенным источником освещения. Промышленный видеодатчик Balluff использует падающий свет или лампу подсветки, чтобы обнаруживать контуры объекта. После обнаружения, электроника прибора сравнивает полученное изображение с изображением эталонных контуров в памяти и, в зависимости от степени соответствия, выдает сигнал. С помощью встроенного в ПО ConVis® Software набора инструментов оператор может задать и сравнить по определенным признакам с эталонным изображением: контрастность, ширину, контур, положение объекта в поле зрения и другие параметры (всего 7 инструментов в одном видеодатчике).

Посредством интерфейса Ethernet, 10Base-T / 100Base-TX, промышленные датчики технического зрения Balluff подключаются к ПК. Для полной параметризации и отображения результатов на мониторе необходимо программное обеспечение ConVis® Software (можно скачать бесплатно). Прочный компактный корпус с пылевлагозащитой IP54 и широкий температурный диапазон эксплуатации.

Видеосенсоры Balluff серии BVS-E Advanced дополнительно к датчикам BVS-E Standart контролируют поворот частей объекта (коррекция положения в пределах 360°). Серия Advanced имеет сравнительно быстрый процессор поэтому время обработки так же значительно сокращается.

В данной САР используются признаки, имеющие различные единицы измерения, что затрудняет их анализ. Для обеспечения инвариантности системы к пространственному расположению объекта в поле зрения камеры необходимо приобретение дополнительного дорогостоящего оборудования. Это может говорить о том, что стандартное программное обеспечение не обладает возможностями контроля пространственного расположения объектов на сцене [70].

1.2.2 Системы автоматического распознавания Omron

САР фирмы Omron обладают компактными размерами, в них реализованы различные алгоритмы кодирования, распознавания объектов, оптического сравнения символов [70, 72, 43]. В основу системы автоматического распознавания F210 фирмы Omron заложен алгоритм точного распознавания, который позволяет проверить качество печати. В данных системах реализована технология кодирования границ. Так же существует возможность подключения двух камер.

Как правило, датчики изображения состоят из 2-х отдельных блоков:

- камера с источником света,

- модуль обработки данных.

Существуют датчики изображения с распознаванием цвета и без него. Функциональные возможности вышеуказанных датчиков изображения одинаковы, тем не менее, цветовая информация все же повышает стабильность и надежность функционирования системы контроля.

Наряду с возможностями контроля, предоставляемыми системой F210, система F250, благодаря наличию в ней специальной быстродействующей схемы, обладает возможностью быстрой локализации объектов. Наличие четырех портов для подключения камер позволяет организовать одновременный контроль по нескольким параметрам в пределах одной системы. Через интерфейс Ethernet система F250 может обмениваться данными практически с любой компьютерной системой предприятия. Так же в системе

есть два гнезда для компактных карт флэш-памяти (CF) для хранения данных и ведения протокола.

При этом для верного распознавания у объектов на сцене должно сохраняться фиксированное положение.

1.2.3 3D камеры IFM Electronic серии 03D2

IFM Electronic предлагает новые бюджетные 3D камеры серии Efector pmd3d для трехмерного измерения и оценки размеров объектов в промышленности. 3D датчики IFM Electronic работают по принципу измерения времени пролета луча на основе патентованной технологии PMD [70]. Особенностью технологии является то, что измерение времени пролета луча и оценка данных встроены в чип. Технические характеристики 3D камеры IFM Electronic серии 03D2 приведены в таблице А2 Приложения А.

Список литературы диссертационного исследования кандидат наук Терехин, Андрей Викторович, 2015 год

СПИСОК ЛИТЕРАТУРЫ

1. Хауштайн, Х.Д. Гибкая автоматизация / Х.Д. Хауштайн. - М.: Прогресс, 1990.-200 с.

2. Хлытчиев, М. С. Основы автоматики и автоматизации производственных процессов / М. С. Хлытчиев. — М.: Радио и связь, 1985. — 288 с.

3. Макаров, И.М. Робототехника: История и перспективы / И.М. Макаров, Ю.И. Топчеев. - М.: Наука; Изд-во МАИ, 2003. - 349 с.

4. Попов, Е. П. Манипуляционные роботы: динамика и алгоритмы / Е.П. Попов, А.Ф. Верещагин, C.J1. Зенкевич. - М.: Наука, 1978. - 400 с.

5. Медведев, B.C. Системы управления манипуляционных роботов / B.C. Медведев, А.Г. Лесков, A.C. Ющенко. - М.: Наука, 1978. - 416 с.

6. Садыков, С.С., Методы и алгоритмы выделения признаков объектов в системах технического зрения / С.С. Садыков, H.H. Стулов. - М.: Горячая линия - Телеком, 2005. — 204 с.

7. Гридин, В.Н. Адаптивные системы технического зрения / В.Н. Гридин, B.C. Титов, М.И. Труфанов - СПб.: Наука, 2009. - 442 с.

8. Пью, А. Техническое зрение роботов: Пер. с англ./ А. Пью. - М.: Машиностроение, 1987. — 320 с.

9. Мошкин, В.И. Техническое зрение роботов / В.И. Мошкин, A.A. Петров, B.C. Титов, Ю.Г. Якушенков. - М.: Машиностроение, 1990. - 272 с.

10. Хорн, Б.К.П. Зрение роботов: Пер. с англ. / Б.К.П. Хорн. - М.: Мир, 1989.-487 с.

11. Vision machines. URL: http://www.visionmachines.ru/ visionmachines/cameras/ (Дата обращения 25.11.2013).

12. Control Engineering. URL: http://controlengrussia.com/apparatnye-sredstva/tekhnicheskoe-zrenie/ (Дата обращения 25.11.2013).

13. Мацкевич, B.B. Занимательная анатомия роботов: научно-популярная литература / В.В. Мацкевич. -М.: Радио и связь, 1988 - 128с.

14. Видеоскан. URL: http://videoscan.ru/ (Дата обращения 25.11.2013).

15. Зуева, Е.Ю. Компьютерное зрение в ИПМ им. В.М. Келдыша РАН — история развития // Математические машины и системы. — Киев, 2009. - №4. Режим доступа: http://www.keldvsh.ru/papers/2009/art04/Zueva 09.htm (Дата обращения 25.11.2013)

16. Макаров, Н.М. Управление робототехническими системами и гибкими автоматизированными производствами / Н.М. Макаров. — М.: Радио и связь, 1981, ч. 3 - 156 с.

17. Генкин, B.JI. Системы распознавания автоматизированных производств / B.JI. Генкин, И.Л. Ерош, Э. С. Москалев. — Л.: Машиностроение, Ленинградское отделение, 1988. - 246 с.

18. Писаревский, А.Н. Системы технического зрения (принципиальные основы, аппаратное и математическое обеспечение) / А.Н. Писаревский, А.Ф. Чернявский. - Л.: Машиностроение. Ленинградское отделение, 1988. — 424 с.

19. Янг, Дж. Ф. Робототехника / Дж. Ф. Янг. - Л.: Машиностроение, 1979. -300 с.

20. Кулешов, B.C. Дистанционно-управляемые роботы и манипуляторы / B.C. Кулешов, H.A. Лагота. — М.: Машиностроение, 1986. — 362 с.

21. Шапиро, Л. Компьютерное зрение: Пер. с англ. / Л. Шапиро, Дж. Стокман. -М.: БИНОМ. Лаборатория знаний, 2006. - 752 с.

22. Фу, К. Робототехника: пер. с англ. / К. Фу, Р. Гонсалес, К. Ли. - М.: Мир, 1989.-624 с.

23. Катыс, Г.П. Восприятие и анализ оптической информации автоматической системой / Г.П. Катыс. — М.: Машиностроение, 1986. — 416 с.

24. Катыс, Г.П. Визуальная информация и зрение роботов / Г.П. Катыс. -М.: Энергия, 1979. - 176 с.

25. Хорн, Б. Психология машинного зрения / Б. Хорн, М. Минский, И. Сираи, Д. Уолц, П. Уинстон. - М.: Мир, 1978. - 340 с.

26. Андреев, В.П. Эксперименты с машинным зрением / В.П. Андреев, Д.А. Белов, Г.Г. Вайнштейн, Е.А. Москвина. - М.: Наука, 1987. - 128 с.

27. Камынин, С.С. Машинное видение / С.С, Камынин. - М.: ИПМ им. М В. Келдыша АН СССР, 1988. - 288 с.

28. Логинов, А.И. Системы технического зрения/ А.И. Логинов. - М.: МИРЭА, 1991.-80 с.

29. Письменный, Г.В. Системы технического зрения в робототехнике / Г.В. Письменный, Б.Б. Михайлов, А.Ю. Корнеев. — М.: Машиностроение, 1991. -88 с.

30. Фу, К. Структурные методы в распознавании образов / К. Фу. — М.: "Мир", 1977.-319 с.

31. Ту, Дж. Принципы распознавания образов / Дж. Ту, Р. Гонсалес. — М.: Мир, 1978.-411 с.

32. Фукунага, К. Введение в статистическую теорию распознавания образов / К. Фукунага. — М.: Наука, 1979. - 267 с.

33. Фу, К. Последовательные методы в распознавании образов и обучении машин / К. Фу. - М.: Наука, 1971. - 355 с.

34. Себестиан, Г.С. Процессы принятия решений при распознавании образов / Г.С. Себестиан. - Киев: "Наукова думка", 1965. - 152 с.

35. Француз, А. Г. Некоторые вопросы статистической теории опознания образов / А.Г. Француз // Бионика. - М.: «Наука», 1965. - С. 23-32.

36. Вапник, В.Н. Алгоритмы обучения распознаванию образов / В.Н. Вапник. - М.: Сов.Радио, 1973. - 200 с.

37. Вапник, В.Н. Теория распознавания образов (статистические проблемы обучения) / В.Н. Вапник, А.Я. Червоненкис. - М.: Мир, 1974. — 416 с.

38. Розенфельд, А. Распознавание и обработка изображений с помощью вычислительных машин: Пер. с англ. / А. Розенфельд. - М.: Мир, 1972. - 232 с.

39. Васильев, В.Н. Проблема обучения распознаванию образов / В.Н. Васильев. - К.: Высшая школа, 1989. - 64 с.

40. Горелик, А.Л. Современное состояние проблемы распознавания: Некоторые аспекты / А.Л. Горелик. - М.: Радио и связь, 1985. - 160 с.

41. Горелик, А.Л. Методы распознавания / А.Л. Горелик, В.А. Скрипкин. - М.: Высшая школа, 1977. - 222 с.

42. Патрик, Э. Основы теории распознавания образов: Пер. с англ. / Э. Патрик. - М.: Сов. Радио, 1980. - 408с.

43. Пересада, В.П. Автоматическое распознавание образов / В.П. Пересада. - Л.: Энергия, 1970.-408 с.

44. Загоруйко, Н.Г. Методы распознавания и их применение / Н.Г. Загоруйко. -М.: Изд-во Сов. Радио, 1972. - 208 с.

45. Devijver, P. A. Pattern Recognition: A Statistical Approach / P. A. Devijver, J. Kittler // London: Prentice Hall International - 1982. - Pp. 448.

46. Duda, О Pattern Classification and Scene Analysis / Richard O. Duda, Peter E. Hart // Wiley-Interscience, Oxford - 1973. - Pp. 482

47. Radke, R., Image Change Detection Algorithms: A Systematic Survey / R. Radke, S. Andra, O. Al-Kohafi, B. Roysam// IEEE Trans, on Image Processing. -2005. - Vol. 14. №3 - P. 294 - 307.

48. Kastrinaki, V. A Survey of Video Processing Techniques for Traffic Applications / V. Kastrinaki, M. Zervakis, K. Kalaitzakis // Image and Vision Computing21. -2003. - P. 359-381.

49. Chien, S.Y. Efficient Moving Object Segmentation Algorithm Using Background Registration Technique / S.Y. Chien, S.Y. Ma, L. Chen // IEEE Transactions on Circuits and Systems for Video Technology 12. - 2002. - P. 577 -586.

50. Kim, C. Fast and Automatic Video Object Segmentation and Tracking for Content-based Applications / C. Kim, J.N. Hwang // IEEE Trans, on Circuits and Systems for Video Tech. 12. - 2002. - P. 122 - 129.

51. Ahn, K.O. Design and Implementation of Edge Class for Image Analysis Algorithm Development based on Standard Edge. / K.O. Ahn, H.J. Hwang, O.S. Chae // Proc. of KISS Autumn Conference. - 2003. - P. 589 - 591.

52. Borgefors, G. Hierarchical Chamfer Matching: A Parametric Edge Matching Algorithm / G. Borgefors// IEEE Trans, on PAMI 10. - 1988. - P. 849 -865

53. Canny, J. A Computational Approach to Edge Detection / J. Canny // IEEE Trans, on PAMI 8. - 1986. - P. 679 - 698

54. Szeliski, R Computer Vision: Algorithms and Applications / R. Szeliski // Springer Science & Business Media. - 2010. - P. 832.

55. Dodd, G. G. Computer vision and sensor-based robots / G. G. Dodd, L. Rossol // Springer. - 1979. - P. 353.

56. Garcia-Rodriguez, J. Robotic Vision: Technologies for Machine Learning and Vision Applications / J. Garcia-Rodriguez, A. M. Cazorla Quevedo // IGI Global. -2013-P. 535.

57. Kragic, D. Unifying Perspectives in Computational and Robot Vision / D. Kragic, V. Kyrki // Springer. - 2008. - P. 266

58. Aleksander, I. Artificial Vision for Robots /1. Aleksander // Springer US. -1982.-P. 233

59. Muehlenfeld, E. Robot vision by a contour sensor with associative memory / E. Muehlenfeld //Pattern Recognition. - 1984. - Vol. 17. №1. - P. 169 - 176

60. Burel, G. Three-dimensional invariants and their application to object recognition / G. Burel, H. Henocq // Signal Processing. - 1995. - Vol. 45. №1. - P. 1 -22.

61. Kragic, D., Vision for robotic object manipulation in domestic settings / D. Kragic, M. Bjorkman, H. Christensen, J Eklundh // Robotics and Autonomous Systems. - 2005. - Vol 52. №1. - P. 85 - 100.

62. Lee, Y. A surface-based approach to 3-D object recognition using a mean field annealing neural network / Y. Lee, R. Park //Pattern Recognition. - 2002. Vol 35. №2-P. 299-316.

63. Li, Z. Grasping and coordinated manipulation by a multifingered robot hand / Z. Li, P. Hsu , S. Sastry // The International Journal of Robotics Research. -1989. - Vol. 8. № 4. - P. 33 - 50.

64. Pizlo, Z. Recognition of a solid shape from its single perspective image obtained by a calibrated camera / Z. Pizlo, K. Loubier// Pattern Recognition. - 1999. -Vol. 33.-P. 1675-1681.

65. Seitz, M. Towards autonomous robotic servicing: using an integrated hand-arm-eye system for manipulating unknown objects / M. Seitz // Robotics and Autonomous Systems. 1998. - Vol. 26. № 1. - P. 26, 23 - 42.

66. Unsalan, Cem. A model based approach for pose estimation and rotation invariant object matching / Cem. Unsalan // Pattern Recognition Letters. - 2007. -Vol. 28.-P. 49-57.

67. Nitzan, D. Programmable Industrial Automation / D. Nitzan, C.A. Rosen // Computers, IEEE Transactions on Computers. - 1976. - Vol 25. № 12. - P. 1259 -1270

68. Nitzan, D. Three-Dimensional Vision Structure for Robot Applications / D. Nitzan //IEEE Trans. Pattern Analysis and Machine Intelligence. - 1988. - Vol. 10. №3. - P. 291-309.

69. Aylett, J.C. Predictive Computer Vision for Robotic Assembly / J.C. Aylett, R.B. Fisher, A.P. Fothergill // Journal of Intelligent and Robotic Systems. -1988. - Vol. 1 №2.-185-201.

70. Sensoren. URL: http://www.sensoren.ru (дата обращения: 25.11.2013).

71. Sick sensor intelligence. URL: http://www.sick-automation.ru/ (дата обращения: 25.11.2013).

72. Sensotec. URL: http://sensotek.ru/ (дата обращения: 25.11.2013).

73. Системы технического зрения. URL: http://www.omron-russia.com/documentation/vision/vision_brochure.pdf (дата обращения: 25.11.2013).

74. Бубенников, А.В. Начертательная геометрия: Учеб. для вузов. — 3-е изд., перераб. и доп. / А.В. Бубенников - М.: Высш. шк., 1985. - 288с. ил.

75. Визильтер, Ю.В. Обработка и анализ изображений в задачах машинного зрения / Ю.В. Визильтер, С.Ю. Желтов, А.В. Бондаренко, М.В. Ососков, А.В. Моржин. - М.: Физматкнига, 2010. - 689 с.

76. Катыс, Г.П. Обработка визуальной информации / Г.П. Катыс. - М.: Машиностроение, 1990. — 320 с.

77. Марр, Д. Зрение. Информационный подход к изучению представления и обработки зрительных образов / Д. Марр. - М.: Радио и связь, 1987. - 400 с.

78. Васильев, Д.В. Измерение сдвига сложных сигналов и обработка изображений в системах технического зрения / Д.В. Васильев. - М.: Изд. МФТИ, 2001.-40 с.

79. Садыков, С.С. Методы и алгоритмы цифровой обработки изображений / С.С. Садыков. - Ташкент: УзНПО «Кибарнетика» АН РУз, 1992. -296 с.

80. Анисимов, Б.В. Распознавание и цифровая обработка изображений: Учеб. пособие / Б. В. Анисимов, В. Д. Курганов, В. К. Злобин. - М.: Высш. шк., 1983.-295 с.

81. Верхаген, К. Распознавание образов: состояние и перспективы / К. Верхаген, Р. Дейн, Ф. Грун. - М.: Радио и связь, 1985. - 104 с.

82. Бутаков, Е.А. Обработка изображений ЭВМ / Е.А. Бутаков, В.И. Островский, И.Л. Фадеев. -М.: Радио и связь, 1987. - 240 с.

83. Павлидис, Т. Алгоритмы машинной графики и обработки изображений: пер. с англ. / Т. Павлидис. - М.: Радио и связь, 1986 - 400 с.

84. Фурман, Я.А. Цифровые методы обработки и распознавания бинарных изображений / Я.А. Фурман. - Красноярск: изд-во Краснояр. Ун-та, 1992.-248 с.

85. Прэтт, У. Цифровая обработка изображений: Пер. с англ. / У. Прэтт. -М.: Мир, 1982. - Кн. 2. - 480 с.

86. Садыков, С.С. Цифровая обработка и анализ изображений / С.С. Садыков. — Ташкент: НПО «Кибернетика» АН РУз, 1994. - 193 с.

87. Дегтярев, C.B. Методы цифровой обработки изображений: учеб. пос. 4.1. / C.B. Дегтярев. - Курск: Курск, гос. техн. ун-т, 2001. - 167 с.

88. Абламейко, C.B. Обработка изображений: технология, методы, применение: Учеб. пос. / C.B. Абламейко, Д.М. Лагуновский. - М.: Амалфей, 2000.-304 с.

89. Грузман, И.С. Цифровая обработка изображений в информационных системах. Учебное пособие. / И.С. Грузман, B.C. Киричук. — Новосибирск: НГТУ, 2000.-160 с.

90. Гонсалес, Р. Цифровая обработка изображений / Р.Гонсалес, Р. Вудс. -М.: Техносфера, 2005. - 1072 с.

91. Сойфер, В.А. Методы компьютерной обработки изображений / В.А. Сойфер. - М.: Физматлит, 2003. - 784 с.

92. Дуда, Р. Распознавание образов и анализ сцен: пер. с англ. / Р. Дуда, П. Харт. - М.: Мир, 1976. - 511 с.

93. Обработка и анализ цифровых изображений с примерами на Lab VIEW IMAQ Vision / Ю.В. Визильтер, С.Ю. Желтов, В.А. Князь и др. - М.: ДМК Пресс, 2007. - 464 с.

94. Otsu, N.A threshold selection method from gray-level histograms / N. Otsu // IEEE Trans. Syst., Man. and Cybern. - 1979. - v. SMC-9. - P. 62 - 66.

95. Фурман, Я.А. Введение в контурный анализ и его приложения к обработке изображений и сигналов / Я.А. Фурман. - М.: Физматлит, 2002. — 297 с.

96. Контурный анализ. URL: http://habrahabr.ru/post/118486/ (Дата обращения 10.03.2013).

97. Каратеодори, К., Конформное отображение: Пер. с англ. / К. Каратеодори, М. В. Келдыш. - М. - Л.: ОНТИ Государственное технико-теоретическое издательство, 1934.- 129 с.

98. Лаврентьев, М.А. Конформные отображения / М.А. Лаврентьев. — М. — Л.: Гостехиздат, 1946. - 160 с.

99. Грановская, P.M. Восприятия и признаки формы / P.M. Грановская, И.Я. Березная, А.И. Григорьева. -М.: Наука, 1981. - 208 с.

100. Путятин, Е.П. Обработка изображений в робототехнике / Е.П. Путятин, С.В. Аверин. -М.: Машиностроение, 1990. - 320 с.

101. Садыков, С.С. Методы выделения структурных признаков изображений / С.С. Садыков, В.Н. Кан, И.П. Самандаров. — Ташкент: Фан, 1990. -104 с.

102. Фор, А. Восприятие и распознавание образов: Пер.с фр. / А. Фор, А.В. Серединский, Г.П. Катыс. - М.: Машиностроение, 1989. — 272 с.

103. Фишер, Р. От поверхностей к объектам. Машинное зрение и анализ трёхмерных сцен: Пер. с англ. / Р. Фишер. - М.: Радио и связь, 1993. — 288 с.

104. Научная библиотека избранных естественно-научных изданий. URL: http://sernam.ru/book_graph3d.php?id=52 (Дата обращения 10.03.2013).

105. Научная библиотека избранных естественно-научных изданий. URL: http://sernam.ru/book_graph3d.php?id=53 (Дата обращения 10.03.2013).

106. Макаров, А.О. Быстрые алгоритмы вычисления признаков на цифровых изображениях / А.О. Макаров, В.В. Старовойтов. — Минск, 2005. — 39 с.

107. Журавлев, Ю.И. Алгоритмы распознавания, основанные на вычислении оценок / Ю.И. Журавлев, В.В. Никифоров // Кибернетика - 1971. — Т.З.-С. 1-11.

108. Журавлев, Ю.И. Распознавание. Математические методы. Программная система. Практические применения / Ю.И. Журавлев, В.В. Рязанов, О.В. Сенько. -М.: Фазис, 2006. - 147 с.

109. Jackins, C.L. Octrees and Their Use in Representing Three-dimensional Objects / C.L. Jackins, S.L. Tanimoto // CGIP. - 1980. -Vol. 14. - P. 249 - 270.

110. Noborio, H. Construction of the Octree Approximating Three-dimensional Objects by Using Multiple Views / H. Noborio, S. Fukuda, S. Arimoto // IEEE Trans. PAMI. - 1988. - Vol. 10 №. 6 - P. 769 - 782.

111. Chien, C.H., Volume Surface Octrees for The Representation of 3-D Objects / C.H. Chien, J.K. Aggarwal // CGIP. - 1986. - Vol. 36. - P. 100 - 113.

112. Цыганков, М.А. Эффективная визуализация объемов с помощью октантных деревьев / М.А. Цыганков // Программирование. — 1999. - № 3. — С. 32-42.

113. Волобой, А.Г. Метод компактного хранения октарного дерева в задаче трассировки лучей / А.Г. Волобой // Программирование. - 1992. - № 1. — С. 21-27.

114. Вяткин, С.И. Эффективные растеризационные методики с рекурсивным делением плоскости изображения и объектного пространства / С.И. Вяткин // URL: http://www.ixbt.com/video/conv-surfaces.shtml (дата обращения 15.01.2014).

115. Терехин, A.B. Метод формирования вектора признаков для идентификации проекций реальных трехмерных объектов / A.B. Терехин // Наука и современность - 2013: Сб. мат. XX МНПК. - Новосибирск, 20 февраля 2013.-С. 167-172.

116. Терехин, A.B. Алгоритм вычисления диагональных признаков формы / A.B. Терехин // Алгоритмы, методы и системы обработки данных. — 2012-№4(22). -С. 129-138.

117. Патент на полезную модель №135165. Устройство вычисления диагональных признаков формы плоских фигур / Терехин A.B.; зарег. в Государственном реестре полезных моделей РФ 27.11.2013, Бюл. № 33.

118. Терехин, A.B. Метод идентификации плоских геометрических фигур с использованием диагональных признаков формы и D-функции / A.B. Терехин // Перспективы развития информационных технологий: сб. мат. XI МНПК. — Новосибирск, 28 февраля 2013. - С. 58 - 62.

119. Терехин, A.B. Технология классификации плоских геометрических фигур с использованием диагональных признаков формы / A.B. Терехин // Перспективы развития информационных технологий: Сб. мат. XI МНПК. — Новосибирск, 28 февраля 2013. - С. 62 - 66.

120. Садыков, С.С. Алгоритм классификации выпуклых фигур с использованием диагональных признаков формы / С.С. Садыков, A.B. Терехин // Вестник КГУ им. H.A. Некрасова. - 2013. - №6. - С. 13-17.

121. Садыков, С.С. Классификация геометрических фигур, вписанных в квадрат, по их форме с использованием диагональных признаков / С.С. Садыков, A.B. Терехин // Прикаспийский журнал. Управление и высокие технологии. - 2014. - № 1. - С. 81 -91.

122. Терехин, A.B. Алгоритм классификации выпуклых плоских фигур с помощью диагональных коэффициентов формы объекта / A.B. Терехин // Автоматизация и современные технологии. - 2014. — №5. - С. 35-41.

123. Терехин, A.B. Подход к классификации плоских геометрических фигур вписанных в квадрат, по их форме на основе диагональных отрезков [Электронный ресурс] / A.B. Терехин // Современные проблемы науки и образования. - 2013. - № 6. - Режим доступа: www.science-education.ru/113-11535.

124. Садыков, С.С. Распознавание и классификация не наложенных объектов методом морфологического водораздела по диагональным признакам формы / С.С. Садыков, A.B. Терехин // Распознавание - 2013: сб. мат XI МНТК. -Курск, 2013-С. 93 - 96.

125. Садыков, С.С. Определение диапазонов значений признаков формы плоских геометрических фигур при их произвольном расположении в области сцены / С.С. Садыков, A.B. Терехин, К.С. Захаров// Надежность и качество -2013: тр. межд. симп. - Пенза: изд. ПТУ. - С. 343 - 345.

126. Терехин, A.B. Алгоритм формирования косоугольной проекции трехмерного объекта по модели окто-дерева / A.B. Терехин, C.B. Савичева // Алгоритмы, методы и системы обработки данных. — 2013. - № 3 (25). - С. 74 -81.

127. Терехин, A.B. Концепция распознавания произвольно расположенных трехмерных объектов по двум изображениям проекций / A.B.

Терехин // Алгоритмы, методы и системы обработки данных. — 2014. - № 2 (27). - С. 29-40.

128. Терехин, А.В Инновационный подход к распознаванию трехмерных объектов на промышленных сборочных конвейерах с использованием двух камер / A.B. Терехин // Актуальные проблемы развития науки и образования: сб. научных трудов по мат. МНПК. В 7 частях / «АР-Консалт» - Москва, 2014. -ч. IV, С. 44-45.

129. Терехин, A.B. Распознавание трехмерных объектов с использованием двух камер / A.B. Терехин // Радиотехнические и телекоммуникационные системы. — 2013. - № 4. - С. 57 — 62.

130. Терехин, A.B. Распознавание трехмерных объектов по изображениям двух проекций / A.B. Терехин // Информационные технологии. - 2014. - №4. -С. 43-48.

131. Sadykov, S.S. Identification of three-dimensional objects by computing estimates based on diagonal features of forms and octree / S.S. Sadykov, A.V. Terekhin. // Pattern Recognition and Image Analysis: New Information Technologies (PRIA-11-2013) : The 11-th International Conference. - Samara: IPSI RAS, 2013. -Vol. 2.-P. 721-723.

132. Терехин, A.B. Распознавание нескольких не наложенных трехмерных объектов по двум снимкам / A.B. Терехин // "Наука и образование в развитии промышленной, социальной и экономической сфер регионов России" "Регионы России - 2014": сб. мат. VI Всероссийской межвузовской научной конференции. -Муром, 2014.-С. 415.

133. Терехин, A.B. Метод описания эталонов трехмерных объектов по форме их проекций и признакам отверстий / A.B. Терехин // Алгоритмы, методы и системы обработки данных. - 2013. - № 1 (23). - С. 65 - 71.

134. Садыков, С.С. Технология формирования эталонов трехмерных объектов для их распознавания / С.С. Садыков, A.B. Терехин, А.О. Кравченко // Надежность и качество - 2012: тр. межд. симп. - Пенза: изд. ПТУ. - С. 373 -376.

135. Свидетельство о государственной регистрации программы для ЭВМ № 2013615189 РФ. Система идентификации проекций реальных трехмерных объектов с использованием диагональных признаков формы // Терехин A.B.; зарег. в реестре прогр. для ЭВМ 30.03.2013.

136. Свидетельство о государственной регистрации программы для ЭВМ № 2013661839 РФ. Система распознавания реальных трехмерных объектов методом вычисления оценок с использованием диагональных признаков формы и моделей окто-деревьев // Терехин A.B.; зарег. в реестре прогр. для ЭВМ 17.12.2013.

137. Садыков, С.С. Реализация и исследование системы распознавания трехмерных объектов с использованием видео-датчиков, расположенных под углом / С.С. Садыков, A.B. Терехин, Г.А. Григорьев // V Всероссийские научные Зворыкинские чтения Научный потенциал молодежи - будущее России: сб. тез. докл. - Муром, 2013 - С. 778 - 779.

138. Садыков, С.С. Сравнительный анализ алгоритмов распознавания объектов на примере СТЗ / С.С. Садыков, A.B. Терехин, Д.А. Смирнов // V Всероссийские научные Зворыкинские чтения Научный потенциал молодежи -будущее России: сб. тез. докл. - Муром, 2013 - С. 787 - 788.

139. Терехин, А.В Исследование алгоритма вычисления оценок при распознавании проекций тестовых трехмерных объектов / A.B. Терехин // Актуальные проблемы развития науки и образования: Сб. науч. тр. по матер. МНПК. В 7 частях. - Москва, 2014. - ч. IV, С. 89- 90.

140. Терехин, A.B. Распознавание объектов методом вычисления оценок с использованием диагональных признаков формы / A.B. Терехин // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2014. -№1. - С. 17-25.

141. Садыков, С.С. Экспериментальное исследование алгоритмов распознавания бинарных изображений на тестовых проекциях трехмерных объектов / С.С. Садыков, A.B. Терехин // Надежность и качество сложных систем. - 2014. - №4. - С. 48 - 52.

142. Садыков, С.С. Система автоматического распознавания произвольно расположенных трехмерных объектов / С.С. Садыков, А.В. Терехин // Динамика сложных систем XXI век. — 2015. - №1. - С. 3-6.

ПРИЛОЖЕНИЕ 1 Патент Копия патента

РТСШЛШШ #ШдеРАЩШШ

НА ПОЛЕЗНУЮ МОДЕЛЬ

№ 135165

УСТРОЙСТВО ВЫЧИСЛЕНИЯ ДИАГОНАЛЬНЫХ ПРИЗНАКОВ ФОРМЫ ПЛОСКИХ ФИГУР

Патснтообладатель(ли): Терехин Андрей Викторович (Я1/) Литор(ы): Терехин Андрей Викторович (Ни)

Заявка №2013105304

Приоритет полезной модели 07 февраля 2013 г.

Зарегистрировано в Государственном реестре полезных моделей Российской Федерации 27 ноября 2013 г. Срок действия патента истекает 07 февраля 2023 г.

Руководитель Федеральной службы по интеллектуальной собственности

Б.П. Симонов

ПРИЛОЖЕНИЕ 2 Свидетельства о регистрации программы на ЭВМ Копии свидетельств о регистрации программы для ЭВМ

СВИДЕТЕЛЬСТВО

о государственной регистрации программы для ЭВМ

№ 2013615189

Система идентификации проекций реальных трехмерных объектов с использованием диагональных признаков формы

Правообладатель(ли): Терехин Андрей Викторович (Ки)

Автор(ы): Терехин Андрей Викторович (И!/)

Заявка № 2013613529

Дата поступления 09 апреля 2013 г. Зарегистрировано в Реестре программ для ЭВМ

30 мая 2013 г.

Руководитель Федеральной службы по интеллектуальной собственности

Б.П. Симонов

СВИДЕТЕЛЬСТВО

о государственной регистрации программы для ЭВМ

№ 2013661839

Система распознавания реальных трехмерных объектов

методом вычисления оценок с использованием диагональных признаков формы и моделей окто-деревьев

Правообладатель: Терехин Андрей Викторович (Я11)

Автор: Терехин Андрей Викторович (Я11)

Заявка № 2013660184

Дета поступления 29 октября 2013 Г.

Дата государственной регистрации

в Реестре программ для ЭВМ 17 декабря 2013 г.

Руководитель Федеральной службы по интеллектуальной собственности

Б. П. Симонов

;жЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖЖб»

ПРИЛОЖЕНИЕ 3 Копии актов о внедрении

¡./директора МИВлГУ gL A.JI. Жизняков _2014г.

об использовании результатов диссертационной работы на соискание ученой степени кандидата технических наук Терехина Андрея Викторовича в учебном процессе Муромского института (филиала) Владимирского государственного университета имен А.Г. и Н.Г. Столетовых.

Мы, нижеподписавшиеся зав. кафедрой «Информационные системы» (ИС) д.т.н., доцент Д.Е. Андрианов и доцент кафедры ИС, заместитель заведующего к.т.н. C.B. Еремеев, настоящим актом удостоверяем использование материалов диссертации A.B. Терехина, представленной на соискание ученой степени кандидата технических наук в учебном процессе кафедры ИС МИ(ф)ВлГУ для подготовки бакалавров направления 230400 «Информационные системы» и специалистов по специальности 230201 «Информационные системы и технологии».

Основные результаты диссертации вошли в состав курсовых, лабораторных и практических занятий по дисциплине «Методы и системы цифровой обработки изображений».

Зав. кафедрой ИС Ц.Е. Андрианов

д.т.н., доцент '

Зам. заведующего каф. ИС, к.т.н.

C.B. Еремеев

УТВЕРЖДАЮ

правления развития

АКТ

научно - технической комиссии о реализации научных положений и выводов диссертации

Терехина Андрея Викторовича

г. Муром

«£ » О* 2015 г.

Комиссия в составе Главного технолога ОАО"ПО Муроммашзавод" Демина Д.Г., ст. преподавателя кафедры «Информационные системы» МИ (филиала) ВлГУ Терехина A.B., заведующего кафедрой «Информационные системы» МИ (филиала) ВлГУ Андрианова Д.Е. составила настоящий акт о том, что положения и выводы диссертационной работы Терехина A.B. используются в процессе сортировки и выдаче деталей из автоматизированного склада учета и выдачи инструмента на ОАО «ПО Муроммашзавод».

На предприятии внедрены программные продукты «Система идентификации проекций реальных трехмерных объектов с использованием диагональных признаков формы», «Система распознавания реальных трехмерных объектов методом вычисления оценок с использованием диагональных признаков формы и моделей окто-деревьев» реализующие следующие алгоритмы, разработанные Терехиным A.B.:

- алгоритм поиска ключевых точек для вычисления диагональных коэффициентов формы, алгоритмы вычисления диагональных признаков формы бинарных изображений проекций трехмерного объекта;

- алгоритм сопоставления пар проекций по двум снимкам множества объектов на

сцене;

Разработанные Терехиным A.B. алгоритмы и программные продукты используются в настоящее время на ОАО «ПО Муроммашзавод» и позволяют осуществлять автоматическую сортировку промышленных трехмерных деталей и изделий с высокой точностью и производительностью.

Главный технолог Ст. преп. кафедры ИС

^У\^КШ(филиала)ВлГУ

ОАО"ПО Муроммашзавод" С/2^2"-* Теоехин AB

Демин Д.Г

Терехин AB. О* 2015 г.

Заведующий кафедрой

2 »_r>£- 2015 г. «Информационные системы» МИ

~ ршщаяфВлГУ

риалов Д.Е. "«Qg 2015 г.

«УТВЕРЖДАЮ»

[ .директор ОАО 'й радиозавод»

\ ^Л.С. Лазарев

л >У'?1

« I и 2014 г.

АКТ

о реализации в ОАО «Муромский радиозавод» результатов исследований диссертационной работы на соискание ученой степени кандидата технических наук ТЕРЕХИНА Андрея Викторовича

Комиссия в составе: председателя - заместителя Генерального директора по научной работе Маминова Е.М., и членов комиссии: Начальника КБ Царькова А.Г, Главного технолога Пудониной А.В, составила настоящий акт в том, что предлагаемые в диссертационной работе ТЕРЕХИНА А.В научно-технические решения по созданию систем автоматического распознавания (САР) трехмерных объектов используются на ОАО «Муромский радиозавод» (при дополнительной конструкторско-технологической проработке) для обеспечения следующих задач:

- автоматизация технологических процессов установки на печатные платы поверхностно монтируемых электрорадиоэлементов;

- автоматизация процессов группирования (складирования) деталей, изготавливаемых на обрабатывающих центрах с ЧПУ, а так же на установке лазерной резки.

Кроме того, комиссия рекомендует рассмотреть перспективы адаптации предложенных алгоритмов и методов обработки сигналов для повышения скорости, достоверности и точности идентификации целей в современных радиолокационных комплексах.

Председатель комиссии: Е.М. Маминов

Члены комиссии: а^н^- А.Г. Царьков

А.В. Пудонина

ПРИЛОЖЕНИЕ А Изображения и таблицы к главе 1

Применение САР в производственном процессе

■ Контроль производства Диагностика, тестирование и поддержка Рисунок А1 Диаграмма применения САР в производственном процессе

Рисунок А2 - Структурная схема робота «Рука»

/ ОМ

ОС

Рисунок АЗ Схема работы САР с одной камерой

ВД1

САР

X /

ВД2

/ ОМ

I

ОС

Рисунок А4 Схема работы двухкамерной САР Характеристики датчика ВУЗ 01

Таблица А1

Тип датчик распознавания объектов

Принцип действия CMOS датчик изображения

Разрешение 0.08.. 3 мм (в зависимости от диапазона работы)

Размеры поля зрения от 18 х 12 мм до 640 х 480 мм (в зависимости от диапазона работы)

Тип излучателя (подсветка) LED красный

Диапазон работы до 1000 мм

Выходной сигнал 3xPNP/NPN

Интерфейс Ethernet 10 Base-T /100 Base-TX

Настройка с помощью ПК с программным обеспечением ConVis® Software

Температура эксплуатации -10.. 55 °С

Питание DC

Материал корпуса пластик

Способ подключения разъем

Технические характеристики 3D камеры IFM Electronic серии 03D2

Тип ЧП IИМРПЯ

Таблица А2

Тип 3D камера

Принцип действия на основе датчика расстояния, технология PMD

Разрешение 64x48 точек

Апертурный угол 30° х 40° (горизонтальный х вертикальный)

Тип излучателя (подсветка) LED инфракрасный

Диапазон работы до 6500 мм

Выходной сигнал 2xPNP, 4.. 20 мА или 0.. 10 В

Интерфейс Ethernet 10 Base-T /100 Base-TX

Настройка с помощью 2 программирующих кнопок и 10-сегментного дисплея или с помощью ПК с программным обеспечением E3D200 или E3D201

Температура эксплуатации -10.. 50 °С

Питание DC

Материал корпуса металл

Способ подключения разъем

Рисунок А5 Состав системы машинного зрения на базе Ranger: 1-3 — 2D лазеры, 4 - видео

датчик, 5 - объект

Таблица A3

Технические характеристики 3D камер SICK _

Технические параметры камера Ranger E/D камера Color Ranger Е камера Ruler

Применения Контроль качества древесины, контроль качества керамических плит, измерение размеров и качества фруктов, верификация профиля шин, контроль железнодорожных шпал, контроль профиля дороги Контроль качества древесины, контроль качества керамических плит, измерение размеров и качества фруктов, верификация профиля шин, контроль железнодорожных шпал, контроль профиля дороги Сортировка бревен, контроль качества древесины, контроль геометрии железнодорожных колес, измерение объема сыпучего материала, сортировка паллет

Габаритные размеры 125 х 52 х 52 мм 125 х 52 х 52 мм 420x163x105 мм / 295x163x105 мм

Напряжение питания 24 ± 20% В пост, тока 24 ± 20% В пост, тока 24 ± 20% В пост, тока

Класс защиты IP 54 (IP65) IP 20 IP 65

Диапазон рабочих температур 0...50°С 0...45°С 0...40°С (-30...40°С с подогревом)

Стандарты соответствия СЕ, ГОСТ-Р СЕ, ГОСТ-Р СЕ, ГОСТ-Р

Максимальная ширина профиля Определяется объективом Определяется объективом 1024/1536 точек

Разрешение ЗО профиля 1536/512 точек 1536/512 точек 0,4/0,2/0,05 мм

Цветное разрешение - Зх 1536//512 точек (RGB) -

Область сканирования Определяется объективом Определяется объективом 250x1200 / 250x600 / 50x150 мм

Подсветка Внешняя лазерная Внешняя лазерная и светодиодная Встроенная (лазерная)

Производительность До 35000 профилей в секунду (Ranger Е) или 1000 профилей в секунду (Ranger D) До 35000 профилей в секунду До 10000 профилей в секунду

Переключаемые выходы 3 х NPN/PNP 3 х NPN/PNP 3 х В (NPN/PNP)

Интерфейс RS 485, Gigabit Ethernet RS 485, Gigabit Ethernet RS 485, Gigabit Ethernet, Энкодер

Опции Инфракрасный фильтр, мультисканирование (3D профиль, 2D, рассеивание лазера) Инфракрасный фильтр, мультисканирование (3D профиль, цветное 2D, рассеивание лазера) Измерение рассевания лазера, лазер ЗВ, подогрев,

Оценочные процедуры/программные режимы Свободно программируемый, среда программирования С++ Свободно программируемый, среда программирования С++ Свободно программируемый, среда программирования С++

Технические параметры

камера Ranger E/D

камера Color Ranger Е

камера Ruler

или С

или С

Интерфейс пользователя

РС

программирования

для

РС для программирования_

РС для программирования_

О

2

Рисунок А6 - Квадратная область на плоскости ху, разделенная на нумерованные квадранты, и соответствующий узел квадро-дерева с четырьмя элементами данных

а б Ри

сунок А7 - Квадратная область плоскости ху с двумя уровнями деления на квадранты (а) и соответствующее представление в форме квадро-дерева (б)

14

15

11 / 12

10

13

в

Рисунок А8 - Структура окто-дерева

ПРИЛОЖЕНИЕ Б Примеры изображений ортогональных проекций тестовых и реальных трехмерных объектов к главам 3, 4

Примеры изображений проекций тестовых трехмерных объектов

4 5 6

Рисунок Б. 1. Проекции тестового объекта № 1.

Рисунок Б.2. Проекции тестового объекта № 2.

4 5 6

Рисунок Б.З. Проекции тестового объекта № 3. Сформированы аналогичные изображения ортогональных проекций и для

тестовых объектов №4-8. Примеры изображений проекций реальных трехмерных объектов (деталей водопроводного крана)

Рисунок Б4 Проекции реального объекта № 1

■

4 5 6

Рисунок Б5 Проекции реального объекта № 2

4 5 6

Рисунок Б6 Проекции реального объекта № 3 Сформированы аналогичные изображения ортогональных проекций и для

реальных трехмерных объектов №4-8 Примеры изображений проекций реальных трехмерных объектов (радиодеталей)

Рис. Б7 Проекции реального объекта (радиодетали) № 1

4 5 6

Рис. Б8 Проекции реального объекта (радиодетали) № 2

4 5 6

Рис. Б9 Проекции реального объекта (радиодетали) № 3 Сформированы аналогичные изображения ортогональных проекций и для реальных трехмерных объектов радиодеталей №4-6

Рисунок Б10 Экзаменационная пара тестовых трехмерных объектов №351

Рисунок Б11 Экзаменационная пара тестовых трехмерных объектов №906

а б

Рисунок Б12 Экзаменационная пара реальных трехмерных объектов №1980

Рисунок Б13 Экзаменационная пара реальных трехмерных объектов №786

а б

Рисунок Б14 Экзаменационная пара проекций реальных трехмерных объектов № 1678

а б

Рисунок Б15 Экзаменационная пара реальных трехмерных объектов № 1850

а б

Рисунок Б16 Экзаменационная пара реальных трехмерных объектов № 650

Рисунок Б17 Экзаменационная пара реальных трехмерных объектов № 1113

Рисунок Б18 Экзаменационная пара реальных трехмерных объектов № 1834

Получение пары снимков

Предварительная обработка изображений, маркировка

Формирование

очереди на распознавание

Выбор ортогональной проекции из очереди

Нормализация по повороту

Выделение контура

ни

Построение отрезка

длины объекта

Ф

Построение ОП

минимальном ................

площади

*

Построение отрезков

диагоналей ОП

*

Построение

диагональных

отрезков

Рисунок Б19 Пример выделения КТ для ортогональной проекции №4 одного из рассматриваемых трехмерных объектов

ПРИЛОЖЕНИЕ В Диагональные признаки формы ортогональных проекций тестовых и реальных трехмерных объектов к главам 3, 4 Примеры таблиц признаков ортогональных проекций тестовых

трехмерных объектов

Таблица В1

Признаки формы проекций тестового трехмерного объекта №1

Проекция ПКФ КПП ДКФ КД1 КД2 КД01 КД02 КДОЗ КДО 4

1 1 0,129 0,938 0,871 0,935 0,839 0,903 0,903 0,968

2 0,533 0,128 0,889 0,386 0,829 0,685 0,794 0,088 0,864

3 0,914 0,12 0,945 0,91 0,881 0,895 0,925 0,925 0,837

4 1 0,129 0,938 0,871 0,935 0,839 0,903 0,903 0,968

5 0,533 0,128 0,889 0,386 0,829 0,685 0,794 0,088 0,864

6 0,914 0,12 0,945 0,91 0,881 0,895 0,925 0,925 0,837

Таблица В2

Признаки формы проекций тестового трехмерного объекта №2

Проекция ПКФ КПП ДКФ КД1 КД2 КД01 КД02 КДОЗ КДО 4

1 0,941 0,121 0,93 0,849 0,909 0,818 0,909 0,879 0,909

2 0,97 0,123 0,941 0,892 0,693 0,861 0,923 0,923 0,463

3 0,971 0,116 0,943 0,927 0,913 0,927 0,927 0,927 0,899

4 0,941 0,121 0,93 0,849 0,909 0,818 0,909 0,879 0,909

5 0,97 0,123 0,941 0,892 0,693 0,861 0,923 0,923 0,463

6 0,971 0,116 0,943 0,927 0,913 0,927 0,927 0,927 0,899

Таблица ВЗ

Признаки формы проекций тестового трехмерного объекта №3