Идентификация с детальной оценкой состояния объектов и их массового количества системами компьютерного зрения тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат наук Остапов Дмитрий Сергеевич

• Остапов Дмитрий Сергеевич
• кандидат наук
• 2018

Оглавление диссертации кандидат наук Остапов Дмитрий Сергеевич

ВВЕДЕНИЕ

1 АНАЛИТИЧЕСКИЙ ОБЗОР СУЩЕСТВУЮЩЕГО МАТЕМАТИЧЕСКОГО ОБЕСПЕЧЕНИЯ СИСТЕМ КОМПЬЮТЕРНОГО ЗРЕНИЯ ИДЕНТИФИКАЦИИ МАССОВОГО КОЛИЧЕСТВА ОБЪЕКТОВ, СИСТЕМНЫЙ АНАЛИЗ И РАЗРАБОТКА ОБЩЕЙ СТРУКТУРЫ СКЗ ТРЕБУЕМОЙ

ФУНКЦИОНАЛЬНОСТИ

1.1 Обзор существующих СКЗ по распознаванию типов и видов объектов и их состояния

1.2 Структурная организация СКЗ, основные проблемы разработки СКЗ в задачах детальной оценки состояния массового количества объектов

1.3 Математическое обеспечение подсистемы выделения объектов на 2D-изображениях, существующие алгоритмы бинаризации и сегментации

1.4 Математическое обеспечение подсистемы СКЗ работы

с несколькими камерами, реконструкция поверхности ЭЭ-объекта

по набору разноракурсных снимков

1.5 Выводы, цели и задачи исследований

2 ДЕКОМПОЗИЦИЯ СКЗ ТРЕБУЕМОЙ ФУНКЦИОНАЛЬНОСТИ НА ПОДСИСТЕМЫ, АЛГОРИТМЫ БИНАРИЗАЦИИ «ФОН-ОБЪЕКТ» И СЕГМЕНТАЦИИ ИЗОБРАЖЕНИЙ ЕДИНИЧНЫХ ОБЪЕКТОВ

2.1 Подсистемы и структура разрабатываемой СКЗ

2.2 Подсистема бинаризации «фон-объект» предобработкой изображения и нечётким алгоритмом к-шеаш

2.3 Адаптивный алгоритм к-шеаш сегментации изображений единичных объектов

2.4 Выводы

3 МАТЕМАТИЧЕСКОЕ ОБЕСПЕЧЕНИЕ ПОДСИСТЕМ РЕЖИМОВ

ОБУЧЕНИЯ И РАБОЧЕГО СКЗ С ОДНОЙ КАМЕРОЙ

3.1 Подсистема режима обучения СКЗ с одной камерой

3.2 Подсистема рабочего режима СКЗ с одной камерой

3.3 Выводы

4 МАТЕМАТИЧЕСКОЕ ОБЕСПЕЧЕНИЕ ПОДСИСТЕМ РЕЖИМОВ ОБУЧЕНИЯ И РАБОЧЕГО СКЗ С НЕСКОЛЬКИМИ КАМЕРАМИ

4.1 Алгоритм получения информации о невидимых сторонах

на отдельных 2Э-изображениях поверхности 3Э-объекта со снимков разного ракурса

4.2 Подсистема обучения СКЗ с несколькими камерами

4.3 Подсистема рабочего режима СКЗ с несколькими камерами

4.4 Повышение эффективности программной реализации алгоритмов распознавания изображений с детальной оценкой состояния массового количества объектов

4.4.1 Особенности программной реализации алгоритмов системы и организация параллельных вычислений

4.4.2 Условия проведения натурных экспериментов и точность предлагаемой СКЗ

4.4.3 Многопроцессорные натурные эксперименты с промышленным сырьём и продукцией

4.5 Выводы

ЗАКЛЮЧЕНИЕ

Список сокращений и условных обозначений

Список литературы

Приложение А. Руководство пользователя программной реализации системы распознавания изображений с детальной оценкой состояния массового количества объектов

Приложение Б. Копии акта внедрения и свидетельств программ для ЭВМ

ВВЕДЕНИЕ

Система поддержки принятия решений (СППР) - автоматизированная система, предназначенная для оказания помощи людям, принимающим решения в сложных для анализа условиях: когда необходимо проанализировать большое количество факторов [1-9]. Многие функции, выполняемые системами компьютерного зрения (СКЗ), часто являются составной частью СППР. Основными задачами СКЗ являются обнаружение, отслеживание и классификация объектов [10-15]. СКЗ работает с визуальной информацией, обработав которую, получает данные, которые в дальнейшем передаются в СППР, а СППР, в свою очередь, основываясь на этих данных, строит запрос к базам знаний и на основании полученного результата даёт рекомендации пользователю.

СКЗ и СППР получили широкое применение в различных областях техники и промышленности: в частности, задачи контроля качества продукции и фотосепарации, включая пищевую и зерноперерабатывающую промышленность [16-24], задачи компьютерного зрения робототехники для сборки элементов нетрадиционной энергетики [25]. Повышение эффективности функционирования СКЗ, пополнение арсенала методов и средств предварительной обработки изображения и построения классификаторов, сочетающих требуемые показатели по быстродействию и достоверности идентификации, исследуются многочисленными коллективами. Известны системы СКЗ таких ведущих производителей, как Buhler, Cognex и их российских партнеров: «Сенсотек» и «Малленом Системс». Перспективные СКЗ для объектов природного происхождения в задачах пищевой и зерноперерабатывающей промышленности рассмотрены в работах [18-22, 24, 26-31] на основе различных методов распознавания: статистических, нейронных сетей (НС), байесовских сетей, метода главных компонент, методов с использованием гистограмм, классификатора ViolaJones и т.д. Разработка C1111Р в ходе управления технологическим процессом при контроле качества продукции, фотосепарации и др. требует обеспечения дополнительной к распознаванию СКЗ типов и видов объектов такой

функциональности СКЗ, как качественная и количественная оценка состояния каждого единичного объекта, чувствительная к деталям их видимой поверхности при высокой вариабельности их свойств, и сбор такой информации в целом по выборке с большим числом этих объектов [16, 17, 32-34].

Данная работа выполнялась в КубГТУ и базируется на исследованиях коллектива КубГТУ [18-22, 24, 26, 29]. В данной работе предлагается математическое обеспечение СКЗ, обеспечивающее требуемую функциональность идентификации с детальной оценкой состояния объектов и их массового количества.

Для контроля качества производимой продукции и выполнения процессов сортировки необходим алгоритм и ПО, работающее с высокими показателями точности и скорости. В настоящее время существует много алгоритмов, способных выполнять классификацию объектов по заранее заданному обучающему множеству [35, 36]. Основная проблема известных алгоритмов заключается в том, что они способны производить классификацию объектов с фиксированным и заранее известным числом состояний; их эффективность не удовлетворительна в случае, когда размеры, число состояний объекта и их взаимное расположение заранее неизвестно. Особенно данная проблема актуальна для решения задач классификации при технологическом процессе фотосепарации и контроля качества объектов природного происхождения. Объекты природного происхождения образуют сложную систему с заранее неизвестным числом состояний. Для решения задачи детального анализа состояния необходимо применить основные принципы системного анализа: единства информационной системы (каждый объект - единое целое), децентрализации, неопределенности и организованности [37-43].

Объектом исследования диссертационной работы являются системы компьютерного зрения распознавания и оценки состояния участков поверхности массового количества единичных материальных объектов (как генеральной совокупности) с высокой вариабельностью внутри их типов и видов и близости самих видов.

Предмет исследования - это функциональность СКЗ в качественной и количественной оценке состояния каждого единичного материального объекта (элемента генеральной совокупности), чувствительной к деталям их видимой поверхности, и сбор такой информации в целом по генеральной совокупности.

Цель исследования: разработка алгоритмов и математического обеспечения СКЗ распознавания и оценки состояния генеральной совокупности.

Практическая значимость: результаты работы использованы при разработке ПО лабораторного стенда СППР для блока контроля качества входного потока продукции в ходе управления технологическими процессами в пищевой промышленно сти.

Реализация и внедрение результатов работы: диссертационные исследования выполнены в рамках госбюджетной темы НИР №8.5.06-10 «Исследования математических моделей для естественнонаучных приложений» по кафедре общей математики КубГТУ Результаты работы внедрены на ООО «Програмтех».

Задачи исследования:

1. Разработка общей структуры СКЗ требуемой функциональности, декомпозиция на подсистемы обработки мгновенных 2D-изображений и набора разноракурсных снимков (в случае не одной, а нескольких видеокамер), режимов обучения системы и рабочего, сегментации изображений и идентификации сегментов, их качественной и количественной оценки.

2. Разработка и программная реализация алгоритмов режима обучения СКЗ, заполнения обучающей БД состояний участков поверхности элементов генеральной совокупности с эталонными эмпирическими распределениями вероятностей.

3. Разработка и программная реализация алгоритмов рабочего режима системы, идентификации с качественной и количественной оценкой состояния участков поверхности элементов генеральной совокупности, состояния всей генеральной совокупности.

4. Экспериментальная оценка эффективности, точности и скорости разработанного математического обеспечения СКЗ.

Методы исследования:

Системный анализ, теория вероятностей и математическая статистика, кластерный анализ, распознавание образов, машинное зрение и обучение.

Положения, выносимые на защиту:

1. Структура единой СКЗ требуемой функциональности, решающей поставленные задачи.

2. Методика бинаризации и сегментации мгновенных 2D-изображений и набора разноракурсных снимков, чувствительная к деталям видимой поверхности объектов.

3. Методика идентификации сегментов с качественной и количественной оценкой состояния участков поверхности элементов генеральной совокупности.

4. Учёт информации о невидимых сторонах 3D-объекта из набора разноракурсных снимков (без учёта кривизны поверхности) для снижения погрешности из-за невидимых на 2D-изображении частях поверхности 3D-объекта.

5. Уменьшение времени обработки видеокадра в рабочем режиме СКЗ вследствие снижения вычислительной сложности алгоритмов, повышения производительности узких мест последовательных вычислений и организации параллельных вычислений.

Научная новизна:

1. Предложена методика синтеза структуры СКЗ, настраиваемой на технологический процесс с распознаванием типов и видов, а также состояния участков поверхности элементов генеральной совокупности, вариабельных по своим оптическим свойствам внутри вида и близости самих видов, с количественной оценкой этого состояния и сбором этой информации по всей генеральной совокупности.

2. Разработана подсистема бинаризации «фон-объект» изображений, способная выделять даже сильно сегментированные объекты на однородном фоне. Предложена адаптивная подсистема сегментации изображений на основе X-means.

Э. Для случая СКЗ с несколькими видеокамерами предложен алгоритм уточнения 2D-идентификации состояния 3D-объекта - о кривизне поверхности и о невидимых сторонах - по набору разноракурсных снимков.

Структура диссертационного исследования приведена на рисунке В

В первой главе проведены аналитический обзор существующего математического обеспечения СКЗ идентификации массового количества объектов, системный анализ и разработана общая структура СКЗ требуемой функциональности. Оценены перспективность, достоинства и недостатки известных подходов и методов построения данных систем.

Результаты главы отражены в публикациях [44-54], в которых также проанализирована и систематизирована научно-техническая литература и патентная информация по теме исследования.

Во второй главе рассмотрен системный подход, заключающийся в декомпозиции разрабатываемой СКЗ на подсистемы режимов обучения системы и рабочего, обработки мгновенных 2D-изображений и набора разноракурсных снимков в случае не одной, а нескольких видеокамер. Рассмотрены подсистемы бинаризации «фон-объект» и сегментации изображений единичных объектов.

Результаты главы представлены в публикациях [44-49]. Личный вклад автора в [49] состоит в разработке методики сегментации мгновенных 2D-изображений, чувствительных к деталям видимой поверхности объектов.

В третьей главе предложено математическое обеспечение подсистем режима обучения и рабочего СКЗ требуемой функциональности с одной камерой.

Результаты главы представлены в публикациях [50, 54]. Личный вклад автора в [50] заключается в предложенной методике идентификации сегментов с качественной и количественной оценкой состояния поверхности объектов. Личный вклад автора в [54] состоит в разработке посредством системного анализа общей структуре системы.

В четвёртой главе рассмотрено математическое обеспечение подсистемы работы с изображениями, полученными с двух и более камер. Решена задача восполнения потерь информации о невидимых сторонах на 2В-изображении частях

поверхности 3Э-объекта по набору разноракурсных снимков и детального анализа состояний поверхности объектов с восстановленной информацией о невидимых сторонах. Проведен вычислительный эксперимент с программной реализацией предложенных алгоритмов СКЗ, оценена точность рабочего режима СКЗ, показаны возможности снижения времени обработки видеокадра в рабочем режиме СКЗ оптимизацией последовательных вычислений и организацией параллельных вычислений.

Цели исследования: разработка алгоритмов и математического обеспечения СКЗ распознавания и оценки состояния генеральной совокупности

Разработать общую структуру СКЗ

Разработка алгоритмов обучения

Провести обзор существующих СКЗ идентификации и оценки состояния объектов (гл.1) [50,53]

Разработка подсистемы бинаризации (гл.2) [44-47]

Провести обзор подсистем, входящих в структуру СКЗ (гл.1) [44-54]

Проведение экспериментов и оценка эффективности работы подсистемы бинаризации _(гл.2) [44-47]_

Разработка подсистемы сегментации (гл.2) [48-49]

Проведение экспериментов и оценка эффективности работы подсистемы сегментации (гл.2) [48-49]

Разработка подсистемы обучения для 20 изображений (гл.3) [54]

Разработка подсистемы обучения для работы с несколькими камерами для получения информации обо всех сторонах объекта (гл.4) [53]

Разработка алгоритмов рабочего режима СКЗ

Разработка подсистемы рабочего режима СКЗ для 2Э изображений (гл.3) [50, 54]

Проведение экспериментов и оценка эффективности функционирования рабочего режима СКЗ для 2Б изображений (гл.3) [54]

Разработка подсистемы выдачи количественной и качественной оценки (гл.3) [50]

Разработка подсистемы рабочего режима СКЗ для работы с несколькими камерами для получения информации обо всех сторонах объекта (гл.4) [53]

Проведение экспериментов и оценка эффективности функционирования подсистемы рабочего режима СКЗ для работы с несколькими камерами для получения информации обо всех сторонах объекта. Реализация алгоритмов по увеличению быстродействия системы (гл.4) [54-57]

Рисунок В.1 - Структура диссертационного исследования

Результаты главы представлены в публикациях [51- 54]. Личный вклад автора в [51] заключается в описании существующих методов гладких многообразий в дифференциальной топологии, в [52] - в описании существующих методов двумерных многообразий в дифференциальной топологии, в [53] - в описании алгоритма получения информации о невидимых сторонах на отдельных 2D-изображениях поверхности 3D-объекта со снимков разного ракурса и алгоритма работы системы компьютерного зрения с несколькими камерами. Личный вклад автора в [54] заключается в уменьшении времени обработки видеокадра в рабочем

режиме СКЗ из-за снижения вычислительной сложности алгоритмов, повышения производительности узких мест последовательных вычислений и организации параллельных вычислений.

Разработанные в рамках данной работы алгоритмы программно реализованы автором [55-57]. В [55] личный вклад автора состоит в программной реализации нейросетевых алгоритмов для проверки качества работы нейронных сетей, в [56] -в программной реализации алгоритмов подсистем режима обучения СКЗ, в [57] -в программной реализации алгоритмов подсистем рабочего режима СКЗ.

Введение диссертации (часть автореферата) на тему «Идентификация с детальной оценкой состояния объектов и их массового количества системами компьютерного зрения»

Апробация работы

Основные результаты работы докладывались на следующих семинарах и конференциях:

1. XXXVI студенческая научная конференция КубГТУ, апрель 2009 г., г. Краснодар.

2. XXXVII научная конференция студентов и молодых ученых вузов Южного федерального округа (декабрь 2009 года - март 2010 года), г. Краснодар.

3. Международная заочная научно-практическая конференция «Актуальные направления научных исследований XXI века: теория и практика» 2 ноября 2015 г., г. Воронеж.

4. VII Научно-техническая конференция «Техническое зрение в системах управления - 2016», 15-17 марта 2016 г., г. Москва.

5. Конференция «Ломоносов - 2016». Секция биоинформатика, Москва, 1115 апреля 2016 г., г. Москва.

6. Международная научно-практическая конференция «Автоматизированные информационные и электроэнергетические системы», 9-11 сентября 2016 г., пос. Абрау-Дюрсо.

7. Доклад на научном семинаре кафедры общей математики КубГТУ, 21 июня 2016 г., г. Краснодар

8. Доклад на научном семинаре кафедры математических и компьютерных методов КубГУ, 24 июня 2016 г., г. Краснодар.

Публикации. По теме диссертационного исследования опубликовано 14 работ, в том числе 5 статей [44, 49, 50, 53, 54] в журналах, рекомендованных ВАК при Министерстве образования и науки Российской Федерации, 3 свидетельства о государственной регистрации программ для ЭВМ [55-57], 6 статей в научных журналах и материалах конференций [45-48, 51, 52].

1 АНАЛИТИЧЕСКИЙ ОБЗОР СУЩЕСТВУЮЩЕГО

МАТЕМАТИЧЕСКОГО ОБЕСПЕЧЕНИЯ СИСТЕМ КОМПЬЮТЕРНОГО ЗРЕНИЯ ИДЕНТИФИКАЦИИ МАССОВОГО КОЛИЧЕСТВА ОБЪЕКТОВ, СИСТЕМНЫЙ АНАЛИЗ И РАЗРАБОТКА ОБЩЕЙ СТРУКТУРЫ СКЗ ТРЕБУЕМОЙ ФУНКЦИОНАЛЬНОСТИ

1.1 Обзор существующих СКЗ по распознаванию типов и видов объектов и их состояния

Основная задача систем компьютерного зрения (СКЗ) - полная замена человека в деятельности, которая связана с анализом и сбором зрительной информации. Разработка таких систем ведется многими коллективами - как российскими, так и зарубежными. СКЗ применяется со множеством функций, основная из которых - распознавание образов и анализ изображений. Эта область является очень обширной и решает множество проблем по автоматизации анализа изображений. СКЗ активно применяется в промышленности. Одна из основных функций СКЗ - возможность классификации объектов, которая активно применяется в пищевой и зерноперерабатывающей промышленности в задачах контроля качества производимой продукции и при фотосепарации. Система компьютерного зрения - сложная система, состоящая, как правило, из множества подсистем, каждая из которых решает свою задачу. Все эти подсистемы работают слаженно и подчинены общей цели, ради которой СКЗ разрабатывалась [15].

Существующие системы способны производить анализ множественного количества объектов: определять качество производимой продукции и комплектность её сборки, значения параметров пор нанофильтрованных мембран. В разработанных СКЗ используется общая схема: на вход СКЗ подаётся снимок с множественным количеством объектов, выделяется каждый объект и обрабатывается системой: делаются проверки на степень соответствия этого объекта эталону, определяются свойства и характеристики объекта. После подачи на вход осуществляется предобработка, результат которой анализируется подсистемой искусственного интеллекта, после чего поступают управляющие

сигналы на автоматику, которая выполняет указанные инженером-технологом действия: устранение дефектов продукции, отправка её в контейнер с отходами, классификация по степени качества и т.д. [20, 23, 27, 32, 35].

Среди производителей оборудования, способного решать рассматриваемые задачи, присутствуют Omron, Buhler Group, Cognex Corporation, Mallenom Systems. На рисунке 1. 1 представлены схемы оборудования и классы задач, которые оно может решать.

Роботизированная система передачи

Рисунок 1.1 - Примеры решаемых СКЗ задач: а - схема конвейера; б -определение параметров пор нанофильтрованных мембран; в - контроль качества сборки медицинского оборудования; г - комплексная инспекция мясных полуфабрикатов; д - контроль комплектности размещения продуктов

Данными системами занимается также коллектив КубГТУ [18-20, 22, 24, 28], который предложил математическое обеспечение СКЗ по оценке типов и видов объектов: на рисунке 1.2 представлены блок-схемы режимов обучения и рабочего.

Распознавание изображений в алгоритме, представленном рисунке 1.1, основано на преобразовании исходной пиксельной матрицы в вейвлет-спектр как признаковое пространство. Вейвлет Хаара применялся для того, чтобы исключить зависимость методов искусственного интеллекта от разрешения подаваемого изображения [141]. Пример вейвлет-спектра изображения в цветовом пространстве ЬИБ приведён на рисунке 1.3.

Обучающая база

Получение изображения известного объекта

Получение изображения распознаваемых объектов

а

1 г Отделение объекта от фона Отделение объекта от фона

1 г

1 г Получение изображения единичного объекта

Получение изображения единичного объекта

1 г

1 г Предобработка (поворот к главным осям инерции)

Предобработка(поворот к главным осям инерции)

Вычисление вейвлет-сектра

Вычисление вейвлет-сектра

1 г

1 г Срабатывание нейросетевого или статистического классификатора

Заполнение БД спектров известных объектов

1 г

Обучение нейронной сети или заполнение БД эталонных эллипсоидов рассеяния Выдача управляющих сигналов

Рисунок 1.2 - СКЗ по распознаванию типов и видов объектов: а обучения; б - рабочий режим

режим

Как видно из рисунка 1.3, размерность матрицы после вейвлет-преобразования зависит не от разрешения исходного изображения, а от уровня вейвлет-спектра. Для 1-го уровня вейвлет-спектр компоненты W представляется как среднее значение компоненты W всех пикселей. Для первого уровня изображение делится на четыре части и для каждой части получается среднее значение, для 2-го уровня на 16, для 3-го на 64 и т.д. Иными словами, после выполнения вейвлет-преобразования п-го уровня будет получена следующая матрица для цветовой

характеристики W, где W = R, G или B в цветовом пространстве RGB; также W = L, H или S в цветовом пространстве LHS.

Мп =

n-W,

1n

■ж

si

(1.1)

ж,.

где Wsl - группа пикселей размером m/2n • k/2n, m и k - высота и ширина

изображения, Wnl - среднее значение характеристик W пикселей из группы nl.

Рисунок 1.3 изображения

- Пример групп пикселей для уровней вейвлет-спектра

Разработанная в КубГТУ СКЗ распознавания типов и видов объектов основана как на нейросетевом классификаторе [28], так и на статистическом [19], блок-схемы которых представлены на рисунке 1.4.

В работе [28] используется НС на основе многослойного персептрона (MLP), точность по распознаванию типов и видов объектов составила около 90 %. Топология данного MLP и ошибка распознавания в зависимости от количества нейронов промежуточного слоя представлены на рисунке 1.5. Оптимальный MLP

имеет 35 нейронов во внутреннем слое при 249 входных нейронах и пяти выходных (распознавались пять сортов риса).

г

Рисунок 1.4 - Подсистема классификатора СКЗ распознавания типов и видов объектов: а - режим обучения нейросетевого классификатора; б - рабочий режим нейросетевого классификатора; в - режим обучения статистического классификатора; г - рабочий режим статистического классификатора

В работах [58-61] представлены нейросетевые методы распознавания объектов, основанные на использовании многослойного персептрона. На рисунке 1.4 представлены два классификатора: нейросетевой и статистический.

Нейросетевой классификатор, как известно, быстрее, но он не даёт возможность главного: объяснить, почему СКЗ приняла именно такое решение, и он не имеет теоретически предсказуемую точность. В отличие от нейросетевых классификаторов, статистические могут обеспечить заданную точность и дают явный алгоритм распознавания [76]. В работе [19] использовался статистический классификатор на основе эллипсоида рассеяния.

а)

40 35

0 30 к

1 25

3

ю

S 20

о

re

io 15

s

Э

о „„

б)

20 30 40 50 60 70 80 90 100 110 кол-во нейронов промежуточного слоя

Рисунок 1.5 - Структура нейронной сети и результат её работы: а - топология сети; б - зависимость ошибки распознавания от количества нейронов в скрытом слое

5

0

0

Эллипсоид рассеяния случайного вектора X описывается формулой

(х-цх)т B-1 (x-цх) = С, (1.2)

где цх - математическое ожидание случайного вектора X, B - ковариационная матрица, c = const определяется задаваемой доверительной вероятностью. В базе данных эталонных спектров хранятся цх, B, c для каждого типа и вида объектов. Распознавание производится проверкой попадания X, являющегося спектром распознаваемого изображения, в какой-то из эллипсоидов.

Всё более актуальной становится такая функциональность систем компьютерного зрения, дополняющая функцию распознавания изображений, как оценка состояния распознанных объектов. Например, кроме распознавания зерновой культуры и примесей зерновой массы, площадь порченого пятна или

равномерность окраски керамической плитки. В подобных ситуациях, в дополнение к известной задаче распознавания изображений, возникает задача идентификации состояния как единичных объектов, так и их выборки, и генеральной совокупности в целом. В системах компьютерного зрения присутствует как одна камера, так и две, три и более. Существует проблема максимально полного учета информации об объектах, поступающих со снимков разного ракурса.

Для выполнения работы с анализируемыми объектами одним из этапов СКЗ должен быть этап отделения объектов от фоновых пикселей. В работе [31] рассмотрена СКЗ, одной из задач которой было отделение объектов от фона. Фон неоднородный, как в рассматриваемой задаче. Однако в данной работе идёт работа не со статичным изображением, а с видео. Алгоритмы отделения фона в данной работе основываются на том, что статические объекты в видеопотоке являются фоном, а двигающиеся от кадра к кадру - интересующим объектом. Алгоритмы, присутствующие в этой работе, основаны на вычитании одного изображения из другого для того, чтобы одинаковые пиксели были установлены в нуль. Для изучаемых нами задач данные способы выделения объектов не подходят, так как работа осуществляется не с видео, а с 2D-изображением. В рамках задач данной диссертации допустимо работать с каждым кадром видео по-отдельности, причём не обязательно все 24 кадра в секунду (зависит от времени пребывания объектов в рабочей зоне СКЗ). Работа именно с видеопотоком может быть актуальна при решении задач, в которых для идентификации объекта необходимо осуществлять отслеживание за перемещением объекта по изображению и изменением ракурса. В рамках задач данной диссертации рассматриваются, например, объекты, способные перемещаться только под действием силы тяжести или перемещаться совместно с лентой конвейера; траектория каждого объекта в данном случае является определённой и для её анализа нет необходимости перегружать процессор дополнительными вычислениями, связанными с обработкой видео.

Задача детальной оценки состояний объектов рассматривалась ранее [38, 43, 62-69], однако её анализ осуществлялся не в пищевой промышленности, а при

анализе аэрокосмических снимков и при анализе медицинских снимков, например, при детальном анализе радужной оболочки глаза [70]. Так как в рамках задач данной диссертации производимый анализ должен иметь высокую чувствительность к деталям, одним из этапов функционирования СКЗ должна быть сегментация [71-73].

В работе [38] предложена СКЗ для анализа изображений аэрокосмического дистанционного зондирования, одной из подсистем которой является сегментация. Основной задачей при этом была очень сильная разномасштабность объектов. Алгоритм сегментации используется для деления изображения на значительно однородные и семантически значимые группы пикселей. Необходимо настраиваться на правильный масштаб для анализа: при грубых масштабах можно выполнять идентификацию полей и лесных стендов, а при более мелких масштабах можно производить отличия отдельных деревьев или растений. В работе [38] было установлено, что эффективность кластеризации городских кварталов методом IKONOS составляет 87 % при автоматическом определении масштаба. В рамках задач данной диссертации не стоит проблема с определением масштаба, которая присутствует в аэрокосмических снимках.

В работе [43] рассмотрены алгоритмы сегментации аэрокосмических снимков, названных COBIA - complex object-based image analysis (комплексный объектно-базовый анализ изображений), представленный на рисунке 1.6.

В работе [43] рассматривается СКЗ, задачей которой является анализ состояния земной поверхности по аэрокосмическим снимкам, происходит автоматическое определение числа классов с использованием предварительного разбиения на области одинакового размера с сегментацией каждой из них. Используется неиерархический метод кластеризации на основе использования жадных алгоритмов. Из рисунка 1.6 видно, что результатом сегментации является низкая чувствительность алгоритма; алгоритм не подходит для сегментации высоковариабельных объектов. В данной работе после выполнения сегментации происходит анализ каждого сегмента. Однако данная работа не нацелена на работу с массовым количеством объектов и, как следствие этого, авторами [43] не была

рассмотрена задача выделения единичных объектов и сегментации таким образом, чтобы результат сегментации совпадал с мнением эксперта-технолога.

Е

вода застройки _

■__шл т

лёд лес

Рисунок 1.6 - Концепция COBIA: A - пиксельно-классифицированное изображение, разделённое регулярной сеткой на блоки; B, ^ D - примеры блоков, имеющие различные внутренние особенности; E - расшифровка пиксельной классификации

В работе [41] рассмотрена СКЗ, в которой используется объектно-ориентированный анализ изображений. Пиксели представляют пространственное измерение. Однако пиксели могут быть кластеризованы и образовывать связную область, которая называется изображением объекта. Объекты создаются в результате использования процедур сегментации. Благодаря классификации объектов могут быть исследованы их семантические связи. Данная работа основывается на графовых методах сегментации и учитывает критерий связности, что неприемлемо для поставленных в данной диссертационной работе целей.

В работе [42] рассмотрена СКЗ, в которой использовались методы Matlab для анализа изображений на предмет наличия малярии. Для отделения объектов от фона использовались пороговые алгоритмы кластеризации, граничные алгоритмы и градиентные алгоритмы. С использованием указанных выше алгоритмов происходило выделение паразитов на однородном фоне.

Анализ детального состояния объектов и их массового количества на данный момент ещё не рассматривался, но были исследования, касающиеся идентификации объектов [28, 74].

В работе [39] рассмотрена СКЗ, в которой используется механизм детектирования дефектов, представленный на рисунке 1.7.

Рисунок 1.7 - Результат работы алгоритма детектирования дефектов

Другой известной системой является система детектирования объектов, описанная в [72-74]. Однако данная система способна выделять только ладони на неоднородном фоне и не подходит для решения задач, поставленных в рамках данной диссертационной работы. Для детектирования строится вейвлет-изображение и на каждом шаге пирамиды применяется Гауссовский фильтр нижних частот. Рассматриваемая СКЗ не способна проводить детальный анализ массового количества объектов с высоковариабельными характеристиками, так как её задачей является идентификация ярко выраженной неоднородности на однородном фоне.

В работе [30] рассмотрена СКЗ, в которой представлен алгоритм анализа текстуры поверхности. Используется фрактальный анализ текстуры поверхности. Также в работе [30] используются скрытые модели Маркова. Данные алгоритмы медленные и не подходят для решения поставленных задач.

В [40] рассмотрена СКЗ, которая базируется на автоматизированном алгоритме анализа изображений на признак наличия фиброза печени. Анализ изображения состоит в сегментации изображения и морфологических преобразованиях. Сегментация изображения происходит с использованием алгоритма k-means [75, 78]. После выполнения сегментации выполняется предобработка с использованием морфологических преобразований в целях получения гладкости и чистоты интересующей области; следующий шаг -классификация сегментов, которая осуществляется с использованием НС [58, 68,

109]. Данный способ классификации является медленным и недостаточно точным для поставленных задач.

В работе [61] предложена гетерогенная сеть, состоящая из нескольких сетей меньшего размера. Каждая нейронная сеть - капсула - анализирует только один конкретный признак объекта. Данная нейронная сеть справляется со своей задачей, но она не способна произвести анализ детальных состояний объекта, так как у каждого объекта природного происхождения может быть неограниченное число состояний, которые могут быть расположены в разной последовательности: красный рис со стекловидным пятном сверху и меловым снизу; красный рис со стекловидным пятном снизу и меловым сверху.

Ни один из существующих на сегодняшний день нейросетевых алгоритмов не способен дать ответ на поставленные в целях этой диссертационной работы задачи: определение присутствующих на объекте сегментов, их качественных и количественных характеристик.

1.2 Структурная организация СКЗ, основные проблемы разработки СКЗ в задачах детальной оценки состояния массового количества объектов

Проанализировав существующие СКЗ, решающие задачи определения типов и видов объектов, а также системы, способные идентифицировать состояние объектов, можно отметить следующее. Все они являются сложными и состоят из разных подсистем, каждая из которых автономна и имеет связь с другими. Однако выбор, из каких подсистем должна состоять СКЗ и каким требованиям по качеству, быстродействию и требуемой функциональности должна отвечать каждая подсистема, зависит от поставленной задачи, которую решает СКЗ.

Построение СКЗ требуемой функциональности - чтобы она правильно функционировала и выполняла поставленные задачи - невозможно без системного подхода. Система компьютерного зрения является сложной системой, которая основана на принципах единства, развития, глобальной цели, функциональности, децентрализации, иерархии, неопределенности и организованности. СКЗ является

открытой системой и она активно взаимодействует с внешней средой; её границы открыты, через них она активно обменивается информацией: получает информацию и на её основе принимает решения и осуществляет какие-либо действия.

В рамках задач данной диссертации для осуществления идентификации с детальной оценкой состояния объектов и их массового количества система компьютерного зрения должна состоять из следующих подсистем: бинаризации объектов [80-83], выделения единичных объектов из массового количества объектов (чтобы можно было с каждым объектом работать по-отдельности), контроля качества бинаризации (чтобы СКЗ не выполняла анализ неправильно распознанных на первоначальном этапе объектов), сегментации и подсистема детального анализа сегментов. Все подсистемы отвечают одному из требований системного анализа - единству. С другой стороны, они ещё работают автономно и для решения общей задачи детального анализа изображений может быть произведена её декомпозиция на подзадачи и решение каждой подзадачи своей подсистемой.

Особенностью разрабатываемой системы компьютерного зрения является то, что она должна дополнить уже существующие механизмы и сделать их лучше. В настоящий момент существуют способы, способные выполнять анализ типов и видов объектов, но не способные выполнять анализ детальных состояний этих объектов. На основании проведенного анализа система компьютерного зрения, взаимодействуя с внешней средой, имеет возможность выдавать на сторонние элементы системы управляющие сигналы. Например, при задачах фотосепарации зерна при определении зерновой культуры (пшеницы, льна, подсолнечника, риса и т.д.) воздуховод с использованием мощного потока воздуха выполняет сортировку анализируемых культур: зёрна пшеницы собираются в одну связную область, подсолнечника - в другую, риса - в третью. Однако этого часто недостаточно. Например, в скоплении зёрен риса могут присутствовать разные виды риса: меловой, стекловидный, бурый, розовый, красный, испорченный и т.д., а также может присутствовать объекты с несколькими состояниями одновременно. Если

присутствие меловых пятен на рисе не является препятствием для употребления его человеком в пищу, то присутствие порченых участков - проблема. Существующие на данный момент технологии и алгоритмы не способны выполнять детальный анализ поверхности объектов, не способны в автоматическом режиме определить число состояний и выделить их в отдельные сегменты. Однако их существование значительно бы усовершенствовало существующие технологические процессы и повысило бы качество производимой продукции. Использование детальной оценки состояний объектов позволило бы выполнить классификацию порченого риса по степени его порченности: в зависимости от процента порченых участков от всего пятна. Слабо и среднепорченые зерна можно использовать в качестве корма для животных, а сильно порченые зёрна отправлять на утилизацию. Использование такой технологии принесет сильно выраженный экономический эффект.

Разрабатываемая система должна решать поставленные задачи практически мгновенно - в десятые и сотые доли секунды. Для обеспечения скорости необходимо использовать алгоритмы, вычислительная сложность которых является минимальной. Выполнять работу можно как с использованием информации, полученной с мгновенных снимков, так и с видеопотока. Для работы с видеопотоком используются алгоритмы, которые не только создают дополнительную нагрузку на процессор и требуют значительное количество оперативной памяти для функционирования, они еще отличаются высокой вычислительной сложностью. В рамках изучаемых нами задач может быть использован любой алгоритм из группы алгоритмов слежения за объектом в видеопотоке, среди которых можно выделить Mean-Shift, Particle filter [85]. Следует отметить, что алгоритмы слежения за объектом в видеопотоке в своей основе используют отличие объекта от окружающей среды. Если же в видеопотоке будет значительное число объектов со схожими характеристиками, стабильность работы этих алгоритмов под большим вопросом [86]. Это одна из причин, по которым в настоящей работе каждый мгновенный снимок из видеопотока обрабатывается автономно.

Так как разрабатываемая СКЗ будет основана на знаниях, которые должны совпадать с мнением эксперта, должен присутствовать блок обучения и распознавания типов и видов, блок обучения и распознавания состояния объектов, для функционирования которых эксперт должен предварительно подготовить обучающую базу типов, видов и состояний объектов.

Разрабатываемая система требуемой функциональности (рис. 1.8) базируется на известной подсистеме СКЗ с одной камерой распознавания типов и видов объектов и включает в себя подсистемы бинаризации «фон-объект» и выделения единичных объектов, сегментации и подсистему идентификации сегментов, их качественной и количественной оценки.

На основе известной СКЗ, основные блоки которой представлены блоком обучения и распознавания типов и видов объектов и блоком выдачи управляющих сигналов, необходимо разработать СКЗ требуемой функциональности, включающую в себя три блока в дополнение к предыдущим: подготовку обучающей базы типов, видов и состояний объектов экспертом; блок обучения и распознавания состояния поверхности объектов; выдачу многомерного распределения оценки состояния массового количества объектов.

Рисунок 1.8 - Общая структура предлагаемой СКЗ требуемой функциональности

Детальный анализ состояний поверхности объектов можно использовать не только для анализа зерновых культур, но и для анализа поверхности других объектов: поверхность тротуарной и мраморной плитки для оценки качества и равномерности её покраски, поиск трещин и деформаций на кирпичах, анализ снимков с беспилотных летательных аппаратов и ряд других.

1.3 Математическое обеспечение подсистемы выделения объектов на 2Б-изображениях, существующие алгоритмы бинаризации и сегментации

Повышение спектра возможностей анализа изображений - одна из основных задач, решаемых информационными технологиями, автоматизации процессов в промышленности, военном деле и бизнесе. В настоящий момент успешно реализованы способы распознавания объектов на изображении [20, 21, 28, 29]. Однако данные работы посвящены распознаванию конкретных объектов, а не их состояний. Основная проблема идентификации состояний объектов заключается в том, что заранее неизвестно, в каком числе состояний находится рассматриваемый объект. Это составляет сложность как для составления обучающей выборки, так и для работы системы в режиме реального времени. В общем случае число состояний и диапазон их значений заранее неизвестны. То есть объект можно представить в виде матрицы X={Xl, X2, Xз,...,Xn}, где Xi - 1-е детальное состояние объекта. Каждое из состояний X может принимать значения матрицы Y = .. Ym}, где

Список литературы диссертационного исследования кандидат наук Остапов Дмитрий Сергеевич, 2018 год

Список литературы

1. Симанков В.С., Луценко Е.В., Лаптев В.Н. Системный анализ в адаптивном управлении. - Краснодар: Просвещение-Юг, 2009. - 261 с.

2. Симанков В.С. Системный анализ функциональной стабильности критичных информационных систем. - Краснодар: Изд.КубГТУ, 2004. - 202 с.

3. Козлов В.Н. Системный анализ. Оптимизация и принятие решения. -СПб: Проспект, 2016. - 176 с.

4. Волкова В.Н., Денисов А.А. Теория систем и системный анализ. - М.: Юрайт, 2016. - 464 с.

5. Gibson J., Scherer. W., Gibson W. How to Do Systems. - Chicago: Wiley, 2007. - 615 pp.

6. Sauter V. Decision Support Systems for Business Intelligence. - Chicago: Wiley, 2011. - 453 pp.

7. Архитектуры систем поддержки принятия решений / В.И.Ключко [и др.] // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. - 2013. - № 86. - С. 290-299.

8. Луценко Е.В., Лойко В.И., Великанова В.О. Прогнозирование урожайности зерновых колосковых и поддержка принятия решений по рациональному выбору агротехнологий с применением СК-анализа // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. - 2008. - Т.38. - С. 106-131

9. Методика поддержки принятия решения оптимального выбора оборудования для систем нетрадиционной энергетики / П.В.Яцинин [и др.] // Фундаментальные исследования. 2016. - № 3-1. С. 89-97.

10. Гонсалес Р. Цифровая обработка изображений. - М.: Техносфера, 2012. - 1273 с.

11. Da-Wen S. Computer Vision Technology for Food Quality Evaluation. - San Diego: Elsevier Academic Press, 2011. - 600 pp.

12. Новейшие методы обработки изображений / А.А.Потапов [и др.] - М.: ФИЗМАТЛИТ, 2008. - 496 с.

13. Duda R.O. Pattern classification / R.O.Duda, P.E.Hart, D.G.Stork. - New York: Wiley, 2014. - 7б8 pp.

14. Kenneth D.G. A Practical Introduction to Computer Vision with OpenCV. -New York: Wiley, 2014. - 234 pp.

15. Sun D.W. Computer Vision For Food Quality / D.W.Sun. - San Diego: Isevier Academic Press, 2011. - 600 pp.

16. Зиятдинова В.А., Шаззо А.Ю., Усатиков С.В. Объективный метод распознавания и оценки недозрелого и краснозёрного риса с использованием систем компьютерного зрения // Известия вузов. Пищевая технология. - 2015. - № 4. - С. 92-95.

17. Зиятдинова В.А., Шаззо А.Ю., Усатиков С.В. Оперативный экспресс-контроль испорченых зёрен риса с использованием систем компьютерного зрения // Известия вузов. Пищевая технология. - 2016. - № 1. - С.100-104.

18. Оценка качества риса с использованием современных методов анализа цветовых характеристик единичных зёрен / В.А.Зиятдинова [и др.] // Известия вузов. Пищевая технология. - 2015. - № 2-3. - С. 100-104.

19. Горонков К.А., Усатиков С.В. Об особенностях вейвлет-спектра плоского изображения как признакового пространства в статистических методах распознавания // Экологический вестник научных центров черноморского экономического сотрудничества. - 2013. - № 1. - С. 24-31.

20. Горонков К.А., Усатиков С.В., Руденко О.В. База данных обучающей выборки для высокоточного распознавания плоских изображений сортов злаковых и масляничных культур // Фундаментальные исследования. - 2011. - № 8-2. - С. 342-34б.

21. Шаззо А.Ю., Усатиков С.В., Зиятдинова В.А. Объективная оценка качества ядра риса в системах компьютерного зрения // Известия вузов. Пищевая технология. - 2015. - № 2-3. С. 25-36.

22. Классификация риса на основе спектрального анализа контура изображения зёрен / А.Ю.Шаззо [и др.] // Известия вузов. Пищевая технология. -2005. - № 5-6. - С. 19-23.

23. Усатиков С.В., Троянова Т.Л., Михайлюта Т.В. Нейросетевые блоки экспертной системы мониторинга показателей безопасности и качества при производстве соков // Гибридный интеллект: Сборник материалов международной научно-практической конференции (11 мая 2009 г.) - Воронеж. - 2009. - № 4. - С. 202-205.

24. Шаззо А.Ю. Вопросы разработки вычислительного ядра экспертных систем высокоточного распознавания компонентов и прогнозирования качества при хранении зерновой массы // Сборник тезисов конференции получателей грантов регионов конкурса РФФИ и администрации Краснодарского края «ЮГ РОССИИ». - 2008. - С. 177-178.

25. Бабенко А.С., Атрощенко В.А. К Вопросу выбора метода выделения контуров изображения в системах технического зрения роботов сборки солнечных батарей // VI Международная научно-практическая конференция молодых ученых, посвященная 55-й годовщине полета Ю.А. Гагарина в космос: сборник научных статей. КВВАУЛ им. А.К. Серова. - 2016. - С. 240-244.

26. Шаззо А.Ю. Распознавание компонентов и прогнозирование качества при хранении зерновой массы // Сборник тезисов конференции получателей грантов регионов конкурса РФФИ и администрации Краснодарского края «ЮГ РОССИИ». - 2009. - С. 128-129.

27. Усатиков С.В., Горонков К.А. База данных спектров плоских изображений для высокоточного распознавания сортов зерновых культур // Автоматизированные информационные и электроэнергетические системы: Материалы I межвузовской научно-практической конференции. - 2010. - № 2. - С. 144-146.

28. Руденко О.В. Высокоточное нейросетевое распознавание в системах технического зрения: дис. ... канд. техн. наук: 05.13.01 - Краснодар, 2011. -139 с.

29. Шаззо А.Ю. Теоретические и прикладные аспекты спектрального анализа контура изображения злаковых и масляничных культур // Известия высших учебных заведений. Пищевая технология. - 2003. - № 1. - С. 53-58.

30. Kassin A.A., Mian Z., Mannan M.A. Tool Condition Classification using Hidden Markov Model Based on Fractal Analysis of Machined Surface Textures. // Machine Vision and Applications. - 2006. - № 17. - pp. 327-336.

31. Manipritya, S. Performance Analysis of Spatial Color Information for Object Detection Using Background Subtraction // International Conference on Future Information Engineering, 2014. - pp. 63-69.

32. Усатиков С.В. Эффективность нейросетевого распознавания скрытой заражённости зерна пшеницы по NIR-изображениям // Материалы V всероссийской научно-практической конференции студентов, аспирантов и молодых учёных с международным участием. Технологии и оборудование химической, биохимической и пищевой промышленности (24-26 мая 2012 г., Алтайский государственный технический университет, г. Бийск), - 2012. - С.145-149.

33. Шаззо А.Ю., Усатиков С.В. Эффективность распознавания скрытой заражённости зерновок по изображениям в инфракрасном спектре. // Известия вузов. Пищевая технология. - 2012. - № 4. С.105-108.

34. Руденко О.В., Усатиков С.В. Высокоточное нейросетевое распознавание в технических системах зерноперерабатывающей промышленности // Материалы II международной научно-практической конференции «Хлебобулочные, кондитерские и макаронные изделия XXI века». - 2011. - С. 275-278.

35. Усатиков С.В., Руденко О.В. Топология нейронной сети высокоточного распознавания сортов злаковых культур // Обзор прикладной и промышленной математики. - 2010. - Т. 17, № 5, - С. 780-781.

36. Блок распознавания растительного сырья экспертной системы мониторинга показателй безопасности и качества при производстве консервов / С.В.Усатиков [и др.] // Фундаментальные исследования. - 2011. - Т. 8, № 3. - С. 607-612.

37. Kiruba I., Thyagharajan K.K. An Analysis of Segmentation Techniques to Identify Herbal Leaves from Complex Background // International Conference on Computer, Communication and Convergence. - 2015. - pp. 589-599.

38. Blashke T. Object based image analysis of Segmentation Techniques to Identify Herbal Leaves from Complex Background // ISPRS Journal of Photogrammery and Remote Sensing. - 2010. - pp. 2-16.

39. Weimer D., Thamer H., Thoken K.D. GPU architecture for unsupervised surface inspection using multiscale texture analysis // 2nd International Conference on System-Integrated Intelligence: Challenges for Product and Production Engineering. -2010. - pp. 278-284.

40. Matalka I. Quantitative assessment of Liver Fibrosis: a Nover Automated Image Analysis Method // Liver Int. - 2006. - pp. 1054-1064.

41. Baatz M., Arini N., Schape A, Bining G. Object-Oriented Image Analysis for High Content Sreening: Detailed Quanitification of Cells and Sub Cellular Structures with the Cellenger Software // International Society for Analytical Cytology. - 2006. -pp. 652-658.

42. Kudella P., Moli K., Wahlgen M. ARAM: an automated image analysis software to determine resetting parametres and parasitaemia in Plasmodium samples // Malaria Journal. - 2016. - № 1. - pp. 15-32.

43. Stepinski T., Niesterowicz J., Stepinski J. Pattern-Based Regionalization of Large Geospatial Datasets Using Complex Object-Based Image Analysis // Procedia Computer Science. - 2015. - pp. 2168-2177.

44. Остапов Д.С. Бинаризация «фон-объект» предобработкой изображения и нечётким алгоритмом k-means // Вестник Астраханского государственного технического университета. Управление, вычислительная техника и информатика. - 2016, - №3. - С. 32-39.

45. Остапов Д.С. Предобработка изображений для повышения эффективности бинаризации методом k-средних // Сб. науч. тр. по матер. междунар. заоч. научно-практич. конф. «Актуальные направления научных

исследований XXI века: теория и практика», Воронеж: ФГБОУ ВО «ВГЛТУ», 2015. - № 8. - Ч.1 - С. 108-112.

46. Остапов Д.С. Влияние на корректность бинаризации «фон-объект» предобработки сглаживанием светлоты плоского изображения // Наука Кубани. -2015. - № 1. - С. 64-69.

47. Остапов Д.С. Бинаризация изображений системами компьютерного зрения // Тезисы конференции «Ломоносов- 2016» [Электронный ресурс. - М.: МГУ, 2016. - 1 электрон. опт. диск (CD-ROM).

48. Остапов Д.С. Адаптивный алгоритм k-means сегментации изображений объектов природного происхождения //Тезисы научно-технической конференции «Техническое зрение в системах управления» (15-17 марта 2016), Москва: ИКИ РАН, 2016, С. 70-71.

49. Остапов Д.С., Усатиков С.В. Сегментация изображений в задачах детальной оценки состояния массового количества объектов // Известия СПбГЭТУ «ЛЭТИ». - 2017. - № 9. - С. 45-51.

50. Остапов Д.С., Усатиков С.В. Идентификация участков поверхности отдельных объектов на 2D-изображении в задачах оценки состояния их массового количества // Научно-технический вестник информационных технологий, механики и оптики. - 2017. - № 4. - Т. 17. - С. 685-693.

51. Луцко Н.А., Остапов Д.С. Гладкие многообразия // Тезисы докладов XXVII научной конференции студентов и молодых ученых вузов южного федерального округа (декабрь 2009 года - март 2010 года), г. Краснодар: КубГУФКСТ, 2009, С. 141-142.

52. Луцко Н.А., Остапов Д.С. Двумерные многообразия в дифференциальной топологии // Тезисы докладов XXVII научной конференции студентов и молодых ученых вузов южного федерального округа (декабрь 2009 года - март 2010 года), г. Краснодар: КубГУФКСТ, 2009, С. 142-143.

53. Остапов Д.С. Подходы к идентификации состояния 3D-поверхности по 2D-изображениям единичных объектов и их массового количества // Вестник

Астраханского государственного технического университета. Управление, вычислительная техника и информатика. - 2016. - № 4. - С. 55-64

54. Остапов Д.С., Усатиков С.В. Повышение эффективности программной реализации алгоритмов распознавания изображений с детальной оценкой состояния массового количества объектов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - 2016. -№10(124). - Режим доступа: http://ej.kubagro.ru/2016/10/pdf/37.pdf - IDA [article ID]: 1241610037. http://dx.doi.org/10.21515/1990-4665-124-037.

55. Программа для нейросетевого распознавания плоских изображений объектов природного происхождения с качественной и количественной оценкой состояния поверхности единичных объектов и их массового количества / Остапов Д.С. // Свидетельство о государственной регистрации программы для ЭВМ № 2016618411, заявка № 2016615488, пост. 30.05.2016 г., гос. регистр. от 28.07.2016.

56. Программа для построения базы данных с обучающей выборкой для распознавания плоских изображений объектов природного происхождения с качественной и количественной оценкой состояния поверхности единичных объектов и их массового количества / Остапов Д.С., Усатиков С.В. // Свидетельство о государственной регистрации программы для ЭВМ № 2016618408, заявка № 2016615486, пост. 30.05.2016 г., гос. регистр. от 28.07.2016.

57. Программа для сегментации и распознавания плоских изображений объектов, с качественной и количественной оценкой состояния поверхности единичных объектов и их массового количества / Остапов Д.С., Усатиков С.В. // Свидетельство о государственной регистрации программы для ЭВМ № 2016618409, заявка № 2016615487, пост. 30.05.2016 г., гос. регистр. от 28.07.2016.

58. Gujjar, H., Siddappa D.M. Recognition and Classification of Different types of Food Grains and Detection of Foreign Bodies using Neural Networks // International Journal of Computer Applications. - 2014. - pp.12-17.

59. Guevara-Hernandez F., Gomez-Gil F. A Mashine Vision System for Classification of Wheat and Barley Grain Kernels // Spanish Journal of Agricultral Research. - 2011. - pp. 672-680.

60. Diaz R., Gil L., Serrano C. Comparison of Three algorithms in the Classification of Table Olives by Means of Computer Vision // Journal of Food Engeneering. - 2004. - pp. 101-107.

61. Хуршудов, А.А. Разработка системы распознавания визуальных образов в потоке данных: дис. ... канд. техн. наук: 05.13.01. - Краснодар, 2016. - 128 с.

62. Сальников И.И. Размерная селекция бинарных изображений локальный объектов при анализе аэрофотоснимков // Телекоммуникации. - 2015. - № 2. - С. 17-23.

63. Назмутдинова А.И., Милич В.Н. Использование вейвлет-преобразования при анализе многозональных изображений объектов лесной растительности // Приборостроение в XXI веке. - 2015. - С. 588-591

64. Ужегова Н.И., Свистков А.Л. Многоуровневый анализ рельефа поверхности образца, полученного методами атомно-силовой микроскопии // Вычислительная механика сплошных сред. - 2016. - Т.9 № 3. - С. 366-374.

65. Купцов К.В. Алгоритм поиска транспортных средств на высокоточных снимках в задачах анализа чрезвычайных ситуаций // Алгоритмы, методы и системы обработки данных. - 2015. - Т. 2. - № 31. - С. 50-58.

66. Serre T., Wolf L., Poggio T. Object recognition with features inspired by visual cortex // Computer Vision and Pattern Recognition. - 2005. - Vol.2. - pp. 994-1000

67. Fei-Fei L., Yao B., Khosla A. Combining randomization and discrimination for fine-grained image categorization // Computer Vision and Pattern Recognition. - 2011. -Vol. 1. - pp. 1577-1584

68. Ciresan D., Meier U., Schmidhuber J. Multi-column deep neural networks for image classification // Computer Vision and Pattern Recognition. - 2012. - Vol. 1 - pp. 3642-3649

69. Korytkowski M., Rutkowski L., Scherer R. Fast image classification by boosting fuzzy classifiers // Information Sciences. - 2016. - Vol. 3. - pp. 175-185

70. Сытченко Д.Ю., Керекеша Ю.В., Ханьков А.Е. Интеллектуальная система поддержки принятия диагностических решений на основе анализа изображения радужной оболочки глаза // Вопросы современных технических наук: свежий взгляд и новые решения. - 2016. - № 3. - С. 6-9.

71. Зенина Н.И., Богатырев В.Н. Использование новых подходов распознавания объектов в анализе изображения // Клиническая лабораторная диагностика. - 2003. - Т.9. - С. 50.

72. Argyros A.A. Vision-based interpretation of hand gestures for remote control of a computer mouse // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). - 2006. - № 1. -pp. 40-51.

73. Bowden R. A boosted classifier tree for hand shape detection // Sixth IEEE International Conference on Automatic Face and Gesture Recognition. - 2004. - № 1. -pp. 889-894.

74. Francke H. Real-time hand gesture detection and recognition using boosted classifiers and active learning // 2nd Pacific Rim Symposium on Image and Video Technology. - 2007. - pp. 533-547.

75. Arthur D., Vassilvitskii S. k-means++ // The Advantages of Careful Seeding. -2007. - № 1. - pp. 1-7.

76. Усатиков С.В., Руденко О.В., Горонков К.А. О точности распознавания по контуру изображений злаковых культур с помощью нейронных сетей // Обозрение прикладной и промышленной математики. - 2009. - Т.16, № 3. - С. 567569.

77. Lech P., Okarma K., Wojnar D. Binarization of document images using the modified local-global Otsu and Kapur algorithms // Spanish Journal of Agricultral Research. - 2013. - № 2. - pp. 20-31.

78. Арлазаров В.Л. Адаптивное распознавание // Информационные технологии и вычислительные системы. - 2002. - №4. - С. 11-23.

79. Миронов А.С., Николаев Д.П. Сравнение вариантов реализации алгоритма Ниблэка бинаризации полутоновых изображений // 33-я конференция

молодых ученых и специалистов ИППИ РАН 20 - 24 сентября 2010г. Информационные технологии и системы. - 2010. - С. 138-144.

80. Avcibas I. Statistical evaluation of image quality measures // Journal of Electronic Imaging. - 2002. - № 11. - pp. 206-223.

81. Badekas E. Estimation of appropriate parameter values for document binarization techniques // International Journal of Robotics and Automation. - 2009. -№ 24. - pp. 54-68.

82. Вражнов Д.А., Николаев В.В., Шаповалов А.В. Сравнительный анализ методов повышения устойчивости алгоритмов слежения на видео // Вестник Томского государственного университета. - 2013. - Т. 25, № 4. - С. 23-31.

83. Вражнов Д.А., Шаповалов А.В., Николаев В.В. О качестве работы алгоритмов слежения за объектами на видео // Компьютерные исследования и моделирование. - 2012. - Т. 4, № 2. - С. 303-313.

84. Виленкин Н.Я. Популярная комбинаторика. - М: Наука, 1975, 208 с.

85. Chien-Hsing C. A binarization method with learning built rules for document images produced by cameras. - 2009. - № 43. - pp. 1518-1530.

86. Freng M. Adaptive Binarization method for document image analysis // IEEE International Conference Taipei. - 2004. pp. 339-342.

87. Gatos B. Document Image Binarization Contest // Document Analysis and Recognition. - 2009. - № 1. - pp. 1375-1382.

88. Khurshid K. Comparision of Niblack inspired Binarization methods for ancient documents // Document Recognition and Retrieval. - 2009. - № 1. - pp.18-32.

89. Leedham G. Compatision of Some Thresholding Algorithms for Text // Images School of Computer Engineering. - 2003. - № 5. - pp. 859-864.

90. Крылов В.Н., Максимов М.В., Давыдов О.В. Автоматическая система распознавания // Искусственный интеллект. - 2002. - № 4. - С. 462-469.

91. Sauvola J. Adaptive document image binarization // Document Analysis and Recognition. - 2002. - №2. - pp. 174-152.

92. Sezgin M. Selection of thresholding methods for nondestructive testing applications. // International Conference on Image Processing - 2004. - pp. 764-767.

93. Nock R. Statistical Region Merging // IEEE Trans. Pattern Anal. Mach. Intell.

- 2004. - Vol. 26, No. 11. - pp. 1452-1458.

94. Mumford D. Optimal Approximations by Piecewise Smooth Functions and Associated Variational Problems // Communications on Pure and Applied Mathematics.

- 2005. - Vol. 5. - pp. 577-585.

95. Mumford D. Boundary detection // Proc. IEEE Comput. Vision Patt. Recogn. Conf. - 2006. - No. 1. - pp. 22-26.

96. Цапаев А.П., Кретинин О.В. Методы сегментации изображений в задачах обнаружения дефектов поверхности // Компьютерная оптика. - 2011. - № 2. - С. 15-22.

97. Миронов Б.М., Малов А.Н. Сегментация изображений кластерным методом и анализ // Компьютерная оптика. - 2010. - Т. 34. - С.132-137.

98. Vincent P. Watersheds in Digital Space: An Efficient Algorithms based on Immersion Simulation // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2001. - № 6. - pp. 583-591.

99. Somasundaram K. Medical Image Binarization using Square Wave Representation // Image Progressing Lab. - 2011. - № 5. - pp. 152-158.

100. Hossam M. Adaptive k-means clustering algorithm for MR breast image segmentation // Neural Comput & Applic. - 2014. - Vol. 24. - pp. 1917-1929.

101. Jain K. Algorithms for Clustering Data // Prentice-Hall, Englewood Cliffs. -2002. - Vol. 3. - pp. 5-22.

102. Duda R. Pattern classification and scene analysis // Wiley Interscience. - 2012.

- № 7. - pp. 42-65.

103. Kaufman L. Clustering by Means of Medoids // Statistical data analysis. - 2002.

- Vol. 1. - pp. 5-15.

104. Рябых М.С., Гимазитдинов Е.И., Букреев П.Э. Анализ методов «водораздела» и «сдвига среднего» для сегментации изображений с однородными по цвету объектами // Электронный научный журнал. - 2015. - Т. 3. - С. 94-97.

105. Самойленко Д.Е. Структурная сегментация изображений // Штучний штелект. - 2004. - № 2. - С. 521-528.

106. Чочиа П.А. Пирамидальный алгоритм сегментации изображений // Теория и методы обработки информации. - 2010. - Т. 10, № 1. - С. 23-35.

107. Мамедов А.С. Применение нечеткой кластеризации для детального анализа цветных изображений // Приволжский научный вестник. - 2012. - Т. 5, № 1. - С. 7-15.

108. Пономарёв С.В. Методика сравнения алгоритмов стереозрения при восстановлении трехмерной модели лица человека // Вестник воронежского государственного университета. - 2012. - Т. 6, №88. - С. 43-49.

109. Барабанов А.В., Гребенникова Н.И., Резуев М.С. Применение нейронных сетей для прогнозирования процесса классификации разногабаритных компонентов // Информационные технологии моделирования и управления. - 2012.

- Т. 9, № 6-1. - С. 28-31.

110. Белим С.В., Кутлунин П.Е. Использование алгоритма кластеризации для разбиения изображения на односвязные области // Наука и образование: научное издание МГТУ им. Н.Э. Баумана. - 2015. - № 3. - С. 269-281.

111. Estrada F., Jepson A. Benchmarking Image Segmentation Algorithms // International Journal of Computer Vision. 2009. - No. 85. - pp. 167-181.

112. Muhr M., Granitzer M. Automatic Cluster Number Selection using a Split and Merge K-Means Approach // Database and Expert Systems Application. DEXA '09. 20th International Workshop on. - 2009. - pp. 110-121.

113. Вежневец А., Баринова О. Методы сегментации изображений: автоматическая сегментация [Электронный ресурс] // Компьютерная графика и мультимедиа. Сетевой журнал. - 2006. Режим доступа: http: //cgm. computergraphics. ru/content/view/147/62

114. Deng Y., Manjunath. S., Shin H. Color Image Segmentation // CVPR. - 1999.

- № 2. - pp. 650-659.

115. Wang X. Color Texture Segmentation Based on Quatention-Gabor Features. Progress in Pattern Recognition, Image Analysis and Applications // Iberoamerican Congress on Pattern Recognition. - 2006. - № 2. - pp. 55 - 74.

116. Grompone R. A Contrario Line Segment Detection. - New York: Springer Science & Business Media, 2014. - 450 pp.

117. Henkel R.D. Fast Stereovision by Coherence Detection // Proc. of the 7th Internat. Conf. on Computer Analysis of Images and Patterns. - 2002. - pp. 297-304.

118. Stefano L.D. A Fast Area-Based Stereo Matcting Algorithm // Proc. of 15th International Conf. on Vision Interface. - 2002. - pp. 146-153.

119. Egnal G. Limiting the Search Rang of Correlation Stereo Using Silhouettes // Proc. of 15th International Conf. on Vision Interface. 2002. - № 1. - pp. 55-71.

120. Jin K. Towards a Fast and Reliable Dense Matcing Algorithm // Proc. of 15th International Conf. on Vision Interface. - 2002. - pp. 178-185.

121. Hirschmuller H. Improvements in Real-Time Correlation-Based Stereo Vision // CVPR 2001 Stereo Workshop. - 2002. - No. 4. - pp. 251-284.

122. Muhlmann K., Manner R. Calculating Dense Disparity Maps from Color Stereo Images // CVPR 2001 Stereo Workshop. - 2002. - No. 1. - pp. 45-67.

123. Kolmogorov V. Computing Visual Correspondence with Occlusions via Graph Cuts // ICCV. - 2001. - № 2. - pp. 508-515.

124. Kawai Y. Stereo Correspondence Using Segment Connectivity // Proc. 14th International Conf. on Pattern Recognition. - 2002. - pp. 648-651.

125. Sumi Y. 3D Object Recognition Using Segment-Based Stereo Vision // Proc. Third Asian Conf. on Computer Vision, - 2002. - No. 2. - pp. 55-74.

126. Symi Y. Recognition of 3D Free-Form Objects Using Segment Based Stereo Vision // Proc. Sixth International Conf. on Computer Vision. - 2002. - pp. 668-674.

127. Sun J. Stereo Matching Using Belief Propagation // ECCV. - 2002. - No. 1. -pp. 510-525.

128. Scharstein D. A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms // IJCV. - 2002. - No. 1. - pp. 7-42.

129. Тупицын И.В. Реконструкция трехмерной модели объекта на основе стереопары при решении задач 3D-моделирования // Вестник Сибирского государственного аэрокосмического университета им. академика М.Ф. Решетнева.

- 2011. - № 3. - С. 88-92.

130. Маврин Г.Н. Алгоритм маркерного водораздела для сегментации зерен металлов // Вестник АГТУ. - 2000. - № 2. - С. 11-16.

131. Bhatia S. Adaptive K-Means Clustering // Department of Mathematics & Computer Science. - 2004. - No. 3. - pp. 11-16.

132. Cerioli A. K-means Clustering and Mahalanobis Metrics // Statistica Applicata.

- 2005. - Vol. 17. - pp. 61-75.

133. Zang H. Image segmentation evaluation: A survey of unsupervised methods. // Computer Vision and Image Understanding. - 2008. - No. 5. - pp. 260-280.

134. Zang H. An entropy-based objective evaluation method for image segmentation // Proceedings of SPIE Storage and Retrieval Methods and Applications for Multimedia.

- 2004. --No. 1. - pp. 67-82.

135. Wang J. The use of visible color difference in the quantitative evaluation of color image segmentation // Proceedings of ICASSP. - 2004. - No.1. - pp. 89-102.

136. Martin D., Fowlkes C. The Berkeley segmentation database and benchmark Computer Science Department, Berkeley University [Электронный ресурс] / D.Martin, C.Fowlkes. - 2001. - Режим доступа: http://www.eecs.berkeley.edu/Research/Projects/ CS/vision/bsds/, 2001.

137. Форсайт Д., Понс Ж. Компьютерное зрение. Современный подход -Москва: Издательский дом «Вильямс», 2004. - 464 с.

138. Локтев Д.С. Определение геометрических параметров объекта с помощью анализа серии его изображений // Московский государственный технический университет им. Н.Э. Баумана. - 2015. - Т. 9, № 5. - С. 47-53.

139. Alexiev K., Nikolova I., Zapryanov G. 3D scenes recovery through an active camera based on blur assessment of the resulting image // Information technologies and control. - 2008. - Vol. 3-4. - pp. 10-20.

140. Huei-Yung L., Kun-Jhih L., Chia-Hong C. Vehicle speed detection from a single motion blurred image // Image and Vision Computing, 2008, V.26, p. 1327-1337.

141. Lelegard L., Vallet B., Bredif M. Multiscale Haar transform for blur estimation from a set of images // International Archives of Photogrammetry. - 2011. № 1. - pp. 6570.

142. Воеводин В.В. Вычислительная математика и структура алгоритмов В.В.Воеводин. - М.: МГУ. 2010. - 162 с.

143. Карпов В.Е. Введение в распараллеливание алгоритмов и программ. // Компьютерные исследования и моделирование. - 2010. - Т. 2. - С. 231-272.

144. Смирнов Н.Н. Высокопроизводительные вычисления в задачах предсказательного моделирования. // Вестник кибернетики. - 2016. - Т. 2, № 111115. - С. 15-25.

145. Корней В.И., Семейкин А.Г., Кузюков С.А. Оценка характеристик зерна на основе анализа изображений // Ползуновский Альманах. - 2011. - № 4. - С. 204207.

146. Шарыбин С.И. Автоматизация контроля качества функциональных материалов на основе средств интеллектуальной поддержки принятия решений: дис. канд. ... техн. наук: 05.13.06. - Пермь, 2015. - 162с.

147. Frigui H. A robust competitive clustering algorithm with applications in computer vision // IEEE Trans Pattern Anal Mach Intell. - 2015, V. 5. - p. 450-465.

148. Al-Daound M.B., Venkateswardu N.B., Roberts S.A. Fast k-means clustering algorithms // Leeds: School of Computer Studies, University of Leeds. -1995. - № 1. -466 pp.

149. Patraucean V., Gurdjos P., Grompone von Gioi R. A Parameterless Line Segment and Elliptical Arc Detector with Enhanced Ellipse Fitting // 12th European Conference on Computer Vision. - Firenze, Italy, 7-13 October 2012 Proceedings, Part II. - pp. 572-585

158

Приложение А.

Руководство пользователя программной реализации системы распознавания изображений с детальной оценкой состояния массового количества объектов

СОДЕРЖАНИЕ

1 ВВЕДЕНИЕ.....................................................................................159

1.1 Область применения.........................................................................159

1.2 Краткое описание возможностей........................................................159

1.3 Уровень подготовки пользователя......................................................159

2 НАЗНАЧЕНИЕ И УСЛОВИЯ ПРИМЕНЕНИЯ.........................................159

2.1Назначение системы..........................................................................159

2.2 Условия применения ПО....................................................................159

3 ПОДГОТОВКА К РАБОТЕ..................................................................160

3.1 Состав и содержание дистрибутивного носителя данных............................160

3.2 Порядок загрузки данных и проверка работоспособности..........................161

4 ОПИСАНИЕ ОПЕРАЦИЙ...................................................................162

4.1 Описание обучения системы...............................................................162

4.2 Описание рабочего режима системы....................................................164

4.3 Описание модуля вывода графической информации.................................165

5 АВАРИЙНЫЕ СИТУАЦИИ................................................................167

1 ВВЕДЕНИЕ

1.1 Область применения

Разработанное ПО предназначено для детального анализа мгновенных снимков объектов и их массового количества [55-57]. Рекомендуется использовать для автоматизации анализа снимков, полученных с инспекционного конвейера фруктового сырья и видеокамер фотосепаратора для оценки качества и состояния массового количества объектов природного происхождения.

1.2 Краткое описание возможностей

Разработанное ПО осуществляет детальный анализ состояния поверхности объектов, даёт качественную и количественную оценку состояний каждого объекта и всей массы объектов в целом; присутствует возможность построения двумерных и трёхмерных гистограмм, содержащих распределение вероятностей состояний поверхности объектов; присутствует возможность вывода БД распределений вероятностей в виде трёхмерных гистограмм.

1.3 Уровень подготовки пользователя

Для работы с ПО не требуется никаких специальных навыков пользователя. Пользовательский интерфейс интуитивно понятен.

2 НАЗНАЧЕНИЕ И УСЛОВИЯ ПРИМЕНЕНИЯ

2.1 Назначение системы

Разработанное ПО может использоваться инженерами-технологами в области консервирования фруктового сырья, оценки качества производимой продукции зерновых культур и для детальной оценки состояния поверхности других объектов и их массового количества.

2.2 Условия применения ПО

Для корректной работы ПО на компьютере пользователя должен быть установлен .NET Framework 4.5 на любой операционной системе,

поддерживающей работу с данным пакетом: Windows XP, Windows Vista, Windows 7, Windows 8, Windows 8.1, Windows 10, Linux Ubuntu, Mac OS X.

3 ПОДГОТОВКА К РАБОТЕ

3.1 Состав и содержание дистрибутивного носителя данных

Для установки программного обеспечения присутствует файл установки Setup.exe.

При запуске файла Setup.exe появляется окно, представленное на рисунке А.1.

□Ь1 Установка 1 = 10 1-0 -1

|C:/Program Ries/ [ Обзор I

1 Установить |

Рисунок А.1 - Окно установки

Пользователь имеет возможность установки в любую удобную для него папку. После окончания установки пользователю будет выдано соответствующее сообщение и создан ярлык на рабочем столе.

Пользователь имеет возможность установки в любую удобную для него папку. После окончания установки пользователю будет выдано соответствующее сообщение и создан ярлык на рабочем столе [55-57].

¡g Оценка! состояния поверхности отдельных объектов и их массового количества на

Уровень значимое™ - вероятность |0.010 |g|| отвергнуть правильное состояние

Критическое значение критерия [15214.72 Т] Пирсона для неопределенного сегмента

Рисунок А.2 - Настройки программы

3.2 Порядок загрузки данных и проверка работоспособности

Перед началом работы с программой необходимо выполнить предварительную настройку. Закладка настроек представлена на рисунке А.2.

Перед началом работы с программой необходимо выполнить предварительную настройку. Пользователь может выбрать рабочую папку, максимальное число потоков, которое по умолчанию равно числу ядер на процессоре пользователя, минимальное число пикселей для единичного объекта, использование предобработки, критерий Пирсона для неопределённого сегмента и настройки работы с нечётким кластером. Перед началом обучения системы необходимо заполнить состояния поверхности объектов.

Максимальное число потоков определяется автоматически исходя из процессора компьютера и определяет степень параллельности вычислений. Максимальное число пикселей для единичного объекта показывает, объекты каких размеров после бинаризации следует выделять и в дальнейшем обрабатывать (предназначено для игнорирования возможных помех из-за неоднородностей фона).

Использование предобработки для бинаризации включает возможность предварительной обработки изображения перед бинаризацией в виде перехода из трехмерного цветового пространства LAB в двумерное AB.

Пользователь увидит следующие варианты: «ничего не делать», «добавить в пиксели объекта», «добавить в пиксели фона». После выделения нечёткого кластера можно добавить эти пиксели в пиксели объекта или фона при необходимости, для повышения качества бинаризации.

Число «точек» - градаций значений каждой из осей LAB показывает размер интервала, на которые будет делиться цветовое пространство при работе подсистемы идентификации сегментов - определяет чувствительность работы системы. При увеличении чувствительность уменьшается и скорость повышается, при уменьшении наоборот. Это число увеличивается при работе с объектами, состояния которых имеют близкие цветовые характеристики. Это число

уменьшается при возникновении потребности увеличения скорости работы системы.

Уровень значимости - вероятность ошибки первого рода, т.е. вероятность отвержения правильной гипотезы о состоянии сегмента. Критическое значение критерия Пирсона для неопределённого сегмента вычисляется автоматически по заданному уровню значимости и показывает границу, при превышении которой сегмент считается неизвестным (отсутствующим в обучающей выборке). При повышении уровня значимости увеличивается опасность признания неизвестных состояний как уже встреченных в обучающей выборке. При понижении -увеличивается опасность признания известного состояния как отсутствующее в обучающей выборке.

Из подсистемы бинаризации параметры а, Ь, с, влияющие на качество бинаризации и предобработки изображения, не настраиваются пользователем и установлены в исходном коде программы.

Из подсистемы сегментации параметры ю, т, О (максимальное число кластеров) влияющие на чувствительность сегментации, не настраиваются пользователем и установлены в исходном коде программы.

4 ОПИСАНИЕ ОПЕРАЦИЙ

4.1 Описание обучения системы

Перед началом обучения системы следует нажать на кнопку «Загрузить состояния». После успешной загрузки кнопка подсветится зелёным цветом и будет выдано пользователю соответствующее сообщение. Окно режима обучения представлено на рисунке А.3 [55-57].

Присутствует возможность обучения по сегментам и «по представителям». Если на обрабатываемом изображении присутствуют только объекты с одним состоянием, то необходимо выбрать первое состояние в табличной части и нажать кнопку «Заполнить по первому для всех объектов». Для пользователя присутствует возможность видеть результат бинаризации и выделения нечетких пикселей. Нечеткий кластер представлен красным цветом.

Рисунок А.3 - Режим обучения системы

Пользователь имеет возможность выбирать состояние каждого сегмента вручную. Для этого в табличной части необходимо сопоставить цвет сегмента на изображении цвету в табличной части, пример сопоставления приведён на рисунке А.4.

Рисунок А.4 - Пример сопоставления состояний сегментов

После завершения сопоставления сегментов, если необходимо сохранить результат, следует нажать кнопку «Сохранить данные». В случае, если сохранять результаты не нужно, то следует нажать кнопку «Пропустить картинку». Для

пользователя присутствует возможность сохранения промежуточных состояний на случай, если он захочет завершить работу с программой до того, как закончил обучение. Для этого ему следует нажать кнопку «Сохранить промежуточные значения». Загрузить эти значения можно по кнопке «Загрузить промежуточные значения». После того как система обучена, пользователю необходимо нажать кнопку «Сохранить распределение вероятностей».

4.2 Описание рабочего режима системы

Внешний вид вкладки рабочего режима представлен на рисунке А.5. Перед началом работы системы в рабочем режиме необходимо нажать кнопку «Загрузить БД». После успешной загрузки будет выдано соответствующее сообщение и кнопку будет подсвечена зелёным цветом. Возможна работа с одиночным видеокадром и со множеством видеокадров. Для этого присутствуют кнопки «Распознавание одного видеокадра» и «Распознавание нескольких видеокадров». Результат бинаризации изображения представлен на вкладке. Результат анализа состояний изображения сохранён в рабочей папке. Состояние рабочей папки после распознавания представлено на рисунке А.6.

Рисунок А.5 - Вкладка рабочего режима

Каждому объекту соответствует три файла: исходное изображение объекта (*0Рё), результат сегментации объекта (*0Р§) и результат детального анализа объекта (*.Ш). Результат детального анализа первого объекта (0.jpg) представлен на рисунке А.7.

Рисунок А.6 - Рабочая папка после распознавания

0_соспояния.1х1 — Блокнот а АА 1 ■=■ 1 ® 1 ¿3 |1

Файл Правка Формат Вид Спра&ка

Состояния объекта Состояние зеленое соответствует сегментам: Состояние красное соответствует сегментам: зеленый, площадь: 25,9% черный, синий, фиолетовый, площадь: 74,1%

Рисунок А.7 - Результат детального анализа первого объекта

4.3 Описание модуля вывода графической информации

Пользователю предоставляется возможность построения трёхмерных гистограмм. Для рабочего и режима обучения можно строить как трёхмерные, так и двумерные гистограммы. Пример построения трёхмерной гистограммы по результатам обучения представлен на рисунке А.8 [55-57].

Рисунок А.8 - Пример построения гистограммы по результатам обучения

Пример построения трёхмерной гистограммы по результатам рабочего режима представлен на рисунке А.9.

Рисунок А.9 - Пример построения трехмерной гистограммы по результатам рабочего режима

Пример построения двумерной гистограммы по результатам рабочего режима представлен на рисунке А.10.

Рисунок А.10 - Пример построения двумерной гистограммы по результатам рабочего режима

5 АВАРИЙНЫЕ СИТУАЦИИ

В случае ошибок пользователя система не будет завершаться аварийно. В рамках опытной эксплуатации все возможные исключения были обработаны.

168

Приложение Б. Копии акта внедрения и свидетельств программ для ЭВМ

АКТ о внедрении программного обеспечении

«Блок контроля качества входного потока фруктовой продукции системы поддержки принятия решений в ходе управлении технологическим процессом консервирования»

Настоящий Акт свидетельствует, что программное обеспечение «Блок контроля качества входного потока фруктовой продукции системы поддержки принятия решений в ходе управления технологическим процессом консервирования», которое разработали Остапов Дмитрий Сергеевич и Усатиков Сергей Васильевич, внедрено в ООО «Програмтех».

Заявленные характеристики системы предполагали наличие следующих основных возможностей:

- качественная и количественная оценка состояния каждого единичного объекта, чувствительная к деталям их видимой поверхности, и сбор такой информации в целом по массовому количеству объектов, с высокой вариабельностью внутри классов и близости самих классов;

- уточнение по разноракурсным изображениям (в случае нескольких видеокамер, по сравнению с одиночным мгновенным плоским снимком от одной камеры) решения задачи идентификации системой компьютерного зрения с детальной оценкой состояния поверхности объектов и их массового количества;

- результаты функционирования системы согласуются с мнением эксперта-технолога при входном контроле качества фруктовой продукции.

В ходе эксплуатации программы подтверждено, что она обладает всеми заявленными возможностями.

На момент подписания настоящего Акта система установлена на оборудовании компании ООО «Програмтех».

Авторы:

д.физ.-мат. Руководитель отдела разработю