Исследование многоканальной оптико-электронной системы обеспечения сепарации фруктов сложной формы тема диссертации и автореферата по ВАК РФ 05.11.07, кандидат наук Динь Ба Минь

• Динь Ба Минь
• кандидат наук
• 2022

Оглавление диссертации кандидат наук Динь Ба Минь

Оглавление

Реферат

Synopsis

ВВЕДЕНИЕ

1 АНАЛИТИЧЕСКИЙ ОБЗОР МЕТОДОВ И СРЕДСТВ СОРТИРОВКИ АГРОПРОДУКТОВ

1.1 О требованиях к средствам обеспечения сортировки агропродуктов

1.2 Сравнение возможностей применения различных видов излучения при автоматической сортировке

1.3 Сравнение принципов построения оптико-электронных устройств для автоматической сортировки фруктов и овощей

1.3.1 Метод сортировки продуктов с помощью компьютерной обработки 2D изображений

1.3.2 Метод сортировки фруктов с помощью компьютерной обработки 3D изображений

1.3.3 Особенности использования видеокамер в системах обеспечения сортировки

1.3.4 Источники оптического излучения применяемые при автоматической сортировке

1.3.5 Особенности получения информации при использовании мультиспектральных и гиперспектральных изображений

1.3.6 Специфика сегментации изображений при извлечении основных информативных параметров фруктов

1.4 Определение основных параметров, характеризующих качество плодов

1.4.1 Определение параметров морфологических признаков, характеризующих внешние товарные качества плодов

1.4.2 Определение текстуры поверхности плодов

1.4.3 Определение параметров цвета при сортировке фруктов

1.4.4 Анализ принципов обработки информации в нейронной сети при выработке решения о качестве плодов сложной формы

1.5 Обобщённые требования, предъявляемые к исследуемым системам обеспечения сортировки фруктов сложной формы

1.6 Выводы по 1 главе

2 ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ФОРМИРОВАНИЯ

ИНТЕЛЛЕКТУАЛЬНЫХ МНОГОКАНАЛЬНЫХ ОЭССПФ

2.1 Исследование структур ОЭССПФ при формировании 3D изображений фруктов сложной формы

2.1.1 Универсальная обобщённая структура интеллектуальной ОЭССПФ для формирования 3D изображений фруктов сложной формы

2.1.2 Преобразование информации в ОЭССПФ

2.1.3 Методика определения тела плода

2.2 Оптимизация пространственного размещения видеокамер в ОЭССПФ

2.2.1 Анализ развития подходов компьютерного зрения к оптимизации пространственного размещения видеокамер в ОЭССПФ

2.2.2 Исследование метода оптимального размещения ВК для получения требуемой точности определения трёхмерных координат точек поверхности плода

2.2.3 Применение генетического алгоритма при оптимизации местоположения ВК

2.3 Анализ методики калибровки многокамерной системы для случая перекрытия полей зрения

2.4 Потенциальная точность определения размеров плода в канале ОЭССПФ

2.5 Особенности применения источников излучения для подсветки плодов в ОЭССПФ

2.6 Выводы по второму разделу

3 ИЗВЛЕЧЕНИЕ ОСНОВНЫХ ИНФОРМАТИВНЫХ ПАРАМЕТРОВ ПЛОДОВ СЛОЖНОЙ ФОРМЫ

3.1 Рекомендации по выбору элементов ОЭССПФ

3.1.1 Рекомендации по выбору матричных приёмников и объективов видеокамер

3.1.2 Рекомендации по выбору объектива видеокамеры

3.1.3 Методика проектного расчёта разрешающей способности канала ОЭССПФ

3.1.4 Рекомендации по выбору источников оптического излучения

в ОЭССПФ

3.2 Предварительная обработка полученных изображений фруктов

3.2.1 Межкадровая фильтрация изображений в ОЭССПФ

3.2.2 Возможности фильтрации изображений плодов по цвету

3.2.3 Алгоритм выделения тела плода и определения его размеров

3.3 Моделирование процесса выделения тела плода и определения параметров его формы

3.3.1 Моделирование процесса обработки изображения тела плода цветной капусты и определение параметров его формы

3.3.2 Моделирование процесса обработки изображения тела плода питайя и определение параметров его формы

3.3.3 Моделирование процесса обработки изображения тела плода ананаса и определение параметров его формы

3.4 Определение объёма плода

3.5 Выводы по главе

4 ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ МОДУЛЕЙ И ЭЛЕМЕНТОВ ОЭССПФ

4.1 Экспериментальные исследования по применению метода межкадровой разности при разнонаправленной подсветке

4.2 Оценка координат цвета элементов поверхности плодов сложной формы

4.2.1 Описание установки для экспериментального исследования цветовых координат элементов поверхности плодов

4.2.2 Экспериментальные исследования цветовых координат поверхности плодов питайя

4.2.3 Экспериментальные исследования цветовых координат поверхности плодов цветной капусты

4.2.4 Экспериментальные исследования цветовых координат поверхности плодов ананаса

4.3 Экспериментальные исследования по определению параметров тела плода

4.3.1 Описание установки для определения параметров формы плодов

4.3.2 Экспериментальные исследования предельной погрешности контроля размера плода при применении цветозональной процедуры

4.3.3 Экспериментальные исследования погрешности контроля размера плодов цветной капусты при использовании цветозональной процедуры

4.3.4 Экспериментальные исследования погрешностей контроля размера плодов питайя при использовании цветозональной процедуры

4.3.5 Экспериментальные исследования погрешностей контроля размера плодов ананасов при использовании цветозональной процедуры

4.3.6 Экспериментальные исследования влияния углов подсветки плодов сложной формы при оценке геометрических параметров формы

4.4 Анализ параметров ВК и их влияние на погрешность

определения размера плода

4.5 Выводы по 4 главе

ЗАКЛЮЧЕНИЕ

СПИСОК СОКРАЩЕНИЙ

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

ПРИЛОЖЕНИЕ 1 - Акты ипользования

ПРИЛОЖЕНИЕ 2 - Тексты публикаций

Реферат

Введение диссертации (часть автореферата) на тему «Исследование многоканальной оптико-электронной системы обеспечения сепарации фруктов сложной формы»

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы диссертационной работы

Автоматизированная сортировка фруктов представляет собой один из важнейших этапов сельскохозяйственного производства, поскольку позволяет быстро разделять фрукты на различные классы в соответствии с их качеством.

Наиболее совершенные сортировочные системы применяют интеллектуальные оптико-электронные каналы, которые, используя информативные признаки наблюдаемых изображений, позволяют обеспечивать эффективное разделение плодов в потоке фруктов на категории.

В известных системах наиболее распространёнными информативными признаками при принятии решения о качестве плода являются характеристики формы, размера, цвета и текстуры поверхности плода. В этом случае эффективность автоматизированной сортировки связана с погрешностями определения указанных информативных параметров, которые в различной степени связаны с качественными характеристиками плода.

Сортировка фруктов значительно усложняется при определении указанных информативных параметров плодов сложной формы, таких как питайя, сахарное яблоко, ананас и других. Это вызвано тем, что фрукты сложной формы характеризуются многообразием структуры и контура поверхности тела плода, а также наличием части стебля и листьев, которые скрывают тело плода, что приводит к неизбежному усложнению процессов выделения искомых параметров, в том числе и к существенным погрешностям в определении размеров плода и, как следствие, ошибкам при сортировке по категориям.

Исходя из изложенного актуальной научной и технической проблемой являются исследование и создание многоканальной оптико-электронной системы обеспечения сепарации плодов и фруктов сложной формы (ОЭССПФ).

Степень научной проработанности проблемы

Существенный вклад в теорию обеспечения бесконтактной сортировки фруктов внесли: Foerster M, Cubero S., Molto E., Баширов А.М.; в методы обработки изображений при бесконтактных измерениях: Гонсалес Р., Вудс Р., Колючкин В.Я., Сарвин А.А.; в методы калибровки в схемах технического зрения: Tsai R.Y., Faugeras O., Zhang Z., Gary Bradski, Homberg А., а также компания National Instruments. Однако в этих работах не в полной мере отражаются взаимосвязи параметров систем в применении их результатов при проектировании и испытаниях интеллектуальных, многоканальных оптико-электронных систем обеспечения сортировка фруктов.

Целью диссертационной работы является исследование интеллектуальных оптико-электронных систем обеспечивающих сепарацию в потоке фруктов сложной формы, основанных на комплексировании информации о форме, размере, текстуре поверхности и цвете, что позволит получить искомые параметры плодов с более высокой точностью.

Для достижения поставленной цели были сформулированы и решены следующие задачи:

1. Анализ методов и средств обеспечивающих контроль параметров фруктов при их сепарации.

2. Формирование универсальной структуры системы, обеспечивающей контроль параметров фруктов сложной формы при их сепарации и исследование взаимосвязи параметров элементов системы.

3. Исследование обработки информации при выделении информативных параметров фруктов сложной формы.

4. Создание методик проектного расчёта параметров элементов и системы в целом.

5. Разработка алгоритмов обработки изображений в каналах ОЭССПФ с целью определения параметров формы тела плода.

6. Компьютерное моделирование процессов обработки информации при выделении параметров тела плода.

7. Разработка средств экспериментального исследования характеристик плодов сложной формы и параметров модулей каналов ОЭССПФ.

Объектом исследования является оптико-электронная система, обеспечивающая сортировку фруктов сложной формы.

Предметом исследования является каналы и структуры ОЭССПФ, а также процедуры преобразований информации в них при определении формы, размера и цвета тела плода.

Научная новизна работы

1. Предложен подход к формированию аппаратных и программных средств обеспечения сепарации фруктов сложной формы, основанный на комплексировании информации цифровых изображений с разноракурсных полей наблюдения, подсвеченных управляемыми импульсными источниками оптического излучения, который позволяет уменьшить погрешность определения геометрических параметров формы тела плода фрукта, за счёт повышения контраста в рузультирующем изображении, полученном методом межкадровой разности и применения цветозональной процедуры выделения контура плода фрукта.

2. Предложена методика выбора расположения каналов ОЭССПФ, позволяющая определить взаимное пространственное расположение видеокамер и источников подсветки, за счёт применения генетического алгоритма с учётом требований к погрешности определения параметров формы тела плода фрукта.

Теоретическая и практическая значимость работы

1. Предложена структура оптико-электронной системы для обеспечения сепарации фруктов сложной формы, включающая совокупность нескольких видеокамер и управляемых импульсных источников оптического излучения, которая позволяет обеспечить сепарацию фруктов сложной формы по морфологическим параметрам тела плода питайя с погрешностью до 2 мм за счёт оптимального расположения видеокамер и источников оптического

излучения, синхронизации их работы и последующей обработки цифровых изображений на основе цветозональной процедуры выделения контура плода.

2. Предложена методика оптимизации взаимного пространственного расположения видеокамер в структуре оптико-электронной системы для обеспечения сепарации фруктов сложной формы за счёт применения генетического алгоритма, с учётом требований к точности восстановления трёхмерной формы плода, которая позволяет минимизировать погрешность определения геометрических параметров формы ананаса до 0,9 мм при обработке не менее чем 12 кадров.

3. Предложен алгоритм определения формы фруктов, который позволяет рассчитать геометрические параметры тела плода сложной формы, за счёт цветозональной процедуры обработки изображений с применением бинарных масок, сформированных из последовательных во времени кадров, полученных с нескольких откалиброванных видеокамер, синхронизированных с импульсными источниками оптического излучения и позволяющий в статике достигать определения параметров контура тела плода сложной формы с погрешностью не более 0,4 мм.

4. Предложен алгоритм межкадровой обработки изображений фруктов, который позволяет повысить контраст в суммарном изображении тела плода в два раза за счёт разноракурсного наблюдения в сочетании с разнесённой во времени импульсной подсветкой.

5. Разработана и реализована установка для экспериментальных исследований размеров плодов сложной формы, предельная погрешность которой при контроле геометрических параметров тела плодов в диапазоне размеров от 50 мм до 200 мм не превышает 4% контролируемого размера при использования серийно выпускаемых видеокамер с МПОИ, имеющими размер пиксела 2,25^2,25 мкм2, объективами типа триплет с относительным отверстием 1/8 и фокусным расстоянием 12 мм, при расстоянии от видеокамеры до зоны анализа равном 610 мм.

Методология и методы исследования

Для решения указанных задач в диссертационной работе использовались походы теоретической оптики, методы обработки цифровых изображений с применением теории множеств и статистических методов, линейной алгебры. Исследования осуществлялись посредством имитационного моделирования в средах ЫайаЪ, Компас 3D и физических экспериментов на макетах модулей систем.

Положения, выносимые на защиту

1. Структура оптико-электронной системы для обеспечения сепарации фруктов, включающая совокупность нескольких видеокамер и управляемых импульсных источников оптического излучения, позволяет обеспечить сепарацию фруктов сложной формы по параметрам тела плода с погрешностью не более 2 мм за счёт формирования бинарных масок полученных на основе цветозональной процедуры обработки цифровых изображений фруктов и применения масок в процессе выделения контура тела плода, а также оптимального расположения видеокамер и источников оптического излучения.

2. Методика оптимизации взаимного пространственного расположения видеокамер в структуре оптико-электронной системы обеспечения сепарации фруктов сложной формы позволяет достигать погрешности определения геометрических параметров формы плода в статике не более 0,4 мм и не более 2 мм в динамике за счёт применения генетического алгоритма, формируемого с учётом требований к погрешности восстановления трёхмерной формы плода.

3. Методика выбора параметров и характеристик объектива и матричного фотоприёмника канала ОЭССПФ позволяет обеспечить линейное разрешение контура формы плода сложной формы за счёт равенства коэффициента передачи модуляции оптической системы и коэффициента порогового контраста матричного поля анализа.

4. Алгоритм определения параметров формы тела плода позволяет

определять размеры фруктов сложной формы с относительной погрешностью не более 4% от величины контролируемого размера, за счёт цветозональной процедуры обработки изображений с применением бинарных масок, сформированных из последовательных не менее чем 12 кадров, полученных с нескольких откалиброванных видеокамер, синхронизированных с импульсными источниками оптического излучения.

Достоверность научных положений и полученных выводов, обеспечена анализом теоретических и практических исследований, обсуждением основных результатов на российских и международных конференциях, сходимостью результатов математического моделирования с результатами экспериментальных исследований на установках.

Внедрение результатов работы. Результаты диссертационной работы использовались при проведении прикладных научных исследований в рамках НИОКР № 218863 "Разработка аппаратно-программного комплекса для оценки стекловидности зерновых культур", Университет ИТМО.

Результаты работы также были внедрены в учебный процесс факультета прикладной оптики Университета ИТМО в курсе лекций и лабораторных работ дисциплины «Обработка информации в оптико-электронных приборах».

Апробация работы. Основные результаты работы представлялись и обсуждались на следующих международных и российских конференциях: «XIII Международная конференция "Прикладная оптика-2018"» (Санкт-Петербург, Россия, 2018), «XLVIII научная и учебно-методическая конференция» (Университет ИТМО, 2019), «VIII Всероссийский конгресс молодых учёных» (Университет ИТМО - 2019), «XLIX научная и учебно-методическая конференция Университета ИТМО» (Санкт-Петербург, Россия, 2019), «Конференции «Modeling Aspects in Optical Metrology VII» (Мюнхен, Германия, 2019), «IX Всероссийский конгресс молодых учёных» (Санкт-Петербург, Россия, 2020), «International High-level Forum on High-end Measurement Instruments & The 11th International Symposium on Precision

Engineering Measurements and Instrumentation» (Beijing, China, 2020), «XIV Международная конференция «Прикладная оптика-2020» (Санкт-Петербург, Россия, 2020), «IX Всероссийский конгресс молодых учёных» (Санкт-Петербург, Россия, 2021).

Личный вклад. Автором лично проведён критический анализ методов и существующих оптико-электронных систем, на основе которого сформирован модульный подход к формированию структуры универсальной интеллектуальной оптико-электронной системы обеспечения сортировки плодов сложной формы. Автором лично разработан алгоритмы калибровки и пространственного размещения четырёхканальной схемы, собрана экспериментальная установка для проверки принципа межкадровой разности при наличии боковой подсветки. Автором лично разработана методика выбора характеристик типового объектива и серийного фотоприёмника канала ОЭССПФ, исходя из равенства коэффициентов передачи модуляции оптической системы и порогового контраста на матричном поле анализа. Подготовка публикаций проводилась с соавторами, при этом вклад автора был определяющим.

Публикации. Основные результаты по теме диссертации изложены в 9 печатных изданиях, 3 из которых изданы в журналах, рекомендованных ВАК, а также 3 - в международных изданиях, индексируемых в базе данных Scopus.

Объем и структура работы. Диссертация состоит из введения, четырёх глав и заключения. Полный объем диссертации 286 страницы текста с 74 рисунком и 6 таблицами. Список литературы содержит 352 наименований.

Краткое содержание работы

Во введении показана актуальность темы диссертации, сформулированы цели и задачи исследования, охарактеризована научная новизна и практическая значимость результатов, выделены основные положения, выносимые на защиту.

В первой главе проведён критический анализ методов и средств контроля качества агропродуктов при их сепарации, показавший, что

оптико-электронные системы обладают большим потенциалом в процедурах обеспечения их высококачественной сортировки. Показано, что с помощью оптико-электронных каналов можно обеспечить эффективную интеллектуальную сортировку плодов простой формы путём определения их основных геометрических параметров, цвета и текстуры поверхности. Обосновано, что в случае обеспечения сортировки плодов сложной формы, необходимо выделять информативные параметры тела плода путём комплексирования информации с разноракурсных полей наблюдения, синхронно подсвеченных импульсными источниками оптического излучения.

Во второй главе предложена универсальная обобщённая структура многоканальной ОЭССПФ, позволяющая обеспечить автоматическую сортировку плодов сложной формы практически в режиме реального времени. В структуру входят несколько видеокамер ВК - ВК5 (рисунок 1а); импульсные управляемые источники фронтальной ИИ11, ИИ12, наклонной ИИ21, ИИ2.2 - ИИ4Л, ИИ4.2 и контражурной подсветки ИИ13 и ИИ5.3; блок синхронизации БС; базовый компьютер БК и транспортёр.

а) б)

Рисунок 1 - Обобщённая структура универсальной ОЭССПФ (а) и схема

преобразования информации (б)

В предложенной схеме преобразования информации в ОЭССПФ (рисунок 1б) оптическое излучение источников ИИ21, ИИ2.2 - ИИ41, ИИ4.2 отражается от контролируемых объектов КО1 - КО^ формируется

оптическими системами ОС1 - ОСМ видеокамер ВК1 - ВКМ в распределение облучённости в плоскости матричных приёмников оптического излучения МПОИ1 - МПОИм. Модули предварительной обработки МПО1 - МПОм преобразуют это распределение в цифровые изображения, которые в модуле МО блока обработки и управления системой БОУ преобразуются с целью извлечения информативных параметров необходимых для принятия окончательного решения классификатором К. Интеллектуальность системы ОЭССПФ заключена в адаптивной возможности управлением одновременной работой одного или более каналов и возможностью использования принципов нейронных сетей при классификации плодов по категориям.

Для обеспечения необходимых полей зрения каналов ОЭССПФ, пространственного разрешения полученных изображений на основе критерия минимизации погрешности определения геометрических параметров анализируемых фруктов целесообразно увеличение числа видеокамер до четырёх ВК2-ВК5 (рисунок 1а).

В предлагаемой структуре ориентацию видеокамер системы при фиксированном расстоянии до ВК (рисунок 2а) предложено описать величинами () . Для решения задачи минимизации погрешности определения координат точек поверхности контролируемых плодов предложено использовать генетический алгоритм, в котором вычисление оценочной функции F (1) позволяет оценить степень приспособленности конкретных вариантов расположения ВК в популяции и выбрать из них наиболее подходящие

F — min^ irtäx(AG ш )J, (1)

где max(AG кк) - максимальное диагональное значение ковариационной

матрицы, а обозначение min означает оператор, который найдёт минимальное значение функции в скобках, к - номер элементов матрицы ковариации AG функции плотности вероятности трёхмерных координат точек плода.

Предлагаемый генетический алгоритм для решения задачи оптимизации

местоположения ВК состоит из следующих шагов (Рисунок 2б):

шаг 1: генерация случайной конфигурации системы, состоящей из требуемого числа камер;

шаг 2: расчёт максимальной диагональной величины матрицы ЛG и её сохранение как лучшего значения оценочной функции;

шаг 3: выбор базовых значений углов и их комбинация для получения нового варианта размещения;

шаг 4: составление новой популяции из вариантов размещения предшествующего шага, которые дают лучшие значения оценочной функции;

шаг 5: повтор шагов 2 - 4 до того момента, когда наступает условие остановки алгоритма или цикл даёт оптимальное решение по погрешности определения.

а) б)

Рисунок 2 - Системы координат зоны анализа ОХХ2 и ВК ОсХсУс2с (а) и

структура алгоритма (б)

В процессе исследований на модели ОЭССПФ состоящей из видеокамер расположенных на расстоянии r = 500 мм от зоны анализа (фокусное расстояние объектива f = 8 мм, угловое поле 50о, размеры пикселя МПОИ 5*5 мкм2) при задаваемой погрешности определения координат точек контура плода на матрице ВК равной а = 18 мкм, оценочная функция F практически сходится после 50 поколений (Рисунок 3а). Для четырёхкамерной системы

ОЭССПФ, которая работает на расстоянии от зоны анализа в диапазоне от 500 до 1000 мм, величина оценочной функции не превышает 7,3 мкм и при увеличении расстояния до 1500 мм минимальное значение функции достигает величины 13 мкм.

Имитационное моделирование при оптимизации пространственного расположения видеокамер (Э1, ф1,..., 94, ср4) проводилось с использованием

генетического алгоритма (Рисунок 2б), встроенного в среду МЛТЬЛБ. Минимальное значение оценочной функции параметров ориентации ВК достигается при азимутальном угле ф = 56° (Рисунок 3 б) и полярном угле 0 = 45 при размере популяции 30, вероятности селекции 0,7, вероятности мутации 0,005 и турнирном методе селекции.

а) б)

Рисунок 3 - Графики изменения текущего и наилучшего значения

оценочной функции в процессе оптимизации (а) и значения оценочной

функции положения ВК1 в зависимости от углов 9 и р (б)

Калибровку ОЭССПФ, состоящей из четырёх камер предложено осуществлять с помощью 2D тест-объекта в виде прозрачной шахматной доски (рисунок 4а). Методика калибровки (рисунок 4б) заключается в применении тест-объекта, обладающего прозрачностью, что позволяет определить внутренние и внешние параметры видеокамер необходимые для получения достоверных трёхмерных изображений плода.

Проектировать системы камеры

Определить внутренние параметры каждой камеры, используя методику Zhang

Определить внешние параметры системы камеры

Определить остальные другие параметры модели

Определить функции оптимизации

Рассчитать Якобиан функции

Минимизировать ошибки перепроекции

Получить результат калибровки с

а) б)

Рисунок 4 - Принципиальная схема калибровки многокамерной системы

(а) и блок-схема алгоритм калибровки многокамерной системы (б)

Функция связи между координатами точки Р в пространстве предметов и её Ю проекции (р\,р2,р3,р4) её четырёх изображений имеет вид:

г я ^ г и ^ ( *=А (к (([я ^ Кр)))) ^

Р2 = А (к 2 (([ я^ ^ ]([ я 1Х ](р)))))

((ц ^ D

D

VV D4 J

(

V K4 J

R

i—2

Ri—3 V Ri—4 J

4—2

4—3

V —>4 J J

P

P3 = P4 =

D3 (K3 (([ Ri—3 ti—3 ]([ R ti ](P)))))

D4 (K4 (([ Ri—4 ti—4 ]([ R ti ](P)))))

(2)

где Б; - вектор параметров дисторсии объектива, К; - вектор внутренних параметров, ^ - матрица поворота, Ъ - вектор трансляции.

При исследованиях предлагаемого алгоритма калибровки внутренних параметров ВК в ОЭССПФ (рисунок 4б), показано, что на последнем этапе калибровки, для увеличения точности определения матриц внутренних и внешних параметров ВК, необходимо оптимизировать целевую функцию:

L n m

k=i i=i j=i

МП ZZZwp-p'(D,K,R,t) + (i-w) PM-p\(D,K,R,t)

D,K ,R,t; .

(3)

Р , Р - реальные и измеренные координаты изображения точек без учёта

преломления в подложке, р^ , р' - реальные и измеренные координаты

изображения точек с преломлением, ц - коэффициент преломления, w -весовые коэффициент, Ь - число ВК, п - число изображений и т - число опорных точек.По результатам калибровки, определяются координаты

пространственных облаков точек поверхностей плодов в реальном времени, на основе чего можно оценить объем плода.

В процессе проектирования ОЭССПФ предложено определять потенциальную точность определения координат точек в каналах с позиций

предельного линейного разрешения на объекте Атт , которое обусловливается равенством предельной (дифракционной) разрешающей способности оптической системы Яоб и предельного разрешения матрицы МПОИ ЯМ на пространственной частоте Найквиста:

а = , * (4)

2f

+ 1

Л,22-А-Г 4 р2

где * - расстояние от ВК до объекта контроля, В - диаметр входного зрачка объектива, Г - фокусное расстояние объектива, А - длина волны максимума отражающей способности поверхности плода, рг- размер пикселя МПОИ.

Для диапазона длин волн ЯОБ подсветки, при *=600 мм, р1 =2,2 мкм, Г =12 мм предельное линейное разрешение АтП в зависимости от относительного отверстия объектива существенно изменяется в диапазоне от 1/2 до 1/8 (рисунок 5 а). Поэтому повышение разрешения объектива Яоб при выбранном МПОИ ЯМ (рисунок 5 б) представляется нерациональным.

Лип'ЛШ

0,12 ОД 0,08 0,06 0,04 0,02

Л,=0 63 к ^ км

\

Ч 1=0, 535 ] 1КМ

-о,- 30 ь км

fID

2 4 6 8 10 12 14 16 18 20 22

а) б)

Рисунок 5 - Оценки предельного линейного разрешенияАтп,мм на объекте и

разрешения объектива Ro6 и МПОИ RM для базовых длин волн цветовой системы RGB (а) и для длины волны G в зависимости от отношения f/D объектива (б)

При предварительных расчётах параметров канала ОЭССПФ

Целесообразно применять условие Amn < 51плода , гДе 01плода - требуемаЯ

погрешность определения линейного параметра формы тела плода.

Предложенная методика оценки потенциальной точности в канале позволяет на начальной стадии проектирования ОЭССПФ выбирать объективы и МПОИ с необходимыми характеристиками.

В третьей главе для реальных условий эксплуатации ОЭССПФ сформулирована методика выбора параметров и фактических характеристик объектива и МПОИ, с учётом функции передачи модуляции объекта и фона, изменений пропускания воздушного тракта и смаза изображений при движении плода. Показано, что для условий эксплуатации приближённых к реальным и для обеспечения требований к погрешности определения размера рассматриваемых плодов сложной формы с погрешностью не более чем 0,4 мм следует применять серийный МПОИ с размером элемента 2,25^2,25 мкм2 и объектив типа триплет с фокусным расстоянием не менее 10 мм и относительным отверстием не более чем 1/8.

Предложены цветозональные процедуры (рисунок 6) выделения изображения тела фруктов сложной формы с помощью маски полученной с применением морфологической обработки разноракурсных изображений с последующим нахождением геометрических параметров бинарного изображения тела плода, аппроксимированного по краевым точкам.

а)

г)

д)

Рисунок 6 - Выделение тела плода сложной формы с использованием цветозональной процедуры (а), изображение плода питайя (б), формирование бинарной маски листьев (в), выделение тела плода (г), аппроксимация формы тела по краевым точкам бинарного изображения (д)

Вышеописанное принципиальное описание цветозональной процедуры преобразовано в следующий алгоритм обработки.

Шаг 1: применение медианной фильтрации размером 3*3 к полученным цифровым изображениям с целью подавления импульсного шума МПОИ [116].

Шаг 2: преобразование изображений из координат RGB в цветовую систему L*a*b* с целью выделения из полученных изображений хроматических компонент a* и b*.

Шаг 3: сегментация изображений с помощью метода к-средних, при количестве кластеризации к = 3, с целью выделения бинарных масок основного тела плода, его листьев и фона.

Шаг 4: заполнение дырок в бинарной маске основного тела плода, удаление всех «светлых» связных элементов, которые не принадлежат телу плода, применение морфологических операций дилатации и эрозии со структурными элементами в виде диска радиусом 5 пикселов с целью эффективного определения границы тела плода.

Шаг 5: применение дескриптора областей к бинарной маске основного тела плода с целью определения центра тяжести, площади маски тела плода и величин полуосей аппроксимирующего эллипса, которые являются геометрическими параметрами тела плода.

Моделирование в среде MALAB процесса обработки изображения тела плода цветной капусты, питайя и ананаса и определение параметров его аппроксимирующей фигуры осуществляется в области изображения тела плода состоящего из ненулевых пикселей с погрешностью до одного пикселя, показало, что погрешность определения параметров контура составляет 0,18 мм при фокусном расстоянии объективаf=12 мм, расстоянии 5=600 мм и размере пиксела pi =2,2 мкм. Моделирование процесса выделения тела плода питайя в изображении (рисунок 6 б-в) с применением предложенного алгоритма показало, что аппроксимация проекции тела плода в виде эллипса зависит от количества измерений и практически достигает погрешности 0,4%

от контролируемого параметра при статистической обработке 12 кадров.

В четвертой главе экспериментально подтверждено, что в канале ОЭССПФ, применение процедур комплексирования информации путём вычисления межкадровой разности цифровых изображений, зарегистрированных при освещении разнонаправленными источниками подсветки, повышает контраст в результирующем цифровом изображении плода в два раза. При этом обработка геометрических параметров сегментированных изображений плодов до применения алгоритма межкадровой разности и после показала уменьшение оценок СКО среднего размера плода на 8%.

Список литературы диссертационного исследования кандидат наук Динь Ба Минь, 2022 год

СПИСОК ИСПОЛЬЗОВАННЫХ источников

1 Cubero S. et al. Automated systems based on machine vision for inspecting citrus fruits from the field to postharvest - a review // Food and Bioprocess Technology. - 2016. - T. 9. - №. 10. - C. 1623-1639.

2 Aleixos N. et al. Multispectral inspection of citrus in real-time using machine vision and digital signal processors // Computers and electronics in agriculture. - 2002. T. 33. - №. 2. - C. 121-137.

3 Cubero S. et al. Advances in machine vision applications for automatic inspection and quality evaluation of fruits and vegetables // Food and bioprocess technology. - 2011. - T. 4. - №. 4. - C. 487-504.

4 Башилов A.M. Электронно-оптическое зрение в агарном производстве. (Системотехника построения и применения информационных оптических технологий) М.: ГНУ ВИЭСХ, 2005. - 312с.

5 Башилов A.M. Проект управления агарным производством на основе систем видеомониторинга // Техника и оборудование для села. 2010. №10. С. 46-48.

6 Кириенко Ю.И., Башилов A.M. Выбор и обоснование технологических систем поточных линий и параметров блока дефектации клубней картофеля // Вестник ВИЭСХ. 2012. Вып. 3(8). С. 60-62.

7 Башилов А. М., Кириенко Ю. И. Идентификация дефектов агропродукции и выбор оптико-электронных систем сепарации //Вестник ВИЭСХ. - 2015. - №. 4. - С. 51-56.

8 М. Tuceryan, А.К. Jain, Texture Analysis, 1998. (January).

9 A. Schmitz, Y. Bansho, K. Noda, H. Iwata, T. Ogata, S. Sugano, Tactile object recognition using deep learning and dropout //2014 IEEE-RAS International Conference on Humanoid Robots. - IEEE. 2014 - C. 1044-1050

10 Liu H. et al. Visual-tactile fusion for object recognition // IEEE Transactions on Automation Science and Engineering. - 2016. - T. 14. - №. 2 - C. 996-1008.

11 Zhang H. et al. Nondestructive firmness measurement of differently shaped pears with a dual-frequency index based on acoustic vibration // Postharvest Biology and Technology.-2018.-T. 138. -C. 11-18.

12 Lashgari M., Maleki A., Amiriparian J. Application of acoustic impulse response in discrimination of apple storage time using neural network // International Food Research Journal. - 2017. - T. 24. - №. 3.

13 Foerster J. et al. Acoustic resonance analysis for quality characterization of fruits and vegetables // Landtechnik. - 2010. - T. 65. - №. 2. C. 96-98.

14 de Groot Т.Н., Woudenberg E., Yarovoy A.G. Urban objects classification with an experimental acoustic sensor network // IEEE Sensors Journal. - 2015. - T. 15.-№. 5.-C. 3068-3075.

15 Сарвин А.А. Оптические и оитоэлектроиные методы бесконтактных измерений геометрических параметров, диссертация на соискание ученой степени доктора, технических наук. 05.02.11 / А. А. Сарвин. Санкт-Петербург. - СЗПИ. - 2002. - 346 с.

16 Andujar D. et al. Discriminating crop, weeds and soil surface with a terrestrial LIDAR sensor // Sensors. - 2013. - T. 13. - №. 11. - C. 14662-14675.

17 Aksoy E.E., Abramov A., Worgotter F., Scharr H., Fischbach A., Dellen B. Modeling leaf growth of rosette plans using infrared stereo image sequences // Computers and electronics in agriculture. 2015. - T. 110. - C. 78-90.

18 Jiang L. et al. Multi-class fruit classification using RGB-D data for indoor robots //2013 IEEE international conference on robotics and biomimetics (ROBIO). -IEEE, 2013.-C. 587-592.

19 Rachmawati E., Supriana I., Khodra M.L. Toward a new approach in fruit recognition using hybrid RGBD features and fruit hierarchy property // 2017 4th International Conference on Electrical Engineering, Computer Science and Informatics (EECSI) - IEEE, 2017. - C. 1-6.

20 Jimenez A. R. et al. Automatic fruit recognition: a survey and new results using Range/Attenuation images // Pattern recognition. - 1999. - T. 32. - №. 10. - C. 1719-1736.

21 Kabbai L., Abdellaoui M., Douik A. Hybrid local and global descriptor enhanced with colour information // IET Image Processing. - 2017. - T. 11. - №. 2. C- 109-117.

22 Al-Mallahi A. et al. Detection of potato tubers using an ultraviolet imaging-based machine vision system // Biosystems engineering. - 2010. - T. 105. -№. 2.-C. 257-265.

23 Unay D. et al. Automatic grading of bi-colored apples by multispectral machine vision // Computers and electronics in agriculture. - 2011. - T. 75. - №. 1. C. 204-212.

24 Meulebroeck W., Thienpont H. Optical detection techniques for laser sorting machines //Optical Sensing II. - International Society for Optics and Photonics, 2006. - T. 6189. - C. 61891F.

25 Lee W.S. et al. Sensing technologies for precision specialty crop production // Computers and electronics in agriculture. - 2010. - T. 74. - №. 1. - C. 2-33.

26 Sun D. W. (ed.). Hyperspectral imaging for food quality analysis and control. - Elsevier, 2010.

27 Wen, Z. Tao Y. Dual-camera NIR/MIR imaging for stem-end/calyx identification in apple defect sorting // Transactions of the ASAE. - 2000. T. 43. -№. 2. - C. 449.

28 Vazquez-Arellano M. et al. 3-D Imaging Systems for Agricultural Applications // Sensors. - 2016. - T. 16. №. 5. C. 618.

29 Moallem P., Serajoddin A., Pourghassem H. Computer vision-based apple grading for golden delicious apples based on surface features // Information processing in agriculture. - 2017. - T. 4. - №. 1. - C. 33-40.

30 Zhu B. et al. 3D surface reconstruction of apples from 2D NIR images //Two-and Three-Dimensional Methods for Inspection and Metrology III. -International Society for Optics and Photonics, 2005. - T. 6000. - C. 60000R.

31 Gat N. Imaging spectroscopy using tunable filters: a review // Wavelet Applications VII - International Society for Optics and Photonics, 2000. - T. 4056. -C. 50-64.

32 Lorente D. et al. Recent advances and applications of hyperspectral imaging for fruit and vegetable quality assessment // Food and bioprocess technology.-2012.-T. 5. - №. 4.-C. 1121-1142.

33 Brandily M. L. et al. Identification of foodborne pathogens within food matrices by IR spectroscopy // Sensors and Actuators B: Chemical. - 2011. - T. 160. - №. l.-C. 202-206.

34 Nicolai B. M. et al. Nondestructive measurement of fruit and vegetable quality by means of NIR spectroscopy: A review // Postharvest biology and technology. - 2007. - T. 46. - №. 2. - C. 99-118.

35 Blasco J. et al. Machine Vision-Based Measurement Systems for Fruit and Vegetable Quality Control in Postharvest // Measurement, Modeling and Automation in Advanced Food Processing. - 2017. - C. 71-91.

36 Kim, M.S., Chen Y.R., Mehl P.M. Hyperspectral reflectance and fluorescence imaging system for quality and safety // Transactions of the ASAE. -2011. - T. 44. №. 3. - C. 721.

37 Litwiller D. CMOS vs. CCD: Maturing technologies, maturing markets -the factors determining which type of imager delivers better cost performance are becoming more refined // Photonics Spectra. - 2005. - T. 39. - №. 8. - C. 54-61.

38 Wu D., Sun D. W. Advanced applications of hyperspectral imaging technology for food quality and safety analysis and assessment: A review—Part I: Fundamentals // Innovative Food Science & Emerging Technologies. - 2013. T. 19. -C. 1-14.

39 Lu R. Detection of bruises on apples using near-infrared hyperspectral imaging // Transactions of the ASAE. - 2003. T. 46. - №. 2. C. 523.

40 Manley M. et al. Near infrared hyperspectral imaging for the evaluation of endosperm texture in whole yellow maize (Zea maize L.) kernels // Journal of agricultural and food chemistry. - 2009. - T. 57. - №. 19. - C. 8761-8769.

41 ElMasry G. et al. In-line sorting of irregular potatoes by using automated computer-based machine vision system // Journal of food engineering. - 2012. - T. 112. №. 1-2. C. 60-68.

42 Vidal A. et al. In-line estimation of the standard colour index of citrus fruits using a computer vision system developed for a mobile platform // Food and bioprocess technology. - 2013. - T. 6. - №. 12. - C. 3412-3419.

43 Kohno Y. et al. Development of a mobile grading machine for citrus fruit // Engineering in agriculture, environment, and food. - 2011. - T. 4. - №. 1. - C. 7-11.

44 Cubero S. et al. Optimised computer vision system for automatic pre-grading of citrus fruit in the field using a mobile platform // Precision Agriculture. - 2014. - T. 15. - №. 1. - C. 80-94.

45 Leemans V., Destain M.F. A real-time grading method of apples based on features extracted from defects // Journal of Food Engineering. - 2004. - T. 61. - №. l.-C. 83-89.

46 Bennedsen B.S., Peterson D.L., Tabb A. Identifying defects in images of rotating apples // Computers and Electronics in Agriculture. - 2005. - T. 48. - №. 2. -C. 92-102.

47 Xiao-bo Z. et al. In-line detection of apple defects using three color cameras system // Computers and Electronics in Agriculture. - 2010. - T. 70. - №. 1. -C. 129-134.

48 Reese D. et al. Using parabolic mirrors for complete imaging of apple surfaces // Bioresource Technology. - 2009. - T. 100. - №. 19. - C. 4499-4506.

49 Blasco J., Aleixos N., Cubero S., Go'mez-Sanchis J., Molto' E. Automatic sorting of satsuma (Citrus unshiu) segments using computer vision and morphological features // Computers and electronics in agriculture - 2009. - T. 66. -№. l.-C. 1-8.

50 Blasco J. et al. Development of a machine for the automatic sorting of pomegranate (Punica granatum) arils based on computer vision // Journal of Food Engineering. - 2009. - T. 90. - №. 1. - C. 27-34.

51 Andujar D. et al. Discriminating crop, weeds and soil surface with a terrestrial LIDAR sensor // Sensors. - 2013. - T. 13. - №. 11. - C. 14662-14675.

52 Aksoy E.E. et al. Modeling leaf growth of rosette plants using infrared stereo image sequences // Computers and electronics in agriculture. - 2015. - T. 110.-C. 78-90.

53 Jiang L. et al. Multi-class fruit classification using RGB-D data for indoor robots // 2013 IEEE international conference on Robotics and Biomimetics (ROBIO). - IEEE, 2013. - C. 587-592.

54 Rachmawati E., Supriana I., Khodra M.L. Toward a new approach in fruit recognition using hybrid RGBD features and fruit hierarchy property // 2017 4th International Conference on Electrical Engineering, Computer Science and Informatics (EECSI). - IEEE, 2017. - C. 1-6.

55 Jimenez A. R. et al. Automatic fruit recognition: a survey and new results using Range/Attenuation images // Pattern Recognition. - 1999. - T. 32. - №. 10 - C. 1719-1736.

56 Kurtulmus F., Lee W.S., Vardar A. Immature peach detection in colour images acquired in natural illumination conditions using statistical classifiers and neural network // Precision agriculture. - 2014. - T. 15. - №. 1. C. 57-79.

57 Kabbai L., Abdellaoui M., Douik A. Hybrid local and global descriptor enhanced with colour information // IET Image Processing. - 2017. - T. 11. - №. 2. -C. 109-117.

58 Sun Y. et al. Hyperspectral reflectance imaging combined with chemometrics and successive projections algorithm for chilling injury classification in peaches / /LWT. - 2017. T. 75. - C. 557-564.

59 Cen H. et al. Nondestructive detection of chilling injury in cucumber fruit using hyperspectral imaging with feature selection and super- vised classification // Postharvest Biology and Technology. - 2016. - T. 111. - C. 352-361.

60 Cheng J.H., Nicolai B., Sun D.W. Hyperspectral imaging with multivariate analy- sis for technological parameters prediction and classification of muscle foods: a review // Meat science. - 2017. - T. 123. - C. 182-191.

61 Okamoto H., Lee W.S. Green citrus detection using hyperspectral imaging // Computers and electronics in agriculture. - 2009. - T. 66 - №. 2. - C. 201-208.

62 Khanal S., Fulton J., Shearer S. An overview of current and potential applications of thermal remote sensing in precision agriculture // Computers and electronics in agriculture. - 2017. - T. 139. - C. 22-32.

63 Johnson A.E., Hebert M. Using spin images for efficient object recognition in cluttered 3D scenes // IEEE Transactions on pattern analysis and machine intelligence. - 1999. - T. 21. - №. 5. C. 433-449.

64 Perez R. M., Cheein F. A., Rosell-Polo J.R. Flexible system of multi pie RGB-D sensors for measuring and classifying fruits in agri-food Industry // Computers and electronics in agriculture. - 2017. - T. 139. - C. 231-242.

65 Gongal A. et al. Sensors and systems for fruit detection and localization: a review // Computers and electronics in agriculture. - 2015. - T. 116. - C. 8-19.

66 Tao Y., Zhou J. Automatic apple recognition based on the fusion of color and 3D feature for robotic fruit picking // Computers and electronics in agriculture. -2017.-T. 142.-C. 388-396.

67 Rachmawati E., Supriana I., Khodra M.L. Toward a new approach in fruit recognition using hybrid RGBD features and fruit hierarchy property // 2017 4th International Conference on Electrical Engineering, Computer Science and Informatics (EECSI). - IEEE, 2017. C. 1-6.

68 Kim M.S., Chen Y.R., Mehl P.M. Hyperspectral reflectance and fluorescence imaging system for food quality and safety // Transactions of the ASAE. - 2001. - T. 44. №. 3. - C. 721.

69 Park B. et al. Hyperspectral imaging for detecting fecal and ingesta contaminants on poultry carcasses // 2001 ASAE Annual Meeting. - American Society of Agricultural and Biological Engineers, 1998. - C.l.

70 Lu R. Detection of bruises on apples using near-infrared hyperspectral imaging // Transactions of the ASAE. 2003. - T. 46. - №. 2. - C. 523.

71 Qin J., Lu R. Detection of pits in tart cherries by hyperspectral transmission imaging // Transactions of the ASAE. - 2005. - T. 48. - №. 5. C. 1963-1970.

72 Ariana D.P., Lu R. Quality evaluation of pickling cucumbers using hyperspectral reflectance and transmittance imaging: Part I. Development of a prototype // Sensing and Instrumentation for Food Quality and Safety. - 2008. - T. 2. №. 3.-C. 144-151.

73 Yoon S.C. et al. Bone fragment detection in chicken breast fillets using transmittance image enhancement // Transactions of the ASABE. - 2007. - T. 51. №. l.-C. 331-339.

74 Qin J. et al. Hyperspectral and multispectral imaging for evaluating food safety and quality // Journal of Food Engineering. - 2013. - T. 118. - №. 2. C. 157-171.

75 Lawrence K.C. et al. Evaluation of LED and tungsten-halogen lighting for fecal contaminant detection // Applied Engineering in Agriculture. 2007. - T. 23. -№. 6.-C. 811-818.

76 Chao K. et al. High throughput spectral imaging system for wholesomeness inspection of chicken // Applied Engineering in Agriculture. - 2008. -T. 24.-№. 4.-C. 475-485.

77 Qin J. et al. Detection of organic residues on poultry processing equipment surfaces by LED-induced fluorescence imaging // Applied Engineering in Agriculture.- 2011.-T. 27. - №. l.-C. 153-161.

78 Kim M.S., Lefcourt A.M., Chen Y.R. Multispectral laser-induced fluorescence imaging system for large biological samples // Applied Optics. - 2003. - T. 42. - №. 19. - C. 3927-3934.

79 Noh H.K., Lu R. Hyperspectral laser-induced fluorescence imaging for assessing apple fruit quality // Postharvest Biology and Technology. - 2007. - T. 43. №. 2.-C. 193-201.

80 Qin J., Chao K., Kim M.S. Raman chemical imaging system for food safety and quality inspection // Transactions of the ASABE. - 2010. T. 53. №. 6. - C. 1873-1882.

81 Колючкин В. Я., Нгуен К. М., Чан Т. X. Алгоритмы обработки изображений в системах машинного зрения роботизированных производственных линий //Нейрокомпьютеры: разработка, применение. -2014.-№.3.-С. 44-51.

82 Kim M.S. et al. Line-scan hyperspectral imaging platform for agro-food safety and quality evaluation: System enhancement and characterization // Transactions of the ASABE. - 2011. - T. 54. №. 2. - C. 703-711.

83 Kise M. et al. Multispectral imaging system with interchangeable filter design // Computers and Electronics in Agriculture. - 2010. - T. 72. №. 2. - C. 61-68.

84 ElMasry G., Wang N., Vigneault C. Detecting chilling injury in Red Delicious apple using hyperspectral imaging and neural networks // Postharvest Biology and technology. - 2009. - T. 52. №. 1. - C. 1-8.

85 Payne A.B. et al. Estimation of mango crop yield using image analysis -segmentation method // Computers and electronics in agriculture. -2013.-T. 91. -C. 57-64.

86 Deepa P., Geethalakshmi S.N. A comparative analysis of watershed and color-based segmentation for fruit grading // Int. J. Soft Comput. Eng. - 2012. - T. 2. №. 3.-C. 11-15.

87 George Y.M. et al. Automated cell nuclei segmentation for breast fine needle aspiration cytology // Signal Processing. - 2013. T. 93. - №. 10. - C. 2804-2816.

88 Ngadi M.O., Liu L. Hyperspectral Image Processing Techniques // Hyperspectral imaging for food quality analysis and control. - Academic Press, 2010.-C. 99-127.

89 Qiao, J., et al. Prediction of drip-loss, pH, and color for pork using a hyperspectral imaging technique // Meat Science. - 2007. - T. 76. №. 1. - C. 1-8.

90 ElMasry G., Wang N., ElSayed A., Ngadi M. Hyperspectral imaging for non-destructive determination of some quality attributes for strawberry // Journal of food engineering. - 2007. - T. 81. - №. 1. - C. 98-107.

91 Qin J.W., Burks T.F., Ritenour M.A., Bonn W.G. Detection of citrus canker using hyperspectral reflectance imaging with spectral information divergence // Journal of food engineering. - 2009. - T. 93. - №. 2. - C. 183-191.

92 Daugman J.G. Uncertainty relation for resolution in space, spatial-frequency, and orientation optimized by two-dimensional visual cortical filters// JOSAA.- 1985.-T. 2. №. l.-C. 1160-1169.

93 Lu R. Detection of bruises on apples using near-infrared hyperspectral imaging // Transaction of the ASAE. - 2003. - T. 46. - №. 2. - C. 523.

94 Bajwa S.G. et al. Hyperspectral image data mining for band selection in agricultural applications // Transactions of the ASAE. - 2004. - T. 47. - №. 3. - C. 895.

95 Nakariyakul S., Casasent D.P. Hyperspectral waveband selection for contaminant detection on poultry carcasses // Optical engineering. - 2008. - T. 47. №. 8.-C. 087202.

96 Xing J. et al. Determining optimal wavebands using genetic algorithm for detection of internal insect infestation in tart cherry // Sensing and Instrumentation for food quality and safety. - 2008. - T. 2. - №. 3. - C. 161- 167.

97 Otsu N. A threshold selection method from gray-level histograms // IEEE Transactions on systems, man, and cybernetics. - 1979. - T. 9. - №. 1. C. 62-66.

98 Mahjoub, M.A., 2011. Improved FCM algorithm applied to color image segmentation. Can. J. Image Proc. Comput. Vision 2 (2), 16-19

99 Brouwer R.K., Groenwold A. Modified fuzzy c-means for ordinal valued attributes with particle swarm for optimization // Fuzzy Sets Systems. - 2010. - T. 61. №. 13. C. 1774-1789.

100 Ghabousian A., Shamsi M. Segmentation of apple color images utilizing fuzzy clustering algorithms // Advances in Digital Multimedia. - 2012. - T. 1. №. 1. -C. 59-63.

101 Alavi N. et al. Date grading using rule based fuzzy inference system // Journal of agricultural technology. - 2012. - T. 8. - №. 4. - C. 1234-1254.

102 Jamil N. et al. A Rule based segmentation Method for fruit images under Natural Illumination // 2014 International Conference on Computer, Control, Informatics and Its Applications (IC3INA). - IEEE, 2014. - C. 13-18.

103 Lee B.R. et al. An image segmentation approach for fruit defect detection using k-means clustering and graph-based algorithm // Vietnam Journal of computer science. - 2015. - T. 2. - №. 1. - C. 25-33.

104 Mehra Т., Kumar V., Gupta P. Maturity and Disease detection in tomato using computer vision // 2016 Fourth International Conference on Parallel, Distributed and Grid Computing (PDGC). - IEEE, 2016. - C. 399-403.

105 Jhawar J. Orange Sorting by applying pattern recognition on color image // Procedia computer science. - 2016. - T. 78. - C. 691-697.

106 Garcia-Lamont F. et al. Segmentation of images by color features: a survey // Neurocomputing. - 2018. - T. 292. - C. 1-27.

107 Kuang H. et al. Multi-class fruit detection based on image region selection and improved object proposals // Neurocomputing. - 2018. - T. 283. - C. 241-255.

108 Gothwal R. et al. Color Image Segmentation Algorithm Based on RGB Channels // Proceeding of 3rd International Conference on Reliability, Infocom Technologies and Optimization. - IEEE, 2014. - C. 1-5.

109 Mely D.A. et al. A systematic comparison between visual cues for boundary detection // Vision research. - 2016. - T. 120. C. 93-107.

110 Mingqiang Y et al. A. Survey, S. Feature, A survey of shape feature extraction techniques // Pattern recognition. - 2008. - T. 15. №. 7. - C. 43-90.)

111 Азбука вкус. Текст : электронный // Паспорт качества ананаса. URL: https://av.ru/upload/iblock/a56/%D0%9F%D0%B0%Dl%81%D0%-BF%D0%BE%D 1 %80%D 1 %82%20%D0%B A%D0%B0%D 1 %87%D0%B5%D 1 %81 %D 1 %82%D0%B2%D0%B0.%20%D0%90%D0%BD%D0%B0%D0%BD% D0%B0%D 1 %81 .pdf (дата обращения 10.02.2019).

112 Текст: электронный // Паспорт качества цветной капусты https://yandex.ru/search/71r-11495&text=%D0%9F%D0%B0%D 1 %81 %D0%BF %D0%BE%D 1 %80%D 1 %82+%D0%BA%D0%B0%D 1 %87%D0%B5%D 1 %81 %D 1 %82%D0%B2%D0%B0.+%D0%9A%D0%B0%D0%BF%D 1 %83%D 1 %81 %D 1 %82%D0%B0+%D 1 % 8 6%D0%B2%D0%B 5 %D 1 %82%D0%BD%D0%B0 %D1%8F

113 Махов B.E. Контроль линейных размеров изделий на базе технологий фирмы "National Instruments" / B.E. Махов // Известия ВУЗов. Приборостроение. -2010. - Т. 53, № 7. - С. 54-60.

114 Salahat Е., Qasaimeh М., Recent advances in features extraction and descrip- tion algorithms: A comprehensive survey // 2017 IEEE international conference on industrial technology (ICIT). - IEEE, 2017. - C. 1059-1063.

115 Lunatic S., A survey of shape analysis techniques // Pattern recognition. -1998.-T. 31. - №. 8.-C. 983-1001.

116 Гонсалес P., Вудс P. Цифровая обработка изображений // Издание 3-е, исправленное и дополненное // Москва: Техносфера, 2012. - 1104 с. ISBN 978-5-94836-331-8.

117 Kondo N. Robotization in fruit grading system // Sensing and instrumentation for food quality and safety. - 2009. - T. 3. №. 1. - C. 81-87.

118 Blasco, J., Aleixos, N., Molto, E. Machine vision system for automatic quality grading of fruit // Biosystems engineering. - 2003. T. 85. №. 4. - C. 415-423.

119 Lee D.J. et al. Development of a machine vision system for automatic date grading using digital reflective near-infrared imaging // Journal of food Engineering. - 2008. - T. 86. - №. 3. - C. 388-398.

120 Lee K. et al. Correlation analysis of hyperspectral imagery for multi spectral wavelength selection for detection of defects on apples // Sensing and Instrumentation for Food quality and safety. - 2008. - T. 2. №. 2. - C. 90-96.

121 Riyadi S. et al. Shape characteristics analysis for papaya size classification // 2007 5th Student Conference on Research and Development. - IEEE, 2007.-C. 1-5.

122 Kondo N. et al. Eggplant grading system including rotary tray assisted machine vision whole fruit inspection // Journal of the Japanese Society of Agriculture Machinery. - 2007. - T. 69. - №. 1. - C. 68-77.

123 Khojastehnazhand M., Omid M., Tabatabaeefar A. Determination of tangerine volume using image processing methods // International Journal of Food Properties. - 2010. - T. 13. №. 4. - C. 760-770.

124 Khojastehnazhand M., Omid M., Tabatabaeefar A. Development of lemon sorting system based on color and size // African Journal of plant science. -2010.-T. 4. №. 4.-C. 122-127.

125 Al Ohali Y. Computer vision based date fruit grading system: Design and implementation // Journal of King Saud University - Computer and Information Sciences. - 2011. - T. 23. №. 1. - C. 29-36.

126 Hasankhani R.? Navid H. Potato sorting based on size and color in machine vision system // Journal of Agricultural Science. - 2012. - T. 4. №. 5. - C. 235.

127 Xiaobo Z., Jienwen Z., Yanxiao L. Apple color grading based on organization feature parameters // Pattern Recognition Letters. - 2007. - T. 28. - №. 15.-C. 2046-2053.

128 Cubero S. et al. Advances in machine vision applications for automatic inspection and quality evaluation of fruits and vegetables // Food Bioprocess Technology. - 2011. - T. 4. - №. 4. - C. 487-504.

129 Zhang D. et al. Selection and evaluation of new antagonists for their efficiency against postharvest brown rot of peaches // Postharvest Biology Technology.-2010.-T. 55. -№. 3.-C. 174-181.

130 Sadrnia H. et al. Classification and analysis of fruit shapes in long type watermelon using image processing // Int. J. Agric. Biol. - 2007. - T. 1. - №. 9. - C. 68-70.

131 Costa C. et al. Quantitative evaluation of Tarocco sweet orange fruit shape using optoelectronic elliptic Fourier based analysis // Postharvest Biology and Technology. - 2009. - T. 54. - №. 1. - C. 38-47.

132 Zheng L., Yang Y., Tian Q. SIFT meets CNN: A decade survey of instance retrieval // IEEE Transactions on Pattern Analysis and machine intelligence. - 2017. - T. 40. - №. 5. - C. 1224-1224.

133 Nanni L., Lumini A., Brahnam S. Local binary patterns variants as texture descriptors for medical image analysis // Artificial intelligence in medicine. - 2010. - T. 49. - №. 2. - С. 117-125.

134 He C. et al. Texture classification of PolSAR data based on sparse coding of wavelet polarization textons // IEEE Transactions on Geoscience and Remote Sensing. - 2013. - T. 51. №. - 8. - C. 4576-4590.

135 Ding C. et al. Multi-directional multi-level dual-cross pat- terns for robust face recognition // IEEE Transaction on pattern analysis and machine intelligence. - 2015. - T. 38. - №. 3. - C. 518-531.

136 Oyallon E., Mallat S. Deep roto-translation scattering for object classification // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. - 2015.- C. 2865-2873.

137 Gatys L.A., Ecker A.S., Bethge M. Image style transfer using convolutional neural networks // Proceedings of the IEEE conference on computer vision and pattern recognition. - 2016. - C. 2414-2423.

138 B. Julesz, Visual pattern discrimination // IRE Transactions on information theory. - 1962. - T. 8. - №. 2. - C. 84-92.

139 Li J. В., Huang W. Q., Zhao C. J. Machine vision technology for detecting the external defects of fruits: a review // The imaging science journal. -2015. - T. 63. - №. 5. - C. 241-251.

140 Blasco J., Aleixos N., Molto' E. Computer vision detection of peel defects in citrus by means of a region oriented segmentation algorithm // Journal of food engineering. - 2007. - T. 81. - №. 3. - C. 535-543.

141 Кривошеев M. И., Кустарев А. К. // Цветовые измерения. -Энергоатомиздат, 1990.

142 Guzma'n E. et al. Determination of the olive maturity index of intact fruits using image analysis // Journal of food science and technology. - 2015. - T. 52. №. 3.-C. 1462-1470.

143 Dubey S.R., Jalal A.S. Apple disease classification using color, texture and shape features from images // Signal, Image Video Processing. - 2016. - T. 10. - №. 5.-C. 819-826.

144 Warif N.B.A. et al. SIFT-symmetry: A robust detection method for copy-move forgery with reflection attack // Journal of visual communication and image representation. - 2017. - T. 46. - C. 219-232.

145 Ramli R. et al. Feature-Based Retinal Image Registration Using D-Saddle Feature // Journal of healthcare engineering. - 2017. - T. 2017.

146 Harris C. et al. A combined corner and edge detector // Alvey vision conference. - 1998. - T. 15. - №. 50. - C. 10-5244.

147 Lowe D.G. Distinctive image features from scale-invariant keypoints // International journal of computer vision. - 2004. - T. 60. - №. 2. - C. 91-110.

148 Bay H., Tuytelaars T., Van Gool L. Surf: Speeded up robust features // European Conference on Computer Vision. - Springer, Berlin, Heidelberg, 2006. -C. 404-417.

149 Bay H. et al. Speeded-up robust features (SURF) // Computer vision and image understanding. - 2008. - T. 110. - №. 3. - C. 346-359.

150 Rosten E., Porter R., Drummond T. Faster and better: A machine learning approach to corner detection // IEEE Transactions on pattern analysis and machine intelligence. - 2008. - T. 32.-№. l.-C. 105-119.

151 Idris M. Y. I. et al. Review of feature detection techniques for simultaneous localization and mapping and system on chip approach // Information Technology Journal. - 2009. - T. 8. - №. 3. - C. 250-262.

152 Lee M.H., Cho M., Park I.K. Feature description using local neighborhoods // Pattern Recognition Letters. - 2015. - T. 68. - C. 76-78.

153 Panchal P. M., Panchal S., Shah S. K. A comparison of SIFT and SURF // International of innovative research in computer and communication engineering. -2013. - T. 1. -№. 2. - C. 323-327.

154 Li J., Xu T., Zhang K. Real-time feature-based video stabilization on FPGA // IEEE Transactions on Circuits and Systems for Video Technology. - 2016. -T. 27. - №. 4.-C. 907-919.

155 Loncomilla P., Ruiz-del-Solar J., Martinez L. Object recognition using local invariant features for robotic applications: A survey // Pattern Recognition. -2016.-T. 60.-C. 499-514.

156 Sachdeva V.D. et al. Better object recognition using bag of visual word model with compact vocabulary //2017 13th International Conference on Emerging Technologies (ICET). - IEEE, 2017. - C. 1-4.

157 Luo H. L., Wei H., Lai L.L. Creating efficient visual codebook ensembles for object categorization // IEEE Transactions on systems, man, and cybernetics -Part A:. Systems and Humans. - 2010. - T. 41. - №. 2. - C. 238-253.

158 Liu Y. et al. Adaptive spatial pooling for image classification // Pattern Recognition. - 2016. - T. 55. - C. 58-67.

159 Kejriwal N., Kumar S., Shibata T. High performance loop closure detection using bag of word pairs // Robotics and Autonomous Systems. - 2016. - T. 77.-C. 55-65.

160 Lin W.C. et al. Keypoint selection for efficient bag-of-words feature generation and effective image classification // Information Sciences. - 2016. - T. 329.-C. 33-51.

161 Lazebnik S., Schmid C., Ponce J. Beyond bags of features: Spatial pyramid matching for recognizing natural scene categories // 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06). -IEEE, 2006. - T. 2. - C. 2169-2178.

162 Penatti O. A. B. et al. Visual word spatial arrangement for image retrieval and classification // Pattern Recognition. - 2014. - T. 47. - №. 2. - C. 705-720.

163 Aldavert D. et al. A study of Bag-of-Visual-Words representations for handwritten keyword spotting // International Journal on Document Analysis and Recognition (IJDAR). - 2015. - T. 18. - №. 3. - C. 223-234.

164 Li Q. et al. An image classification algorithm integrating principal component analysis and spatial pyramid matching features // 2017 Fourth International Conference on Image Information Processing (ICIIP). - IEEE, 2017. -C. 1-6.

165 Xie L. et al. Improved Spatial Pyramid Matching for Scene Recognition // Pattern Recognition. - 2018. - T. 82. - C. 118-129.

166 Ciresan D.C. et al. Flexible, high performance convolutional neural networks for image classification // Twenty-second International Joint Conference on Artificial Intelligence. - 2011.

167 Ciregan, D.; Meier, U.; Schmidhuber, J. Multi-column deep neural networks for image classification // 2012 IEEE conference on computer vision and pattern recognition. - IEEE, 2012. - C. 3642-3649.

168 Szegedy C. et al. Going deeper with convolutions // Proceedings of the IEEE conference on computer vision and pattern recognition. - 2015. - C. 1-9.

169 He K. et al. Spatial pyramid pooling in deep convolutional networks for visual recognition // IEEE transaction on pattern analysis and machine intelligence. -2015.-T. 37. - №. 9.-C. 1904-1916.

170 He K. et al. Deep residual learning for image recognition // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. - 2016. - C. 770-778.

171 Cheng X. et al. Pest identification via deep residual learning in complex background // Computers and electronics in agriculture. - 2017. T. 141. - C. 351-356.

172 Krizhevsky A., Sutskever I., Hinton G.E. Imagenet classification with deep convolutional neural networks // Advances in neural information processing systems. - 2012. - T. 25. - C. 1097-1105.

173 Edan Y., Han S., Kondo N. Automation in agriculture // Springer handbook of automation. - 2009. - C. 1095-1128.

174 McCarthy C.L., Hancock N.H., Raine S.R. Applied machine vision of plants: A review with implications for field deployment in automated farming operations // Intelligent Service Robotics. - 2010. - T. 3. - №. 4. - C. 209-217.

175 Колючкин В. Я., Нгуен К. М. Методика обоснования требований к системам технического зрения промышленных робототехнических комплексов //Машиностроение и компьютерные технологии. - 2015. - №. 7. — С. 198-205.

176 Li L., Zhang Q., Huang D. A review of imaging techniques for plant phenotyping// Sensors.-2014.-Т. 14.-№. 11.-C. 20078-20111.

177 Rosell J.R., Sanz R. A review of methods and applications of the geometric characterization of tree crops in agricultural activities // Computers and electronics in agriculture. - 2012. - T. 81. - С. 124-141.

178 Колючкин В. Я., Минь Н. К., Хай Ч. Т. Алгоритмы обработки информации в системах технического зрения промышленных роботов // Инженерный журнал: наука и инновации. - 2013. - №. 9 (21). С.42.

179 D. Andujar D. et al. Discriminating crop, weeds and soil surface with a terrestrial LIDAR sensor // Sensors. 2013. - T. 13. - №. 11. - C. 14662-14675.

180 Riyadi S. et al. Shape characteristics analysis for papaya size classification // 2007 5th Student conference on research and development. - IEEE, 2007. - C. 1-5.

181 Chalidabhongse Т., Yimyam P., Sirisomboon P. 2D/3D vision-based mango's feature extraction and sorting //2006 9th International Conference on Control, Automation, Robotics and Vision. - IEEE, 2006. - C. 1-6.

182 Diels E. et al. Assessment of bruise volumes in apples using X-ray computed tomography //Postharvest Biology and Technology. - 2017. - T. 128. - C. 24-32.

183 Phate V. R., Malmathanraj R., Palanisamy P. Classification and weighing of sweet lime (Citrus limetta) for packaging using computer vision system //Journal

of Food Measurement and Characterization. - 2019. - T. 13. - №. 2. - C. 1451-1468.

184 Siswantoro J. et al. Monte Carlo method with heuristic adjustment for irregularly shaped food product volume measurement //The Scientific World Journal.-2014.-T. 2014.

185 Momin M. A. et al. Geometry-based mass grading of mango fruits using image processing //Information processing in agriculture. - 2017. - T. 4. - №. 2. -C. 150-160.

186 Spreer W., Miiller J. Estimating the mass of mango fruit (Mangifera indica, cv. Chok Anan) from its geometric dimensions by optical measurement //Computers and electronics in agriculture. - 2011. - T. 75. - №. l.-C. 125-131.

187 Yimyam P. et al. Physical properties analysis of mango using computer

vision //4 0\ ^Л| ^ Щ . oh - q t . - 2005. - C. 746-750.

188 Sa'ad F. S. A. et al. Shape and weight grading of mangoes using visible imaging //Computers and Electronics in Agriculture. - 2015. - Т. 115. - C. 51-56.

189 Tabatabaeefar A., Rajabipour A. Modeling the mass of apples by geometrical attributes //Scientia Horticulturae. - 2005. - T. 105. - №. 3. - C. 373-382.

190Nyalala I. et al. Tomato volume and mass estimation using computer vision and machine learning algorithms: Cheny tomato model //Journal of Food Engineering. - 2019. - T. 263. - C. 288-298.

191 Азбука вкус. Текст: электронный // Паспорт качеств плодов Питахайя. - URL: https://av.ru/upload/iblock/543/%D0%9F%D0%B0%D1%81-%D0%BF%D0%BE%D 1 %80%D 1 %82%20%D0%BA%D0%B0%D 1 %87%D0% B5%D 1 %81 %D 1 % 82 %D0%B2 %D0%B 0. %2 0%D 0%9F%D0%B 8 %D 1 %82%D0 %B0%D 1 %85%D0%B0%D0%B9%D 1 %8F.pdf (дата обращения 10.02.2019).

192 Про фему. - Текст: электронный // Сахарное яблоко - экзотический фрукт с лечебными свойствами. URL: http://profermu.com/sad/d-erevia/yabloki/sort-aya/saharnoe.html#:~:text=%D0%Al%D0%BE%D0%BA%20

%D 1 %81 %DO%BO%D 1 % 8 5 %DO%BO%D 1 %80%D0%BD%D0%BE%D0%B3% D0%BE%20%D 1 %8F%D0%B 1 %DO%BB%DO%BE%DO%B A%DO%BO,%DO% B8%20%DO%BE%DO%B6%D00/oBE0/oD00/oB30/oD00/oBE%D00/oB20/oDl%8B%D 1 %85%20%D 1 %80%D0%B0%D0%BD (дата обращения 10.02.2019).

193 United nations economic commission for europe. - Текст: электронный // Unece standard ffv-45. - URL: https://unece.org/fileadmin/DAM/trade/agr/standard/standard/fresh/FFV-Std/Engli sh/45_Mangoes.pdf (дата обращения: 28.12.2020).

194 United nations economic commission for europe. - Текст: электронный // Unece standard ffv-14. - URL: https://unece.0rg/F1leadmin/DAM/trade/agr/meetings/ge.01/2010/INF2e_CitrusFrui t.pdf (дата обращения: 28.12.2020).

195 United nations economic commission for europe. - Текст: электронный // Unece standard ffv-50. - URL: https://unece.org/sites/default/files/2020-12/5Q_Apples.pdf (дата обращения 28.12.2020).

196 Zhu В., Jiang L., Tao Y. Three-dimensional shape enhanced transform for automatic apple stem-end/calyx identification //Optical Engineering. - 2007. -T. 46. - №. l.-C. 017201.

197 Pereira M. F. et al. Application of AR and VR in Hand Rehabilitation: A Systematic Review //Journal of Biomedical Informatics. - 2020. - C. 103584.

198 Noordam J. C. et al. Automated rose cutting in greenhouses with 3D vision and robotics: Analysis of 3D vision techniques for stem detection // International conference on sustainable greenhouse systems- greensys2004 691. - 2004. - C. 885-892.

199 Динь Б.М., Тимофеев A.H., Коротаев В.В., Ярышев С.Н. Особенности преобразования информации в многоканальных оптико-электронных системах при сепарации фруктов сложной формы // Труды XIV Международная конференция «Прикладная оптика-2020» (15-18 декабря 2020г.). (http://valentin.davydov.spb.su/P02020/Ming.pdf)

200 Динь Б. Минь, Тимофеев А.Н. Построение оптико-электронных каналов для сортировки фруктов по форме, размеру и цвету //Альманах научных работ молодых учёных Университета ИТМО - 2020. - Т. 4. - С. 51-56.

201 Viola P.. Jones M.J. Robust real-time face detection // International Journal of Computer Vision. - 2004. - T. 57. - №. 2. - C. 137-154.

202 Александров A.A., Кирпичников А.П., Ляшева C.A., Шлеймо-вич М.П. Анализ эмоционального состояния человека на изображении // Вестник технологического университета. - 2019. - Т. 22. - №. 8. - С. 120-123.

203 Voronov V., Strelnikov V., Voronova L., Trunov A., Vovik A. Faces 2D-recognition and identification using the HOG descriptors method // Conference of Open Innovations Association FRUCT Oy, 2019. - №. 24. - C. 783-789.

204 Liu W. et al. SSD: single shot multibox detector // European conference on computer vision. - Springer, Cham, 2016. - C. 21-37.

205 Deniz O. et al. Face recognition using histograms of oriented gradients // Pattern Recognition Letters. - 2011. - T. 32. - №. 12. - C. 1598-1603.

206 King D.E. Max-margin object detection // arXiv preprint arXiv: 1502.00046. -2015.

207 Mohan P.G., Prakash C., Gangashetty S.V. Bessel transform for image resizing // 2011 18th International Conference on Systems, Signals and Image Processing. -2011.

208 Owusu E., Abdulai J.D., Zhan Y. Face detection based on multilayer feed-forward neural network and Haar features // Software: Practice and Experience. - 2019. - T. 49. - №. l.-C. 120-129.

209 Su J. et al. Fast face tracking-by-detection algorithm for secure monitoring // Applied Sciences. - 2019. - T. 9. - №. 18. - C. 3774.

210 Lowe D.G. Distinctive image features from scale-invariant keypoints // International Journal of Computer Vision. - 2004. - T. 60. - №. 2. - C. 91-110.

211 Naz S., Ziauddin S., Shahid A.R. Driver fatigue detection using mean intensity, SVM, and SIFT // International Journal of Interactive Multimedia and Artificial Intelligence. - 2019. - T. 5. - №. 4. - C. 86-93.

212 Wang X., Chen L. Contrast enhancement using feature-preserving bi-histogram equalization // Signal Image and Video Processing. - 2018. - T. 12. - №. 4. - C. 685-692.

213 Mustapha A., Oulefki A., Bengherabi M., Boutellaa E., Algaet M.A. Towards nonuniform illumination face enhancement via adaptive contrast stretching // Multimedia Tools and Applications. - 2017. - T. 76. - №. 21. - C. 21961-21999.

214' Cuevas E., Zaldivar, D. Perez-Cisneros, M. Oliva, D. Block-matching algorithm based on differential evolution for motion estimation // Engineering Applications of Artificial Intelligence. - 2013. - T. 26. - №. 1. - C. 488-498.

215 Gao Y., Leung M.K.H. Face recognition using line edge map // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2002. - T. 24. - №. 6. -C. 764-779.

216 Fawwad Hussain M., Wang H., Santosh K.C. Gray level face recognition using spatial features // Communications in Computer and Information Science. -2019.-T. 1035.-C. 216-229.

217 Cootes T.F., Taylor C.J., Cooper D.H., Graham J. Active shape models-their training and application // Computer Vision and Image Understanding. -1995. - T. 61. - №. l.-C. 38-59.

218 Нгуен К. M., Колючкин В. Я. Алгоритмы контурной сегментации и распознавания образов объектов систем технического зрения // Наука и образование: научное издание МГТУ им. Н.Э. Баумана. - 2013. - № 4. - С. 187-200.

219 Cootes T.F., Edwards G.J., Taylor C.J. Active appearance models // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2001. - T. 23. - №. 6. -C. 681-685.

220 Jumani S.Z., Ali F.? Guriro S., Kandhro I.A., Khan A., Zaidi A. Facial expression recognition with histogram of oriented gradients using CNN // Indian Journal of Science and Technology. - 2019. - T. 12. - №. 24. - C. 1-8.

221 Бобе А.С., Конышев Д.В., Воротников С.А. Система распознавания базовых эмоций на основе анализа двигательных единиц лица // Инженерный журнал: наука и инновации. - 2016. - № 9. - С. 7.

222 Fu X., Fu К., Zhang Y. , Zhou Q., Fu X. Facial expression recognition based on Curvelet transform and sparse representation // Proc. 14th International Conference on Natural Computation, Fuzzy Systems and Knowledge Discovery (ICNN -FSKD 2018). Huangshan, China. - 2018. - C. 257-263.

223 Vapnik V. The Nature of Statistical Learning Theory - Springer science & business media, 1999.

224 Danades A. et al. Comparison of accuracy level K-nearest neighbor algorithm and support vector machine algorithm in classification water quality status // 2016 6th International Conference on System Engineering and Technology (1СSET). -IEEE, 2016.-C. 137-141.

225 Syaliman K. U., Nababan E., Sitompul O. Improving the accuracy of k-nearest neighbor using local mean based and distance weight // Journal of Physics: Conference Series. - IOP Publishing, 2018. - T. 978. - №. l.-C. 012047.

226 Pellegrini T. Comparing SVM, Softmax, and shallow neural networks for eating condition classification // Sixteenth annual conference of the international speech communication association. - 2015.

227 Кормен Т. и др. Алгоритмы. Построение и анализ. 2-издание.: Пер. с англ. М.: Издательский дом «Вильяме», 2011. 1296 с.

228 Endl Sommer М. Classification of Ray-Generators in Unifomi Subdivisions an Octrees for Ray Tracing // Computer Graphics Forum. - Edinburgh, UK : Blackwell Science Ltd, 1994.-T. 13.-№. l.-C. 3-19.

229 Бобков В.А., Мельман C.B., Роныпин Ю.И. Оптимизация трассировки лучей в октантных деревьях // 15th Intern. Conf. on Сотр. Graphics and Appl. GrahiCon. - 2005. - C. 187-195.

230 Lu Y., Lu R. Structured-illumination reflectance imaging coupled with phase analysis techniques for surface profiling of apples //Journal of food engineering. - 2018. - T. 232. - С. 11-20.

231 Tabatabaeefar A., Rajabipour A. Modeling the mass of apples by geometrical attributes //Scientia Horticulturae. - 2005. - T. 105. - №. 3. - C. 373-382.

232 Omid M., Khojastehnazhand M., Tabatabaeefar A. Estimating volume and mass of citrus fruits by image processing technique //Journal of food Engineering. - 2010. - T. 100. - №. 2. - C. 315-321.

233 Ashtiani S. H. M. et al. Models for predicting the mass of lime fruits by some engineering properties //Journal of food science and technology. - 2014. - T. 51. - №. 11.-C. 3411-3417.

234 Vivek Venkatesh G. et al. Estimation of volume and mass of axi-symmetric fruits using image processing technique //International journal of food properties.- 2015. -Т. 18.-№. 3.-C. 608-626.

235 Коротаев B.B., Краснящих A.B. Видеоинформационные измерительные системы // Учебное пособие. - СПб: НИУ ИТМО, 2012.-124 с.

236 Cowan С. К., Kovesi P. D. Automatic sensor placement from vision task requirements // IEEE Transactions on Pattern Analysis Machine Intelligence. -1988. - T. 10. - №. 3. - C. 407-416.

237 Fritsch D., Crosilla F. First order design strategies for industrial photogrammetry // Close-Range Photogrammetry Meets Machine Vision. -International Society for Optics and Photonics, 1990. - T. 1395. - C. 13951J.

238 Yang D., Shin J., Ercan, A., Guibas L. Sensor tasking in occupancy sensing in a network of cameras // Proceedings of BASENETS'04. - 2004.

239 Vazquez P., Feixas M., Sbert M., Heidrich W. Viewpoint selection using viewpoint entropy // VMV. - 2001. - Т. 1. - C. 273-280.

240 Wong L. M., Dumont C., Abidi M. Next best view system in a 3d object modelling task // Proceedings 1999 IEEE International Symposium on Computational Intelligence in Robotics and Automation. CIRA'99 (Cat. No. 99EX375). - IEEE, 1999. - C. 306-311.

241 Cerfontaine P.A., Schirski M., Bundgens D., Kuhlen T. Automatic multi-camera setup optimization for optical tracking // IEEE Virtual Reality Conference (VR 2006). - IEEE, 2006. - C. 295-296.

242 Chen X., Davis J. Camera placement considering occlusion for robust motion capture // Computer Graphics Laboratory, Stanford University, Tech. Rep. -2000.-T. 2. -№. 2.2-C. 2.

243 Olague G., Mohr R. Optimal camera placement for accurate reconstruction // Pattern Recognition. - 2002. - T. 35. - №. 4. - C. 927-944.

244 Wu J. J., Sharma R., Huang T. S. Analysis of uncertainty bounds due to quantization for three-dimensional position estimation using multiple cameras // Optical Engineering. - 1998. - T. 37. - №. 1. - C. 280-292.

245 Erdem U. M., Sclaroff S. Automated Camera Layout to Satisfy Task-Specific and Floor Plan-Specific Coverage Requirements // Computer Vision and Image Understanding. - 2006. - T. 103. - №. 3. - C. 156-169.

246 Mittal A., Davis L. S. A General Method for Sensor Planning in Multi-Sensor Systems: Extension to Random Occlusion // International Journal of Computer Vision.-2008.-T. 76. - №. l.-C. 31-52.

247 Reddy К. K., Conci N. Camera positioning for global and local coverage optimization //2012 Sixth International Conference on Distributed Smart Cameras (ICDSC). - IEEE, 2012. - C. 1-6.

248 Scott W. R. Model-Based View Planning // Machine Vision and Applications. - 2009. - T. 20. - №. 1. - C. 47-69.

249 Tarbox G.H., Gottschlich S.N. Planning for complete sensor coverage in inspection // Computer Vision and Image Understanding. - 1995. - T. 61. - №. 1. -C. 84-111.

250 Cowan C.K., Bergman A., Nitzan D. Automatic placement of vision sensors // 1990 NSF Manufacturing System Research Conference. - 1990. - C. 389-395.

251 Араканцев К.Г. Исследование и разработка стереоскопической оптико-электронной системы контроля пространственного положения

железнодорожного пути: Дис. канд. техн. наук: 05.11.07 / Араканцев Константин Геннадьевич. - СПб: Университет ИТМО, 2011. - 163 с.

252 Като Т. Теория возмущений линейных операторов. - Изд-во «Мир», 1972-739 с.

253 P. Wedin, G. Wikstrom. First Order Error Analysis of a Linear System of Equations by use of Error Propagation Matrices connected to the Pseudo Inverse Solution // Proceedings of the Householder Symposium XV, 2005. -31 c.

254 Гонсалес P., Вудс P. Цифровая обработка изображений. - M.: Техносфера, 2005. - 1072 с.

255 Olague G., Mohr R. Optimal camera placement to obtain accurate 3d point positions // Proceeding. Fourteenth International Conference on Pattern Recognition (Cat. No. 98EX170). - IEEE, 1998.-T. l.-C. 8-10.

256 Brown D.C. Application of close-range photogrammetry to measurements of structures in orbit - Geodetic Services Incorporated, 1980.

257 Fraser C. Limiting error propagation in network design (in photogrammetry) // Photogrammetic Engineering and Remote Sensing. - 1987. - T. 53.-C. 487-493.

258 Джабиев A.H., Коняхин И.А., Панков Э.Д. Автоколлимационные углоизмерительные средства мониторинга деформаций. - СПб: СПб ГИТМО (ТУ), 2000.- 197 с.

259 Hoang V.P., Konyakhin I.A., Turgalieva T.V., Liu F. AUTOCOLLIMATING SYSTEM FOR PRECISE MEASURING OF THREE ANGULAR COORDINATES // Proceedings of SPIE - The International Society for Optical Engineering. 5. Сер. "Optical Sensing and Detection Vм 2018. С. 106802C.

260 JI. Шапиро, Дж. Стокман Компьютерное зрение - М.: БИНОМ. Лаборатория знаний, 2006. - 752 е.: ил., [8] с цв. вкл. - (Лучший зарубежный учебник). - ISBN 5-94774-384-1

261 Olague G., Mohr R. Optimal camera placement to obtain accurate 3d point positions // Proceeding. Fourteenth International Conference on Pattern Recognition (Cat.No. 98EX170).- IEEE, 1998.-T. l.-C. 8-10.

262 Рутковская Д., Пилиньский М., Рутковский JI. Нейтронные сети, генетические алгоритмы и нечеткие систем; Пер. с польск. И.Д. Рудинского: учебное пособие / Д. Рутковская, М. Пилиньский, JI. Рутковский. - 2-е изд. -Москва: Горячая линия-Телеком, 2013. - 384с.

263 Гладков JI.A., Курейчик В.В., Курейчик В.М. Генетические алгоритмы / Под ред. В.М. Курейчика. - 2-е изд., испр. и доп. - М.: ФИЗМАТЛИТ, 2006. - 320 с.

264 Емельянов В.В., Курейчик В.В., Курейчик В.М. Теория и практика эволюционного моделирования. - М: Физматлит, 2003. - 432 с

265 Динь Б. М., Тимофеев А. Н., Коротаев В. В., Тургалиева Т. В. Мультикамерная система определения размера плодов сложной формы // Изв. вузов. Приборостроение. 2021. Т. 64, № 8. С. 656—666.

266 Андреев A. JI. Моделирование и расчет автоматизированных видеоинформационных систем наблюдения за объектами. Методические указания к лабораторным работам. - СПб: НИУ ИТМО, 2013. - 82 стр

267 Salvi J., Armangue X., Batlle J. A comparative review of camera calibrating methods with accuracy evaluation // Pattern recognition. - 2002. - T. 35 №. l.-C. 1617-1635.

268 Maybank S.J., Faugeras O.D. A theory of self-calibration of a moving camera // International journal of computer vision. - 1992. - T. 8. - №. 2. - C. 123-151.

269 Jin J., Li X. Efficient self-calibration based on the absolute dual quadric // JOSA A. - 2013. - T. 30. - №. 3. - C. 287-292.

270 Svoboda T. A software for complete calibration of multicamera systems //Image and Video Communications and Processing 2005. - International Society for Optics and Photonics, 2005. - T. 5685. - С. 115-128.

271 Abdel-Aziz Y., Karara H. M. Direct linear transformation into object space coordinates in close-range photogrammetry, in proc. symp. close-range photogrammetry //Urbana-Champaign. - 1971. - C. 1-18.

272 Tsai R. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses //IEEE Journal on Robotics and Automation. - 1987. - T. 3. - №. 4. - C. 323-344.

273 Andrew A. M. Multiple view geometry in computer vision //Kybemetes. -2001.

274 Zhang Z. Flexible camera calibration by viewing a plane from unknown orientations // Proceeding of the seventh IEEE international conference on computer vision. - IEEE. 1999. - Т. 1. - C. 666-673.

275 P. Шеннона Дж. Вайанта, «Проектирование оптических систем». М., изд-во Мир, 1989.

276 Порфирьев Л.Ф Основы теории преобразования сигналов в оптико-электронных системах: Учебник. - 2-е изд., - СПб: Издательство «Лань», 2013. -400 с.

277 Якушенков Ю.Г. Основы оптико-электронного приборостроения: учебник. - 2-е изд., перераб. и доп. / Ю.Г. Якушенков. - М.: Логос, 2013. - 376 е.: ил. (Новая университетская библиотека).

278 Коротаев В. В., Мараев А. А., Тимофеев А. Н. Телеориентирование в луче с оптической равносигнальной зоной //СПб: Университет ИТМО. - 2015.

279 Замечания АО «РКЦ «Прогресс к статье Свридов К. Н. О предельном инструментальном разрешении космического аппарата «Ресурс-П» // Ракетно-космическое приборостроение и информационные системы. 2018. Т. 5. № 1. С. 48-51.

280 Кирилловский В.К. Современные оптические исследования и измерения: Учебное пособие. - СПб.: Издательство «Лань», 2010 - 304 е.: (Учебник для вузов. Специальная литература).

281 Хмелевской С.И., Тенденции в развитии цифровых аэрокосмических систем. Критерии сравнения и оценки, Геопрофи, 2011, № 1, с. 11.

282 Замшин B.B. «Методы определения линейной разрешающей способности оптических и радиолокационных аэрокосмических изображений», Известия ВУЗов, геодезия и аэрофотосъемка, 2014, № 1, с. 43.

283 Алтынов А.Е., Севастьянова М.Н., Серебряков С.А Расчет пространственного разрешения съемочной системы Учебно-методическое пособие // М.: МИГАиК, 2019. - 26 с.

284 ГОСТ 2819-84 Материалы фотографические. Метод определения разрешающей способности //М.: Издательство стандартов 1984, - 8 с.

285 ГОСТ 15114-78 Системы телескопические для оптических приборов. Визуальный метод определения предела разрешения //М.: Издательство стандартов 1999. - 8 с.

286 Балалаева И.В., Сергеева Е.А., Катичев А.Р. Оптическая микроскопия в исследовании структуры и функций биологических объектов. Часть 1. Широко по льная оптическая микроскопия: Учебно-методическое пособие. - Нижний Новгород: Нижегородский госуниверситет, 2012. - 58 с.

287 Вегерхофф Р., Вайдлих О., Кассенс М. Основы световой микроскопии и формирования изображения. - Германия, Вайнхайм: Изд-во GIT VERLAG GmbH & Co.KG, 2005. - 52 с.

288 Бухтияров А.Д. Студийное освещение в портретной съемке Книга света /М.; 2005- 139 с.

289 Хантер Фил, Бивер, Стивен, Фукуа Пол Освещение в фотографии. Библия света / М, С-Пб, :, Питер 2014, - 331 с.

290 Борис Крупник Свет Наше Всё / Украина, 2020 -152 с.

291 Фельдман Я. Д., Курский JI. Д. Ф39 Техника и технология фотосъемки: Учеб. пособие для техникумов /Под ред. Р. Н. Ильина.— М.: Легкая и пищевая промышленность, 1981.—240 с.

292 Фотопризер. Электронный журнал. - Режим доступа: http://www.fotoprizer.m/articles/teoria-fotografii/chto-takoe-format-kadra-i-ego-vi di/190/?q=1335&n=190.

293 In-Sight 7000 vision systems

294https://wwwxognexxom/ru-ru/what-is/machine-vision/components/light

295 Norman Koren The Imatest program: comparing cameras with different amounts of sharpening Proc. SPIE. 6069, Digital Photography IProceedings Paper | 10 February 2006

296 Horst Beyer, Thomas Kersten, Andre Streilein Metric accuracy performance of solid state camera systems //Proceedings Paper | 24 February 1993 Proc. SPIE. 1820, Videometrics

297 Mehmet Alkan, Gurcan Buyuksalih, Umut Sefercik, Karsten Jacobsen Geometric accuracy and information content of World View-1 images //Optical Engineering Vol. 52, Issue 2 (Feb 2013)

298 Norman Koren. Understanding image sharpness and MTF curves, http: //www. normankoren. com/Tuto rials/MTF. html

299 Anastasiia D. Chistiakova, Victoria A. Ryzhova, Minh D. В., Valery V. Korotaev. Principles of experimental research of sensitivity inhomogeneity of matrix sensors //Optical Sensors 2021. - International Society for Optics and Photonics, 2021.-Т. 11772.-C. 11772Ю.

300 ГОСТ P 56228-2014

301 Белоусов Ю.И., Постников E.C. Инфракрасная фотоника. Часть II. Особенности регистрации и анализа тепловых полей. Учеб. пособие. - СПб: Университет ИТМО, 2019. - 101 с.

302 Русинов М.М., Грамматин А.П., Иванов П.Д. и др. // Вычислительная оптика. Справочник, издательство «Либроком». - 2009. -424с.

303 Свридов К. Н. О предельном инструментальном разрешении космического аппарата «Ресурс-П» // Ракетно-космическое приборостроение и информационные системы. 2017. Т. 4. № 2. С. 20-28

304 Свиридов К. Н., Тюлин А. Е, Пулинец С. А Новая оценка линейного инструментального разрешения на местности космических аппаратов

дистанционного зондирования Земли для совершенного проектирования их оптико-электронной аппаратуры //Современные проблемы дистанционного зондирования Земли из космоса. 2020. Т. 17. № 1. С. 59-67.

305 Вендровский К.В., Вейдман А.И. Фотографическая структурометрия - М.: Наука, 1982. - 300 с.

306 Чуриловский В.Н. Теория оптических приборов. - M.-JL: Машиностроение, 1966. - 564 с

307 Апенко, М.И., Дубовик A.C. Прикладная оптика. - М.: Наука, 1971. -

392 с.

308 Коротаев В.В., Мараев A.A., Тимофеев А.Н. Телеориентирование в луче с оптической равносигнальной зоной. Монография - СПб.: Университет ИТМО, 2015.- 339 с.

309 Kingbright [Электронный ресурс] Режим доступа: http://www.kingbright.com (дата обращения 01.02.2018).

310 Betlux [Электронный ресурс] Режим доступа: http://www.betlux.com (дата обращения 01.02.2018).

311 Динь Ба Минь, Фам Нгок Туан, Пантюшина E.H., Тимофеев А.Н., Васильев A.C., Влияние скорости движения оптико-электронной системы на погрешность контроля положения железнодорожного пути // Известия высших учебных заведений. Приборостроение - 2018. - Т. 61. - № 9. - С. 814-822.

312 Динь Б.М., Коротаев В.В., Тимофеев А.Н., Ярышев С.Н., Фам Н. Влияние времени экспозиции на погрешность определения координат реперных меток оптико-электронной системой контроля железнодорожного пути // Труды XIII Международная конференция "Прикладная оптика-2018" (18-21 декабря 2018г.): сборник трудов конференции - 2018. - Т. 2. - С. 137-141.

313 Yuan X., Shen X. Block matching algorithm based on particle swarm optimization for motion estimation // 2008 International Conference on Embedded Software and Systems. - IEEE, 2008. - C. 191-195.

314 Xiaoping L. et al. Fast Aerial UAV Detection Using Improved Inter-frame Difference and SVM // Journal of Physics Conference Series. - IOP Publishing, 2019. -Т. 1187.-Ж 3.-C. 032082.

315 Davies D., Palmer P., Mirmehdi M. Detection and Tracking of Very Small Low Contrast Objects. - 1998.

316 Андреев A. JI., Бурдова H. А., Коротаев В. В. Алгоритм пространственной временной селекции сигналов в адаптивных системах наблюдения за подвижными объектами // Науч.-техн. вестн. СПбГУ ИТМО. 2011. №4 (74).

317 Фам Нгок Туан, Пантюшина Е. Н., Тимофеев А. Н., Васильев А. С., Динь Ба Минь. Влияние скорости движения оптико-электронной системы на погрешность контроля положения железнодорожного пути // Изв. вузов. Приборостроение. 2018. Т. 61, № 9. С. 814—822.

318 Андреев А. Л., Вараткова А. П. Эффективность алгоритмов формирования и обработки межкадрового разностного сигнала при обнаружении объектов в сложных условиях наблюдения//ИЗВ. ВУЗОВ. ПРИБОРОСТРОЕНИЕ. 2013. Т. 56, № 11 с. 33 - 38

319 Dinh В. Minh, Igor A. Konyakhin, Aleksandr N. Timofeev, Valery V. Korotaev, Increasing the reliability of decision making by improving the characteristics of optoelectronic channels ensuring the separation of complex shape fruit // Springer: Studies in System, Decision and Control. - 2021. - T. 352. - C. 229-239.

320 Цвет в промышленности / Под ред. Р. Мак-Дональда: Пер. с англ. - М.: Логос, 2002. - 596 с.

321 Основы теории цвета и цветовоспроизведения [Электронный ресурс]. - Режим доступа: http://vunivere.ru/work3767/page7

322 Цвет, управление цветом, цветовые расчеты и измерения / М.В. Домасев, С.П. Гнатюк. - СПб.: Питер, 2009. - 217 с

323 Годен Ж. Колориметрия при видеообработке: Пер. с франц.- М.: Техносфера, 2008. - 328 с.

324 Пальчикова, И.Г. Интервальная оценка параметров цвета из цифровых изо-бражений / И.Г. Пальчикова, Е.С. Смирнов // Компьютерная оптика. - 2017. -Т. 41, № 1.-С. 95-102.

325 Вакуленко А.Д., Горбунова Е.В., Чертов А.Н. Критерии применимости цветовых пространств в оптико-электронных системах цветового анализа минералов //Научно-технический вестник информационных технологий, механики и оптики. - 2012. - Т. 79. - №. 3. - С. 156.

326 Сайт www.bmcelindbloom.com.

327 Горбунова Е.В., Чертов А.Н. Типовые расчеты по колориметрии источников излучения. Учебное пособие. - СПб: Университет ИТМО, 2014. — 90 с.

328 Горбунова Е.В., Чертов А.Н. Колориметрия источников излучения. Учебное пособие. - СПб: Университе ИТМО, 2015. - 126 с.

329 Mallah С. et al. Plant leaf classification using probabilistic integration of shape, texture and margin features // Signal processing, Pattern Recognition and Applications. - 2013.-T. 5.-№. 1.

330 Beghin Т., Cope J.S., Remagnino P., Barman S. Shape and texture based plant leaf classification // International Conference on Advanced Concepts for Intelligent Vision Systems. - Springer, Berlin, Heidelberg, 2010. - C. 345-353.

331 Jomma H.D., Hussein A.I. Circle views signature: a novel shape representation for shape recognition and retrieval // Canadian Journal of Electrical and computer Engineering. - 2016. - T. 39. - №. 4. - C. 274-282.

332 Belongie S., Malik J., Puzicha J. Shape matching and object recognition using shape contexts // IEEE Transaction on Pattern Analysis and machine intelligence. - 2002. - T. 24. - №. 4. - C. 509-522.

333 Bai X., Rao C., Wang X. Shape vocabulary: a robust and efficient shape rep- resentation for shape matching // IEEE Transaction on Image Processing. -2014. - T. 23. - №. 9. - C. 3935-3949.

334 Wang X. et al. Bag of contour fragments for robust shape classification // Pattern Recognition. - 2014. - T. 47. - №. 6. - C. 2116-2125.

335 CIEL AB. - Текст: электронный // Википедия: [сайт]. - URL: https://ru.wikipedia.org/wiki/LAB

336 Текст: электронный // Компания Mathwork: [сайт]. URL: https://www.mathworks.com/help/images/ref/regionprops.html

337 Ocean Insight. - Текст : электронный // Krypton Light Source. - URL: https://www.oceaninsight.com/globalassets/catalog-blocks-and-images/catalog-blo cks-and-images/light-sources/visible-and-nir-light-sources/ecovis-vis-nir-source— -spliced-spectrum-output.pdf (дата обращения 20.05.2021).

338 ГК Геоскан. - Текст: электронный // Agisoft Metashape Standard. -URL: https://www.geoscan.aero/ru/software/agisoft/metashape_standard

339 Динь Ба Минь, Коротаев В. В., Тимофеев А. Н., Ярышев С. Н. Влияние характеристик модулей стенда на погрешности определения параметров видеокамер с матричными КМОПфотоприемниками // Изв. вузов. Приборостроение. 2020. Т. 63, № 1. С. 46—54.

340 Козик В.И., Нежевенко Е.С. Калибровка телевизионных датчиков при расположении измеряемых объектов в труднодоступных местах // Изв. Вузов. Приборостроение. 2009. Т. 52, № 6. С. 21 - 26.

341 Zotov A.A., Pavlov N. I., Sakyan A.S., Sidorovskii N.V., Starchenko A.N., Filippov V.G. Investigation of the characteristics of spectrozonal television photometric apparatus in the passive ragime // Journal of Optical Technology. -2006.-T. 73.-C. 111-116.

342 Михайлов А., Дронов Ю., Топорков Д. Некоторые особенности выбора видеокамер, применяемые в системах безопасности // Алгоритм безопасности. - 2014. -№. 5. - С. 98.

343 Джакония В.Е., Гоголь A.A., Друзин Я.В. Телевидения. М.: «Горячая линия - Телеком», 2007. 640 с.

344 Ефремов В. Системы видеонаблюдения реального времени -современные решения // Электроника наука, технология, бизнес. - 2014. - №. 7.-С. 92 -103.

345 Козик В.И., Нежевенко Е.С. Калибровка телевизионных датчиков при расположении измеряемых объектов в труднодоступных местах // Изв. Вузов. Приборостроение. - 2009. - Т. 52. - №. 6. - С. 21-26.

346 Starchenko A.N., Filippov V.G., Yu. A.Y. Study of the temperature dependence of the sensitivity of a television camera based on a silicon array // Journal of Optical Technology. - 2013. - T. 80. - C. 632-634.

347 Ярышев C.H., Сычева E.A. Методические указания по выполнению лабораторных работ по курсу Видеоаналитика и цифровая обработка видеосигнала: Учебно-методическое пособие - Санкт-Петербург: СПб: Университет ИТМО, 2017. - 92 с.

348 Программа OSC16. Руководство пользователя. Санкт-Петербург, ЗАО «ЭВС», 2006.-36 с.

349 Кормен Т.Х., Лейзерсон Ч.И., Ривест, Р.Л., Штайн К. Алгоритмы. Построение и анализ, 2-издание.: Пер. с англ. М.: Издательский дом «Вильяме», 2011. 1296 с.

350 OV5610 Color CMOS QSXGA (5.17 MPixel) CAMERACHIP with OmniPixel Technology Data Sheet Omni Vision, 2006.

351 Телевизионные камеры с интерфейсом USB2.0 VEA-135, VEI-135, VEI-235, VEI-335, VEC-135, VEC-235, VEC-335, VEC-535. Руководство пользователя, Санкт-Петербург, ЗАО «ЭВС», 2005.

352 Minh D.B., Korotaev V.V., Yaryshev S.N., Maraev A.A., Nekrylov I.S., Vasileva A.V. Influence of test bench parameters on determination of CMOS-cameras feature //Optical Measurement Systems for Industrial Inspection XI. - International Society for Optics and Photonics, 2019. - T. 11056. - C. 110562H.

ПРИЛОЖЕНИЕ 1 - Акты использования

АКТ ИСПОЛЬЗОВАНИЯ

научных результатов диссертации Дииь Ба Минь на тему «Исследование многоканальной оптико-электронной системы обеспечения сепарации фруктов сложной формы», представленной на соискание учёной степени кандидата технических наук по специальности 05.11.07 - «Оптические и оптико-электронные приборы и комплексы».

Комиссия в составе председателя к.т.н,, доцента Чертова А.Н. и членов комиссии к.т.н., доцента Васильева А. С. и к.т.н., Михеева C.B. составила настоящий акт о том, что при испытаниях образцов по договору № 218863 «Разработка аппаратно-программного комплекса для оценки стекловидности зерновых культур» были использованы результаты диссертации Динь Ба Минь «Исследование многоканальной оптико-электронной системы обеспечения сепарации фруктов сложной формы», а именно, алгоритм межкадровой разности при сортировке зерна, позволяющий определить границы при разделении зерна на разные классы по их соответствующим качественным признакам и выполнить оценку погрешностей определения показателей качества зерна.

Председатель комиссии Члены комиссии

Чертов А.Н. Васильев A.C. Михеев C.B.

«dL.»

в.о.

АКТ ИСПОЛЬЗОВАНИЯ

научных результатов диссертации Динь Ба Минь на тему «Исследование многоканальной оптико-электронной системы обеспечения сепарации фруктов сложной формы», представленной на соискание учёной степени кандидата технических наук по специальности 05.11.07 - «Оптические и оптико-электронные приборы и комплексы».

Комиссия в составе председателя профессора, д.т.н. В.В. Коротаева и членов комиссии доцента, к.т.н. A.A. Горбачёва и ассистента, к.т.н. A.A. Мараева составила настоящий акт о том, что материалы диссертации Динь Ба Минь «Исследование многоканальной оптико-электронной систем обеспечения сепарации фруктов сложной формы» использованы в курсе лекций и лабораторных работ дисциплины «Обработка информации в оптико-электронных приборах» профиля подготовки бакалавра «Оптико-электронные приборы и системы» по направлению подготовки 12.03.02 -Оптотехника, а именно, методика оптимизации размещения и калибровки видеокамер в многокамерной системе технического зрения, обеспечивающая минимальную погрешность определения координат исследуемых пространственных точек.

Председатель комиссии Члены комиссии

ОПТИЧЕСКИЕ И ОПТИКО-ЭЛЕКТРОННЫЕ ПРИБОРЫ И СИСТЕМЫ

УДК 681.78

DOI: 10.17586/0021-3454-2021-64-8-656-666

МУЛЬТИКАМЕРНАЯ СИСТЕМА ОПРЕДЕЛЕНИЯ РАЗМЕРА ПЛОДОВ СЛОЖНОЙ ФОРМЫ

Б. М. Динь, А. Н. Тимофеев, В. В. Коротаев, Т. В. Тургалиева

Университет ИТМО, 197101, Санкт-Петербург, Россия E-mail: [e-mail]

Предложена структура оптико-электронной системы обеспечения сепарации плодов сложной формы по их геометрическим параметрам. Описан и апробирован генетический алгоритм для решения задачи оптимизации расположения видеокамер в соответствующих сегментах пространства по критерию обеспечения требуемой погрешности определения формы плода. Имитационное моделирование работы системы показало, что для четырех видеокамер при восстановлении формы плодов с погрешностью 18 мкм в генетическом алгоритме достаточно использовать популяцию из 30 особей. Найдены параметры пространственной ориентации четырех видеокамер, расположенных на расстоянии 500 мм от плода, для оценочной функции погрешности восстановления трехмерных координат точек плода 3,5 мкм.

Ключевые слова: бесконтактный контроль, оптико-электронная система, пространственное расположение видеокамер, генетический алгоритм, обработка изображений, оценка геометрических параметров, оценочная функция, сортировка плодов

Введение. Необходимость повышения производительности работ при сборе и сепарации сельскохозяйственной продукции привело к активным исследованиям и разработкам соответствующих интеллектуальных роботизированных систем [1, 2]. Такие системы обычно содержат несколько видеокамер и источников подсветки, которые позволяют сортировать по геометрическим параметрам формы, текстуры поверхности и цвета трехмерной модели плодов простой формы [3—5]. Однако для получения более корректных результатов сортировки фруктов и овощей сложной формы (ананас, питайя, цветная капуста и т.д.) требуется снижать погрешность оценки параметров трехмерной формы плода [6—8]. Одним из путей частичного решения указанной задачи является увеличение числа специально ориентированных видеокамер — в зависимости от конкретной задачи и сложности контролируемых параметров до десятка. Это приводит к усложнению как алгоритмов обработки информации, так и задач калибровки системы [9, 10].

Оптико-электронные системы обеспечения сортировки (ОЭСОС) позволяют решить ряд задач, связанных с бесконтактным контролем геометрических параметров размера и формы плодов [11, 12]. Например, для количественной оценки размера и формы плода используются проекция площади, периметр, размер главной и второстепенной осей эллипсов в изображении плода [13, 14]. В этом случае требуется определять координаты точек трехмерной модели плодов сложной формы.

Анализ интеллектуальных роботизированных систем сортировки фруктов и овощей [15—17] позволил сформировать модульную структуру мультикамерной ОЭСОС, состоящей из нескольких видеокамер ВК (рис. 1), источников импульсного освещения ИИ, блока синхронизации БС и базового компьютера БК. Предлагаемая конструкция позволяет легко изменять систему под класс сформулированных требований автоматической сортировки при одновременном выполнении оптимальных процедур обработки геометрических параметров формы плода. Компьютер и БС управляют режимами ИИ и ВК для получения оптимального контраста [10, 18]. Трехмерные изображения позволяют определить геометрические параметры „основного тела" плода сложной формы без погрешностей, возникающих из-за наблюдения „неинформативных частей" плода (листьев, стеблей и т.д.) [19].

Целью работы является поиск оптимального расположения видеокамер для определения геометрических параметров формы плодов с требуемыми значениями погрешности при условии предварительной калибровки, позволяющей определить внутренние и внешние параметры видеокамер.

Методика пространственной ориентации нескольких ВК. В рассматриваемой схеме (рис. 1) обозначим центральную точку О зоны анализа и свяжем с ней систему координат ОХУ2. Наблюдаемая точка Р (рис. 2) в центре экспонирования и соответствующая ей точка р изображения лежат на одной прямой [20]. Ориентацию каждой ВКг будем определять в сферической системе координат с азимутальным углом фг-, полярным углом 9г- и радиусом г, где г — номер видеокамеры. Для каждой ВК введем систему координат ОсХсУс^с, плоскость ОсХсУа которой совпадает с главной плоскостью объектива ВКг. На расстоянии а\ от системы координат ОсХсУс^а расположим матричный приемник ВКг.

Точка плода Р,- с координатами (X,-, У,-, ) изображается на матричном приемнике

ВКг точкой р- с координатами ; - — 1,..., п — номер точки плода. Будем полагать,

что погрешности координат точек изображения плода возникают исключительно из-за погрешностей в измерениях координат изображения [21, 22].

Рис. 1

(и0,У0У\Ру(и,у)

Рис. 2

В этом случае координаты (X-, У-, 2 ^ ) точки плода Р- в системе 0ХУ2 связаны с координатами (и-, V- ) точки р, в плоскости изображений ВКу следующим образом:

Чу = му • О -, (1)

где Чу =

1

О,

ХУ

У,

1

Му — проективная матрица видеокамеры ВКу.

Проективная матрица Му описывает связь координат точек в пространстве объектов и