Разработка роботизированного устройства для распознавания столовой свеклы и сорной растительности тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Дышеков Артур Изнаурович

• Дышеков Артур Изнаурович
• кандидат наук
• 2024

Оглавление диссертации кандидат наук Дышеков Артур Изнаурович

ВВЕДЕНИЕ

ГЛАВА 1. СОСТОЯНИЕ ВОПРОСА, ЦЕЛИ И ЗАДАЧИ ИССЛЕДОВАНИЯ

1.1 Определение основных видов сорной растительности и обзор жизненного цикла растений для оптимизации их контроля

1.2 Анализ работ по использованию технического зрения для определения и идентификации сорной растительности

1.3 Анализ методов удаления сорной растительности при выращивании сельскохозяйственных культур

1.4 Анализ роботизированных комплексов для контроля сорной растительности

1.5 Анализ требований к разработке роботизированных комплексов

1.6 Анализ основных алгоритмов, используемых для идентификации сорной растительности

1.7 Выводы по первой главе

ГЛАВА 2. ОБОСНОВАНИЕ ПАРАМЕТРОВ И РЕЖИМОВ РАБОТЫ РОБОТИЗИРОВАННОГО КОМПЛЕКСА КОНТРОЛЯ СОРНОЙ РАСТИТЕЛЬНОСТИ ПРИ ПРОИЗВОДСТВЕ СТОЛОВОЙ СВЕКЛЫ

2.1 Определение объекта сорной растительности на изображении посредством методов цветовой сегментации

2.2 Описание алгоритма работы роботизированного комплекса мониторинга сорной растительности

2.3 Моделирование работы системы распознавания в симуляции Gazebo

2.4 Разработка испытательного стенда и роботизированного устройства для мониторинга и дальнейшей борьбы с сорной растительностью

2.5 Разработка модульной робототехнической платформы для приведения в движение роботизированной установки

2.6 Обоснование конструкции рабочего органа роботизированного устройства для мониторинга и точечной борьбы с сорной растительностью

2.7 Выводы по второй главе

ГЛАВА 3. ПРОГРАММА И МЕТОДИКА ЭКСПЕРИМЕНТАЛЬНЫХ ИССЛЕДОВАНИЙ

3.1 Программа экспериментальных исследований

3.2 Методики экспериментальных исследований

3.2.1 Методика определения рабочих параметров роботизированного устройства

3.2.2 Методика обоснования работы системы технического зрения для контроля сорной растительности с учетом различной степени освещения

3.2.3 Методика исследований работы системы технического зрения с учетом расстояния до растения

3.2.4 Метод оценки точности работы алгоритма распознавания роботизированного устройства для контроля сорной растительности

3.2.5 Методика оценки точности позиционирования и движения робототехнической платформы

3.3 Выводы по третьей главе

ГЛАВА 4. РЕЗУЛЬТАТЫ ЭКСПЕРИМЕНТАЛЬНЫХ ИССЛЕДОВАНИЙ

4.1 Результаты исследований работы системы технического зрения для контроля сорной растительности с учетом различной степени освещения

4.2 Результаты исследований работы системы технического зрения с учетом расстояния до растения

4.3 Оценка точности работы алгоритма распознавания роботизированного устройства для контроля сорной растительности

4.4 Оценка точности позиционирования и движения робототехнической платформы

4.5 Результаты полевых испытаний роботизированного комплекса для мониторинга сорной растительности

4.6 Выводы по четвёртой главе

ГЛАВА 5. ЭКОНОМИЧЕСКИЙ РАСЧЕТ ЭФФЕКТИВНОСТИ РОБОТИЗИРОВАННОГО КОМПЛЕКСА ДЛЯ БОРЬБЫ С СОРНОЙ РАСТИТЕЛЬНОСТЬЮ

5.1 Введение

5.2 Расчеты экономической эффективности

5.2.1 Расчет затрат и прибыли на прополку при ручном труде

5.2.2 Расчет затрат и прибыли на прополку роботом

5.3 Выводы по пятой главе

ЗАКЛЮЧЕНИЕ

СПИСОК СОКРАЩЕНИЙ

СПИСОК ЛИТЕРАТУРЫ

ПРИЛОЖЕНИЕ А МОРФОЛОГИЧЕСКАЯ ДИАГРАММА ПРОЦЕССОВ

ПРИЛОЖЕНИЕ Б СВИДЕТЕЛЬСТВА ОБ ИНТЕЛЛЕКТУАЛЬНОЙ СОБСТВЕННОСТИ

ПРИЛОЖЕНИЕ В ОБЩИЙ ВИД И СПЕЦИФИКАЦИЯ

ПРИЛОЖЕНИЕ Г СЕРТИФИКАТЫ И ДИПЛОМЫ

ПРИЛОЖЕНИЕ Д СПРАВКИ И АКТЫ

ПРИЛОЖЕНИЕ Е АКТ ПРОИЗВОДСТВЕННОЙ ПРОВЕРКИ

ВВЕДЕНИЕ

Введение диссертации (часть автореферата) на тему «Разработка роботизированного устройства для распознавания столовой свеклы и сорной растительности»

Актуальность работы.

Сорная растительность - конкурент сельскохозяйственных растений в борьбе за такие ресурсы, как вода, свет и питательные вещества [1].

В органическом земледелии плотных рядовых культур удаление сорной растительности все еще выполняется вручную, что приводит к высокой стоимости конечной продукции [2]. Кроме того, это очень трудоемкая задача для человека, при этом робот может справиться с ней превосходно. Уничтожить сорную растительности можно, не только вырвав его из земли с корнем, но и срезав, расплющив или забив в землю, а с такой работой очень эффективно могут справляться роботы [3].

Использование роботизированных средств, которые способны автономно бороться с сорной растительностью, для решения подобных проблем позволяет применять альтернативные методы борьбы с сорной растительностью [4]. За последние 20 лет в исследования альтернативных методов уничтожения сорной растительности развивались в направлении применения механической, тепловой и радиационной энергии [5]. Можно утверждать, что эти исследования не переросли в широкое практическое использование из-за большей экономической эффективности химических реагентов. Роботизированные пропольщики могут работать в группах и снижать скорость прохода каждой отдельной машины без значительного увеличения времени, необходимого для операции прополки в целом. Снижение требований к скорости обеспечивает возможность применения альтернативных и энергоэффективных методов прополки [6].

Платформа для прополки имеет два ключевых полезных эффекта: - во-первых, - небольшие размеры и масса робота по сравнению с другой сельскохозяйственной техникой уменьшают уплотнение почвы, отрицательно влияющее на развитие корневой системы [7], а в итоге и на урожайность;

- второе, - во время обхода участка земли роботы для прополки могут нести датчики для сбора данных, которые можно использовать в других аспектах управления урожаем [8], это, например, питание, нехватка воды, наличие вредителей и признаков развития болезней.

За последние десятилетия чрезмерная зависимость от гербицидов при производстве столовой свеклы вызвала серьезные экологические и биологические проблемы, такие как загрязнение почвы и подземных вод, а также появление сорной растительности, устойчивых к основным гербицидам [9]. Потенциальным решением для сокращения использования гербицидов при сохранении контроля уровня сорной растительности является совместное использование химической и механической прополки. Точное обнаружение и локализация местоположения сорной растительности являются необходимыми условиями для реализации такой стратегии контроля [10].

В данном исследовании представлена разработанная система машинного зрения для распознавания сорной растительности, основанная на использовании контурных и цветовых свойств сорной растительности. В систему включен алгоритм сегментации изображений с помощью библиотеки OpenCV (Python) для бинаризации изображений цветной сорной растительности для последующей обработки изображений и процедур извлечения признаков [11]. Впоследствии создан классификатор на основе машины поддержки (МП) для опознавания различных видов сорной растительности с использованием семи морфологических признаков и наработан комплект данных, входящих в библиотеку [3].

Улучшение эффективности удобрений и снижение загрязнения окружающей среды гербицидами достижимо с использованием роботизированного комплекса, способного распознавать сорные растения [13]. Применение этой технологии необходимо, поскольку:

- зачастую сорная растительность встречается в рядках, поэтому они с меньшей вероятностью распределяются по полю равномерно. В этом контексте

обычная практика внесения гербицидов равномерно по всей поверхности почвы неэкономична, так как участки, где сорная растительность отсутствует или их мало получат ту же дозу гербицида, что и сильно зараженные сорной растительностью участки поля [14];

- обработка гербицидами, на которые приходится 71,2% посевов столовой свеклы привела к значительным экологическим рискам: загрязнению почвы и грунтовых вод. Возрастающее общественное опасение по поводу рисков для здоровья, связанных с гербицидными остатками, оказывает большое давление на производителей столовой свеклы для снижения уровня агрохимикатов в ручьях, реках и почве [15];

- генетическое разнообразие в видах сорной растительности позволяет им быстро приспосабливаться к изменениям окружающей среды. Все больше сорной растительности становится устойчивы к гербицидам после повторных обработок. Например, распространенные щирица и щетинники являются наиболее проблематичными видами сорной растительности в России, что в основном объясняется их высокой генетической изменчивостью семян и дифференциальными ответами на гербициды [16].

Исследование направлено на решение вышеописанных проблем, управление уровнем сорной растительности с использованием и внесением гербицидов на конкретном участке. Метод контроля в данном случае определяется как способ, предусматривающий механическое или химическое уничтожение сорной растительности в зависимости от реакции последних на гербициды и близости их произрастания к культурным растениям.

Исследования, составившие основу диссертационной работы, выполнены в ФГБНУ ФНАЦ ВИМ по плану НИОКР на 2017-2020 гг.

Цель работы. Разработка метода, алгоритма и роботизированного устройства для распознавания и последующего уничтожения сорной растительности на ранних стадиях роста свеклы.

Основные задачи выполняемой работы:

1. Разработать методику автоматизированного распознавания растений столовой свеклы на ранних стадиях роста;

2. Создать библиотеку изображений растений на ранних стадиях роста на основе системы визуализации культурного растения и сорной растительности;

3. Разработать роботизированное устройство для системы распознавания и роботизированный комплекс для выполнения технологических процессов в полевых условиях;

4. Провести лабораторные и полевые эксперименты для оценки точности алгоритма распознавания и работы роботизированного комплекса для контроля сорной растительности;

5. Провести оценку экономической эффективности выполнения прополки с использованием роботизированных машин.

Объект исследования. Автономное роботизированное устройство для мониторинга сорной растительности.

Предмет исследования. Модель распознавания для идентификации и контроля сорной растительности на ранних стадиях роста свеклы в системе точного земледелия.

Научная новизна исследований:

- компьютерная модель работы роботизированного комплекса контроля свеклы и сорной растительности;

- методика автоматизированного распознавания и контроля сорной растительности для задач мониторинга сельскохозяйственных объектов;

- алгоритм работы распознавания столовой свеклы и сорной растительности методом сегментации и сравнения;

- модель оценки точности работы алгоритма распознавания автономным роботизированным устройством в зависимости от расстояния до растений при различной степени освещённости;

Практическая значимость исследований. Применение разработанной платформы позволяет проводить технологические процессы контроля сорной растительности на ранних этапах роста свекольной культуры. По результатам исследования обоснованы рациональные конструктивные и технологические параметры роботизированного комплекса, разработан опытный образец роботизированного комплекса для точечной борьбы с сорной растительностью, методика расчета способов и технологических процессов контроля сорной растительности, программное обеспечение для ЭВМ «Система управления роботизированного ухода за сельскохозяйственными культурами», программное обеспечение для ЭВМ «Модель распознавания и контроля сорной растительности для задач функционирования автономного устройства для точного земледелия» , программное обеспечение для ЭВМ «Система управления роботизированной платформы и рабочего органа для обработки сорной растительности». Результаты научно-исследовательской работы используются в учебном процессе вузов и компании РФ см. Приложение Д (акт ФГБОУ ВО «КБГАУ имени В. М. Кокова», акт МФ МГТУ имени Н. Э. Баумана, справка ООО «Прикладная робототехника»).

Реализация результатов. Подтверждается актом производственной проверки (Приложение Е) роботизированного комплекса на промышленной плантации свеклы в научно-производственном отделе испытаний ФГБНУ ФНАЦО ВНИИО (Московская обл., Раменский р-н, д. Верея).

Методология и методы исследования. Теоретические исследования по распознаванию сорной растительности проводили на основе морфологии алгоритмов машинного зрения, включающей в себя усовершенствованный метод сегментации изображений для идентификации. Экспериментальные исследования и производственные испытания проводили в соответствии с государственными стандартами. Для обработки опытных данных использовались статистические методы и пакеты прикладных программ Inventor 2018, САПР КОМПАСА v17, Autodesk fusion 360, MathCad 17, Excel, PlanExp Python 3, Altium Designer 2019, Arduino IDE, Gazebo, Rviz.

Достоверность основных положений работы. Лабораторные и полевые экспериментальные исследования проводились с использованием методики планирования экспериментов в соответствии с современными действующими ГОСТами, ГОСТ Р 70462.1-2022, ГОСТ 24026-80. При выполнении работ использовалось технологичное оборудование и современные программные средства. Результаты исследования прошли широкую апробацию в печати, на научно-практических конференциях и выставках.

Апробация результатов. Результаты работы подтверждены сертификатом VI Международной интеллектуальной конференции студентов, аспирантов, докторантов «Discovery Science: University-2018». Основные положения диссертационной работы были доложены и одобрены на 9-й Международной научно-технической конференции молодых ученых и специалистов «Агроинженерные инновации в сельском хозяйстве» (30-31 мая 2018 г., Москва, ФГБНУ ФНАЦ «ВИМ»), VI Международной интеллектуальной конференции студен-тов, аспирантов, докторантов «Discovery Science: University-2018» (25 мая 2018 г., Москва, РусАльянс «Сова»), 6-й Международной научно-практической конференции «Инновационные технологии в науке и образовании» «ИТНО-2018» (5-9 сентября 2018 г., пос. Дивноморск), Международной научно-технической конференции «Цифровые технологии и роботизированные технические средства для сельского хозяйства» (5-6 декабря 2018 г., Москва, ФГБНУ ФНАЦ ВИМ), XXXI Международной инновационной конференции молодых ученых и студентов по современным проблемам машиноведения «МИКМУС 2019» (4-6 декабря 2019 г., Москва, Институт машиноведения им. А.А. Благонравова РАН), Международной научно-технической конференции «Цифровые технологии и роботизированные технические средства для сельского хозяйства» (12-13 декабря 2019 г., Москва, ФГБНУ ФНАЦ ВИМ), Всероссийской конференции с международным участием «Цифровизация в растениеводстве, биохимии и физиологии сельскохозяйственных растений, бизнес партнерство» (17-19 августа 2023,

Москва, Научно-информационный центр). Разработка удостоена золотой и бронзовой медалей Всероссийской выставки «Золотая осень» в 2021 г.

Публикации. По результатам исследований по теме диссертации соискателем опубликовано 19 печатных работ, в том числе 14 работ в рецензируемых научных изданиях, из которых: 2 статьи - в рецензируемых научных изданиях, рекомендованных ВАК РФ, 8 статей в изданиях, включенных в международные базы данных Web of Science и Scopus, 5 свидетельств об интеллектуальной собственности РФ, а также 4 публикаций в сборниках материалов международных и всероссийских научных конференций.

Структура и объём диссертации. Диссертация состоит из введения, основной части, заключения, списка сокращений, списка литературы, приложений. Объем диссертации составляет 219 страниц машинописного текста, включая 1 7 таблиц и 69 рисунков. Список литературы составляет 148 наименований, в том числе 112 - на иностранных языках.

ГЛАВА 1. СОСТОЯНИЕ ВОПРОСА, ЦЕЛИ И ЗАДАЧИ

ИССЛЕДОВАНИЯ

1.1 Определение основных видов сорной растительности и обзор жизненного цикла растений для оптимизации их контроля

Период борьбы с сорной растительностью, определяемый как период цикла роста сельскохозяйственных культур, в течение которого сорная растительность должна контролироваться для предотвращения неприемлемых потерь урожая, полезен для принятия решений относительно необходимости и времени контроля сорной растительности [17]. Многочисленные исследования были проведены в мире в попытке определить воздействие сорной растительности на столовую свеклу, в ходе которых выявлена высокая изменчивость результатов, поскольку рост и развитие сорной растительности значительно зависят от вида и биологических характеристик сорной растительности, их плотности, изменения климатических условий и сроков посева культурных растений и др. [18].

Традиционные методы воздействия на сорную растительность можно разделить на три группы: агротехнические методы, применение химических средств и механическая прополка. Агротехнические методы включают в себя широкий спектр методов управления сорной растительностью, таких как севооборот, посевные культуры, черный пар, сроки и плотность посадки культурных растений, оптимизация ширины междурядий [19]. Однако применение большинства из этих методов не позволяет активно воздействовать на существующие или отрастающую сорную растительности. В результате агротехнические методы обычно проводятся в качестве предварительной обработки до химической или механической прополки и поэтому не являются частью этого исследования [20].

Основные виды сорной растительности, характерной при возделывании столовой свеклы (таблица 1.1)

Таблица 1.1- Виды сорной растительности

Общий вид

Краткая характеристика

Пырей ползучий

Многолетнее травянистое растение, самый известный вид рода Пырей семейства Злаки

Дрёма белая

Также Смолёвка белая - травянистое двудомное растение рода Смолёвка семейства Гвоздичные, произрастающее в большинстве стран Европы, западной Азии и Северной Африки

Осот полевой

Или осот жёлтый, или осот молочайный -вид травянистых растений рода Осот семейства Астровые, или Сложноцветные. Корнеотпрысковый многолетник

Крапива двудомная

Многолетнее травянистое растение, вид рода Крапива

Вьюнок полевой

Вид многолетнего травянистого растения семейства Вьюнковые с вьющимся стеблем и ползучим ветвящимся корневищем. На окультуренных территориях является обычной сорной растительностью

Продолжение таблицы 1.1

Общий вид

Краткая характеристика

Чистец болотный

Многолетнее травянистое растение, вид рода Чистец

семейства Яснотковые. Народные названия: живучка, колесница, чернозябенник, чёрный жабрей, колютик

Мята полевая или Мята луговая

Многолетнее травянистое растение, вид рода Мята семейства Яснотковые

Полынь обыкновенная

Чернобыльник, чернобыль - вид многолетних травянистых растений рода Полынь семейства Астровые. Название «чернобыльник»

происходит от черноватого стебля

Большинство видов сорной растительности, о которых сообщается, являются однолетними растениями, которые завершают свой цикл от прорастания семян до их созревания менее чем за один год [21]. В целом эти растения прорастают весной, продолжают рост летом, когда они цветут, и погибают осенью после созревания новых семян (рисунок 1.1) [6].

Устранение сорной растительности при выращивании пропашных культур в основном осуществляется путем применения гербицидов [22]. Несмотря на то, что имеется достаточно оборудования для борьбы с сорной растительностью между рядами (межрядная прополка), контроль сорной растительности в рядах

по-прежнему требует больших затрат ручного труда [23]. Особенно это характерно для сельскохозяйственных культур, которые медленно растут и мелко посеяны (столовая свекла, морковь, лук), (рисунок 1.2) [4].

Рисунок 1.1 - Жизненный цикл однолетней сорной растительности

Рисунок 1.2 - Временной период посевов столовой свеклы и технологических

операций

Обычно сорная растительность растет близко к культурным растениям или внутри рядов, поэтому чтобы избежать существенной потери урожая, их необходимо удалять [24]. Сорная растительность, находящаяся между рядами, легко идентифицируется, потому что не смешивается с культурными растениями

и легко извлекается без применения пестицидов [25]. Но идентифицировать сорную растительности сложнее, если имеются перекрытия или близкий рост их к культурным растениям. В этом случае проводится дополнительный анализ участка, чтобы определить перекрывающиеся листья [26]. Таким образом, методы классификации используются для оценки областей перекрытия и минимизации потерь урожая. Внедрение этих методов классификации в систему технического зрения позволит отличать сорную растительность от культуры [27].

1.2 Анализ работ по использованию технического зрения для определения и идентификации сорной растительности

Учитывая преимущества и ограничения современного состояния технологий автоматической или роботизированной прополки, исследования системы восприятия, вероятно, будут сосредоточены на увеличении размеров данных либо на повышении сложности алгоритмов для улучшения производительности восприятия сорной растительности [28]. Размеры данных могут быть увеличены путем объединения данных камер с разных точек зрения или с помощью различных датчиков, которые предоставляют дополнительную информацию о сорной растительности [29].

Машинное зрение - раздел робототехники, который использует анализ изображений для решения промышленных задач. Указанная технология находит широкое применение в производстве, в частности, в сельском хозяйстве [30]. При создании устройств для выполнения агротехнических операций в рамках точного земледелия технологии машинного зрения совместно с системами позиционирования зачастую являются основополагающими [31]. Так, благодаря использованию беспилотных летательных аппаратов создаются топографические карты местности, а применение к ним технологий обработки изображений позволяют получать 3D-модели участков земной поверхности с возможностью определения любых геометрических размеров [32]. Погрешность

геометрических измерений при этом не превышает десятков сантиметров [1]. Наиболее важные характеристики системы технического зрения: производительность, простота использования и установки, законченность решения (включая программное обеспечение), цена, надежность, техническая поддержка, разносторонность настроек, скорость, полный набор диагностики [33]. Обработка изображений и их анализ в основном сосредоточены на работе с 2D-изображениями, в частности, операции увеличения контрастности, выделения краёв, устранения шумов или геометрические преобразования, такие как вращение изображения [34]. Эти операции предполагают, что обработка/анализ изображения действуют независимо от содержания самих изображений [35].

Применение более сложного алгоритма обработки изображений может быть достигнуто с использованием методов глубокого обучения (DL) [36]. Согласно последним исследованиям, DL или сверточные нейронные сети (СЫЫ) представляют собой технологию искусственного интеллекта, проявляющую перспективы в области сельскохозяйственных приложений [37]. DL использует сложные нейронные сети для обработки изображений, которые обучаются на обширных объемах данных [38].

По сравнению с традиционными методами распознавания образов более высокая эффективность была отмечена для методов СЫЫ при распознавании и обнаружении культурных растений и сорной растительности [39]. Одним из значительных преимуществ DL является сниженная необходимость в ручном "проектировании", которое требуется для определения характерных особенностей растений, необходимых для их классификации [40]. Благодаря сложности DL-моделей технология способна автоматически изучать характеристики и выявлять отличительные черты в решаемой проблеме [41]. Эта способность анализа свойств растений, которые можно использовать для различения культурных растений от сорной растительности, открывает перспективы для значительных успехов в области распознавания сорной растительности [42]. Модели сверточных нейронных сетей (СЫЫ), такие как

Inception-v3, ChangeNet, DenseNet, а также отдельные модели, продемонстрировали свою высокую эффективность в обнаружении как культурных, так и сорных растений даже при условиях неконтролируемого освещения и визуальных дефектах [43].

Несмотря на многочисленные преимущества, у глубокого обучения (DL) есть несколько проблем [44]. Во-первых, для обучения и выполнения в реальном времени DL требует значительных вычислительных ресурсов. Во-вторых, эффективность в высокой степени зависит от качества обучающего набора [45]. Объем данных должен быть достаточно велик и должен быть правильно аннотирован, что часто требует значительного ручного труда при сборе и аннотировании изображений [46]. Для обеспечения надежности набор данных должен охватывать различные условия, такие как изменяющееся освещение, тени и другие [47]. Таким образом, традиционные методы распознавания образов продолжают оставаться объектом изучения, поскольку для них не требуется высокой вычислительной мощности и обширных наборов данных [48].

В области разработки методов и средств борьбы с сорной растительностью предстоит провести множество исследований [11]. Как подчеркивают некоторые исследователи, существует значительная потребность в исследованиях, направленных на изучение взаимодействия между инструментами для прополки и матрицей распознавания [49]. Приобретение дополнительных знаний в этой области позволит роботам, выполняющим прополку, обладать более высоким уровнем интеллекта, что позволит им принимать решения относительно типа необходимых инструментов для конкретных процессов или корректировать свою стратегию в зависимости от полевых условий в любой точке.

1.3 Анализ методов удаления сорной растительности при выращивании

сельскохозяйственных культур

Подходов к борьбе с сорной растительностью множество, однако большинство машин обычно используют механические или химические методы борьбы с ними, которые применяют в традиционном механизированном

сельском хозяйстве в течение многих лет и только относительно недавно были объединены с технологией автоматизации процессов для сокращения затрат или более точного контроля растений и сорной растительности [50].

Существуют и другие приемы борьбы с сорной растительностью -сжигание, использование горячей воды или пара, разрядов высокого напряжения и др. [51]. Эти технологии не получили широкого распространения, так как проведено недостаточно исследований, чтобы автоматизировать их [52].

Были приняты во внимание следующие альтернативные методы для выполнения внутрирядной прополки [53].

Механическое воздействие. Сорная растительность может быть срезаны или извлечена из почвы с помощью механических устройств и приспособлений. Некоторые из них специально разработаны для работы с конкретными видами растений. Недостатком является инерция механики, ограничивающая производительность машины [54].

Воздух. Сжатый воздух может использоваться для удаления сорной растительности из зоны внутри ряда. Подавая сжатый воздух через две горизонтальные воздушные форсунки по обеим сторонам ряда культур примерно на 2 см под поверхностью почвы, удаляют сорную растительность из области внутри ряда при перемещении в направлении ряда [55].

Огневой способ. Растения в поле подвергаются воздействию пламени, образующегося при сжигании топлива таким образом, что тепловая травма приводит к гибели сорной растительности, но выживанию культурных растений. В последнее время сообщается о разработке внутрирядного горения с помощью небольших горелок, которые можно быстро включать и выключать [56].

Электрический разряд. Сорная растительность может быть уничтожена электрическим разрядом. В течение 200 мс применяли электрод, обеспечивающий электрический разряд напряжением 15 кВ и силой тока 30 мА. Система смогла уничтожить 100% мелкой сорной растительности, но на более крупных растениях были поражены только некоторые листья. Безопасность при высоких напряжениях также является проблемой [57].

Горячая вода. Сорная растительность подвергается воздействию горячей воды, тепловое повреждение приводит к их гибели. Борьба с сорной растительностью с помощью горячей воды имеет потенциал в условиях городских ландшафтов, например, трамвайных и железнодорожных путях [58].

Замораживание. Сорная растительность можно удалить, заморозив их.

Микроволны. Сорную растительность можно удалять, подвергая воздействию микроволнового излучения.

Инфракрасный. Борьба с сорной растительностью может вестись с использованием инфракрасного излучения.

Лазер. В качестве устройства для выжигания стебля сорной растительности или задержки их роста можно использовать лазер, направляя его к апикальной меристеме сорной растительности. Лазер не может резать под поверхностью земли, поэтому оказывает незначительное влияние на некоторые виды сорной растительности. С другой стороны, отсутствие движения почвы предотвращает прорастание закопанных семян [59]. Для достижения разумной производительности необходим лазер высокой мощности, что связано с высокими затратами [60].

Список литературы диссертационного исследования кандидат наук Дышеков Артур Изнаурович, 2024 год

- источники света;

- элементы механической регулировки;

- световодные оптические элементы;

- стабилизирующая, управляющая и интерфейсная электроника;

- программное обеспечение.

В данном исследовании проанализировано воздействие естественного дневного освещения, поскольку невозможно настроить его под имеющееся оборудование, в то время как в ночное время можно воспользоваться упомянутыми выше техническими системами, чтобы настроить необходимые параметры освещения.

Дневной свет представляет собой сумму прямого и косвенного солнечного света, который освещает окружающую среду в течение дня. Он включает в себя направленный свет прямых солнечных лучей, рассеянный свет от безоблачного неба и свет, рассеянный облаками. Важно отметить, что дневной свет не учитывает лунный свет несмотря на то, что последний является результатом косвенного отражения солнечных лучей.

Уровень освещенности дневного света может колебаться в пределах от 120 000 люкс при ярком солнечном свете в полдень (что может вызывать дискомфорт для глаз) до менее 5 люксов при наличии плотных грозовых облаков и солнце на горизонте.

Сплошной спектр представляет собой распределение энергии в электромагнитном излучении, где функция длины волны излучения или ее частоты ф(у) характеризуется непрерывной зависимостью. В отличие от линейчатых и полосатых спектров, где функция имеет дискретные значения длины волны X с выраженными максимумами, сплошной спектр слабо изменяется в широком диапазоне длин волн. При разложении света спектральными приборами в видимой области, сплошной спектр отображается как непрерывная цветная полоса при визуальном наблюдении или плавная кривая при фотоэлектрической регистрации. Примером сплошного спектра, охватывающего весь диапазон частот и характеризуемого конкретным спектральным распределением энергии, является спектр равновесного излучения, описываемый законом излучения Планка [6].

Рисунок 3.2 показывает спектр широко используемых источников света.

Рисунок 3.2 - Спектр различных источников света В ходе выполнения работы были рассмотрены следующие показатели:

- CQS (Color Quality Scale) - это новый параметр, измеряющий качество цветопередачи источника света, созданный Национальным институтом стандартов и технологий (NIST) и предназначенный для современных рынков твердотельного освещения. CQS включает в себя более насыщенный спектр цветов и вводит 15 новых цветовых оттенков для более точной оценки источника света. Значение 100 на шкале CQS представляет наивысшее качество цветопередачи источника света, тогда как 0 означает наихудшее качество;

- CRI (Ra) (Color Rendering Index) - это среднее значение R1 ~ R8. Показатель 100 обозначает высшее качество передачи цвета источника света, в то время как 0 указывает на наихудшее качество.

После разработки методики обоснования работы системы технического зрения для контроля сорной растительности в разных условиях освещённости необходимо разработать метод оценки и точности работы алгоритма распознавания.

3.2.3 Методика исследований работы системы технического зрения с

учетом расстояния до растения

В данном разделе рассматривается применение машинного зрения, основанного на распознавании образов - области, которая использует различные методы для получения информации из видеоданных, преимущественно основанные на статистическом подходе. Процесс контроля сорной растительности работает по следующему принципу - идентификация культурных растений, всё, что не является последним, подлежит удалению. Такой подход используется при селективном применении гербицидов и механическом удалении сорной растительности, избегая при этом повреждения культурных растений [68].

Материалы и оборудование

Эксперимент проводился на лабораторном стенде, включающем в себя:

- платформу с направляющими;

- каретку;

- шаговые двигатели;

- видеокамеру;

- рабочий орган;

- систему механического и химического удаления сорной растительности;

- ёмкость с гербицидом;

- насос;

- блок управления;

- электронно-вычислительную машину со специализированным ПО.

Стенд имитирует условия работы роботизированного устройства для

точечной борьбы с сорной растительностью. Движение платформы с направляющими, на которой установлена каретка, обеспечивается за счет шаговых двигателей в рамках ограниченного объема. На каретке размещены видеокамера и рабочий орган, который содержит систему одновременного

механического и химического удаления сорной растительности. Рабочий орган подключен через насос к емкости с гербицидом. За пределами рабочей области находятся блок управления и электронно-вычислительная машина со специализированным программным обеспечением для анализа изображений [68].

В качестве записывающего устройства были рассмотрены различные варианты. Существуют Ш-, 2Э-, 3Э -камеры.

- Ш-камеры, называемые также линейными или строчными, - это вид СУ-камер, отличающихся от привычных тем, что изображения в них формируются путем сканирования объекта съемки;

- 2Э-камеры - камеры, создающие изображения в двухмерном пространстве -по ширине и высоте;

- 3Э-камеры используются, когда необходимо анализировать объем объектов, их форму или положение в трехмерном пространстве.

В данной работе были выбраны 2Э-камеры в связи с широкой доступностью и простотой использования в работе алгоритма.

Камеры подразделяются также на аналоговые и цифровые. Первые подойдут для создания сетей видеонаблюдения, так как они дёшевы, просты в установке и использовании, устойчивы к взломам и не имеют задержек в передаче данных. Если использовать камеры новых стандартов с высоким разрешением картинки, например, НОСУ1, НО-ТУ1 или АНО, то можно получить хорошее качество изображения, в том числе движущихся и удаленных объектов. В цифровой камере сигнал не преобразуется обратно из цифрового формата в аналоговый для передачи, а отправляется в оцифрованном виде. При этом перед передачей он может кодироваться и сжиматься - так происходит в 1Р-камерах, или же передаваться несжатым и некодированным - как в НО-БВ1-камерах. Оптимальным для данного испытательного стенда является цифровая камера [68].

По типу матрицы был выбран стандарт CMOS. Преимущества данной матрицы: высокое быстродействие, низкое энергопотребление, дешевое и более простое производство, недостатки - низкие светочувствительность, коэффициент заполнения пикселей и динамическая чувствительность, высокий уровень шума.

Таблица 3.2 представляет характеристики выбранного для проведения лабораторных испытаний записывающего устройства.

Данный выбор обеспечивает выполнение всех необходимых требований для работы алгоритма, но при этом имеет ряд недостатков. Проведение испытаний работы алгоритма сильно зависит от качества записывающего устройства.

Таблица 3.2 - Характеристики записывающего устройства

Тип матрицы CMOS

Разрешение матрицы, Мпикс 3

Максимальная частота, кадров/с 30

Максимальное разрешение, пикс 1920x1080

Используемая оптика Carl Zeiss Tessar

Материал линзы обьектива Стекло

Число линз 1

Цифровой зум 4x

Автоматическая фокусировка Да

Автоматическая регулировка баланса белого Да

Съемка при слабом освещении Да

Индикация включения Да

Материал корпуса Пластик

Поворот по горизонтали 90°

Интерфейс связи с ПК USB 2.0

Кабель USB Встроенный

Длина кабеля, м 1,8

Цвет Черный/серебристый

Габаритные размеры (ВхШ*Г), мм 94x43x71

Масса видеокамеры, г 162

Рисунок 3.3 показывает изображение процесса проведения замера освещенности, полученное записывающим устройством роботизированного устройства при выполнении алгоритма распознавания.

Рисунок 3.3 - Проведение замера освещенности стенда роботизированного устройства для борьбы с сорной растительностью

Есть специализированные решения для технологии технического зрения -камеры машинного зрения. Последние снимают изображения в высоком разрешении и отправляют их несжатыми на компьютер. Могут иметь разрешение от VGA до 86 Мпикс для строчно-кадровой или 4K для однострочной развертки, снимают до 200 кадров/с.

Камера машинного зрения позволяет получать изображения, оптимальные для компьютерной обработки, анализа, измерений, диагностики, распознавания и контроля. В дальнейшей работе на основании полученных результатов исследования планируется переход к данному типу записывающего устройства, но на этапе апробации разработанного алгоритма достаточным и удобным решением является камера, характеристики которой указаны в таблице выше.

После определения влияния параметров записывающего устройства на работу алгоритма распознавания свёклы на разных стадиях роста, необходимо разработать методику оценки точности позиционирования и движения робототехнической платформы.

3.2.4 Метод оценки точности работы алгоритма распознавания роботизированного устройства для контроля сорной растительности

Цели данного эксперимента - создание и тестирование в лаборатории, нового прототипа по распознаванию сорной растительности. Для проведения экспериментов разработан лабораторный стенд, обеспечивающая выполнение механического удаления сорной растительности с точечным внесением гербицидов.

Материалы и методики

Для проведения исследования использовалась система с одной камерой, предварительно установленной под определенным углом для расчета координат объектов (рисунок 3.4). Ограничением применения данной установки является то, что робот используется на ровной поверхности, так как из-за неровностей естественного рельефа поверхности почвы фокусное расстояние и угол наклона камеры сильно изменяются [144].

Рисунок 3.4 - Лабораторный стенд для проведения испытаний контроля сорной растительности; 1- роботизированное устройство, 2- камера, 3

- рабочий орган, 4 - культура, 5- ЭВМ

Стенд состоит из платформы с направляющими и установленной на них кареткой, приводимой в движение червячной передачей путем шагового

двигателя, обеспечивающей перемещение по всем трем плоскостям. На оси z установлена камера Logitech HD Webcam C930e, разрешение 1920x1080, скорость съемки 120 кадров/с. Изображения импортируются в модуль распознавания сорной растительности через шину и обрабатываются в System Visual Studio. Камера откалибрована таким образом, чтобы пиксельные координаты сорной растительности могли быть преобразованы в реальные, и зафиксирована, а каретка меняла свою позицию для получения десяти калибровочных фотографий, которые использовались для получения собственных параметров камеры и коэффициентов искажения. Кроме того, после калибровки системы для преобразования координат были заданы параметры начальной точки. Высокая скорость обработки изображений и простота системы также являются важными аспектами роботизированной системы прополки в реальном времени.

Обработка изображений и распознавание сорной растительности

Обработка изображений осуществлялась в два этапа. Первым шагом было обнаружение культурных растений (столовая свекла) и сорной растительности, который был нацелен на получение четырёх изображений, где урожай и сорная растительность были определены красным и зелёным цветами, а фон - серым (почва). Затем, основываясь на разнице в цветах, использовался алгоритм, который сравнивал оттенок, насыщенность и значение (HSV) каждого пикселя с заранее заданным цветом (рисунок 3.5).

в 2 а - оригинальное изображение; б - использование цветовой сегментации для определения зеленых растений на фоне; в - получения двоичного изображения

г - определение культурного растения Рисунок 3.5 - Протокол обработки изображений

Вначале получают изображение всего ландшафта (см. рисунок 3.5 а). Устанавливаются допуски (±0,1) для всех значений, которые в дальнейшей работе могут использоваться для дифференциации растений и фона во всех других полученных изображениях. После этого происходит цветовая сегментация для определения зеленых растений. На изображении (рисунок 3.5 б) показан результат экстракции метода, в котором крупные зеленые листья (считающиеся листьями столовой свеклы) видны отчетливо, другие же растения (сорной растительности) менее отчетливы и выделены из серых оттенков почвы и черного лотка. В почве было много визуального шума (камни, комки земли и др.), изображение фильтровалось, и накладывалась черная маска. Кроме того, из-за влияния света можно было увидеть затенение растений, что повлияло бы на

расчет центроидов растений. Поэтому для заполнения пустот на изображении производилась заливка с помощью достраивания контура.

Следующий этап - сегментация культуры для идентификации сорной растительности. Были предложены, испытаны и сопоставлены три метода сегментации. Первые два алгоритма сегментации предполагали очевидные различия в площади и цвета между сорной растительности и столовой свеклой. Первый из этих алгоритмов был основан непосредственно на разнице в площади листьев. Область была рассчитана с использованием Python с применением функции и сравнивалась с контуром уже наработанной базы, чтобы определить ее как принадлежащую к культуре (столовая свекла) [144].

Проблемы пересечения сорной растительности и культуры решалась методами сравнения размера листьев и контуров культуры и нежелательных растений. В ходе исследований был реализован метод, основанный на операциях эрозии и дилатации. Используя его, изображения подвергали эрозии до тех пор, пока вся сорная растительность не была выявлена, как показано на изображении (рисунок 3.5). Затем происходило сглаживание (см. рисунок 3.5 в) с увеличением коэффициента эрозии. После чего была проведена операция наложения полученных контуров на исходное изображение для определения культуры (см. рисунок 3.5 а). Далее приведён результат сегментации - выделение красным цветом и построения центроидов сорной растительности. Время обработки двух алгоритмов (см. рисунок 3.5) составляло 0,0968 с (по площади) и 0,0346 с (на основе эрозии и дилатации) соответственно на нашем оборудовании, указанном ранее, приведены результаты обработки изображения, количество ошибок, где система допустила некорректную работу по определению культурных растений и сорной растительности.

3.2.5 Методика оценки точности позиционирования и движения робототехнической платформы

Для позиционирования роботизированных платформ в полевых условиях используют пассивные и активные способы (системы) приема информации. Пассивная система обеспечивает прием данных о собственных координатах и других параметров движения от внешних источников, глобальных спутниковых систем ГЛОНАСС/GPS, радиомаяков. Активная система навигации рассчитана на определение местоположения исключительно посредством собственных устройств (датчиков) роботизированных платформ, инерциальных навигационных систем, механических и оптических гироскопов, механических акселерометров, одометров, лазерных дальномеров, генераторов радио- или иных сигналов (ультразвуковых, инфракрасных), стереоскопических камер.

Для обнаружения растений и препятствий в рядах культурных насаждений используются активные и пассивные датчики. Пассивные сенсоры обнаруживают электромагнитное излучение или отраженный свет от объектов. Они функционируют в видимом, инфракрасном, тепловом и микроволновом диапазонах [123]. Пассивные сенсоры оснащены собственным источником энергии, испускают импульсную энергию и затем регистрируют отраженную энергию для обнаружения объектов [24]. Для позиционирования роботизированных платформ применяют следующие виды пассивных датчиков: моновизионные и стеревизионные камеры (расчет расстояния до объектов и оценка глубины), RGB камеры (2Э-изображения для анализа цвета, текстуры и формы объектов в высоком разрешении), тепловые инфракрасные камеры (позиционирование по сформированным тепловым изображениям), гиперспектральные камеры (считывание спектральных полос материалов на изображении). Активные сенсоры измеряют расстояние до объектов, отправляя импульсные сигналы к препятствиям и получая отраженный сигнал. Они опираются на вычисление времени полета лазерных, ультразвуковых или радиосигналов для измерения и обнаружения объектов [24]. Для

позиционирования роботизированных платформ применяют следующие виды пассивных датчиков: лазерные датчики дальномеры (построение облака точек, 3Э-матриц окружающей среды), ультразвуковые датчики (отслеживание отражения ультразвуковых волн), радары (отслеживание отражения радиоволн). Для контроля ускорения, скорости движения и изменения положения рабочих органов в пространстве применяются акселерометры, гироскопы и RTK (Real Time Kinematic - кинематика реального времени) станции [123]..

Таблица 3.3 показывает результаты сравнения различных типов датчиков, используемых для навигации роботизированных платформ для работы в междурядьях культурных насаждений.

Таблица 3.3 - Сравнительный анализ различных типов датчиков, используемых для навигации роботизированных платформ

Датчик Влияние погодных условий на работу датчиков Влияние освещенн ости на работу датчиков Разрешен ие Дальность действия Алгоритм работы Распознав ание перекрыв аемых объектов Определе ние (идентиф икация) глубины

RGB камера Да Да Высокое Средняя Сверточная нейронная сеть Нет Нет

Стерео камера Да Да Высокое Средняя Алгоритмы стереозрения Да Да

Тепловая инфракрасна я камера Да Нет Среднее Средняя Классификац ия изображений Да Нет

Гиперспектр альная камера Да Да Высокое Средняя Алгоритм обработки на основе визуализаци и Да Нет

Датчик LiDAR Нет Да Низкое Высокая Классификац ия облака точек Да Да

Радар Нет Нет Низкое Очень высокая Глубокое обучение Да Да

GPS и ГЛОНАСС Нет Нет Высокое Высокая Спутниковая система навигации Нет Нет

Анализ существующих датчиков для построения карт препятствий, необходимых для расчета траекторий движения роботизированных платформ

показал, что датчик LiDAR (Light Detection and Ranging - световое обнаружение и определение дальности) обладает значительным преимуществом из-за обзора на 360 градусов, что позволяет обнаруживать препятствия вокруг роботизированной платформы и наносить их на карту с точностью до нескольких сантиметров. Датчик LiDAR позволяет роботизированной платформе обнаруживать препятствия, одновременно генерируя большие объемы данных, включая данные на основе точек или пикселей. Обработка полученных данных сосредоточена на сегментации, классификации точечных и пиксельных изображений, что позволяет осуществлять кластеризацию и позиционирование [123].

Анализ существующих систем управления автономными мобильными энергетическими средствами и исследований известных ученых показал, что для навигации и управления в полевых условиях возможно применение следующих видов алгоритмов [143]:

- алгоритм ошибки (обход препятствия, огибание препятствия его до тех пор, пока не станет возможным путь к намеченной цели);

- алгоритм навигации (использование глобальных спутниковых систем);

- алгоритм гибридной навигации (использование глобальных спутниковых систем в сочетании с активными или пассивными датчиками);

- алгоритм планирования пути и следования по пути (совершение маневров через обозначенные путевые точки, методом обхода графа и поиска оптимального пути) [123];

- алгоритм Декстейры (поиск пути от одной вершины графа до остальных вершин с равномерной стоимостью);

- алгоритм гистограммного векторного поля (Vector Field Histogram, представление препятствий через сетки гистограмм);

- алгоритм потенциально поля (применение искусственного потенциального поля для позиционирования);

- алгоритм, основанный на зрительном восприятии (сравнение разницы между двумя последовательными изображениями, полученными через заданный интервал времени, использование камер компьютерного зрения);

- алгоритм преследования (вычисление кратчайшего расстояния, построение траектории с учетом «кривизны»);

- алгоритм векторного преследования (метод следования по пути, использующий теорию винтов);

- алгоритм распознавания признаков с помощью обработки изображений (применение нейронных сетей для обработки изображений);

- алгоритмы SLAM (Simultaneous Localization and Mapping, построение карты в неизвестном пространстве) [74].

Анализ работы известных алгоритмов показал, что использование алгоритма А* обхода графа и поиска оптимального пути позволит с высокой степенью точности позиционировать роботизированные платформы и прикреплённым к ним роботизированным установкам в рядах культурных насаждений при движении по типичным траекториям, состоящим из прямых участков (в междурядье вдоль ряда) и дуг окружностей (для заезда в следующий ряд) для выполнения различных технологических операций [123].

3.3 Выводы по третьей главе

1. Разработана программа экспериментальных исследований, которая предусматривает: оценку времени обработки изображения; оценку времени идентификации и последующего механической обработки почвы; определение точности позиционирования рабочего органа; проведение испытаний на определение оптимальной скорости работы комплекса.

2. Схема эксперимента включает следующее количество испытаний:

- На оценку времени обработки изображения: 50-100.

- На оценку времени механической обработки почвы: 50-100.

- На оценку точности позиционирования рабочего органа: 50-100.

- На определение числа ошибок при идентификации сорной растительности и создание статистики для вероятностной оценки точности распознавания: 50-100.

- На оценку оптимальной скорости работы комплекса: 50-100.

3. Разработаны методики экспериментальных исследований, которые предусматривают: определение рабочих параметров роботизированной платформы, обоснование работы системы технического зрения для контроля сорной растительности с учетом различной степени освещения; методику оценки и точности работы алгоритма распознавания роботизированного устройства для контроля сорной растительности; влияние параметров записывающего устройства на работу алгоритма распознавания столовой свеклы на ранних стадиях роста.

4. Время обработки двух алгоритмов составило 0,0968 с (по площади) и 0,0346 с (на основе эрозии и дилатации) соответственно на предварительно упомянутом оборудовании. Приведены результаты обработки изображения и количество ошибок, где система допустила некорректную работу по определению культурных растений и сорной растительности.

ГЛАВА 4. РЕЗУЛЬТАТЫ ЭКСПЕРИМЕНТАЛЬНЫХ

ИССЛЕДОВАНИЙ

4.1 Результаты исследований работы системы технического зрения для контроля сорной растительности с учетом различной степени освещения

В течение дня освещенность сильно меняется. В ночное время суток можно без каких-либо сложностей подобрать нужный спектр освещения для оптимального выполнения задач контроля сорной растительности с помощью метода машинного зрения. Относительно дневного периода времени отсутствует возможность настройки алгоритма, и несмотря на видимую простоту задачи, могут возникнуть некоторые трудности. Одной из таких проблем является чрезвычайно высокая солнечная активность, что может привести к некорректной передаче цвета, засветам и другим нежелательным эффектам, увеличивая вероятность ошибок. Кроме того, солнечный свет отличается от искусственных источников освещения широким спектром распределенных длин волн, поэтому было принято решение учитывать также минимальные значения освещенности [6].

При проведении первого замера было зафиксировано минимальное значение - 8 лк. Рисунок 4.1 показывает результаты анализа спектра и шкалы оценки качества спектрального состава CRI и CQS.

Результаты обработки фотографий изображения почвы в первом опыте представлены на изображениях (рисунок 4.2, рисунок 4.3).

Для оценки работоспособности алгоритма при различных значениях освещенности в качестве опытного культурного растения была выбрана столовая свекла [68].

■ Спектр

ГП*|ЛП 1

41

шмжжжшпшшитсгишиитшш

Д/мии ишшы (им)

■ СШ: 95,56 ■ саь: 94,83 ■ СШ 2

Рисунок 4.1 - Результаты измерения параметров освещения первого замера

336.5

!

-»37.5 «

332.5

Рисунок 4.2 - Результаты работы алгоритма распознавания при первом замере В дальнейшем освещенность постепенно увеличивалась. При проведении второго замера было зафиксировано значение порядка 500 лк. Рисунок 4.3 показывает результаты работы алгоритма.

• й + 9 » 1 • • • • . . > 43899.5 • #1 • Ш • 1 • ч г ч • • 1 4 • • I • • • • * % . « • ЬФ

< я

Рисунок 4.3 - Результаты второго эксперимента Таблица 4.1 показывает дальнейшие результаты проведенных измерений. Оценка источника освещения по разработанной МЭТ (Национальным институтом стандартов и технологий) шкале качества света представлена на изображении (рисунок 4.4). Значение 100% представляет собой наилучшее качество источника света, в то время как 0% обозначает худшее качество. В данном случае качество освещения очевидно высоко, так как показатели приближаются к 100% в течение всех экспериментов [6]. Наименьший показатель, соответствующий 94%, отмечен при минимальной освещенности, что обусловлено более сильным воздействием внешних источников света из-за уменьшения освещенности источника, имитирующего солнечное излучение. В среднем диапазоне данный показатель составляет 98%.

Таблица 4.1 - Экспериментальные значения

Номер СМ, % СОБ, % Освещенность, лк Площадь, пикс

1 95,56 94,83 8 335,5

2 96,68 94,96 20 43899,5

3 96,83 95,24 500 46844

4 97,08 96,03 1000 50323,5

5 98,29 97,43 5000 51891

6 98,31 98,44 13000 52529

7 98,23 98,19 20000 52703,5

8 98,24 98,39 41000 52593,5

9 98,43 98,29 58000 51597

10 98,56 98,75 81000 50425,5

11 98,82 98,99 97000 49115,5

12 96,64 97,01 127000 48585

Рисунок 4.4 - График значений CQS в проведенных экспериментах

Оценка индекса цветопередачи источника света представлена на изображении (рисунок 4.5). Значение 100% указывает на лучшее качество источника света, в то время как значение 0 - наихудшее качество, аналогично показателю выше. Минимальное значение 96%, в среднем диапазоне -превышает 98%.

100 -

90 -

80

70

60

ÇÊ 50

as 40

о

30

20 -

10

0

0 20000 40000 60000 80000 100000 120000

Освещенность, лк

Рисунок 4.5 - График значений CRI в проведенных экспериментах

На обоих графиках есть незначительное снижение характеристик источника света в последнем опыте, описывающем максимальное освещение. Это возможно ввиду повышения количества отраженного света при проведении эксперимента.

Таким образом, освещение в каждом эксперименте соответствует условиям эксплуатации роботизированного устройства контроля сорной растительности.

График зависимости площади распознанной поверхности от освещенности источником света естественного типа освещения представлен на изображении (рисунок 4.6) [68]. Для оценки работоспособности алгоритма было взято одно и то же растение при всех значениях освещенности [144]. Другие параметры оставались неизменными, такими как высота от поверхности до объектива, режим работы записывающего устройства и прочие; изменения касались

исключительно освещения. В связи с этим площадь распознанной поверхности напрямую пропорциональна количеству пикселей, на которых было обнаружено растение по алгоритму.

60000 80000 Освещенность, лк

Рисунок 4.6 - Площадь распознанного контура на изображении при расстоянии объектива камеры до почвы 20 см

В ходе эксперимента были получены следующие результаты. Алгоритм тестировался на минимальном значении освещенности при 8 лк, что соответствует крайне слабому освещению. В этом опыте качество работы неприемлемо низкое. В данном случае оптимальным решением является использование искусственных источников освещения, так как влияние естественного освещения будет несущественно.

Умеренное увеличение освещенности привело к более точному распознаванию ростка столовой свеклы. Эксперимент был проведен при освещенности 20 лк, и с дальнейшим увеличением интенсивности света наблюдалось улучшение качества распознавания.

Максимальное качество было получено в диапазоне от 5000 до 60000 лк. Данный диапазон распространяется на большую часть времени дня.

При дальнейшем увеличении уровня освещенности наблюдалось незначительное снижение качества, обусловленное избыточной яркостью, воздействующей на функционирование записывающего устройства. В условиях максимальной освещенности алгоритм продолжал выполнять процесс идентификации растения с приемлемым качеством.

При обеспечении ночной работы алгоритма можно использовать источники искусственного света, индуцирующие освещение аналогичное естественному в среднем диапазоне проведенных опытов.

Таким образом, алгоритм распознавания роботизированного устройства контроля сорной растительности может быть применим в полевых условиях в течение любого времени суток.

4.2 Результаты исследований работы системы технического зрения с

учетом расстояния до растения

Данный эксперимент позволяет оценить влияние расстояния от объектива записывающего устройства до почвы на работу алгоритма распознавания за счет сравнения площади распознанной части растения. Как можно увидеть, основная ошибка алгоритма заключается в том, что при значительном ухудшении параметров работы система частично не распознает растение. Именно это легло в основу проведенного эксперимента [68]. Рисунок 4.7 показывает построенный график результатов, проведенных пяти экспериментов после обработки данных, в частности нормирования показателей.

■Опыт1 Огаыт 2 '&1Ь!тЗ Олыт4 Опыт 5

Рисунок 4.7 - Результаты всех экспериментов после нормирования показателей

Как можно заметить из графиков, после прохождения высоты 30,5 см начинаются сбои в работе алгоритма, вследствие чего отмечается широкий разброс данных. Кроме того, становится очевидным суммарное уменьшение распознанной площади растений с учетом всех экспериментов.

Таким образом, можно сделать вывод, что повышение расстояния до почвы негативно сказывается на работе алгоритма, особенно это проявляется при значении параметра от 30 см. При этом оптимальная работа обеспечивается в диапазоне от 20 до 30 см.

Рисунок 4.8 показывает результат предыдущей работы - график зависимости площади распознанной поверхности от источника света естественного типа освещения, что имитирует полевые условия эксплуатации роботизированного устройства.

ЮООО ЙОООО £0000 Освещенность, лк

Рисунок 4.8 - График зависимости площади распознанной поверхности от источника света естественного типа освещения

При значении освещенности от 5000 до 60000 лк было достигнуто распознавание столовой свеклы с максимальным качеством. Данный диапазон освещенности распространяется на большую часть времени дня. Для обеспечения работы алгоритма в условиях низкой освещенности возможно использование источников искусственного света, аналогичное естественному освещению в среднем диапазоне проведенных опытов. Возможность подбора вплоть до распределения спектра, в частности имитации солнечного освещения, позволит использовать комплекс в течение всего времени суток.

Таким образом, будет изучено влияние расстояния от объектива до почвы в оптимальном диапазоне освещенности - от 5000 лк до 60000 лк в ходе пяти опытов, постепенно повышая значение от минимального до максимального указанных значений [68].

Далее представлены фотографии с последовательным увеличением от 20,5 до 40,5 см. 20,5 см - минимально допустимое конструктивное значение установки, обеспечивает оптимальную работу комплекса в полевых условиях. Рисунок 4.9 показывает результаты первого опыта.

* * * г ц I ц

^ к ж - я Я

Я ^ К « -Й < * < ?5 - Ц

К

Рисунок 4.9 - Изображения результатов распознавания алгоритма технического зрения от 20,5 до 40,5 см с шагом 2 см для освещенности 41 тыс. лк

Таблица 4.2 и рисунок 4.10 показывают числовые значения.

Таблица 4.2 - Результаты первого опыта, числовые значения

И1 И2 ИЗ И4 И5 И6 И7 И8 И9 И10 И11

20,5 22,5 24,5 26,5 28,5 30,5 32,5 34,5 36,5 38,5 40,5

Б' 51597 42544 37015 29943 26234 22152 20464 14896 15472 14236 10890

а 48000,0 с £ н и т 40000,0 х т Ф ей О с 32000,0 15 О X X (б т 24000,0 О С и (О о. 4 16000,0 (С 3" о с с 8000,0

,5

20,5 22,5 24,5 26,5 28,5 3:0,5 .32,5 34,5 36,5 38,5 4С Высота

Рисунок 4.10 - Результаты первого опыта

Из фотографий очевидно, что при увеличении значения высоты число пикселей, характеризующих растение, уменьшается. Для того чтобы реально оценить влияние высоты на качество работы алгоритма, надо обработать результаты так, чтобы исключить уменьшение растения в кадре. Для этого воспользуемся формулами:

— н2 н2 к2

5Х =51; ^4 = 54^|, ..., и так далее. (4.1)

Таблица 4.3 показывает расчётные значения площади растений для опытов.

Таблица

.3 - Расчетные значения площади растений

Ь1 Ь2 Ь3 Ь4 Ь5 Ьб Ь7 Ь8 Ь9 Ь10 Ь11

20,5 22,5 24,5 26,5 28,5 30,5 32,5 34,5 36,5 38,5 40,5

'81 51597 51250 52869 50035 50704 49036 51433 42190 49049 50211 42506

52458 51195 51192 50617 51823 49769 48512 49483 45755 41918 46916

51344 52510 52440 51081 51868 50367 47344 44930 42902 46737 39604

'84 52888 52899 50878 51641 50995 49374 46520 47219 43044 45082 40378

'85 52690 51372 51952 51917 50811 50134 49716 44992 49755 44966 46975

I.

4.3 Оценка точности работы алгоритма распознавания роботизированного устройства для контроля сорной растительности

В данном исследовании реализован и протестирован алгоритм, основанный на машинном зрении, предназначенный для распознавания сорной растительности совмещением контурного и цветового выявления свекольной культуры и дальнейшей отметки центроидов с последующим удалением сорной растительности. Испытания показали, что точность работы алгоритма распознавания роботизированного устройства для контроля сорной растительности с помощью предложенного метода составляет до 92% [144].

Рисунок 4.11 показывает график зависимости распознанной культуры на изображении и фактического количества сорной растительности. Для оценки работоспособности алгоритма были взяты различные участки обрабатываемой почвы. Постоянными были такие параметры, как высота от почвы до объектива, режим работы записывающего устройства, освещение и другие, менялись только обрабатываемые участки (таблица 4.4).

Таблица 4.4 - Результаты обработки изображения, полученных экспериментальным путем

Порядковый номер фото Распознано столовой свеклы Всего столовой свеклы Распознано сорняков Всего сорняков Кол-во ошибок, % Ошибка столовая свекла Ошибка сорняк

1 3 4 13 10 14,29 25,00 30,00

2 2 3 14 12 6,67 33,33 16,67

3 2 3 11 9 8,33 33,33 22,22

4 4 4 11 12 6,25 0,00 8,33

5 2 3 10 12 6,67 33,33 16,67

6 5 5 13 14 5,26 0,00 7,14

7 3 3 11 11 0,00 0,00 0,00

8 2 3 13 13 6,25 33,33 0,00

9 2 3 14 12 6,67 33,33 16,67

10 3 3 11 11 0,00 0,00 0,00

11 3 3 12 10 15,38 0,00 20,00

12 4 3 11 13 6,25 33,33 15,38

13 3 2 13 13 6,67 50,00 0,00

14 2 2 14 12 14,29 0,00 16,67

15 2 2 11 11 0,00 0,00 0,00

16 4 3 12 12 6,67 33,33 0,00

17 3 3 12 11 7,14 0,00 9,09

18 4 4 13 12 6,25 0,00 8,33

19 4 3 14 14 5,88 33,33 0,00

20 3 3 12 12 0,00 0,00 0,00

21 2 2 14 14 0,00 0,00 0,00

22 3 2 13 12 0,00 50,00 8,33

23 2 3 12 13 0,00 33,33 7,69

24 1 1 11 12 7,69 0,00 8,33

25 3 2 14 15 0,00 50,00 6,67

Продолжение таблицы 4.4

Порядковый номер фото Распознано столовой свеклы Всего столовой свеклы Распознано сорняков Всего сорняков Кол-во ошибок, % Ошибка столовая свекла Ошибка сорняк

26 2 2 14 12 14,29 0,00 16,67

27 4 3 12 14 5,88 33,33 14,29

28 2 2 13 13 0,00 0,00 0,00

29 1 1 14 14 0,00 0,00 0,00

30 1 1 14 12 15,38 0,00 16,67

31 3 3 10 11 7,14 0,00 9,09

32 3 3 12 13 6,25 0,00 7,69

33 4 4 11 13 11,76 0,00 15,38

34 4 4 10 11 6,67 0,00 9,09

35 1 2 12 10 8,33 50,00 20,00

36 1 3 13 10 7,69 66,67 30,00

37 2 2 10 10 0,00 0,00 0,00

38 2 3 10 9 0,00 33,33 11,11

39 2 2 12 11 7,69 0,00 9,09

40 4 3 11 11 7,14 33,33 0,00

41 1 2 13 12 0,00 50,00 8,33

42 1 1 14 13 7,14 0,00 7,69

43 3 3 10 11 7,14 0,00 9,09

44 4 3 10 12 6,67 33,33 16,67

45 2 2 14 15 5,88 0,00 6,67

46 1 1 13 13 0,00 0,00 0,00

47 2 2 13 14 6,25 0,00 7,14

48 3 2 11 11 7,69 50,00 0,00

49 2 2 14 15 5,88 0,00 6,67

50 4 4 11 13 11,76 0,00 15,38

Итого 5,87 16,50 9,10

1Й 14 12

□

| 10 С*

а

й 6

Л Л /V _ /ми

I П1И

■ Всею свеклы

■ Равенна но свенлы

■ распознано сорняков Всего сэрыРков

10

15

20

30

4У

511

Номер опыт

Рисунок 4.11 - Зависимость количества распознанных культурных растений на изображении и фактического количества сорной растительности (на основе значений, полученных в проведенных экспериментах)

Анализ проводился на 50 фотографиях путем визуальной обработки и сравнения. Растения были разделены на две группы: сорные и полезные. Однако из-за изменений интенсивности света в окружающей среде фиксированные пороги были недостаточно устойчивыми. Для исправления этого недостатка был принят алгоритм цветовоспроизведения.

Используя полученные результаты, можно провести сравнение получаемого результата и фактического. Рисунок 3.5а показывает окончательный результат сегментации, в котором центриды столовой свеклы были помечены. Время обработки составило 1 с. Метод совмещения формы и цвета был реализован.

4.4 Оценка точности позиционирования и движения робототехнической

платформы

Исследование системы управления движением роботизированной платформы в рядах культурных насаждений выполнено на основе методов

лазерной дальнометрии, алгоритма А* обхода графа и поиска оптимального пути.

Для разработки системы управления движением (приложение Б) на основе метода лазерной дальнометрии использована изготовленная роботизированная платформа с закрепленным на ней датчиком LiDAR (рисунок 4.12).

1 - LiDAR Velodyne Puck (VLP-16), 2 - блок системы управления верхнего уровня, 3 - Двигатель постоянного тока BM1418ZXF, 4 - дальномер Benewake TFmini Plus, 5 - блок системы управления нижнего уровня

Рисунок 4.12 - Изготовленная роботизированная платформа с системой управления движением на основе методов лазерной дальнометрии

Система управления роботизированной платформой состоит из уровней, каждый из них решает свою задачу. (приложение Б) [145]. В качестве контроллера верхнего уровня системы управления использован одноплатный компьютер Nano Pi M4, работающий под управлением операционной системы Ubuntu. Контроллер верхнего уровня отвечает за получение и обработку данных с датчика LiDAR, принимает команды от мини компьютера Intel NUC при работе в автономном режиме и от микроконтроллера Arduino, при работе в режиме с пульта ДУ. Обработанные данные отправляются на нижний уровень системы управления. С контроллеров нижнего уровня управляющие ШИМ сигналы направляются на драйверы электродвигателей в следствие чего роботизированная платформа начинает движение. Для передачи управляющего сигнала на драйверы двигателей используется 16-и канальный ШИМ генератор

PCA9685. Управление скоростью и направлением вращения валов моторов производится с помощью драйверов Maytech MTVESC50A. Система управления (приложение Б) включает в себя LM2596-DC-DC понижающий преобразователь, который понижает напряжение с 12В до 5В, от которых питается вся логическая часть. Логическая часть системы управления роботизированной платформы расположена внутри двух водонепроницаемых кейсов, стандарт IP-55. Для приема сигнала с пульта дистанционного управления использован шестиканальный приемник радиосигнала FS-IA6B, работающий на частоте 2.4 ГГц.

Для построения облака точек и карты окружающей местности в системе управления использован датчик LiDAR компании Velodyne Puck VLP-16. Длина волны лазера в 905 нм, частота сканирования 300 кГц, максимальная дальность поле зрения 360°, скорость вращения зеркала 20 об/сек, обеспечивает точность определения дальности с помощью LiDAR Velodyne VLP-16 до 1 см. Применение LiDAR Velodyne Puck VLP-16 позволяет строить карту ряда, путем сканирования окружающего пространства в режиме реального времени и дополнения её вновь обнаруженными объектами [123]. Для получения данных с датчика LiDAR и последующих вычислений использован мини-компьютер Intel NUC. Обмен данными между узлами системы управления реализован с помощью фреймворка ROS. Для построения карты использован алгоритм Hector SLAM (Simultanious mapping and localization) и картографический алгоритм Gmapping. Данные алгоритмы позволили построить карту препятствий и одновременно определять на ней положение роботизированной платформы по одному источнику данных датчику LiDAR.

Для просмотра построенной карты и указания точек, к которым должна двигаться роботизированная платформа, использована среда визуализации Rviz. Точки, через которые роботизированная платформа и роботизированная установка должна проехать, указываются кликом мыши на карте препятствий в пользовательском интерфейсе программы Rviz с точностью до 1 мм, на месте

клика появляется красная полусфера. После указания последней точки маршрута, все точки соединяются зеленой линией, показывающей глобальную траекторию движения роботизированной платформы роботизированной установки [123]. После построения глобальной траектории, включается локальный планировщик, который рассчитывает скорость и направление движения роботизированной платформы и роботизированной установки с учетом найденных препятствий. В качестве локального планировщика использован Teb local planner.

На языке программирования Python в операционной системе Ubuntu, среде визуализации Rviz, разработан программный код для планирования пути движения и задания точек траектории движения. Для соединения точек на построенной карте использован алгоритм А* обхода графа и поиска оптимального пути. Алгоритм анализирует полученный после сканирования датчиком LiDAR граф (набор точек) и соединений (ребер), находит путь от начальной точки траектории движения к конечной точки траектории с учетом найденных препятствий и оценивает расстояние до цели [123]. Пример поиска пути в графе с препятствиями (1-10) с помощью алгоритма А* в веб-сервисе Github PathFindings представлен на изображении (рисунок 4.13).

InstrucUofte

Click within the while grid and drag your mouse to draw obstacles.

Drag the little to set the Man position

Drag ihc node to net ihe end position.

Choose an algorithm from the right-hand panel

Click Start Search ill the lower-right comer to stan the animation.

яяшяшят

к

- Сканирование траектории Trajectory scanning

- Начальная точка траектори движения / Start point of the trajectory

- Конечная точка траектории движения / Finishing point of the trajectory

- Препятствия / Obstacles гш^помы^д^.

tDA"

Breadth-First-Search

Best-First-Search

Dijkstra

Jump Point Search Orthogonal Jump Point

Рисунок 4.13 - Поиск оптимального пути с помощью алгоритма А* (веб-сервис

Github

Алгоритм позволяет находить во взвешенном графе траекторию движения с «наименьшей стоимостью» от заданной начальной точки траектории движения к установленной конечной точке траектории движения по формуле (4.2).

ад = в(п) + ВД (4.2)

где g(n) - «стоимость пути» от заданной начальной точки траектории п до любой другой заданной точки, ^Ь(п) - функция ранжирования альтернативного пути от заданной точки п до конечной точки траектории, ^п) - минимальная «стоимость» перемещения в соседнюю точку траектории [123].

Каждый раз при перемещении между точками траектории движения рассчитывается «стоимость» Д(п) для определения минимальной «стоимости» перемещения в следующую точку траектории.

Оценка точности выполнения движения роботизированной платформы и роботизированной установки с разработанной системой управления по заданной траектории проведена на экспериментальном участке в лабораторных условиях. Параметры экспериментального лабораторного участка с насаждениями культуры: ширина междурядья 0,4 метра, межкорневое расстояние 0,4 метра, ширина 0,05 метра, высота культуры 0,02 метра (рисунок 4.14)

Рисунок 4.14 - Параметры экспериментального лабораторного участка (Способ движения роботизированной платформы и роботизированной установки,

челночный односторонний)

Уровень освещенности при проведении эксперимента варьировался от 10000 люкс до 110000 люкс (интервал варьирования 50000 люкс),

контролировался с помощью спектрометр-пульсметра Uprtek MF250N (рисунок 4.15).

г*' я* и» <tu

И <п

•Я» ' йк :

ua du.

к Я! пл «и

1 I и» ПС и> t«Q

" Ш 1 ■ |1 "

I ' « IВНН

* ими ПЛ.

V СЯ ' W!J

Рисунок 4.15 - Контроль освещенности при проведении лабораторного эксперимента (Освещенность 10000 люкс, 60000 люкс, 110000 люкс)

В качестве источника света использованы люминесцентные газоразрядные лампы Super Lamp Holder SLH3 45W 220v 5500K RoHS. Для анализа точности движения по заданной траектории использован дальномер Benewake TFmini Plus, закрепленный на раме роботизированной платформы и роботизированной установки, который в режиме реального времени измерял расстояние между роботизированной платформой и насаждениями культуры, через последовательный порт (COM-порт) [123]. Для мониторинга и сохранения полученных экспериментальных данных использована программа Advanced Serial Port Monitor 3.5.3 (рисунок 4.16).

Ш Advanced Serial Port Monitor 3.5.3 build 41 - 1:3

Файл Вкд Измемшь Опии и Неполные денные Режим Внешний модуль Помоиль СОМ порт COM4 |v/ Скорость 9600 ч/ Бит данных 8 d

, Тип четности None ff-jvl Битое останова 1 Задоржка I I 500 С

v Послать j (¿-j) Закрыть

Initial its i ng laser distance sensor! [len-45] Иппшшлтшшя лктппкя

< Li" > S t o-r1. x U'3 a; u л e;ue n С lit1: i -1 \ i i v a -J > 1 a n to • • [1= il- 22] Нимало mMcpemifl

< LF>meas«ring 1.1 me 1 SBC 51 ia cm : [ len = 32] Время измс)>снг1я 1 сск: 51.1 см;

< LF > measur i. ng t lme 2 sec 51 50 cm. [ len- 32] Время измерении 2 сок. 51.5 см.

U > measuring ■ - i ■ t i me 3 sac 50 40 cm [ Ion- 3?] Время TiSMcpcHBi 3 сск: 50.4 см:

< Li" >niessuring • . i ■ i ■ • ■ | t i me 4 sec 51 00 cm : [ len = 32] 7 Вр^мн 11 чvit?|к^'нил 1 сек 5 1 О СМ

< LF > measun ng i t. i me s sec SI 70 om , [ J 011' 32 ] Время 713меренпя 5 сск: - 1 -т ? 1 7 сьг

s LF :-measur ing t ime (, sec SO 70 em; [ len- 32] Время измерения ft сек; 50.7 СМ.

< LF >measuring time 7 зге 59 30 ran. L len= 32] Время тм£)»ен!Ы 7 сек* SO i СМ-

<LF Mneesuring M ' i ' t i me El .sec 57 80 c.m ; f len- 32 ] Вр^мя шмер«ши Н сеь_ 57.3 см.

LF > Kieasur my t i ine ч SBC 50 30 cm. L len- 32] Время гимерекпя 0 сек- SO 3 ем-

< T.F >mEasuring t i me 1С sec 51 1 0 cm [ leu- 33 j . Время измерения 1(>сск .51. см

Запись в файл • | ¿J? Очистить

СОМ открыт