Методология коллективного взаимодействия агентов интеллектуальных иерархических систем в процессе обучения с подкреплением при исследовании окружающего пространства тема диссертации и автореферата по ВАК РФ 00.00.00, доктор наук Дубенко Юрий Владимирович
Дубенко Юрий Владимирович
доктор наук
2024
- Специальность ВАК РФ00.00.00
- Количество страниц 500
Оглавление диссертации доктор наук Дубенко Юрий Владимирович
Введение
1 Системный анализ многоагентных гибридных интеллектуальных систем
1.1 Основные области применения наземных робототехнических комплексов
1.2 Анализ структуры интеллектуального агента
1.3 Системный анализ альтернативных методов, позволяющих повысить эффективность управления МАС
1.4 Постановка научной задачи исследования
1.5 Выводы
2 Методы и алгоритмы подсистем машинного зрения интеллектуальных агентов
2.1 Архитектура подсистемы машинного зрения
2.2 Метод интеллектуального анализа данных из внешнего трехмерного окружающего пространства агентов
2.3 Архитектура блока трехмерной реконструкции
2.4 Алгоритмы функционирования и архитектура блока интеллектуального анализа трехмерных сцен
2.5 Выводы
3 Архитектура интеллектуальных многоагентных систем, основанных на применении иерархического и многоагентного обучения с подкреплением
3.1 Концептуальная модель интеллектуальной системы, реализованной на основе иерархического и многоагентного обучения с подкреплением
3.2 Математическая модель интеллектуальной системы, реализованной на основе иерархического и многоагентного обучения с подкреплением
3.3 Архитектура интеллектуальной системы, основанной на применении иерархического и многоагентного обучения с подкреплением
3.4 Архитектура интеллектуальных агентов
3.5 Выводы
4 Методы реализации коллективного взаимодействия интеллектуальных агентов на основе иерархического и многоагентного обучения с подкреплением
4.1 Задача реализации поведенческих стратегий агентов многоагентных интеллектуальных систем
4.2 Метод сегментации макродействий выполняемых интеллектуальными агентами в процессе иерархического обучения с подкреплением
4.3 Классификация агентов и получаемого ими опыта
4.4 Метод обмена опытом между интеллектуальными гетерогенными агентами
4.5 Выводы
5 Механизм коллективного взаимодействия интеллектуальных агентов в централизованных и децентрализованных многоагентных системах в процессе иерархического обучения с подкреплением
5.1 Алгоритм обучения с подкреплением для децентрализованных многоагентных систем
5.2 Алгоритм обучения с подкреплением для сверх централизованных многоагентных систем, основанный на расчете коллективного подкрепления
5.3 Алгоритм обучения с подкреплением для централизованных многоагентных систем, основанный на наличии «агента-менеджера»
5.4 Гибридный алгоритм формирования кратчайшей траектории интеллектуальным агентом
5.5 Выводы
6 Моделирование процесса функционирования многоагентной интеллектуальной системы, основанной на применении иерархического и многоагентного обучения с подкреплением
6.1 Методика оценки эффективности интеллектуальной многоагентной системы, основанной на применении иерархического и многоагентного
обучения с подкреплением. Архитектура интеллектуальной иерархической многоагентной системы (ИИМАС) для обучения и управления группой
агентов
6.2 Оценка алгоритмов подсистемы машинного зрения
6.3 Компьютерное и численное моделирование процесса функционирования многоагентной интеллектуальной системы, основанной на применении иерархического и многоагентного обучения с подкреплением. Оценка полученных результатов
6.4 Анализ результатов эксперимента
6.5 Выводы
Заключение
Список сокращений и условных обозначений
Словарь терминов
Список литературы
Приложение А Аналитический обзор многоагентных гибридных интеллектуальных систем
Приложение Б Анализ методов и алгоритмов реализации подсистем машинного зрения агентов многоагентных гибридных интеллектуальных информационных систем, предназначенных для обработки изображений
Приложение В Предложенная структура Mask R-CNN, применяемая для идентификации и маскирования (выделения точек) объектов
Приложение Г Подробное описание методики оценки эффективности интеллектуальной многоагентной системы, а также предложенной архитектуры интеллектуальной иерархической многоагентной системы (ИИМАС) для обучения и управления группой агентов
Приложение Д Результаты применения алгоритмов подсистемы машинного зрения
Приложение Е Примеры аппаратных и программных решений, реализованных в рамках тестирования предложенных методов и алгоритмов
Приложение Ж Вероятности выполнения поставленных задач за различные временные интервалы
Приложение И Графики изменения параметра «среднее время достижения целевого состояния» (оценка по временному показателю)
Приложение К Блок-схема разработанного метода сегментации макродействий
Приложение Л Декомпозиция работ, выделенных в рамках концептуального моделирования интеллектуальной многоагентной системы
Приложение М Акты о внедрении результатов, полученных в диссертационной работе
Рекомендованный список диссертаций по специальности «Другие cпециальности», 00.00.00 шифр ВАК
Исследование и разработка методов обучения с подкреплением для задач навигации в визуальных и клеточных средах2023 год, кандидат наук Скрынник Алексей Александрович
Математическое и программное обеспечение процессов управления многоагентным мониторингом объектов распределенной системы при нестационарной нагрузке2023 год, кандидат наук Рыкшин Максим Сергеевич
Моделирование поведения вероятностных многоагентных систем с децентрализованной архитектурой2020 год, кандидат наук Попков Сергей Игоревич
Методы и алгоритмы нейросимвольного обучения и планирования поведения когнитивных агентов2024 год, доктор наук Панов Александр Игоревич
Разработка методов машинного обучения с подкреплением для управления робототехническими устройствами и виртуальными агентами2023 год, кандидат наук Сорокин Дмитрий Игоревич
Введение диссертации (часть автореферата) на тему «Методология коллективного взаимодействия агентов интеллектуальных иерархических систем в процессе обучения с подкреплением при исследовании окружающего пространства»
Введение
Актуальность темы исследования. В настоящее время актуальными задачами применения на практике многоагентных интеллектуальных систем является доставка небольших грузов (вес от 1.5 до 150 кг) мобильными роботами и дронами, мониторинг состояния инфраструктурных объектов, патрулирование режимных объектов, исследование агентами незнакомой окружающей среды с построением трехмерной карты этой среды для последующей навигации. Известен широкий спектр робототехнических устройств в данных сферах, например, решения от таких компаний как «Яндекс», «Google», «Amazon», Starship Technologies, Boston Dynamics - роботы доставщики, беспилотные мобильные роботы, четвероногие роботы BigDog и др. Во всех этих робототехнических устройствах применяется интеллектуальная система управления, включающая ряд подсистем для сбора информации с различных датчиков (ультразвуковые дальномеры, лидары, камеры и др.), подсистема машинного зрения, подсистема принятия решений.
Для задачи исследования роботами незнакомой окружающей среды (мира) необходимо автоматически формировать 2D или 3D карту окружающего пространства робота(ов), особенно для таких типов сред как неполностью наблюдаемые, стохастические, динамические, что делает актуальными теоретические и практические научные исследования в области создания методологии управления динамическими интеллектуальными агентами (роботами) иерархических многоагентных систем, способных к автономному функционированию и навигации в такого типа средах (мирах).
Для большинства известных решений характерно применение «обучения с учителем». Из этого следует необходимость в фиксации условий возникновения всех ситуаций, которые могут возникнуть в процессе функционирования интеллектуального агента (робота), что практически невозможно, учитывая обозначенные выше характеристики внешней среды. В качестве решения данной
задачи может быть использована парадигма обучения с подкреплением для интеллектуальных агентов.
В обучении с подкреплением, особенно применительно к иерархическим мультиагентным системам выявлена фундаментальная проблема: так называемое отложенное вознаграждение (подкрепление) агентов, которое оказывает существенное влияние на вычислительную сложность алгоритмов, время их сходимости, вероятность нахождения одной из множества оптимальных политик (стратегий) для агентов.
В процессе функционирования агентов, при выборе ими с определенной вероятностью возможного доступного действия или макродействия в каждом состоянии окружающей их среды агенты получают наряду с локальными вознаграждениями за свои действия на каждом шаге и некоторое отложенное, т.е. итоговое вознаграждение после решения поставленной задачи, например, достижение некоторого целевого состояния в незнакомой среде (мире). Термин макродействие введен автором для обозначения последовательности простых действий, которые приводят агента к некоторой промежуточной цели в процессе обучения с подкреплением.
На практике возможны ситуации, при которых максимизация полученных локальных вознаграждений становится для агентов более привлекательным сценарием, в результате чего происходит зацикливание в локальных максимумах функции вознаграждения агентов, что замедляет скорость их обучения, увеличивает время их обучения, и снижает, или вовсе исключает вероятность нахождения одной из оптимальных политик (стратегий) для агентов.
Для решения обозначенной фундаментальной проблемы автором предложена следующая гипотеза: интеллектуальные агенты, объединенные в иерархическую мультиагентную систему с различной степенью централизации (централизация и сверхцентрализация), а также объединенные в децентрализованную систему в режимах работы «кооперация» и «конкуренция», с возможностью обмена полученным агентами опытом, формализованным в виде макродействий, позволит улучшить сходимость алгоритмов за меньшее время,
меньшую вычислительную сложность, и повысит вероятность достижения целевого состояния, т.е. другими словами, применение концепции коннекционизма и коллективизма при принятии решений интеллектуальными агентами будет способствовать повышению эффективности функционирования иерархической интеллектуальной системой в целом.
Для оптимизации процедуры информационного обмена опытом целесообразно выполнить декомпозицию интеллектуальной иерархической мультиагентной системы (ИИМАС) на отдельные, относительно изолированные группы агентов, в рамках которых агенты смогут обмениваться опытом напрямую в процессе решения поставленной задачи. В каждой такой группе предлагается выделить отдельного агента, через которого будет осуществляться межгрупповой обмен опытом. При этом в случае потери связи, или выхода такого агента из строя его обязанности будут автоматически возложены на любого другого агента группы.
Так как система управления агентами ИИМАС включает в себя методы и алгоритмы обработки данных, полученных от разных сенсоров (ультразвуковые дальномеры, лидары, камеры), то необходимо разработать новые методы управления интеллектуальными агентами, включающие конвергенцию методов машинного зрения и машинного обучения с подкреплением для получения комплексного синергетического эффекта, который позволит разрешить выявленную фундаментальную проблему. Для этого автором предложено разработать новую методологию коллективного взаимодействия интеллектуальных агентов в иерархических системах в процессе обучения с подкреплением при исследовании окружающего пространства.
Различным вопросам реализации систем компьютерного зрения посвящены работы следующих авторов: Шмидхубер Ю., Форсайт Д.А., Понс Ж., Гонсалес Р., Вудс Р., Хиршмюллер Х.
Изучению основных вопросов, связанных с реализацией многоагентных систем посвящены работы следующих авторов: Городецкий В.И., Денисенков
М.А., Карсаев О.В., Самойлов В.В., Серебряков С.В., Томашевич С.И., Щербатов И.А., Рассел С., Норвиг П.
Методы реализации поведенческих стратегий рассмотрены в работах Вагина В.Н., Варшавского П.Р., Панова А.И., Саттон Р.С., Стюарт Р., Норвиг П., Фёрстер Дж.
Реализации иерархического обучения с подкреплением посвящены работы авторов: Ронан Фруит Алессандро, Барто А.Г., Сридхар Махадеван, Каи Арулкумаран, Нат Дилоктханакул, Муррай Сханахан, Анил Антони Бхаратх, Марзиех Давоодабади Фарахани, Нассер Мозаяни, Метцен Й., Диттерих Т.Г.. МакГоверн А., Занг П., Зхоу П., Миннен Д.С., Джонссон И.А., Мехта Н., Рай С., Тадепалли П., Симшек О., Столле М., Пресуп Д., Маннор С., Меначе И., Хосе А., Кляйн У., Даян П., Хинтон Г.Е.
Существенный вклад в теорию многоагентного обучения с подкреплением интеллектуальных агентов внесли как отечественные, так и зарубежные ученые, среди которых можно выделить следующих авторов: Левин С., Хонгяо Танг, Жиане Хао, Тангжие Лю, Йингфенг Чен, Зонгжанг Зханг, Хангтиан Жиа, Схунксу Рен, Йан Зхенг, Зхаопенг Менг, Схангжие Фан, Ли Ванг, Фоерстер Ж., Ассаел И.А., де Фреитас Н., Вхитесон С., Ражбала Макар, Сридхар Махадеван, Мохаммад Гхавамзадех, Леибо Ж.З.
Также в обозначенных направлениях работают такие компании как Яндекс, DeepMind, Google, OpenAI, исследователи в отечественных и зарубежных университетах, МФТИ, Стэнфордский университет, Оксфордский университет, MIT и др.
Проведенный в диссертационной работе системный анализ методов иерархического глубокого обучения с подкреплением интеллектуальных агентов в многоагентных централизованных и децентрализованных системах позволил выявить следующее противоречие в теории - необходимость повышения эффективности динамического адаптивного централизованного и децентрализованного управления группой однородных и неоднородных интеллектуальных агентов ИИМАС в сложных, недетерминированных,
неполностью наблюдаемых, стохастических средах за меньшее время, с меньшей вычислительной сложностью при одновременном увеличении количества агентов и их совместных действий.
Поэтому разработка методологии коллективного взаимодействия интеллектуальных агентов в иерархических многоагентных системах, позволяющая повысить эффективность управления группой однородных и неоднородных интеллектуальных агентов в децентрализованных и централизованных системах является актуальной задачей.
Объектом диссертационного исследования выбраны интеллектуальные многоагентные иерархические системы.
Цель диссертационного исследования - разработка методологии позволяющей повысить эффективность автономного управления агентами интеллектуальных иерархических многоагентных систем в процессе обучения с подкреплением, за меньшее время и меньшую вычислительную сложность в условиях открытой, стохастической, нестационарной и нечетко определенной внешней среды.
Предмет исследования: системный анализ интеллектуальных иерархических мультиагентных систем, методы реализации машинного зрения (методы распознавания образов, трехмерной реконструкции, интеллектуального анализа трехмерных сцен), методы реализации поведенческих стратегий агентов (действующих как индивидуально, так и в составе многоагентных систем), основанные на применении различных видов обучения с подкреплением (иерархическое обучение с подкреплением, многоагентное обучение с подкреплением).
Научная проблема исследования заключается в повышении эффективности динамического адаптивного централизованного и децентрализованного управления группой однородных и неоднородных объектов (интеллектуальных агентов, оснащенных подсистемой машинного зрения, обладающих возможностью обмена опытом) в процессе обучения с
подкреплением, в сложных, недетерминированных, неполностью наблюдаемых, стохастических средах.
Для решения поставленной научной проблемы и достижения указанной цели была проведена ее декомпозиция на ряд следующих взаимосвязанных научно-технических задач:
1. Системный анализ многоагентных иерархических интеллектуальных систем, интеллектуальных агентов, выявление практической проблемы исследования, постановка практической цели, формализация и постановка основной научной задачи исследования, декомпозиция цели исследования на подцели, выявление критериев эффективности функционирования агентов ИИМАС.
2. Разработка архитектуры, методов и алгоритмов машинного зрения интеллектуальных агентов, включая: методы реконструкции трехмерных сцен окружающего пространства агентов; алгоритмы функционирования и архитектуру для модуля интеллектуального анализа трехмерных сцен.
3. Разработка архитектуры ИИМАС основанной на применении иерархического и многоагентного обучения с подкреплением, включая концептуальную и математическую модель.
4. Разработка методов коллективного взаимодействия интеллектуальных агентов ИИМАС на основе иерархического и многоагентного обучения с подкреплением, включая: метод сегментации макродействий; классификацию опыта агентов; методы обмена опытом между агентами и его повторного применения (метод повторного применения уже имеющегося опыта решения задач, формализованного в виде примитивных действий, метод повторного применения имеющегося опыта решения задач, формализованного в виде макродействий).
5. Разработка механизма коллективного взаимодействия интеллектуальных агентов в централизованных и децентрализованных многоагентных системах в процессе иерархического обучения с подкреплением, включая: алгоритм обучения с подкреплением для децентрализованной ИИМАС; алгоритм обучения
с подкреплением для сверхцентрализованной ИИМАС, основанный на расчете коллективного подкрепления; алгоритм обучения с подкреплением для централизованной ИИМАС, включающий автоматическое формирование подгрупп интеллектуальных агентов «агентом-менеджером».
6. Компьютерное и численное моделирование процесса функционирования интеллектуальных агентов ИИМАС для экспериментальной оценки разработанной методологии по критериям точности распознавания объектов среды, в которой функционируют агенты, вероятности нахождения оптимальной стратегии агентами, расчета времени и вычислительной сложности полученной системы с ближайшими аналогами.
Методы исследования. В ходе решения задач, поставленных в диссертационной работе, были применены теория и методы системного анализа, методология функционального моделирования IDEF0, математическая логика, теория игр, теория вероятности, математическая статистика, теория принятия решений, методы машинного обучения, искусственные нейронные сети различных архитектур (Fast RCNN, Mask R-CNN, Siamese network), методы и алгоритмы компьютерной графики и проективной геометрии Semi-Global Block-Matching Algorithm, триангуляция Делоне, теория иерархического обучения с подкреплением, теория многоагентного обучения с подкреплением.
Научная новизна диссертационной работы заключаются в разработанной автором методологии повышения эффективности динамического адаптивного централизованного и децентрализованного управления группой однородных и неоднородных объектов (интеллектуальных агентов, оснащенных подсистемой машинного зрения, обладающих возможностью обмена опытом) в процессе обучения с подкреплением, в сложных, недетерминированных, неполностью наблюдаемых, стохастических средах.
На основе авторской методологии разработаны следующие методы, механизмы и архитектура ИИМАС:
1. Метод интеллектуального анализа данных из внешнего трехмерного окружающего пространства агентов, включающий триангуляцию Делоне,
фильтрацию облаков точек полученных с лидара, обнаружение столкновений движущихся объектов в трехмерном пространстве с помощью дерева октантов (Octree), распознавание и выделение объектов с учетом их геометрических размеров и положения (на основе свёрточной нейронной сети авторской архитектуры типа Mask R-CNN), вычисление траектории движущихся объектов с применением алгоритмов «Block-Matching Algorithm», «Semi-Global Block-Matching Algorithm» с целью формирования опыта агентов, его формализации, сохранении и передачи другим агентам ИИМАС. Метод отличается от существующих комплексной, параллельной обработкой данных в режиме реального времени, полученных с различных сенсоров агента (стереокамера, панорамная камера, лидар), и предоставляет дополнительный канал визуального восприятия для изучения и наблюдения за действиями других агентов.
2. Метод сегментации макродействий выполняемых интеллектуальными агентами в процессе иерархического обучения с подкреплением, функционирующих в динамических, стохастических, четко не определенных и неполностью наблюдаемых средах с целью уменьшения времени принятия решения агентом при переходе из одного состояния окружающей среды (мира) в другое. Метод отличается от ранее известных возможностью учета произведенного количества переходов для того или иного ребра графа макродействий, а также вычисления ценности действия с меньшей вычислительной сложностью. Данный метод позволяет идентифицировать в буфере опыта агента релевантные цепочки действий, следование которым приводит к решению некоторого класса типовых задач при обследовании окружающей агентов среды.
3. Метод обмена опытом между интеллектуальными гетерогенными агентами, работающими в группе для достижения поставленных лицом принимающим решения (ЛПР) целей и задач по исследованию незнакомой среды в процессе обучения, отличающийся от ранее известных возможностью формализации опыта в виде макродействий. Данный метод позволяет выполнять интерпретацию опыта, полученного другими агентами, формализованного в виде
макродействий применительно к текущему состоянию агента, при принятии им решения о выполнении следующего действия.
4. Механизм коллективного взаимодействия интеллектуальных агентов в централизованных и децентрализованных многоагентных системах в процессе иерархического обучения с подкреплением, позволяющий строить карты окружающего трехмерного пространства агентов с возможностью обучения агентов случайному взаимодействию и обмену опытом, отличающийся от ранее известных возможностью автоматического формирования групп агентов на основании области видимости агента-лидера, формализации опыта в виде макродействий. Разработанный механизм способствует снижению количества комбинаторных операций при выборе совместных действий агентов, повышению сходимости алгоритмов при многоагентном обучении с подкреплением за счет реализации процедуры обмена опытом между агентами, в т.ч. формализованного в виде макродействий, а также полученного путем анализа результатов визуального наблюдения за действиями других агентов.
5. Авторская архитектура интеллектуальной иерархической многоагентной системы (ИИМАС) для обучения и управления группой агентов с целью исследования динамической, стохастической, четко не определенной и неполностью наблюдаемой окружающей агентов среды, автоматического формирования двумерной и трехмерной карты этой среды, отличающаяся от ранее известных наличием интеллектуальной системы управления, методы и алгоритмы которой позволят в централизованных и децентрализованных системам в режимах кооперации и конкуренции на различных уровнях иерархии повысить вероятность достижения целевых состояний агентов, уменьшить время достижения целевого состояния, снизить вычислительную сложность алгоритмов в том числе за счет более быстрого по времени выхода из локальных максимумов глобальной функции подкрепления.
Теоретическая значимость исследования заключается в развитии теории интеллектуальных иерархических многоагентных систем (ИИМАС):
1. Выявлены проблемы в процессе обмена, формализации полученного опыта агентами ИИМАС при решении задачи исследования окружающей среды; изучены внутренние противоречия при коллективном иерархическом обучении с подкреплением.
2. Изложены гипотезы и идеи по оптимизации методов и алгоритмов машинного обучения и машинного зрения интеллектуальных гетерогенных агентов, функционирующих в ИИМАС в режимах кооперации и конкуренции.
3. Проведена модернизация архитектуры гетерогенных интеллектуальных агентов, представлена авторская архитектура ИИМАС, разработаны методы и алгоритмы коллективного взаимодействия агентов для централизованных и децентрализованных ИИМАС, оптимизированы алгоритмы поиска целевых состояний на графе состояний окружающей агентов среды при глубоком иерархическом обучении с подкреплением, что обеспечило получение новых результатов по теме диссертации.
Практическая значимость проведенного исследования состоит в следующем:
1. Разработанный метод реконструкции трехмерного пространства и алгоритмы на его основе для подсистемы машинного зрения интеллектуальных агентов (мобильных роботов, дронов) позволят повысить точность распознавания полученных двухмерных и трехмерных копий объектов из окружающей среды, в которой функционируют агенты, измерения геометрических параметров этих объектов и расстояния от них до агентов, что вместе с разработанными методами глубокого иерархического обучения с подкреплением для реализации многоагентных интеллектуальных систем различного назначения, например, в системах управления робототехническими устройствами для складской логистики, в компьютерных играх для разработки алгоритмов интеллектуальных агентов позволит повысить эффективность централизованного и децентрализованного управления группами гетерогенных интеллектуальных агентов.
2. Созданное программное обеспечение (MVP) с открытым исходным кодом на основе разработанных в диссертационном исследовании методов и алгоритмов для самообучающихся мобильных роботов, решающих задачу обследования незнакомой территории, с последующем построением карты окружающего пространства; решающих задачу поиска выхода из лабиринта в образовательной робототехнике позволит повысить эффективность централизованного и децентрализованного управления группой интеллектуальных агентов.
Основные положения, выносимые на защиту:
1. Метод интеллектуального анализа данных полученных от подсистемы машинного зрения, включающий триангуляцию Делоне, фильтрацию точек полученных с лидара, обнаружение столкновений и вычисление траекторий движущихся объектов, распознавание и выделение объектов с учетом их геометрических размеров и положения, с целью формирования опыта агентов, его формализации, сохранении и передачи другим агентам ИИМАС. Метод отличается от существующих комплексной, параллельной обработкой данных в режиме реального времени, полученных с различных сенсоров агента и предоставляет агентам дополнительный канал визуального восприятия для изучения и наблюдения за действиями других агентов.
2. Метод сегментации макродействий выполняемых интеллектуальными агентами в процессе иерархического обучения с подкреплением, функционирующих в динамических, стохастических, четко не определенных и неполностью наблюдаемых средах с целью уменьшения времени принятия решения агентом при переходе из одного состояния окружающей среды (мира) в другое. Метод отличается от ранее известных возможностью учета произведенного количества переходов для того или иного ребра графа макродействий, а также вычисления ценности действия с меньшей вычислительной сложностью. Метод позволяет идентифицировать в буфере опыта агента релевантные цепочки действий, следование которым приводит к
решению некоторого класса типовых задач при исследовании окружающей агентов среды.
3. Метод обмена опытом между интеллектуальными гетерогенными агентами, работающими в группе по обследованию незнакомой среды в процессе обучения с подкреплением, отличающийся от ранее известных возможностью формализации опыта в виде макродействий. Метод позволяет обмениваться опытом, полученным другими агентами применительно к текущему состоянию среды, при принятии ими решения о выполнении следующего действия.
4. Механизм коллективного взаимодействия интеллектуальных агентов в централизованных ИИМАС в процессе иерархического обучения с подкреплением, с целью построения карты окружающего пространства агентов, включающий обмен опытом, отличающийся от ранее известных возможностью автоматического формирования групп агентов на основании области видимости агента-лидера, формализации опыта в виде макродействий. Механизм способствует снижению количества комбинаторных операций при выборе совместных действий агентов, повышению сходимости алгоритмов при многоагентном обучении с подкреплением за счет реализации процедуры обмена опытом между агентами.
5. Механизм коллективного взаимодействия интеллектуальных агентов в децентрализованных ИИМАС для режимов работы «кооперация» и «конкуренция», с целью построения карты окружающего пространства агентов, поиска целевого объекта на карте с возможностью обучения агентов случайному взаимодействию и обмену опытом, отличающийся от ранее известных возможностью автоматического формирования групп агентов на основании области видимости агента-лидера, смены агента-лидера, автоматическим распределением задач агентом-лидером, формализации опыта в виде макродействий. Метод способствует снижению количества комбинаторных операций при выборе совместных действий агентов в режимах «кооперации» и «конкуренции», повышению сходимости алгоритмов, уменьшению времени поиска целевого объекта в соревновательном режиме.
6. Авторская архитектура ИИМАС для динамического управления группами агентов с целью исследования динамической, стохастической, четко не определенной и неполностью наблюдаемой окружающей среды, автоматического формирования навигационной карты этой среды, отличающаяся от ранее известных новой интеллектуальной системой управления, методы и алгоритмы которой позволят в централизованных и децентрализованных системам в режимах кооперации и конкуренции на различных уровнях иерархии повысить вероятность достижения целевых состояний агентов, уменьшить время достижения целевых состояний, снизить вычислительную сложность применяемых алгоритмов.
Достоверность и обоснованность полученных результатов определяется строгостью приводимых математических доказательств, в получении которых был использован научно-методологический аппарат системного анализа, теория искусственных нейронный сетей, теория глубокого иерархического обучения с подкреплением, теоретические основы искусственного интеллекта, в частности перспективные методы искусственного интеллекта, теория многоагентных систем, методы и алгоритмы проективной геометрии, трехмерной графики, машинного зрения.
Справедливость полученных в диссертации научных результатов подтверждается выполнением сравнительного анализа разработанных методов и алгоритмов динамического управления группой однородных и неоднородных интеллектуальных агентов в централизованных и децентрализованных иерархических многоагентных системах в сложных, недетерминированных, неполностью наблюдаемых, стохастических средах с известными ранее методами, а также проведенными вычислительными экспериментами с применением компьютерного моделирования.
Похожие диссертационные работы по специальности «Другие cпециальности», 00.00.00 шифр ВАК
Модели, методы и программные средства организации взаимодействия интеллектуальных агентов2008 год, кандидат технических наук Паронджанов, Сергей Сергеевич
Инструментальная поддержка распределенного обучения и принятия решений в открытых сетях агентов2008 год, кандидат технических наук Серебряков, Сергей Валерьевич
Масштабируемые алгоритмы одновременного построения карты и локализации стаи мобильных роботов2021 год, кандидат наук Филатов Антон Юрьевич
Иерархические методы и алгоритмы визуальной навигации внутри помещений с обучаемыми навыками2023 год, кандидат наук Староверов Алексей Витальевич
Разработка и исследование методов поддержки и оптимизации информационных процессов в транзитном контейнерном терминале2014 год, кандидат наук Луцан, Максим Васильевич
Список литературы диссертационного исследования доктор наук Дубенко Юрий Владимирович, 2024 год
Список литературы
1. Афанасьева, А. С. Выбор функции приспособленности особей генетического алгоритма с помощью обучения с подкреплением / А. С. Афанасьева, М. В. Буздалов. - Текст : непосредственный // Научно-технический вестник информационных технологий, механики и оптики. - 2012. - № 1 (77). - С. 77-81.
2. Еремеев, А. П. Обобщенный метод иерархического подкрепленного обучения для интеллектуальных систем поддержки принятия решений / А П. Еремеев, И. Ю. Подогов. - Текст : непосредственный // Программные продукты и системы. - 2008. - № 2. - С. 35-39.
3. Fruit, R. Alessandro Lazaric Exploration-Exploitation in MDPs with Options / R. Fruit, A. Lazaric. - 2017. - URL: https://arxiv.org/abs/1703.08667v2. - Text : electronic.
4. Barto, A. G. Recent Advances in Hierarchical Reinforcement Learning / A. G. Barto, S. Mahadevan. - Text : direct // Discrete Event Dynamic Systems: Theory and Applications. - 2003 -N 13 - P. 41-77.
5. Classifying Options for Deep Reinforcement Learning / Kai Arulkumaran, Nat Dilokthanakul, Murray Shanahan, Anil Anthony Bharath. - 2016. - Text : direct.
6. Sim§ek, O. Behavioral Building Blocks for Autonomous Agents: Description, Identification, and Learning : Ph.D. thesis / O. Sim§ek // Department of Computer Science; University of Massachusetts Amherst, 2008. - Text : direct.
7. Stolle, M. Learning options in reinforcement learning / M. Stolle, D. Precup. -Text : direct // Abstraction, Reformulation, and Approximation. - 2002. - P. 212-223.
8. Dynamic abstraction in reinforcement learning via clustering / S. Mannor, I. Menache, A. Hoze, U. Klein. - Text : direct // Proceedings of the Twenty-First International Conference on Machine Learning. - 2004. - P. 71.
9. Саттон, Р. С. Обучение с подкреплением: введение : практическое руководство / Р. С. Саттон, Э. Дж. Барто ; перевод с английского А. А. Слинкина. - 2-е издание. - Москва : ДМК Пресс, 2020. - 552 с. - Текст : непосредственный.
10. Dietterich, T. G. The MAXQ Method for Hierarchical Reinforcement Learning / T. G. Dietterich. -Text : direct // Journal of Artificial Intelligence Research. - 2000. - P. 227-303.
11. Dietterich, T. G. Hierarchical reinforcement learning with the maxq value function decomposition / T. G. Dietterich. -Text : direct // Journal of Artificial Intelligence Research. - 1998. - N 13. - P. 227-303.
12. McGovern, A. Automatic discovery of subgoals in reinforcement learning using diverse density / A. McGovern, A. G. Barto. - Text : direct // Machine Learning : International Workshop Then Conference. - 2001. - P. 361-368.
13. Discovering options from example trajectories / P. Zang, P. Zhou, D. Minnen, C. Isbell. - Text : direct // Proceedings of the 26th Annual International Conference on Machine Learning. - 2009. - P. 1217-1224.
14. Jonsson, A. A causal approach to hierarchical decomposition of factored MDPs / A. Jonsson, A. Barto. - Text : direct // Proceedings of the 22nd International Conference on Machine Learning. - 2005. - P. 401-408.
15. Mehta, N. Automatic discovery and transfer of MAXQ hierarchies / N. Mehta, S. Ray, P. Tadepalli, T. Dietterich. - Text : direct // Proceedings of the 25th International Conference on Machine Learning.- 2008.- P. 648-655.
16. Farahani, M. D. Automatic construction and evaluation of macro-actions in reinforcement learning / M. D. Farahani, N. Mozayani. - Text : direct // Applied Soft Computing. - 2019. - 82 p.
17. Learning deep representations for graph clustering AAAI'14 / F. Tian, B. Gao, Q. Cui, T.-Y. Liu // Proceedings of the Twenty-Eighth AAAI Conference on Artificial Intelligence. - Québec, 2014. - P. 1293-1299. - Text : direct.
18. Metzen, J. H. Learning the Structure of Continuous Markov Decision Processes : Ph.D. thesis / . J.H. Metzen. - University of Bremen, 2014. - Text : direct.
19. Казьмин, В. Н. Выделение геометрических и семантических объектов в дальнометрических изображениях для навигации роботов и реконструкции внешней среды / В. Н. Казьмин, В. П. Носков. - Текст : электронный // Известия ЮФУ. Технические науки. - 2015. - № 10 (171). - URL:
https://cyberleninka.ru/article/n/vydelenie-geometricheskih-i-semanticheskih-obektov-v-dalnometricheskih-izobrazheniyah-dlya-navigatsii-robotov-i-rekonstruktsii (дата обращения: 07.12.2020).
20. Kuzmin, V. The use of neural networks in the Q-Learning algorithm / V. Kuzmin. - Text : direct // Transport and Telecommunication. - 2003. - Vol. 4, N 1. - P. 74-86.
21. Dayan, P. Hinton Feudal Reinforcement Learning / P. Dayan, E Geoffrey. -Text : direct // NIPS. - 1992. - N 5. - P. 271-278.
22. Sarigul, M. Q-Learning regression neural network / M. Sarigul, M. Avci. -Text : direct // Neural Network World. - 2018. - N 5.- P. 415-431.
23. We're building the World's Most Experienced Driver // Waymo. - 2021. -URL: https://waymo.com/. - Text : electronic.
24. Your Autopilot has arrived // Tesla. - 2021. - URL: https://www.tesla.com/blog/your-autopilot-has-arrived. - Text : electronic.
25. Вазаев, А. В. Комплексированная система технического зрения в системе управления робота с навесным оборудованием / А. В. Вазаев, В. П. Носков, И.В. Рубцов. - Текст : электронный // Известия ТулГУ. Технические науки. - 2018. - № 3. - URL: https://cyberleninka.ru/article/n/kompleksirovannaya-sistema-tehnicheskogo-zreniya-v-sisteme-upravleniya-robota-s-navesnym-oborudovaniem (дата обращения: 07.07.2019).
26. Совместное использование сенсоров различных спектральных диапазонов для повышения распознаваемости зондируемых объектов / А.Н. Виноградов, В.В. Егоров, А.П. Калинин [и др.]. - Москва, 2016. - URL: http://www.iki.rssi.ru/books/2016vinogradov.pdf. - Текст : электронный.
27. Распознавание объектов и типов опорной поверхности по данным комплексированной системы технического зрения / А. В. Вазаев, В. П. Носков, И. В. Рубцов, С. Г. Цариченко. - Текст : электронный // Известия ЮФУ. Технические науки. - 2016. - № 2 (175). - URL: https://cyberleninka.ru/article/n/raspoznavanie-obektov-i-tipov-opornoy-poverhnosti-po-dannym-kompleksirovannoy-sistemy-tehnicheskogo-zreniya (дата обращения: 07.07.2019).
28. Форсайт, Д. А. Компьютерное зрение. Современный подход / перевод с английского Д. А. Форсайт, Ж. Понс. - Москва : Вильямс, 2004. - 928 с. - Текст : непосредственный.
29. Сергеев, Н. С. Пространственная фильтрация изображений в системах технического зрения / Н. С. Сергеев. - Текст : электронный // Известия ТулГУ. Технические науки. - 2018. - № 9. - URL: https://cyberleninka.ru/article/n/prostranstvennaya-filtratsiya-izobrazheniy-v-sistemah-tehnicheskogo-zreniya (дата обращения: 09.07.2019).
30. Стругайло В. В. Обзор методов фильтрации и сегментации цифровых изображений / В. В. Стругайло - Текст : электронный // Машиностроение и компьютерные технологии. - 2012. - № 5. - URL: https://cyberleninka.ru/article/n/obzor-metodov-filtratsii-i-segmentatsii-tsifrovyh-izobrazheniy (дата обращения: 09.07.2019).
31. Гонсалес, Р. Цифровая обработка изображений / Р. Гонсалес, Р. Вудс. -Издание 3-е, исправленное и дополненное. - Москва : Техносфера, 2012. - 1104 с. - Текст : непосредственный.
32. Щербаков, М. А. Нелинейная фильтрация с адаптацией к локальным свойствам изображения / М. А. Щербаков, А. П. Панов. - Текст : электронный // КО. - 2014. - № 4. - URL: https://cyberleninka.ru/article/n/nelineynaya-filtratsiya-s-adaptatsiey-k-lokalnym-svoystvam-izobrazheniya (дата обращения: 09.07.2019).
33. Васильев, А. С. Алгоритмы фильтрации задымленного изображения / А. С. Васильев, А. В. Краснящих, О. Ю. Лашманов. - Текст : электронный // Приборостроение. - 2013. - № 11. - URL: https://cyberleninka.ru/article/n7algoritmy-filtratsii-zadymlennogo-izobrazheniya (дата обращения: 10.07.2019).
34. Гусев, В.Ю. Методика фильтрации периодических помех цифровых изображений / В.Ю. Гусев, А.В. Крапивенко. - Текст : электронный // Труды МАИ : электронный журнал. - 2012. - № 50. - URL: www.mai.ru/science/trudy/ (дата обращения 04.02.2021).
35. Сергиенко, А. Б. Алгоритмы адаптивной фильтрации: особенности реализации в MATLAB / А. Б. Сергиенко. - Текст : непосредственный // Математика в приложениях. - 2003. - № 1 (1). - С. 18-28.
36. Бондина, Н. Н. Адаптивные алгоритмы фильтрации и изменения контраста изображения / Н. Н. Бондина, Р. Ю. Мураров. - Текст : электронный // Вестник НТУ ХПИ. - 2014. - № 35 (1078). - URL: https://cyberleninka.ru/article/n/adaptivnye-algoritmy-filtratsii-i-izmeneniya-kontrasta-izobrazheniya (дата обращения: 10.07.2019).
37. Щербаков, М. А. Итерационный метод оптимальной нелинейной фильтрации изображений / М. А. Щербаков. - Текст : электронный // Известия ВУЗов. Поволжский регион. Технические науки. - 2011. - № 4. - URL: https://cyberleninka.ru/article/n/iteratsionnyy-metod-optimalnoy-nelineynoy-filtratsii-izobrazheniy (дата обращения: 10.07.2019).
38. Горитов, А. Н. Выделение на изображении низкого разрешения параметрически задаваемых объектов / А. Н. Горитов, С. И. Яковченко. - Текст : электронный // Доклады ТУСУР. - 2017. - № 2. - URL: https://cyberleninka.ru/article/n/vydelenie-na-izobrazhenii-nizkogo-razresheniya-parametricheski-zadavaemyh-obektov (дата обращения: 10.07.2019).
39. Pitas, I. Nonlinear digital filters: principles and applications / I. Pitas, A.N. Venetsanopoulos. - Boston : Kluwer Academic Publishers, 1990. - 391 p. - Text : direct.
40. Александровская, А. А. Сравнение алгоритмов эквализации гистограмм полутоновых изображений / А. А. Александровская, Е. М. Маврин. - Текст : электронный // Вопросы науки и образования. - 2019. - № 13 (60). - URL: https://cyberleninka.ru/article/n/sravnenie-algoritmov-ekvalizatsii-gistogramm-polutonovyh-izobrazheniy (дата обращения: 10.07.2019).
41. Ляхов, П. А. Применение сглаживающих фильтров для очистки от шума изображений в оттенках серого / П. А. Ляхов, М. В. Валуева. - Текст : электронный // Наука. Инновации. Технологии. - 2015. - № 3. - URL:
https://cyberleninka.ru/article/n/primenenie-sglazhivayuschih-filtrov-dlya-ochistki-ot-shuma-izobrazheniy-v-ottenkah-serogo (дата обращения: 10.07.2019).
42. Гладких, А. А. Обследование труднодоступных участков зданий и сооружений с помощью роботов / А. А. Гладких, Е. А. Супрун. - Текст : электронный // Alfabuild. - 2017. - № 1 (1). - P. 27-35. - URL: https://alfabuild.spbstu.ru/userfiles/files/AlfaBuild/AlfaBuild 2017 1/3 1.pdf (дата обращения 16.05.2019).
43. ГОСТ 31937-2011. Здания и сооружения. Правила обследования и мониторинга технического состояния : межгосударственный стандарт : издание официальное : утвержден и введен в действие Приказом Федерального агентства по техническому регулированию и метрологии от 27 декабря 2012 г. № 1984-ст : введен впервые : дата введения 2014-01-01 / разработан ГУП «МНИИТЭП». -Москва : Стандартинформ, 2014. - 55 с. - Текст : непосредственный .
44. Щербатов, И. А. Управление слабоформализуемыми многокомпонентными системами на основе агентных технологий : специальность 05.13.01 : диссертация на соискание ученой степени доктора технических наук / Щербатов Иван Анатольевич ; Астраханский государственный технический университет. - Астрахань, 2015. - 337 с. - Текст : непосредственный.
45. Денисенков, М. А. Методы и алгоритмы моделирования индивидуального и коллективного поведения интеллектуальных агентов на основе адаптивных нечётких ситуационных сетей : специальность 05.13.17 : диссертация на соискание ученой степени кандидата технических наук / Денисенков Максим Алексеевич ; МЭИ. - Москва, 2017. - 141 с. - Текст : непосредственный.
46. Диане, Секу Абдель Кадер Модели, алгоритмы и программное обеспечение многоагентных робототехнических систем : специальность 05.13.01 : диссертация на соискание ученой степени кандидата технических наук / Диане Секу Абдель Кадер ; МИРЭА. - Москва, 2016. - 165 с. - Текст : непосредственный.
47. Томашевич, С. И. Адаптивное децентрализованное управление группой подвижных агентов через цифровой канал связи : специальность 05.13.01 : диссертация на соискание ученой степени кандидата технических наук / Томашевич Станислав Игоревич ; Санкт-Петербургский национальный университет информационных технологий, механики и оптики. - Санкт-Петербург, 2018. - 128 с. - Текст : непосредственный.
48. Кубрин, С. С. Беспроводные сенсорные сети в угольных шахтах / С. С. Кубрин. - Текст : непосредственный // ГИАБ. 2011. № S6. - С. 159-165.
49. Сидоренко, А. В. Использование беспроводных сенсорных сетей в задачах мониторинга техногенных объектов / А. В. Сидоренко, К. С. Мулярчик. -Текст : непосредственный // Доклады БГУИР. - 2015. - № 7 (93).
50. Воротников, С. А. Информационные устройства робототехнических систем: учебное пособие / С. А. Воротников. - Москва : Изд-во МГТУ им. Н.Э. Баумана, 2005. - 384 с. - Текст : непосредственный.
51. Юревич, Е. И. Сенсорные системы в робототехнике : учебное пособие / Е. И. Юревич. — Санкт-Петербург : Издательство Политехнического университета, 2013. — 100 с. - Текст : непосредственный.
52. Михайлов, Б. Б. Автономные мобильные роботы - навигация и управление / Б. Б. Михайлов, А. В. Назарова, А. С. Ющенко. - Текст : электронный // Известия ЮФУ. Технические науки. - 2016. - № 2 (175). - URL: https://cyberleninka.rU/article/n/avtonomnye-mobilnye-roboty-navigatsiya-i-upravlenie (дата обращения: 04.07.2019).
53. Иванов, А. М. Интеллектуальное транспортное средство. Адаптация подсистемы определения взаимного положения движущихся транспортных средств / А. М. Иванов, С. С. Шадрин, К. Е. Карпухин. - Текст : электронный // Известия МГТУ. - 2013. - № 2 (16). - URL: https://cyberleninka.ru/article/n/intellektualnoe-transportnoe-sredstvo-adaptatsiya-podsistemy-opredeleniya-vzaimnogo-polozheniya-dvizhuschihsya-transportnyh (дата обращения: 05.07.2019).
54. Хохлова, Д. «Машина может не распознать знак, если его заслонили пешеходы»: как компании создают карты для беспилотного транспорта / Д. Хохлова. - Текст : электронный // vc.ru. - 2017. - URL: https://vc.ru/transport/22404-selfdriving-cars-roadmaps
55. Teoh, E. R. Rage against the machine? Google's self-driving cars versus human drivers / E. R. Teoh, D. G. Kidd. - Text : direct // Journal of Safety Research. -2017. - Volume 63. - P. 57-60.
56. Мир глазами автомобиля. Каким его видят беспилотники. - Текст : электронный // Хабр . - 2018. - URL: https://habr.com/ru/company/toshibarus/blog/431388/ (дата обращения: 05.07.2019).
57. Ahilan, S. Feudal Multi-Agent Hierarchies for Cooperative Reinforcement Learning / S. Ahilan, P. Dayan. - Text : direct // Published in the proceedings of the Workshop on «Structure & Priors in Reinforcement Learning» at ICLR 2019. - 2019. -P. 816-824.
58. Tang, H. Hierarchical Deep Multiagent Reinforcement Learning with Temporal Abstraction // H. Tang, J. Hao, T. Lv. - Text : electroni. - URL: https://arxiv.org/abs/1809.09332 - 2018 (дата обращения 05.07.2019).
59. Learning to communicate with deep multi-agent reinforcement learning / J. Foerster, I. A. Assael, N. de Freitas, S. Whiteson. - Text : direct //Advances in Neural Information Processing Systems. - 2016. - P. 2137-2145.
60. Mnih, V. Human-level control through deep reinforcement learning / V. Mnih etc. - Text : direct // Nature. -2015. - Volume 518. - P. 529-533.
61. Mnih, V. Playing Atari with Deep Reinforcement Learning/ V. Mnih etc. -Text : direct // arXiv:1312.5602. - 2013.
62. Юревич, Е. И. Сенсорные системы в робототехнике : учебное пособие / Е. И. Юревич. — Санкт-Петербург : Изд-во Политехнического университета, 2013. — 100 с. - Текст : непосредственный.
63. Воротников, С. А. Информационные устройства робототехнических систем: учебное пособие / С. А. Воротников. - Москва : Изд-во МГТУ им. Н.Э. Баумана, 2005. - 384 с. - Текст : непосредственный.
64. Иванов, А. М. Интеллектуальное транспортное средство. Адаптация подсистемы определения взаимного положения движущихся транспортных средств / А. М. Иванов, С. С. Шадрин, К. Е. Карпухин. - Текст : электронный // Известия МГТУ. - 2013. - № 2 (16). - URL: https://cyberleninka.ru/article/n/intellektualnoe-transportnoe-sredstvo-adaptatsiya-podsistemy-opredeleniya-vzaimnogo-polozheniya-dvizhuschihsya-transportnyh (дата обращения: 05.07.2019).
65. Дубенко, Ю. В. Интеллектуальная система распознавания лиц школьников / Ю. В. Дубенко, Н. А Рудешко // Проблемы автоматизации. Региональное управление. Связь и автоматика (Паруса 2019) : Сборник трудов VIII Всероссийской научной конференции молодых ученых, аспирантов и студентов. - 2019. - Том 1. - С. 271-276. - Текст : непосредственный.
66. Дубенко, Ю. В. Структура современных подсистем машинного зрения агентов интеллектуальных информационных систем / Ю. В. Дубенко, Н. А. Рудешко // Молодые ученые в решении актуальных проблем науки. Материалы IX Международной научно-практической конференции. - 2019. -С. 41-43. - Текст : непосредственный.
67. Teoh, E. R. Rage against the machine? Google's self-driving cars versus human drivers/ E. R. Teoh, D. G. Kidd. - Text : direct // Journal of Safety Research. -2017. - P. 57-60.
68. Интеллектуальные роботы: учебное пособие для высших учебных заведений / И. А. Каляев, В. М. Лохин, И. М. Макаров [и др.] ; под общей редакцией Е. И. Юревича - Москва : Машиностроение, 2007. - 360 с. - Текст : непосредственный.
69. Рассел, С. Искусственный интеллект. Современный подход / С. Рассел, П. Норвиг. - 2-е издание : перевод с английского. - Москва : Вильямс, 2006. -1408 с. - Текст : непосредственный.
70. Достоверный и правдоподобный вывод в интеллектуальных системах / В. Н. Вагин, Е. Ю. Головина, А. А. Загорянская, М. В. Фомина ; под редакцией В.
Н. Вагина, Д. А. Поспелова. — Москва : Физматлит, 2008. — 704 с. - Текст : непосредственный.
71. Гудфеллоу, Я Глубокое обучение / Я. Гудфеллоу, И. Бенджио, А. Курвилль ; перевод с английского А. А. Слинкина. - 2-е издание, исправленное. -Москва : ДМК Пресс, 2018. - 652 с. - Текст : непосредственный.
72. Sturm, P. F. On plane-based camera calibration: A general algorithm, singularities, applications / P. F. Sturm, S. J. Maybank. - Text : direct // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 1999. - Volume 1.
- P. 432-437.
73. Zhang, Z. A flexible new technique for camera calibration / Z. Zhang. - Text : direct // IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI). -2000. - P. 1330-1334.
74. Bouguet, J.-Y. Matlab camera calibration toolbox / J.-Y. Bouguet. - 2000.. -URL: http://www.vision.caltech.edu/bouguetj/calib doc/ (дата обращения 15.07.2020). - Text : electronic.
75. Snavely, N. Photo tourism: Exploring photo collections in 3D / N. Snavely, S. Seitz, R. Szeliski //ACM Transactions on Graphics. - 2006. - 11 p. - Text : direct.
76. Snavely, N. Modeling the world from internet photo collections / N. Snavely, S. Seitz, R. Szeliski. - Text : direct // International Journal of Computer Vision (IJCV).
- 2008. - P. 189-210.
77. Wu, C. Towards Linear-Time Incremental Structure from Motion. // International Conference on 3D Vision (3DV). - 2013. - Text : direct.
78. Wilson, K. Network principles for sfm: Disambiguating repeated structures with local context / K. Wilsonand, N. Snavely. - Text : direct // IEEE International Conference on Computer Vision (ICCV). - 2013. - P. 513-520.
79. Heinly, J. Correcting for Duplicate Scene Structure in Sparse 3D Reconstruction / J. Heinly, E. Dunn, J.-M. Frahm. - Text : direct // European Conference on Computer Vision (ECCV). - 2014.
80. Schönberger, J.L. Paige: Pairwise image geometry encoding for improved efficiency in structure-from-motion / J. L. Schonberger, A. C. Berg, J.-M. Frahm. -
Text : direct // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 2015. - P. 1009-1018.
81. Heinly, J. Reconstructing the World * in Six Days * (As Captured by the Yahoo 100 Million Image Dataset) / J. Heinly, J. Schönberger, E. Dunn, J.-M.Frahm // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 2015. - Text : direct.
82. Heinly, J. Toward Efficient and Robust Large-Scale Structure-from-Motion Systems : PhD thesis / J. Heinly ; The University of North Carolina at Chapel Hill. -2015. - Text : direct.
83. Zheng, E. Structure from Motion Using Structure-less Resection. / E. Zheng,
C. Wu. - Text : direct // IEEE International Conference on Computer Vision (ICCV). -2015.
84. Lowe, D. G. Distinctive Image features from Scale-Invariant Keypoints / D. G. Lowe. - Text : direct // International Journal of Computer Vision (IJCV). - 2004. -N 60(2). - P. 91-110.
85. ORB: An Efficient Alternative to SIFT or SURF / E.Rublee, V. Rabaud, K. Konolige, G. Bradski. - Text : direct // IEEE International Conference on Computer Vision (ICCV). - 2011. - P. 2564-2571.
86. Speeded-Up Robust Features (SURF). / H. Bay, A. Ess, T. Tuytelaars, L. V. Gool. - Text : direct // Computer Vision and Image Understanding. - 2008. - P. 346359.
87. Usac: a universal framework for random sample consensus / R. Raguram, O. Chum, M. Pollefeys [et al.]. - Text : direct // IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI). - 2013. - P. 2022-2038
88. Nist'er, D. An Efficient Solution to the Five-Point Relative Pose Problem /
D. Nist'er. - Text : electronic // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 2004. - P. 756-770. - URL: https://api.semanticscholar.org/CorpusID:886598 (дата обращения: 18.04.2022)
89. Kneip, L. A novel parametrization of the perspectivethree-point problem for a direct computation of absolute camera position and orientation / L. Kneip, D.
Scaramuzza, R. Siegwart. - Text : electronic // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 2011. - P. 2969-2976. - URL: https://api.semanticscholar.org/CorpusID:5288651 (дата обращения: 18.04.2022)
90. A general and simple method for camera pose and focal length determination / Y. Zheng, S. Sugimoto, I. Sato, M. Okutomi. - Text : direct // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 2014. - P. 430-437.
91. Bundle Adjustment in the Large / S. Agarwal, N. Snavely, S. M. Seitz, R. Szeliski. - Text : direct // European Conference on Computer Vision (ECCV). - 2010.
92. Multicore Bundle Adjustment / C. Wu, S. Agarwal, B. Curless, S. M. Seitz. -Text : direct // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 2011. - P. 3057-3064.
93. Snavely, N. Photo tourism: Exploring photo collections in 3D / N. Snavely, S. Seitz, R. Szeliski. - Text : direct // ACM Transactions on Graphics. - 2006.
94. Баранюк, В. В. Роевой интеллект как одна из частей онтологической модели бионических технологий / В. В. Баранюк, О. С. Смирнова. - Текст : электронный // International Journal of Open Information Technologies. - 2015. - № 12. - URL: https://cyberleninka.ru/article/n/roevoy-intellekt-kak-odna-iz-chastey-ontologicheskoy-modeli-bionicheskih-tehnologiy (дата обращения: 30.03.2020).
95. Славин, Б. Б. Технологии коллективного интеллекта / Б. Б. Славин. -Текст : непосредственный // Проблемы управления. - 2016. - № 5. - С. 2-9.
96. Прикладные многоагентные системы группового управления / В. И. Городецкий, О. В. Карсаев, В. В. Самойлов, С. В. Серебряков. - Текст : непосредственный // Искусственный интеллект и принятие решений. - 2009. - № 2. - С. 3-24.
97. Аксенов, К. А. Гибридное моделирование мультиагентных процессов преобразования ресурсов : монография / К. А. Аксенов, Н. В. Гончарова. - Москва : Издательский дом Академии Естествознания, 2019. - 222 с. - Текст : непосредственный.
98. Хайкин, С. Нейронные сети : полный курс / С. Хайкин. - 2-е издание ; перевод с английского. - Москва : Вильямс, 2006 - 1104 с. - Текст : непосредственный.
99. Головицына, М. В. Информационные технологии проектирования радиоэлектронных средств : учебник для студентов высших учебных заведений по специальности 210201 "Проектирование и технология радиоэлектронных средств" / М. В. Головицына. - Москва : Лаборатория знаний, 2008. - 431 с. -Текст : непосредственный.
100. Foerster, J. N. Deep multi-agent reinforcement learning : PhD thesis / Foerster, J. N. ; University of Oxford. - 2018. - URL:
https://ora.ox.ac.uk/objects/uuid:a55621b3-53c0-4e1b-ad1c-92438b57ffa4. - Text : electronic.
101. Multi-agent Reinforcement Learning in Sequential Social Dilemmas / J. Z. Leibo. - Text : direct // arXiv: 1702.03037. - 2017.
102. Тропченко, А. А. Методы вторичной обработки и распознавания изображений : учебное пособие / А. А. Тропченко, А. Ю. Тропченко. - Санкт-Петербург : Университет ИТМО, 2015. - 215 с. - Текст : непосредственный.
103. Асатрян Д. Г. Оценивание степени размытости изображения путём анализа градиентного поля / Д. Г. Асатрян. - Текст : непосредственный // Компьютерная оптика. - 2017. - Т. 41, № 6. - С. 957-962.
104. Иберла, К. Факторный анализ / К. Иберла ; перевод с немецкого В. М. Ивановой ; предисловие А. М. Дуброва. - Москва : Статистика, 1980. - 398 с. -Текст : непосредственный.
105. Ле Мань Ха Свёрточная нейронная сеть для решения задачи классификации / Ле Мань Ха. - Текст : электронный // Труды МФТИ. - 2016. -№ 3 (31). - URL: https://cyberleninka.ru/article/n7svyortochnaya-neyronnaya-set-dlya-resheniya-zadachi-klassifikatsii (дата обращения: 14.06.2020).
106. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks / S. Ren, K. He, R. Girshick, J. Sun.- Text : electronic // Computer Vision and Pattern Recognition (cs.CV) arXiv : 1506.01497.
107. Phan, T. H. Resolving Class Imbalance in Object Detection with Weighted Cross Entropy Losses / T. H. Phan, K. Yamamoto. - Text : electronic // Computer Vision and Pattern Recognition (cs.CV). - 2020 // arXiv : 2006.01413.
108. Mask R-CNN / K. He, G. Gkioxari, P. Dollar, R. Girshick. - Text : electronic // Computer Vision and Pattern Recognition (cs.CV) // arXiv:1703.06870 -Submitted on 20 Mar 2017 (v1), last revised 24 Jan 2018 (this version, v3).
109. Deformable Siamese Attention Networks for Visual Object Tracking / Yuechen Yu, Yilei Xiong, Weilin Huang, Matthew R. Scott. - Text : electronic // Computer Vision and Pattern Recognition (cs.CV) // arXiv:2004.06711 - Submitted on 14 Apr 2020.
110. Поспелов, Д. А. От моделей коллективного поведения к многоагентным системам / Д. А. Поспелов. - Текст : электронный // Программные продукты и системы. - 2003. - № 2. - URL: https://cyberleninka.ru/article/n/ot-modeley-kollektivnogo-povedeniya-k-mnogoagentnym-sistemam (дата обращения: 29.07.2020).
111. Р50.1.028-2001. Информационные технологии поддержки жизненного цикла продукции. Методология функционального моделирования (введ. 2002-0701). - М. : Госстандарт России, 2001 - 50 с.
112. Патент RU 2650857 C1 Российская Федерация, МПК G01B 9/027(2006.01). Система определения геометрических параметров трехмерных объектов : № 2017111746 : заявл. 06.04.2017 : опубл. 17.04.2018 / Дубенко Ю. В., Тимченко Н. Н. - 12 с. - Текст : непосредственный.
113. Крыловецкий, А. А. Алгоритмы анализа изображений в системах стереозрения реального времени / А. А. Крыловецкий, С. И. Протасов. - Текст : электронный // Вестник Воронежского государственного университета. Сер. Системный анализ и информационные технологии. - 2010. - № 2. - URL: http://www.vestnik.vsu.ru/pdf/analiz/2010/02/2010-02-02.pdf (дата обращения: 27.09.2020).
114. Hirschmuller, H. Stereo Vision in Structured Environments by Consistent Semi-Global Matching / H. Hirschmuller. - Text : direct // IEEE Conference on Computer Vision and Pattern Recognition. - 2006. - Vol. 2. - P. 2386-2393.
115. Хуршудов, А. А. Нейросетевая система распознавания изображений с использованием локально-эквивалентной репрезентации : специальность 05.13.01 : диссертация на соискание ученой степени кандидата технических наук / Хуршудов Артем Александрович ; Кубанский Государственный Технологический Универсиет. - Краснодар, 2016. - 129 с. - Текст : непосредственный.
116. Sepehr, A. H. Comparison of object detection methods for crop damage assessment using deep learning / A. H. Sepehr, S. V. Mirnezami, J. K. Ward. - Text : direct // Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG); Image and Video Processing (eess.IV) Cite as: arXiv:1912.13199 [cs.CV] (or arXiv: 1912.13199v3 [cs.CV] for this version).
117. Generalized Intersection over Union: A Metric and A Loss for Bounding Box Regression / H. Rezatofighi, N. Tsoi, J.Y. Gwak [et al.]. - Text : direct // Computer Vision and Pattern Recognition (cs.CV); Artificial Intelligence (cs.AI); Machine Learning (cs.LG) Cite asarXiv:1902.09630 [cs.CV] (or arXiv:1902.09630v2 [cs.CV] for this version).
118. Instance Cut: from Edges to Instances with Multi Cut / A. Kirillov, E. Levinkov, B. Andres [et al.]. - Text : direct / Computer Vision and Pattern Recognition (cs.CV) Cite as arXiv:1611.08272 [cs.CV] (or arXiv:1611.08272v1 [cs.CV] for this version).
119. SGN: Sequential grouping networks for instance segmentation / S. Liu, J. Jia, S. Fidler, R. Urtasun. - Text : direct // ICCV. - 2017. - P. 3496-3504.
120. Абраменко, А. А. Калибровка взаимного расположения стереокамеры и трехмерного сканирующего лазерного дальномера / А. А. Абраменко. - Текст : электронный // КО. - 2019. - № 2. - URL: https://cyberleninka.ru/article/n/kalibrovka-vzaimnogo-raspolozheniya-stereokamery-i-trehmernogo-skaniruyuschego-lazernogo-dalnomera (дата обращения: 30.10.2020).
121. Patent US6473529B1 United States,Sum-of-absolute-difference calculator for motion estimation using inversion and carry compensation with full and half-adders.
- URL: https://patents.google.com/patent/US6473529B1/en (дата обращения: 30.10.2020). - Text : electronic.
122. Курейчик, В. М. Технология многоаспектного аналитического исследования как метод машинного обучения / В. М. Курейчик, В. И. Писаренко, Ю. А. Кравченко. - Текст : электронный // Открытое образование. - 2008. - № 2. -URL: https://cyberleninka.ru/article/n/tehnologiya-mnogoaspektnogo-analiticheskogo-issledovaniya-kak-metod-mashinnogo-obucheniya (дата обращения: 16.11.2020).
123. Ющенко, А. С. Автономные мобильные роботы - навигация и управление / А. С. Ющенко, Б. Б. Михайлов, А. В. Назарова. - Текст : непосредственный // Известия Южного федерального университета. - 2016. - № 2 (175). - С. 48-65.
124. Glasius, R. Neural network dynamics for path planning and obstacle avoidance / R. Glasius, A. Komoda, S. C. A. M. Gielen. - Text : electronic // Neural Networks. - 1995. - P. 125-133. doi: 10.1016/0893-6080(94)E0045-M.
125. Даринцев, О. В. Планирование траекторий движения микроробота на базе нечетких правил / О. В. Даринцев. - Текст : непосредственный // Искусственный интеллект. Интеллектуальные системы. - 2011. - С. 228-232.
126. Малащин, Р. О. Методы структурного анализа изображений трехмерных сцен : специальность 05.13.01 : диссертация на соискание ученой степени кандидата технических наук / Малашин Роман Олегович ; Санкт-Петербургский национальный исследовательский университет информационных технологий, механики, оптики. - Санкт-Петербург, 2014. - 155 с. - Текст : непосредственный.
127. Принятие решений в нечетко определенной внешней среде / Л. Г. Раскин, Б. Г. Лолашвили, В. С. Зарубин, И. В. Зинченко. - Текст : непосредственный // Вестник НТУ ХПИ. - 2005. - № 56. - С. 104-110.
128. Казьмин, В. Н. Выделение геометрических и семантических объектов в дальнометрических изображениях для навигации роботов и реконструкции внешней среды / В. Н. Казьмин, В. П. Носков. - Текст : непосредственный // Известия ЮФУ. Технические науки. - 2015. - № 10 (171). - С. 71-83.
129. Горитов, А. Н. Построение модели внешней среды робота на основе стереозрения / А. Н. Горитов, С. И. Яковченко. - Текст : непосредственный // ОмГТУ. - 2017. - № 1. - С. 121-125.
130. Чугунов, Р. А. Методика построения карт глубины стереоизображения с помощью капсульной нейронной сети / Р. А. Чугунов, А. Д. Кульневич, С. В. Аксенов. - Текст : электронный // Доклады ТУСУР. - 2019. - № 1. - URL: https://cyberleninka.ru/article/n/metodika-postroeniya-kart-glubiny-stereoizobrazheniya-s-pomoschyu-kapsulnoy-neyronnoy-seti (дата обращения: 11.12.2020).
131. Mohan, D. A Review on Depth Estimation for Computer Vision Applications / D. Mohan, A. R. Ram. - Text : electronic // International Journal of Engineering and Innovative Technology (IJEIT). - 2015. - Vol. 4. - P. 11. - URL: https://pdfs.semanticscholar.org/f75b/2030713b 36addde9b9d551ee003c20bac3ca.pdf (дата обращения: 11.12.2020).
132. Barjayta, A. Block matching algorithms for motion estimation / A. Barjayta.
- Text : direct // IEEE Transactions Evolution Computation. - 2004. - Vol. 8, N 3. - P. 225-239.
133. Скворцов, А. В. Триангуляция Делоне и её применение / А. В. Скворцов. - Томск : Издательство Томского университета, 2002. - 128 с. - Текст : непосредственный.
134. Медведев, М. В. Трехмерная реконструкция объектов в системе технического зрения мобильного робота / М. В. Медведев, А. П. Кирпичников. -Текст : непосредственный // Вестник Казанского технологического университета.
- 2014. - № 15. - С. 326-329.
135. Liu J. RocNet: Recursive Octree Network for Efficient 3D Deep Representation / J. Liu, S. Mills, B. McCane // arXiv:2008.03875 [cs.CV]. - Text : electronic.
136. Hochreiter, S. Long short-term memory / S. Hochreiter, J. Schmidhuber -URL: http://www.bioinf.jku.at/publications/older/2604.pdf (дата обращения: 11.12.2020). - Text : electronic.
137. Научно-технический отчет по результатам выполнения этапа по договору №3617ГС1/60550 (код 0060550) от 20.07.2020. Разработка цифровой платформы для обеспечения безопасности дорожной инфраструктуры с применением трехмерного лазерного сканирования : регистрационный номер ИКРБС: АААА-Б20-220122990242-9 : дата регистрации: 29.12.2020 / Дубенко, Ю. В., Дышкант Е. Е., Рудешко Н. А., Тимченко Н. Н. - 64 с. - Текст : непосредственный.
138. Determining occlusions from space and time image reconstructions / J.-M. Pérez-Rúa, T. Crivelli, P. Bouthemy, P. Pérez. - Text : direct // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - Las Vegas, United States. - 2016. - P. 1382-1391.
139. Kelso C. R. Direct occlusion handling for high level image processing algorithms / C. R. Kelso. - Rochester Institute of Technology. - 2009. - URL:
https://scholarworks.rit.edu/cgi/viewcontent.cgi?referer=https://www.google.com/&httpsredir=1&article=6484
&context=theses (дата обращения: 11.12.2020). - Text : electronic.
140. Recovering Occlusion Boundaries from a Single Image / D. Hoiem, A. N. Stein, A. A. Efros, M. Hebert. - Carnegie Mellon University. - 2007. - URL:
https://www.ri.cmu.edu/pub files/pub4/hoiem derek 2007 3/hoiem derek 2007 3.pdf (дата обращения:
13.12.2020). - Text : electronic.
141. Saggese, A. Detecting and indexing moving objects for behavior analysis by video and audio interpretation. - Text : direct // Computer Science. - Universit'e de Caen, 2014. - P. 15-16.
142. Yazdi, M. New Trends on Moving Object Detection in Video Images Captured by a moving Camera: A Survey. / M. Yazdi, T. Bouwmans. - Text : direct // Computer Science Review : Elsevier, 2018. - P. 157-177.ffhal-01724322f.
143. Agarap A. F. Deep Learning using Rectified Linear Units (ReLU) / Subjects: Neural and Evolutionary Computing (cs.NE) / A. F. Agarap - Text : electronic //
Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG); Machine Learning (stat.ML) / Cite as: arXiv:1803.08375 [cs.NE].
144. Dropout: A Simple Way to Prevent Neural Networks from Overfitting / N. Srivastava, G. Hinton, A. Krizhevsky [et al.]. - Text : direct // Journal of Machine Learning Research - 2014. - N 15. - P. 1929-1958.
145. Смешанные стратегии группового управления в многоагентных робототехнических системах / И. М. Макаров, В. М. Лохин, С. В. Манько [и др.].
- Текст : непосредственный // Известия ЮФУ. Технические науки. - 2012. - № 3.
- С. 8-13.
146. Система позиционирования и идентификации мобильной робототехнической платформы в ограниченном и открытом пространстве / Т. С. Евдокимова, А. А Синодкин, Л. О. Федосова, М. И. Тюриков. - Текст : непосредственный // Труды НГТУ им. Р. Е. Алексеева. - 2018. - № 2 (121). - С. 16-25.
147. Zhou, Z. Mean Field Game and Decentralized Intelligent Adaptive Pursuit Evasion Strategy for Massive Multi-Agent System under Uncertain Environment / Z. Zhou, H. Xu - Text : direct // Systems and Control (eess.SY), Cite as: arXiv:2008.02940.
148. Daeichian, A. Fuzzy Q-Learning Based Multi-Agent System for Intelligent Traffic Control by a Game Theory Approach / A. Daeichian, A. Haghani. - Text : direct // Subjects:Multiagent Systems (cs.MA); Optimization and Control (math.OC), Journal reference: Arabian Journal for Science and Engineering. - 2017. - P. 1-7, Cite as : arXiv:1905.01361 [cs.MA], (or arXiv:1905.01361v1 [cs.MA] for this version). DOI:
10.1007/s13369-017-3018-9.
149. Раговский, А. П. Интеллектуальная многоагентная система дедуктивного вывода на основе сетевой организации / А. П. Раговский. - Текст : непосредственный // Искусственный интеллект и принятие решений. - 2011. - № 3. - С. 73-85.
150. Ponomarev, S. Multi-agent systems and decentralized artificial superintelligence / S. Ponomarev, A. E. Voronkov. - Text : direct // Multiagent Systems (cs.MA), Cite as: arXiv:1702.08529 [cs.MA], (or arXiv:1702.08529v1 [cs.MA] for this version).
151. Ballotta, L. Optimal Network Topology of Multi-Agent Systems subject to Computation and Communication Latency / L. Ballotta, M. R. Jovanovic, L. Schenato. - Text : direct // Systems and Control (eess.SY), MSC classes: 93B70 (Primary) 93C43 (Secondary), ACM classes: C.2.1, Cite as: arXiv:2101.10394 [eess.SY] (or arXiv:2101.10394v1 [eess.SY] for this version).
152. Bang, H. Energy-Optimal Goal Assignment of Multi-Agent System with Goal Trajectories in Polynomials / H. Bang, L. Beaver, A. A. Malikopoulos. - Text : direct // Multiagent Systems (cs.MA), Cite as: arXiv:2101.06288 [cs.MA] (or arXiv:2101.06288v1 [cs.MA] for this version).
153. Raghavan, U. N. Near linear time algorithm to detect community structures in large-scale networks / U. N. Raghavan, R. Albert, S. Kumara. - Text : direct // Physics and Society (physics.soc-ph), Journal reference: Physical Review E 76, 036106 (2007), Cite as: arXiv:0709.2938 [physics.soc-ph] (or arXiv:0709.2938v1 [physics.soc-ph] for this version). DOI: 10.1103/PhysRevE.76.036106.
154. Домингос, П. Верховный алгоритм: как машинное обучение изменит наш мир / П. Домингос ; перевод с английского В. Горохова ; научный редактор А. Сбоев, А. Серенко. - Москва : Манн, Иванов и Фербер, 2016. — 336 с. - Текст : непосредственный.
155. Тулуньев, А. Л. Байесовские сети: Логико-вероятностный подход / А. Л. Тулуньев, С. И. Николенко, А. В. Сироткин. - Санкт-Петербург : Наука, 2006. -607 с. - Текст : непосредственнйый.
156. Тарасов, В. Б. От многоагентных систем к интеллектуальным организациям : философия, психология, информатика / В. Б Тарасов. - Москва : Эдиториал УРСС, 2002. - 352 с. - Текст : непосредственный.
157. Евстигнеев, В. А. Применение теории графов в программировании / В. А. Евстигнеев ; под редакцией А. П. Ершова. - Москва : Наука, 1985. - 352 с. -Текст : непосредственный.
158. Миков, Е. П. Алгоритм поиска пути из пункта А в пункт Б / Е. П. Миков, В. А. Бондарь. - Текст : непосредственный // Сборник научных трудов НГТУ. - 2017. - № 2 (88). - С. 33-40.
159. Михайлов, И. Е. Практическое сравнение алгоритма а* с алгоритмом волновой трассировки (алгоритмом ли) по быстродействию И. Е. Михайлов. -Текст : непосредственный // Наука, техника и образование. - 2016. - № 1 (19).
160. Игнатюк, В. А. Разработка модели сети дорог с параметрами для прокладки кратчайшего пути по алгоритму Дейкстры / В. А. Игнатюк, С. С. Ничипоренко, В. М. Ногаев. - Текст : непосредственный.// Территория новых возможностей. - 2009. - № 4 (4). - С. 180-187.
161. Why sidewalk delivery robots still need safety drivers // MIT Technology Review. - 2022. - URL: https://www.technologyreview.com/2018/01/30/145935/why-sidewalk-delivery-robots-still-need-safety-drivers-too/ (дата обращения: 15.08.2020). - Text : electronic.
162. Mesh роутер / Ситилинк. - 2022. - URL:
https://www.citilink.ru/product/besshovnyi-mesh-router-zyxel-multy-u-2-sht-v-komplekte-wsr30-eu0201f-
ll2l306/properties/(дата обращения: 08.04.2021). - Текст : электронный.
163. Хыонг, Н. Т. Алгоритмическое и программное обеспечение автоматического обнаружения и классификации дефектов дорожного покрытия с помощью метода разреза графов и алгоритма случайных лесов / Н. Т. Хыонг, Н. Т. Лонг ). - Текст : непосредственный // Вестник ИрГТУ. - 2016. - № 10 (117). - С. 111-118.
164. Ровер - робот-курьер / Блог Яндекса. - 2019. - URL: https://yandex.ru/blog/company/yandeks-rover-robot-dostavschik (дата обращения: 30.03.2021). -Текст : электронный.
165. ГОСТ 33101-2014 Межгосударственный стандарт. Дороги автомобильные общего пользования. Покрытия дорожные. Методы измерения ровности : издание официальное : утвержден и введен в действие Приказом Федерального агентства по техническому регулированию и метрологии от 20 ноября 2015 г. № 1931-ст: веден впервые : дата введения 2016-08-01. - Москва : Стандартинформ, 2016. - 5 с. - Текст : непосредственный.
166. Модель глубокой сверточной нейронной сети в задаче сегментации трещин на изображениях асфальта / Б. В. Соболь, А.Н. Соловьева, П. В. Васильев,
Л. А. Подколзина. - Текст : непосредственный // Вестник ДГТУ. - 2019. - № 1. -С. 63-73.
167. Майсурадзе, Ш.Г. Решение инженерных дорожных задач на основе данных мобильного лазерного сканирования / Ш. Г. Майсурадзе, И. Г. Майсурадзе. - Текст : непосредственный // САПР и ГИС автомобильных дорог. -. 2016. - № 2 (7). - С. 50-53.
168. Система видеодефектации покрытий автомобильных дорог / Росдортех. - 2021. - URL: https://www.rosdorteh.ru/catalog/27/ (дата обращения: 16.03.2021). -Текст : электронный.
169. Мониторинг ЛЭП с использование БПЛА / Съемка с воздуха. - 2021. -URL: https://rusdrone.ru/otrasli/energetika/ (дата обращения: 16.03.2021). - Текст : электронный.
170. ГК «Геоскан» - создаем беспилотные технологии для профессионалов / Geoscan. - 2021. - URL: https://www.geoscan.aero/ru/about (дата обращения: 16.03.2021). -Текст : электронный.
171. Мониторинг линий электропередач в Москве / Горизонт. - 2021. -URL: https://drone-port.ru/monitoring-iehp-bpia (дата обращения: 16.03.2021). - Текст : электронный.
172. Гура, Д. А. Цифровой интеллектуальный мониторинг линейных инфраструктурных объектов на основе трехмерных данных / Д. А. Гура, Ю. В. Дубенко, А. П. Павлюкова. - Текст : непосредственный // Вестник Воронежского государственного университета. Серия: Системный анализ и информационные технологии. - 2020 - № 2. - С. 103-114.
173. Захожий, К. А. Применение лазерного сканирования при проектировании и строительстве архитектурных фасадов сооружений. - Текст : электронный // Инновационная наука. - 2018. - № 12. - URL: https://cyberleninka.ru/article/n/primenenie-lazernogo-skanirovaniya-pri-proektirovanii-i-stroitelstve-arhitekturnyh-fasadov-sooruzheniy (дата обращения: 28.04.2021).
174. Моргунова, О. Н. Методы и алгоритмы исследования эффективности сложных иерархических систем : специальность 05.13.01 : диссертация на
соискание ученой степени кандидата технических наук / Моргунова Ольга Николаевна. - Красноярск : 2006. - 148 с. - Текст : непосредственный.
175. Соломонов, Ю. С. Большие системы: гарантийный надзор и эффективность / Ю. С. Соломонов, Ф. К. Шахтарин. - Москва : Машиностроение, 2003. - 368 с. - Текст : непосредственный.
176. Дубенко, Ю. В. Нечеткая система определения оптимальных методов для прогнозирования параметров сложных технических систем / Ю. В. Дубенко, Е. Е. Дышкант. - Текст : непосредственный // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2018. - № 3 (47). - С. 71-86.
177. Дубенко, Ю. В. Нейросетевой алгоритм выбора методов для прогнозирования временных рядов / Ю. В. Дубенко, Е. Е. Дышкант. - Текст : непосредственный // Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика. -2019. - № 1. - С. 51-60.
178. Мониторинг сложных объектов инфраструктуры / Д. А. Гура, Ю. В. Дубенко, П. Ю. Бучацкий [и др.]. - Текст : непосредственный // Вестник Адыгейского государственного университета. Серия 4: Естественно-математические и технические науки. - 2019. - № 4. - С. 74-80.
179. Гура, Д. А. Разработка концепции интеллектуального блока обработки данных в системе мониторинга мостов с применением сканирующих технологий / Д. А. Гура, Ю. В. Дубенко, И. Г. Марковский. - Текст : непосредственный // Известия высших учебных заведений. Поволжский регион. Технические науки. -2020 - № 2 (54). - С. 14-24.
180. Дубенко, Ю. В. Аналитический обзор проблем многоагентного обучения с подкреплением / Ю. В. Дубенко. - Текст : непосредственный // Вестник компьютерных и информационных технологий. - 2020. - № 6. - С. 48-56.
181 . Дубенко, Ю. В. Анализ иерархического обучения с подкреплением для реализации поведенческих стратегий интеллектуальных агентов / Ю. В. Дубенко, Е. Е. Дышкант, Д. А. Гура. - Текст : непосредственный // Вестник компьютерных и информационных технологий. - 2020. - № 9. - С. 35-45.
182. Симанков, В. С. Системный анализ в иерархических интеллектуальных многоагентных системах / В. С. Симанков, Ю. В. Дубенко. - Текст : непосредственный // Вестник компьютерных и информационных технологий. -2021. - № 3 (201). - С. 33-46.
183. Метод реконструкции трехмерных сцен, основанный на применении сверточных нейронных сетей, фильтрации по дистанции и с помощью «октодерева» / Ю. В. Дубенко, Е. Е. Дышкант, Н. Н. Тимченко, Н. А. Рудешко. -Текст : непосредственный // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2021. - № 4 (60). - С. 43-54.
184. Dubenko Y. Multi-agent reinforcement learning for robot collaboration / Y. Dubenko, E. Dyshkant, D. Gura. - Text : direct // Smart Innovation, Systems and Technologies. - 2022. - Vol. 247. - С. 607-623.
185. Гибридный алгоритм формирования кратчайшей траектории, основанный на применении многоагентного обучения с подкреплением и обмена опытом / Ю. В. Дубенко, Е. Е. Дышкант, Н. Н. Тимченко, Н. А. Рудешко. - Текст : непосредственный // Вестник компьютерных и информационных технологий. -2021. - Т. 18, № 11 (209). - С. 13-26.
186. Дубенко, Ю. В. Метод повторного применения и обмена опытом при коллективном взаимодействии интеллектуальных агентов / Ю. В. Дубенко. -Текст : непосредственный // Вестник Воронежского государственного технического университета. - 2022. - № 1. - С. 62-72.
187. Dubenko, Y. V. Monitoring Complex Infrastructure Facilities State Using Mobile Robots: Problem Analysis / Y. V. Dubenko, D. A. Gura, E. E. Dyshkant. - Text : direct // International Multi-Conference on Industrial Engineering and Modern Technologies, FarEastCon.- 2019. DOI: 10.1109/FarEastCon.2019.8934179.
188. Three-dimensional laser scanning for safety of transport infrastructure with application of neural network algorithms and methods of artificial intelligence / D. A. Gura, Y. V. Dubenko, G. G Shevchenko [et al.]. - Text : direct // Lecture Notes in Civil Engineering book series. - 2020. - Volume 50. - P. 185-190. DOI: 10.1007/978-98115-0454-9 19.
189. Дубенко, Ю. В. Анализ методов и средств автоматизации визуального мониторинга состояния дорожного покрытия автомагистралей / Ю. В. Дубенко, Е. Е. Дышкант. - Текст : непосредственный // Современные электротехнические и информационные комплексы и системы : материалы I Международной научно-практической конференции студентов, аспирантов и преподавателей, посвященной 60-летию со дня образования Армавирского механико-технологического института. - Армавир, 2019. - С. 150-154.
190. Дубенко, Ю. В. Подсистема технического зрения в системах управления робототехническими комплексами, предназначенными для обследования сложных инфраструктурных объектов / Ю. В. Дубенко, Е. Е. Дышкант. - Текст : непосредственный // Современные электротехнические и информационные комплексы и системы : материалы I Международной научно-практической конференции студентов, аспирантов и преподавателей, посвященной 60-летию со дня образования Армавирского механико-технологического института. - Армавир, 2019. - С. 170-175.
191 . Дубенко, Ю. В. Применение искусственных нейронных сетей к распознаванию объектов на изображении / Ю. В. Дубенко, Н. Н. Тимченко, А. И. Вандина. - Текст : непосредственный // Научные труды КубГТУ. - 2018. - № 3 -С. 595-608.
192. Петухов, Г. Б. Методологические основы внешнего проектирования целенаправленных процессов и целеустремленных систем / Г. Б. Петухов, В. И. Якунин. - Москва : АСТ, 2006. - 504 с. - Текст : непосредственный.
193. Дубенко, Ю. В. Анализ методов формирования организационной структуры иерархических многоагентных систем / Ю. В. Дубенко, Е. Е. Дышкант, А. А. Обозовский. - Текст : непосредственный // Современные электротехнические и информационные комплексы и системы : Материалы IV Международной научно-практической конференции студентов, аспирантов и преподавателей. - Армавир, 2022. - С. 108-113..
194. Дубенко, Ю. В. Анализ процедуры синтеза организационной структуры многоагентной системы / Ю. В. Дубенко, Е. Е. Дышкант, А. А. Обозовский. -
Текст : непосредственный // Молодые ученые в решении актуальных проблем науки : материалы XII Международной научно-практической конференции. -Владикавказ, 2022. - С. 32-36.
195. Дубенко, Ю. В. Формальное представление структуры агентов многоагентных систем / Ю. В. Дубенко. - Текст : непосредственный // Современные проблемы научной деятельности. Перспективы внедрения инновационных решений : сборник статей по итогам Международной научно-практической конференции (Иркутск, 12 апреля 2023 г.). - Стерлитамак : АМИ, 2023. - С. 122-125.
196. Дубенко, Ю. В. Анализ структуры интеллектуального агента / Ю. В. Дубенко. - Текст : непосредственный // Современные проблемы научной деятельности. Перспективы внедрения инновационных решений : сборник статей по итогам Международной научно-практической конференции (Иркутск, 12 апреля 2023 г.). - Стерлитамак : АМИ, 2023. - С. 126-128.
197. Дубенко, Ю. В. Анализ подсистем интеллектуальных агентов / Ю. В. Дубенко. - Текст : непосредственный // Современные проблемы научной деятельности. Перспективы внедрения инновационных решений : сборник статей по итогам Международной научно-практической конференции (Иркутск, 12 апреля 2023 г.). - Стерлитамак : АМИ, 2023. - С. 129-133.
198. Дубенко, Ю. В. Анализ подсистемы обработки сенсорной информации интеллектуального агента / Ю. В. Дубенко. - Текст : непосредственный // Междисциплинарность научных исследований как фактор инновационного развития : сборник статей по итогам Международной научно-практической конференции (Пермь, 15 апреля 2023 г.). - Стерлитамак : АМИ, 2023. - С. 75-78.
199. Дубенко, Ю. В. Анализ подсистемы машинного зрения интеллектуального агента / Ю. В. Дубенко. - Текст : непосредственный // Междисциплинарность научных исследований как фактор инновационного развития : сборник статей по итогам Международной научно-практической конференции (Пермь, 15 апреля 2023 г.). - Стерлитамак : АМИ, 2023. - С. 78-83.
200. Дубенко, Ю. В. Визуальный мониторинг состояния инфраструктурных объектов / Ю. В. Дубенко - Текст : непосредственный // Междисциплинарность научных исследований как фактор инновационного развития : сборник статей по итогам Международной научно-практической конференции (Пермь, 15 апреля 2023 г.). - Стерлитамак : АМИ, 2023. - С. 82-86.
201. Дубенко, Ю. В. Аналитический обзор подсистем управления интеллектуальных агентов / Ю. В. Дубенко. - Текст : непосредственный // Междисциплинарность научных исследований как фактор инновационного развития : сборник статей по итогам Международной научно-практической конференции (Пермь, 15 апреля 2023 г.). - Стерлитамак: АМИ, 2023. - С. 86-89.
202. Дубенко, Ю. В. Анализ подсистемы координации интеллектуальных агентов / Ю. В. Дубенко. - Текст : непосредственный // Междисциплинарность научных исследований как фактор инновационного развития : сборник статей по итогам Международной научно-практической конференции (Пермь, 15 апреля 2023 г.). - Стерлитамак : АМИ, 2023. - С. 89-93.
203. Дубенко, Ю. В. Формальная модель системы управления группой интеллектуальных агентов / Ю. В. Дубенко. - Текст : непосредственный // Формирование и развитие новой парадигмы науки в условиях постиндустриального общества [тпрк-480] : сборник статей по итогам Международной научно-практической конференции (Челябинск, 18 апреля 2023 г.). - Стерлитамак : АМИ, 2023. - С. 95-98.
204. Дубенко, Ю. В. Анализ структуры системы управления группой интеллектуальных агентов / Ю. В. Дубенко. - Текст : непосредственный // Формирование и развитие новой парадигмы науки в условиях постиндустриального общества [тпрк-480] : сборник статей по итогам Международной научно-практической конференции (Челябинск, 18 апреля 2023 г.). - Стерлитамак : АМИ, 2023. - С. 98-104.
205. Дубенко, Ю. В. Аналитический обзор методов обучения с подкреплением / Ю. В. Дубенко. - Текст : непосредственный // Формирование и развитие новой парадигмы науки в условиях постиндустриального общества
[mnpk-480] : сборник статей по итогам Международной научно-практической конференции (Челябинск, 18 апреля 2023 г.). - Стерлитамак : АМИ, 2023. - С. 104-107.
206. Дубенко, Ю. В. Анализ системы управления группой интеллектуальных агентов / Ю. В. Дубенко. - Текст : непосредственный // Вызовы времени и ведущие мировые научные центры : сборник статей по итогам Международной научно-практической конференции (Калуга, 24 апреля 2023 г.). -Стерлитамак : АМИ, 2023. - С. 52-55.
207. Дубенко, Ю. В. Формальная модель иерархического обучения с подкреплением / Ю. В. Дубенко. - Текст : непосредственный // Вызовы времени и ведущие мировые научные центры : сборник статей по итогам Международной научно-практической конференции (Калуга, 24 апреля 2023 г.). - Стерлитамак : АМИ, 2023. - С. 55-58
208. Дубенко, Ю. В. Аналитический обзор методов иерархического обучения с подкреплением / Ю. В. Дубенко. - Текст : непосредственный // Вызовы времени и ведущие мировые научные центры: сборник статей по итогам Международной научно-практической конференции (Калуга, 24 апреля 2023 г.). -Стерлитамак : АМИ, 2023. - С. 58-63.
209. Дубенко, Ю. В. Анализ методов распознавания изображений / Ю. В. Дубенко. - Текст : непосредственный // Вызовы времени и ведущие мировые научные центры : сборник статей по итогам Международной научно-практической конференции (Калуга, 24 апреля 2023 г.). - Стерлитамак : АМИ, 2023. - С. 63-66.
210. Khan M. U. Mobile Robot Navigation Using Reinforcement Learning in Unknown Environments / M. U. Khan. - Text : direct // Balkan Journal of Electrical & Computer Engineering, - 2019 - Vol. 7, N. 3.
211. Krnjaic A Scalable Multi-Agent Reinforcement Learning for Warehouse Logistics with Robotic and Human Co-Workers / Aleksandar Krnjaic. - 2022. - URL: https://doi.org/10.48550/arXiv.2212.11498. - Text : electronic.
212. Paine, T.M. A Model for Multi-Agent Autonomy That Uses Opinion Dynamics and Multi-Objective Behavior Optimization / Tyler M. Paine, Michael R. Benjamin. - 2023 - URL: https://doi.org/10.48550/arXiv.2311.11144. - Text : electronic.
213. Si, J. Vehicle Dispatching and Routing of On-Demand Intercity Ride-Pooling Services: A Multi-Agent Hierarchical Reinforcement Learning Approach / Jinhua Si, Fang He, Xi Lin, Xindi Tang. - 2023 - URL: https://doi.org/10.48550/arXiv.2307.06742. - Text : electronic.
214. Kandhasamy S. Decentralized Motion Planning for Multi-Robot Navigation using Deep Reinforcement Learning / Sivanathan Kandhasamy, Vinayagam Babu Kuppusamy, Tanmay Vilas Samak, Chinmay Vilas Samak. - 2020. - URL: https://doi.org/10.48550/arXiv.2011.05605. - Text : electronic.
215. Yang Y. Many-Agent Reinforcement Learning / A dissertation submitted in partial fulfillment of the requirements for the degree of Doctor of Philosophy of University College London. - 2021. - URL:
https://discovery.ucl.ac.uk/id/eprint/10124273/12/Yang 10124273 thesis revised.pdf. - Text : electronic.
216. Искусственный интеллект повышает эффективность производства «Северсталь -метиз». URL: https://severstal.com/rus/media/archive/iskusstvennyy-intellekt-povyshaet-effektivnost-proizvodstva-severstal-metiz-/ - Текст : электронный.
217. Встречаем ровер третьего поколения: история создания робота-курьера Яндекса. URL: https://habr.com/ru/companies/yandex/articles/590997/ - Текст : электронный.
218. Sperti, M. Non-linear Model Predictive Control for Multi-task GPS-free Autonomous Navigation in Vineyards / Matteo Sperti, Marco Ambrosio, Mauro Martini, Alessandro Navone, Andrea Ostuni, Marcello Chiaberge. - 2024. - URL: https://doi.org/10.48550/arXiv.2404.05343. - Text : electronic.
219. Rodriguez-Sanchez, J. A Ground Mobile Robot for Autonomous Terrestrial Laser Scanning-Based Field Phenotyping / Javier Rodriguez-Sanchez, Kyle Johnsen, Changying Li. - 2024. - URL: https://doi.org/10.48550/arXiv.2404.04404. - Text : electronic.
220. Alamanos, I. Localization and Offline Mapping of High-Voltage Substations in Rough Terrain Using a Ground Vehicle / Ioannis Alamanos, George P. Moustris, Costas S. Tzafestas. - 2024. - URL: https://doi.org/10.48550/arXiv.2403.19875. - Text : electronic.
221. Yuanyuan Gu, Dawei Zhou, Yufei An, Rui Wang, Kan Wu, Xinpeng Diao Ground point extraction using self-adaptive-grid and point to surface comparison / Yuanyuan Gu, Dawei Zhou, Yufei An, Rui Wang, Kan Wu, Xinpeng Diao. - 2022. -URL: https://doi.org/10.1016/j.measurement.2022.112057. - Text : electronic.
222. Lee, A. J. Low-cost Thermal Mapping for Concrete Heat Monitoring / Alex Junho Lee, Younggun Cho, Hyun Myung. - 2022. -https://doi.org/10.48550/arXiv.2211.02244. - Text : electronic
223. Kazeminasab S. Smart Navigation for In-pipe Robots with Multi-phase Motion Control and Particle Filter / Saber Kazeminasab, Vahid Janfaza, Moein Razavi, M. Katherine Banks. - 2021. - https://doi.org/10.1109/EIT51626.2021.9491887. - Text : electronic
224. Дубенко Ю.В. Разработка блока принятия решений самообучающейся системы адаптивного управления сложной технической системой / Ю.В. Дубенко, Е.Е. Дышкант, А.И, Вандина. - Текст : непосредственный // Электронный сетевой политематический журнал «Научные труды КУбГТУ». - 2018. - № 3. - С. 544554.
225. Дубенко, Ю.В. Разработка блока прогнозирования показателей сложной технической системы / Ю.В. Дубенко, Е.Е. Дышкант, А.И, Вандина. -Текст : непосредственный // Электронный сетевой политематический журнал «Научные труды КУбГТУ». - 2018. - № 3. - С. 555-568.
226. Свидетельство о государственной регистрации программы для ЭВМ № 2021616674 Российская Федерация. Цифровая платформа для обеспечения безопасности дорожной инфраструктуры с применением трехмерного лазерного сканирования / Дубенко Ю.В., Тимченко Н.Н., Дышкант Е.Е.; правообладатель ООО «Когнитивные системы и технологии». - № 2021616674; опубл. 26.04.2021 г.
227. Свидетельство о государственной регистрации программы для ЭВМ № 2016615673 Российская Федерация. Программа для проектирования аналитических блоков и блоков принятия решений на основе искусственных нейронных сетей / Дубенко Ю.В., Тимченко Н.Н.; правообладатель ФГБОУ ВО «Кубанский государственный технологический университет». - № 2016615673; опубл. 26.05.2016 г.
228. Свидетельство о государственной регистрации программы для ЭВМ № 2020614774 Российская Федерация. Информационная система поддержки и принятия решений для методов сегментации изображений / Дубенко Ю.В., Филиппов М.Ю., Гура Д.А., Марковский И.Г.; правообладатель ФГБОУ ВО «Кубанский государственный технологический университет». - № 2020614774; опубл. 24.04.2020 г.
229. Дубенко, Ю.В. Разработка архитектуры блока прогнозирования системы управления сложным техническим комплексом / Ю.В. Дубенко, Е.Е. Дышкант. - Текст : непосредственный // Вестник Брянского государственного технического университета. - 2018. - № 5 - С. 74-83.
230. Дубенко, Ю.В. Алгоритм коллективного взаимодействия интеллектуальных агентов в централизованных многоагентных системах / Ю.В. Дубенко. - Текст : непосредственный // Вестник компьютерных и информационных технологий. - 2022. - № 10. - С. 30-42.
231. Дубенко, Ю.В. Алгоритм обучения с подкреплением для децентрализованных многоагентных систем, основанный на обмене опытом и обучении агентов случайному взаимодействию / Ю.В. Дубенко, Н.А. Рудешко. -Текст : непосредственный // Вестник Воронежского государ-ственного технического университета. - 2022. - Т. 18., №4. - С. 30-36.
232. Дубенко, Ю.В. Метод синтеза организационной структуры централизованных многоагентных систем с возможностью ее автоматической адаптации в случае изменения параметров окружающей среды или поставленной задачи / Ю.В. Дубенко, Е.Е. Дышкант, А.А. Обозовский. - Текст :
непосредственный // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2023. - №3 (67). - С. 18-30
233. Дубенко, Ю.В. Метод оптимизации организационной структуры централизованных многоагентных систем в автоматическом режиме / Ю.В. Дубенко, Е.Е. Дышкант, А.А. Обозовский. - Текст : непосредственный // Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика. - 2024. - №1. - С. 46-55
234. Дубенко, Ю.В. Метод автоматической реорганизации структуры многоагентных систем в условиях сложной, частично наблюдаемой, динамической окружающей среды / Ю.В. Дубенко, Е.Е. Дышкант, А.А. Обозовский. - Текст : непосредственный // Электронный сетевой политематический журнал «Научные труды КубГТУ». - 2024. - №1. - С. 65-78.
Приложение А Аналитический обзор многоагентных гибридных
интеллектуальных систем
А.1 Основные области применения наземных робототехнических
комплексов
В настоящее время актуальными задачами применения на практике многоагентных интеллектуальных систем является доставка небольших грузов (вес от 1.5 до 150 кг) мобильными роботами и дронами, мониторинг состояния инфраструктурных объектов, патрулирование режимных объектов, исследование агентами незнакомой окружающей среды с построением трехмерной карты этой среды для последующей навигации. Применяемые при этом роботы функционируют независимо от оператора и определяются как «автоматически управляемое транспортное средство» (Automated Guided Vehicles, AGV).
Для задачи исследования роботами незнакомой окружающей среды (мира) необходимо автоматически формировать 2D или 3D карту окружающего пространства. Применяемый для этого метод SLAM (Simultaneous Localization and Mapping) предполагает автоматическое построение (и обновление) карты окружающей среды на основании данных, полученных от сенсоров робота (например, видеокамера, лазерное сканирующее устройство, тепловизор).
Ниже приводятся работы, характеризующие текущий уровень решений в рамках реализации автоматически управляемых транспортных средств (обладающих функцией построения и обновления карт окружающей среды), применяемых в таких областях, как мониторинг состояния инфраструктурных объектов, сельское хозяйство, доставка грузов:
1) Роботы, предназначенные для обследования инфраструктурных объектов (например, труднодоступных участков зданий, трубопроводов, трансформаторных подстанций).
Рассматриваемые решения [220-222] основаны на применении метода SLAM.
В статье [220] рассматривается гибридная система автономной навигации беспилотного наземного транспортного средства на неровной или пересеченной местности, а также методы детальной обработки полученных облаков точек. Предложенное решение предназначено для решения задачи обследования высоковольтных электрических подстанций (с помощью автономных наземных транспортных средств). Решение представляет собой расширенную версию алгоритма «ЕА8Т-ЬЮ2», направленную на локализацию (оценка положения робота в окружающей среде) полученных облаков точек на априори известных картах окружающей среды. Система основана на гибридной схеме, которая позволяет роботу не только определить свое местоположение на уже имеющейся карте, но одновременно выполнять обследование (и картографирование) неизвестных областей окружающей среды. Аналогичный подход также применяется в работе [221].
В работе [222] описывается робот, осуществляющий термический контроль процесса затвердевания бетона на стройплощадке с помощью тепловизора. В результате формируются тепловые карты помещений.
В работе [223] рассматривается метод интеллектуальной навигации для внутритрубных роботов (используются для мониторинга состояния трубопроводов), исключающий необходимость связи с базовой станцией для навигации.
К недостаткам рассмотренных решений [220-223] можно отнести низкую адаптивность (дополнительное обучение роботов в процессе работы не предусмотрено), а также ограниченную производительность (предполагается применение только одного робота).
2) Роботы, применяемые в сельском хозяйстве.
В работе [218] рассматривается мобильный робот, реализующий задачу мониторинга состояния виноградников в режиме, автономном от глобальных навигационных систем. Представленная система управления также позволяет решать такие навигационные задачи, как объезд препятствий и приближение к целевым объектам при различном расстоянии между рядами виноградника.
Рассматриваемая система управляется с помощью дерева поведения, «контролирующим логику высокого уровня, переключение миссий, команды запуска и останова, обнаружение сбоев и инициирование резервных процедур» [218]. Идентификация потенциальных препятствий и границ произрастания виноградника осуществляется путем обработки облака точек, полученного от лазерного сканирующего устройства, с помощью порогового метода сегментации изображений.
В работе [219] рассматривается задача автоматической идентификации фенотипов сельскохозяйственных культур. Предложенное решение позволяет создавать реалистичные трехмерные модели сельскохозяйственных культур (на основе облака точек, полученного с помощью лазерного сканирующего устройства), которые можно использовать для извлечения морфологических характеристик растений в течение сезона для оценки роста и урожайности сельскохозяйственных культур [219].
Недостатки решений [218-219]:
- низкая устойчивость к шумовым воздействиям (алгоритмы не способны успешно функционировать при наличии на пути неизвестных объектов, например, человек, другой робот, сельскохозяйственный инвентарь и т.д.);
- низкая адаптивность алгоритмов (отсутствие способности к обучению);
- ограниченная производительность (предполагается применение только одного робота).
Таким образом, рассмотренные решения обладает эффективностью лишь при решении задач в рамках статической окружающей среды конкретного типа. При возникновении непредвиденных ситуаций сохранение их работоспособности маловероятно.
3) Роботы, реализующие доставку грузов.
В [211] рассматривается решение для оптимизации складской логистики в аспекте навигации агентов МАС при достижении целевого состояния (цепочки ключевых состояний), в котором расположен груз, а также дальнейшей его доставки на пункт комплектации заказов. В данном случае под агентом
понимается «автоматически управляемое транспортное средство» (Automated Guided Vehicles, AGV). В работе [211] предложен иерархический алгоритм MARL, где «агент-менеджер» (их может быть несколько) назначает задачи «рабочим агентам» (составляют группы, подчиняющиеся отдельным «агентам-менеджерам», решая, таким образом, проблему экспоненциального роста размерности состояний), при этом совместно оптимизируя их политики при максимизации показателей эффективности при достижении глобальной цели (таким образом, рассматриваемая МАС может быть классифицирована как централизованная). При формировании траектории движения агента от текущего состояния в целевое используется алгоритм Дейкстры. Карта окружающей среды (складское помещение) априори известна агентам.
В решении [216] описывается подсистема машинного зрения агента, однако применяемая технология («Natural Features Navigation - навигация по характерным точкам естественного окружения») не предполагает применения в неисследованной ранее окружающей среде.
Робот-курьер от Яндекс (R3) может перевозить 20 кг полезного груза в отсеке объёмом 60 л, время работы - 8 часов [217]. Робот оснащен двумя радарами, одним лидаром, пятью камерами, акселерометром и датчиком GNSS (глобальная навигационная спутниковая система). Система машинного зрения работа идентифицирует препятствия, выполняет формирование траектории движения, а также локализацию в пространстве. Однако данное решение также предполагает наличие трехмерной карты окружающей среды, а также использует данные, поступающие с GNSS [217].
В работах [210, 214] представлены методы и алгоритмы, которые могут быть адаптированы для решения перечисленных ранее задач.
Для формального описания концепции обучения с подкреплением (используемой в [210]) может быть использована марковская модель вида [9,181]
(A,S,T,R), (А.1)
гдеА = { а1,а2,... ,ам} - множество возможных действий, S = (s-l, s2,..., sNlVsi E S3As. с A} - множество возможных состояний, где As. -множество действий, доступных в состоянии st, T: T(s, а, s'ls' E S A s E S А а E
А) - функция преобразования состояний (функция переходов), R:R = f(s, a, s') -функция оценки результатов преобразования состояний s ^ s' путем выполнения действия a (функция вознаграждения). В обучении с подкреплением вводится термин «стратегия» (п(s, a)) - вероятность выбора действия a при нахождении в состоянии s. Большое распространение получили s-жадные стратегии, заключающиеся в наличии фиксированной вероятности выбора действий с максимальными расчетными ценностями [9].
Одной из разновидностей обучения с подкреплением является Q-learning. В Q-learning вводится понятие ценности действия Q(s, a), определяемой по формуле [9,180,181]:
Q(s, a) ^ Q(s, a) + a[r + yQ(s', a') - Q(s, a)], (А.2)
где a - параметр скорости обучения, y E [0,1] - значение дисконта, г = R(s, a,s') - вознаграждение (подкрепление) агента за реализацию перехода s ^ s' путем выполнения действия a.
При этом в [9] также выделяется понятие политики (стратегии) агента n(s,a,s') - вероятность перехода из состояния s в состояние s' при выполнении примитивного действия a.
В работе [210] предложен гибридный алгоритм для формирования оптимального пути мобильного робота к целевому состоянию, основанный на применении алгоритмов «TOSL-QBIASSR» (разновидность Q-Learning в рамках парадигмы «обучения с подкреплением», позволяет снизить вероятность попадания в локальный минимум) и «имитации отжига».
Основная идея решения, рассматриваемого в [210], заключается в повышении эффективности в условиях сравнения похожих состояний s. Для этого предлагается определять масштабированное значение ценности действия по формуле [210]:
Q(s)biaSed ^Q(s) + biases), где bias(s) = avg(Q(s,xi)), xi - состояние, смежное с s, i = 1,xN, xN -число состояний, смежных с .
В [210] применяется функция вероятности перехода из состояния s в состояние s' - Р(е,е',Т), зависящая от энергий е = E(s), е'= E(s') и температуры Т. В предлагаемом в [210] алгоритме при вычислении входного признака для регрессии Softmax энергетическая функция определяется на основе евклидовой нормы оставшегося расстояния до цели д.
В работе [214] рассматривается задача навигации нескольких роботов, обменивающихся между собой информацией о состоянии друг друга, с использованием глубокого обучения с подкреплением, где в качестве аппроксиматора используется искусственная нейронная сеть, а также многоагентного обучения с подкреплением (MARL) [9]. Агент выбирает действие а (включает значения линейной и угловой скорости) в зависимости от собственного состояния ( s), а также состояний ( st, i = 1,aN — 1, aN - число агентов, aN = 4), в которых находятся иные агенты.
В результате анализа решений, предложенных в [210,214], были выделены следующие недостатки:
1) Возможны ситуации, при которых максимизация полученных локальных вознаграждений становится для агентов более привлекательным сценарием, чем получение итогового вознаграждения.
2) Экспоненциальный рост количества сочетаний (s1,s 2,---,saN) с увеличением числа агентов.
3) Агенты, обмениваясь информацией о текущих состояниях друг друга, не имеют аналогичной возможности относительно полученного опыта (множества (s, а, s', г)), наличие такой возможности могло бы повысить скорость их обучения.
4) В работе не рассматривается аспект, касающийся применения методов машинного зрения для идентификации состояния агента относительно окружающей среды.
5) В работе [210] не рассматривается возможность применения предложенного гибридного алгоритма в рамках многоагентной системы (МАС). Исходя из особенностей предложенного решения, может быть допущено его применение в рамках децентрализованной МАС. Однако в этом случае нет гарантии, что агенты в процессе решения задачи не будут создавать помехи друг другу, дублировать траектории, уже пройденные иными роботами.
6) Очевидно, что в рамках уже исследованной окружающей среды могут быть выделены типовые фрагментов (например, комнаты, протяженные коридоры), преодоление которых агентом заключается в выполнении некоторой цепочки примитивных действий (макродействий). Возможно, наличие у агента способности к преодолению типовых фрагментов окружающей среды путем автоматического выполнения макродействий оказало бы положительное влияние на эффективность решения поставленной задачи.
В итоге могут быть выделены следующие основные недостатки рассмотренных решений:
1) Предполагается применение только одного робота (что существенно замедляет решение задачи), либо роботы работают без взаимодействия друг с другом (например, создавая друг другу помехи, повторяя траектории).
2) Для работы необходима карта местности или заданный ранее маршрут движения, данные, поступающие от глобальных навигационных систем.
Повысить эффективность таких систем возможно за счет коллективной работы этих роботов с обменом опытом между собой. Особенно это важно при работе в неизвестной окружающей среде. Следовательно, необходима многоагентная система управления.
А.2 Анализ структуры интеллектуального агента
А.2.1 Вскрытие структуры интеллектуальных агентов
Под агентом понимается объект, воспринимающий внешнюю среду с помощью датчиков (сенсоров), а также оказывающий на нее влияние посредством исполнительных механизмов [69 ,110]. В [122] дается следующее определение понятию агент - «это автономный искусственный объект, обладающий активным мотивированным поведением и способный к взаимодействию с другими объектами в динамических виртуальных средах».
Структура агента в общем виде приводится на рисунке А.1 (по материалам
Действия (А)
Рисунок А.1 - Структура агента в общем виде
На рисунке А.1 представлены следующие обозначения:
- Восприятия (наблюдения) (Р) - параметры внешней среды, фиксируемые датчиками (сенсорами) агента.
- Датчики (сенсоры) - технические средства, предназначенные для восприятия параметров внешней среды с целью их дальнейшей обработки.
- - функция агента, являющаяся отображением актов восприятия в
/
действия: (Р1;..., Рм} ^ А.
- Исполнительные механизмы - технические средства, предназначенные для модификации состояния внешней среды путем реализации действий (А).
- Действия (А) - специальные манипуляции, выполняемые агентом посредством исполнительных механизмов, с целью модификации состояния внешней среды, являющиеся реакцией агента на наблюдение Р.
При этом в роли агентов могут выступать как реальные объекты (например, роботизированные механизмы), так и виртуальные (например, программное обеспечение) [69 ]. Примером реального объекта является мобильный робот, осуществляющий восприятие внешней среды посредством сенсоров, в качестве которых могут применяться, например, фото и видеокамеры, лазерные сканеры,
тепловизоры и т.д. Примером виртуального агента является программа для ЭВМ, использующая в качестве сенсорной системы различные устройства ввода-вывода (клавиатура, мышь),
Внешняя среда может быть описана множеством состояний 5 = (51( ..,БМ}. Ее состояние Б1 в момент времени ^ идентифицируется агентом посредством сенсорной системы на основе наблюдения Р1, где Р1 = (Р1,Р2, ....Р^} -множество параметров, описывающих состояние внешней среды. При выполнении агентом в момент времени ^ действия А1 = f(Р1) состояние внешней среды изменяется на 52. Соответственно, состояние Б2 идентифицируется агентом на основе наблюдения Р2. Таким образом, Р является отображением 5:
где ^еп<;(5) = Р - «функция сенсоров», описывающая функционирование сенсорной системы агента.
Общий алгоритм работы агента может быть представлен в следующем виде:
1) получение задачи Т от лица, принимающего решение (ЛПР);
2) анализ задачи Т, ее декомпозиция на отдельные подзадачи Т =
3) получение восприятий (наблюдений) Р, посредством сенсорной системы, где - некоторый временной интервал;
4) анализ наблюдений Р, посредством «функции формализации наблюдений» Ъы;(Р,) = С1, где С, = (С^,... - множество признаков, описывающих состояние внешней среды Б,;
5) анализ признаков С,, формирование управляющих воздействий и, для исполнительных механизмов посредством «функции формирования управляющих воздействий» с учетом поставленной задачи Т:
(А.3)
(Т1.....ВД;
Ъопг(Сг,Т~) = иг,
(А.4)
где С, = ( и1.....иМ};
6) реализация исполнительными механизмами управляющих воздействий Ut в виде действий At посредством «функции исполнительных механизмов»
fact(Ut) = At;
Таким образом, функция агента может быть записана в следующем виде:
f(Pt) = fact(fcont[fobs(fsens(St)), Т]) = At. (А.5)
В [69 ] вводится такое понятие, как «рациональность агента». Рациональный агент - это агент, «выполняющий правильные действия», или, иными словами, для которого «каждая запись в таблице для функции агента заполнена правильно» [69 ]. Таким образом, возникает необходимость в наличии функции, позволяющей оценить степень рациональности действий агента. Существует функция
fp erf(S,A,S')=rt-1, (А.6)
позволяющая определить значение «показателя производительности» г, реализующего оценку действий агента в рамках решения поставленной задачи Т [69 ]. Значение показателя производительности определяется после выполнения действия A, когда известна реакция на него внешней среды, выражаемая в виде наблюдения Р. Функция fperf по сути дела описывает «обратную связь» и позволяет реализовать управление по ошибке. Учитывая (А.3), формулу (А.6) можно переписать в следующем виде:
fperf (Р,А,Р'). (А.7)
Ее значение может быть учтено при формировании действий At. С учетом
Ut ^ At, перепишем формулу (А.4) в сле^ющем виде:
fcont(Ct,T,rt-i) = Ut. (А.8)
На основании (А.7) и (А.8) запишем формулу (А.5) в следующем виде:
f(Pt) = fact (fcont [fobs(fsens(St)>)>T> fperf[Pt-1> At-1> fsens(St)]]) = At ■
Важным свойством интеллектуального агента является способность к обучению. В [69 ] выделяют следующие виды обучения: обучение с учителем, самообучение. Обучение с учителем предполагает наличие заранее известных шаблонов, описаний проблемных ситуаций, что не всегда возможно. Более предпочтительным видится реализация самообучаемых агентов, отличием
которых является наличие специального компонента, называемого «критик», определяющего, насколько рационально действует агент на основании постоянного стандарта производительности [69 ]. Таким образом, критик может быть представлен в виде функции:
ЪегГ№,Р,А,Р')=Г1, где - стандарт производительности, представляющий собой шкалу оценки рациональности действий агента.
Согласно [69 ], компонентами обучаемого агента также являются:
- обучающийся компонент, который может быть выражен в виде функции:
где с, - корректирующее воздействие для функции ^оп,;
- база знаний, предназначенная для хранения «кортежей опыта»
(Рг-1, Аг-1, Рг, Ъ-1);
- кратковременная память, предназначенная для запоминания текущих
наблюдений Р,, а также действий А, с целью их верификации на следующем шаге 1 + 1 путем вычисления оценки производительности г,.
При обучении агента в режиме реального времени для некоторых классов задач существует риск недостижения цели, в связи с чем возможно добавление специального элемента, называемого «генератор проблем», позволяющего обучать агента в виртуальном режиме. «Генератор проблем» может быть выражен функцией следующего вида:
Ъеп(Т1,((Р,А,Р',г)1.....(Р,А,Р',г)м}) = Спе„,
где ТI - цель обучения, ((Р, А, Р', г)1, ...,(Р,А, Р', г)ы} - множество кортежей опыта, Р - описание сгенерированной проблемы.
При этом декомпозицию поставленной задачи Т на отдельные подзадачи, синтез стандарта производительности ^) и определение цели обучения (ТI) выполняет автоматизированная система управления (АСУ).
Таким образом, имеем общую структуру интеллектуального агента (см. рисунок А.2) [182,184].
Рисунок А.2 - Структура агента в общем виде (дополненная)
Существует широкий спектр задач, для решения которых применяются группы агентов, в частности, это
1) Обследование объектов инфраструктуры (зданий, мостов, автомобильных дорог, вентиляционных шахт, канализационных коллекторов и т.д.) с целью идентификации их технического состояния, а также осуществления охраны и выявления случаев несанкционированного доступа [178-179].
2) Компьютерные игры: симуляторы коллективных спортивных игр (футбол, хоккей, баскетбол, волейбол и т.д.); игры стратегического жанра, предполагающие управление большим количеством агентов, чаще всего обладающих различным назначением и характеристиками.
3) Управление виртуальными агентами, осуществляющими решение задач различного характера: виртуальная торговля, обработка изображений и т.д.
Рассмотренные задачи, за исключением виртуальной торговли, могут быть сведены к задаче поиска оптимальной траектории.
Перечисленные задачи обладают рядом общих свойств, таких как:
- гетерогенность применяемых агентов по назначению и техническим характеристикам;
- частичная наблюдаемость и стохастический характер внешней среды;
- возможность получения большего выигрыша в случае согласованных действий агентов (принцип «эмерджентности»).
С целью реализации принципа «эмерджентности» группа интеллектуальных агентов может быть объединена в многоагентную систему (МАС). Важнейшей особенностью МАС, которая является главным их отличием от других интеллектуальных систем, является наличие взаимодействия между агентами, которое подразделяется на следующие типы: кооперация (сотрудничество), конкуренция (конфронтация, конфликт), компромисс (учёт интересов других агентов), конформизм (отказ от своих интересов в пользу других), уклонение от взаимодействия [69 ].
Для обеспечения эффективной работы многоагентной системы необходимо осуществлять координацию действий агентов. В [96 ] выделяются следующие методы координации агентов: «координация с помощью удовлетворения общих правил группового поведения», «координация поведения на основе обмена информацией на метауровне», «координация в условиях конкуренции агентов», «командная работа». Далее рассмотрим каждый метод с учетом возможности его применения для обозначенных задач:
1) «Координация с помощью удовлетворения общих правил группового поведения». Агенты представляют собой простейшие автоматы, «при этом множество правил группового поведения формирует систему, которая проявляет высокоорганизованное поведение» [96 ]. К подобным системам также применяется термин «коллективный» или «роевой» интеллект [95 ]. Системы роевого интеллекта, как правило, являются децентрализованными и объединяют множество агентов, взаимодействующих друг с другом и внешней средой [94 ]. В качестве примеров методов роевого интеллекта можно отметить [94 ]: «алгоритм роя частиц», «пчелиный алгоритм», «муравьиный алгоритм», «алгоритм роя светлячков», «алгоритм летучих мышей» и т.д. Применение данного метода координации возможно при решении таких задач, как обработка изображений, в некоторых случаях - обследование объектов инфраструктуры, компьютерные
игры (например, стратегического жанра). К недостаткам данного метода можно отнести неспособность отдельных агентов (либо малых групп агентов) к самостоятельному решению сложных задач в случае отпадения (например, по причине потери связи) от основной группы.
2) «Координация поведения на основе обмена информацией на метауровне». Предполагает обмен между агентами информацией о планируемых ими действиях, их согласование, разрешение конфликтов, агентам также могут быть присвоены роли, в соответствии с которыми определяются правила их поведения [96 ]. Данный метод координации более характерен для таких задач, как биржевая торговля, обследование объектов инфраструктуры (как с целью мониторинга их состояния, так и с целью охраны и выявления случаев несанкционированного доступа), компьютерные игры (например, игры стратегического жанра, спортивные симуляторы). К недостаткам данного метода можно отнести относительное равноправие агентов, предполагаемое при реализации данного метода усложняет обработку ситуаций, при которых максимизации общего выигрыша группы агентов можно достичь путем «действий в ущерб себе» со стороны отдельных агентов (например, в случае отсутствия достоверных сведений о безопасности того или иного участка внешней среды можно рискнуть одним малозначимым агентом, направив его на этот участок для сбора информации).
3) «Координация в условиях конкуренции агентов» предполагает стремление агентов к максимизации свих функций полезности при игнорировании интересов других агентов. Данный метод применим при реализации компьютерных игр (например, спортивных симуляторов, игр стратегического жанра). К недостаткам данного метода можно отнести применимость лишь для отдельных практических задач. Во многих других случаях его применение может существенно снизить эффективность процесса решения поставленной задачи. Например, при решении задачи обследования инфраструктурного объекта агенты будут стремиться охватить как можно
большие площади, зачастую дублируя траектории друг друга, неэффективно расходуя заряды своих аккумуляторных батарей.
4) «Командная работа». От предыдущего метода отличается наличием «враждебной» внешней среды, в которой агенты прилагают совместные усилия для достижения долговременной цели [96 ]. Данный метод координации также применим для задач, перечисленных в п. 2 для метода «координации в условиях конкуренции агентов». Его применение позволит реализовать принцип «эмерджентности», что позволит решить поставленную задачу с максимальной эффективностью. Является наиболее предпочтительным из рассмотренных методов координации агентов.
Применение любого из перечисленных методов координации предполагает, что агенты должны обладать способностью к «общению» друг с другом, которая выражается в обмене некоторыми информационными сообщениями М? (например, параметры, характеризующие местоположение агента, оценка производительности его действий, сформированные им управляющие воздействия), формируемыми с помощью функции fsmess(p|p = [г V С V и}), где X - интервал времени, на котором было сгенерировано информационное сообщение, а - агент, отправивший данное информационное сообщение. При этом формат М£ должен быть единым для всех элементов многоагентной системы. Информация, получаемая от других агентов, может быть избыточной, поэтому с целью фильтрации полученных информационных сообщений применяется функция fgme цц(М= р.р = [г V С V и}.
Как отмечалось ранее, сообщения М£ могут быть использованы при формировании поведенческих стратегий агентов. Следовательно, перепишем формулу (А.4) в следующем виде:
Ъош (сг, т, г1:-1,р1р = [rvcvи}лм?г-^р') = и,.
Механизм реализации роевого интеллекта для абсолютно аналогичных агентов I и у в многоагентной системе поясняется на рисунке А.3.
Рисунок А.3 - Структура агента многоагентной системы
Таким образом, с точки зрения классической теории системного анализа интеллектуальная многоагентная система может быть представлена как система, в которой объектом управления является интеллектуальный агент. При этом автоматизированная система управления (АСУ) - это распределенная система, включающая методы и алгоритмы централизованного управления интеллектуальными агентами, а также методы и алгоритмы их коллективного взаимодействия между собой для достижения цели, поставленной ЛПР. Подобный подход позволит расширить методологический аппарат системного анализа с точки зрения управления гибридными интеллектуальными многоагентными системами.
На основании структурных схем, представленных на рисунках А.2 и А.3, могут быть выделены основные подсистемы агентов (рисунок А.4) [69 , 182].
Рисунок А.4 - Структура агента с основными подсистемами
На рисунке А.4 представлены следующие условные обозначения:
Обратите внимание, представленные выше научные тексты размещены для ознакомления и получены посредством распознавания оригинальных текстов диссертаций (OCR). В связи с чем, в них могут содержаться ошибки, связанные с несовершенством алгоритмов распознавания. В PDF файлах диссертаций и авторефератов, которые мы доставляем, подобных ошибок нет.