Развитие моделей субсимвольных распределенных вычислений в задачах многокритериального выбора тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат наук Демидовский Александр Владимирович

• Демидовский Александр Владимирович
• кандидат наук
• 2022

Оглавление диссертации кандидат наук Демидовский Александр Владимирович

Введение

Глава 1. Анализ современных подходов к построению ИСППР

1.1 Анализ современных подходов к построению ИСППР

1.1.1 Ключевые определения и общие требования

1.1.2 Обзор научной литературы, посвященной вопросам интеграции ПНС в ИСППР

1.2 Методы многокритериального принятия решений в условиях нечеткой исходной информации и существующие подходы к их сравнению

1.3 Использование лингвистических оценок для работы с нечеткой информацией

1.3.1 Двухкортежная модель представления лингвистической информации

1.3.2 Расширения для двухкортежной модели для выражения различных видов экспертных оценок

1.3.3 Основные операторы агрегации лингвистических оценок

в формате двухкортежной модели

1.4 Принцип мета-решений на основе иерархии уровней абстракции

1.5 Символический и коннективистский подходы к построению ИСППР. Перспективы построения нейросимволических ИСППР

1.6 Обзор архитектуры нейронной машины Тьюринга как перспективной ИНС для интеграции в ИСППР

1.7 Особенности интеграции ИНС в ИСППР. Распределенное представление как центральный элемент субсимвольных вычислений

1.8 Обзор метода тензорных представлений к построению высокоразмерных представлений

1.8.1 Правила кодирования структуры в распределенный вид

1.8.2 Правила декодирования структуры из распределенного

вида

1.9 Выводы

Глава 2. Разработка модели многокритериального принятия решений с использованием лингвистической

информации

2.1 Предлагаемая модель лингвистического многокритериального принятия решений

2.2 Описание шагов в процессе многоуровневого многокритериального принятия решений

2.3 Агрегирование полученной информации

2.3.1 Шаг 1. Формирование матриц из оценок в виде H2TS

2.3.2 Шаг 2. Агрегация оценок по критериям

2.3.3 Шаг 3. Перевод оценок на уровни абстракции

2.3.4 Шаг 4. Агрегация оценок по экспертам

2.3.5 Шаг 5. Агрегация оценок по уровням абстракции

2.4 Анализ согласованности рекомендаций предложенной модели с рекомендациями ELECTRE и TOPSIS

2.5 Выводы

Глава 3. Предлагаемые модели для агрегации лингвистических

оценок с помощью нейросетевых технологий

3.1 Предлагаемая общая схема выражения шага агрегации лингвистических оценок на субсимволическом уровне

3.2 Предлагаемый дизайн компилируемой IIНО для кодирования рекурсивной структуры в распределенное представление и обратного восстановления из него

3.2.1 Принципиальная схема ИНС-кодировщика

3.2.2 Принципиальная схема ИНС по восстановлению структуры из распределенного представления

3.3 Предлагаемый дизайн компилируемой ИНС для условных трансформаций символических структур

3.3.1 Принципиальная схема ИНС для условных трансформаций символических структур

3.3.2 Апробация предлагаемого решения

3.4 Предлагаемый дизайн компилируемой ИНС для субсимволической агрегации лингвистических оценок

3.4.1 Арифметические правила для работы с числами с фиксированной точностью, выраженные через манипуляции рекурсивными структурами

3.4.2 Принципиальная схема ИНС-сумматора неотрицательных чисел с фиксированной точностью

3.5 Предлагаемое решение задачи агрегации лингвистических оценок на субсимволическом уровне с помощью обучаемого нейросетевого агрегатора

3.5.1 Предлагаемый способ представления лингвистической оценки в виде битовой строки фиксированной длины

3.5.2 Предлагаемый способ представления лингвистической оценки в виде ТП

3.6 Выводы

Глава 4. Разработка новых алгоритмов и программной

реализации нейросетевых модулей для решения

задачи многокритериального выбора в ИСППР

4.1 Анализ и выбор программных инструментов для создания, обучения и исполнения ИНС

4.1.1 Программный каркас TensorFlow для работы с ИНС

4.1.2 Программный каркас PyTorch для работы с ИНС

4.1.3 Выбор программного каркаса для работы с ИНС

4.2 Программный комплекс для создания, компиляции и исполнения ИНС для кодирования рекурсивных структур и их восстановления из распределенного представления

4.2.1 Архитектура программного комплекса с точки зрения структуры приложения

4.2.2 Архитектура программного комплекса с точки зрения реализации и развертывания

4.2.3 Архитектура программного комплекса с точки зрения использования приложения

4.2.4 Анализ предлагаемого нейросетевого дизайна по кодированию и восстановлению структуры

4.2.5 Анализ предлагаемого нейросетевого дизайна по

условной манипуляции символических структур

4.3 Программный комплекс для создания, обучения и исполнения

ИНС для нейросетевой агрегации

4.3.1 Архитектура программного комплекса с точки зрения структуры приложения

4.3.2 Архитектура программного комплекса с точки зрения реализации и развертывания

4.3.3 Архитектура программного комплекса с точки зрения использования приложения

4.3.4 Обучение нейросетевого агрегатора и оценка его функциональной корректности

4.4 Выводы

Заключение

Список сокращений и условных обозначений

Список литературы

Список рисунков

Список таблиц

Приложение А. Вспомогательные результаты исследования,

представленные в табличном виде

Приложение Б. Экспериментальная проверка модели

многокритериального выбора с

использованием лингвистических оценок

Б.1 Описание текущего состояния

Б.2 Описание желаемого состояния

Б.З Формулирование критериев и альтернативных решений в

соответствии с иерархией абстракций

Б.4 Агрегирование экспертных оценок

Приложение В. Основные результаты анализа согласия

рекомендаций предложенной многокритериальной модели с аналогами в виде графиков

Введение диссертации (часть автореферата) на тему «Развитие моделей субсимвольных распределенных вычислений в задачах многокритериального выбора»

Введение

Радикально новые условия обработки информации, планирования и стратегического управления в цифровых организациях, основанные на принципах самоорганизации, приводят к необходимости реализации таких организационных форм, как виртуальные организации [1], гибкие организации [2] и распределенные организации [3]. В подобных организациях существенно ускоряется скорость производственных процессов и частота изменений самих процессов, перед управленцами ставится всё больше задач, относящихся к категории многокритериального выбора. В этих условиях изменений в организации деятельности в сторону массовой цифровизации повышается актуальность развития новых методов решения таких задач.

Традиционно решение задач многокритериального выбора происходит в составе систем поддержки принятия решений (СППР) [4], предназначенных для различных категорий управленческого персонала. Современные методы построения СППР берут начало в работах отечественных и зарубежных исследователей: Поспелова Д. А., Ларичева О. П., Финна В. К., Осипова Г. С., Осипова В. П., Голицына Г. А., Турбина Э., Хаагзмы П., Джоханса Р., Фокса Д., Даса С. [5—12].

При построении СППР для решения задач многокритериального выбора необходимо учитывать наличие неопределенности информации и знаний о проблемной ситуации, а также применять различные способы снижения неопределенности, например, за счет внедрения свертки или ранжирования противоречивых критериев и экспертных оценок [13]. Кроме того, процесс принятия решений может быть итеративным. Исследованию проблематики методов многокритериального выбора в составе СППР посвящены работы Алескерова Ф. Т., Подиновского В.В., Ларичева О. И., Ногина В. Д., Поспеловой И. И., Осипова В. П., Судакова В. А., Думпуса М., Григорудиса Е., Ижизаки А., Немери П. и других отечественных и зарубежных исследователей [12; 14 22|.

На практике оценки экспертов могут быть как количественными, так и качественными. Качественные оценки становятся все более предпочтительными в сложных ситуациях, поскольку они, в отличие от количественных, лучше отражают нечеткую информацию (например, если эксперт сомневается и не может дать точную оценку). Существенный вклад в развитие надежных и гиб-

ких моделей и алгоритмов, объединяющих методы обработки количественных и качественных оценок в составе СППР, внесли такие ведущие ученые, как Поспелов Д.А., Борисов А.Н., Алексеев А.В., Крумберг OA., Ягер Р., Заде Л., Ху 3., Мартинес Л., Херрера Ф., Херрера-Вьедма Е. [23—29]. В результате работы российских и зарубежных исследователей сформировалось такое понятие как «лингвистическое многокритериальное принятие решений» [28—33].

Принято считать, что одним из магистральных направлений в проектировании и реализации СППР является интеграция в их состав искусственных нейронных сетей (ИНС) [34]. Данное направление обычно называют ней-росимволизмом [35]. Исследованию вопросов построения интеллектуальных, нейросимволических систем посвящены работы Голицына Г. А., Фоминых И. Б., Арлазарова В. Л., Журавлева Ю. И., Ларичева О. И., Лохина В. М., Борисова, А. Н., Макарова И. М., Рахманкулова В. 3., Финна В. К., Кузнецова О. П., Поспелова Д. А., Комарцовой Л. Г., Соттара Д., Тарека Р., дАвилы Гарсеза А., Медскера Л., Хитцлера П., Гинзбурга М., Галланта С. [5; 6; 8; 35 471 и др.

При этом в работах, посвященных изучению и развитию идей по построению сильного или общего искусственного интеллекта (ИИ), констатируется необходимость создания интегрированных решений, которые основывались бы и на нейросимволических вычислениях, и на символических рассуждениях. Это связано с тем, что система, включающая элементы общего ИИ, должна быть семантически обоснована, интерпретируема и надежна, а ее решения должны вызывать полное доверие у всех заинтересованных сторон. Таким образом создание общего ИИ невозможно без взаимной интеграции этих подходов и развития нейросимволических методов. Исследованию данного вопроса посвящены работы Голицына Г. А., Фоминых И. Б., Поспелова Д. А., Борисова А. Н., Колесникова А. В., Медскера Л., Симы Д., д'Авилы Гарсеза А., Безольда Т., Ламба Л., Пинкаса Г. [8; 35; 41; 43; 48 521 и др.

Дополнительно автором было проведено выявление и исследование новых направлений развития СППР в соответствии с методологией Design Science Research Methodology (DSRM) [53]. В результате сбора и анализа большого количества научных источников последних лет также была выявлена устойчивая тенденция к построению нейросимволических СППР на основе интегрированных нейросетевых подходов.

При этом было выявлено, что дополнительным стимулом к развитию нейросимволических СППР является требование к распределенной структуре

новых видов этих систем. Одной из существенных причин, обуславливающих появление этого требования, является активное развитие различных массивно-параллельных и распределенных вычислительных технологий и коммуникационных решений в контексте корпоративного ИТ-ландшафта. Это приводит к практической возможности и экономической целесообразности построения новых поколений информационных систем на принципах много-агентных систем (MAC) [54], сетей интернета вещей и так называемой «туманной» вычислительной архитектуры [55]. Перечисленные типы распределенных вычислительных инфраструктур могут содержать миллионы автономных элементов, взаимодействующих друг с другом децентрализированным образом в условиях динамически и программно определяемой сетевой коммуникации. В таких условиях структурным элементам и алгоритмам коммуникации, используемым в параллельных моделях динамики ИНС, могут быть поставлены в прямое соответствие определенные элементы вычислительных инфраструктур (например, нейроны - агенты) [56—63]. Действительно, различные исследователи [64^67] сходятся в том, что отдельное устройство (в сетях интернета вещей, в туманной вычислительной инфраструктуре) или отдельный интеллектуальный агент (в MAC) играют роль отдельного нейрона или реализуют определенный фрагмент глобальной многоуровневой ИНС. В таком случае динамика ИНС может быть эффективно реализована с помощью механизмов общей памяти или передачи сообщений.

Открытые проблемы в области СППР В ходе проведенного литературного анализа было выявлено, что актуальность создания СППР определяется возросшей сложностью принятия решений в условиях изменяющейся среды, растущих объемов данных, а также количества взаимосвязанных элементов, влияющих на деятельность лица, принимающего решение (ЛПР).

Отметим, что значительная часть современных СППР является гибридной, имея в своем ядре сразу несколько ключевых технологических компонентов, таких как данные, модели и знания. В таком случае недостаток данных на этапе создания СППР может компенсироваться бизнес-правилами и заранее заданными сценариями, в то время как постепенное накопление данных позволит применять технологии для анализа данных и новые математические модели для формирования более эффективных рекомендаций для ЛПР.

Как было показано в [53], наблюдается тенденция внедрения в СППР методов ИИ, таких как ИНС и рассуждений на базе прецедентов, так как эти методы позволяют повысить прогностический потенциал СППР и выявить скрытые закономерности в имеющихся данных [68]. СППР с элементами ИИ обычно называют интеллектуальными СППР (ИСППР).

Несмотря на активные исследования в области построения гибридных экспертных систем, гибридных ИСППР, многие вопросы остаются не полностью решенными, такие как:

1. реализация объясняющих способностей для распределенных ИСППР,

2. интеграция в ИСППР перспективных нейросетевых архитектур,

3. разработка методов и моделей для представления знаний в виде, удобном для использования как на символическом, так и на субсимволическом уровнях,

4. разработка номенклатуры конфигураций и возможных вариантов внедрения нейросимволических ИСППР.

В силу актуальности разработки ИСППР, направленных на решение задач многокритериального выбора, существует ряд открытых исследовательских вопросов в рамках развития современных методов принятия решения. Существенными недостатками традиционных методов принятия решений, например, TOPSIS [69] или ELECTRE [70; 71], которые помогают экспертам определить лучшую альтернативу, является их сильная зависимость от количественных оценок, даже в форме нечетких множеств [72].

Таким образом, с одной стороны, существует явный тренд на создание гибридных ИСППР, включающих различные ИНС в виде собственных модулей, а с другой стороны, в условиях возрастающих потребностей в новых методах многокритериального принятия решений развиваются подходы по работе с качественными оценками, выраженными в лингвистической форме.

Исходя из этого, задачи построения ИСППР в условиях многокритериального выбора, задачи представления знаний как на символическом так и на субсимволическом уровнях, задачи интеграции ИНС в ИСППР для обеспечения в них способности к обучению и адаптации к окружающему контексту являются актуальными и важными.

Рассматриваемая в исследовании открытая проблема в области методов принятия решений: отсутствие моделей, алгоритмов и программных комплексов, способствующих проектированию и реализации эффективных ин-

и

теллектуальных нейросимволических систем поддержки принятия решений на основе ИНС.

Объект исследования: интеллектуальные нейросимволические системы поддержки принятия решений, которые используют ИНС, в части решения задач многокритериального выбора в условиях слабой структурированности проблемной ситуации.

Предмет исследования: математическое и программное обеспечение нейросимволических интеллектуальных систем поддержки принятия решений для выполнения многокритериального выбора в условиях слабой структурированности проблемной ситуации.

Целью диссертационной работы является развитие моделей, создание, исследование и совершенствование, а также программная реализация нейросетевых методов и алгоритмов для создания интеллектуальных систем поддержки принятия решений, способных выполнять агрегацию лингвистических оценок в задачах многокритериального выбора в распределенном субсимволическом виде.

Для достижения цели в работе поставлен и решен ряд задач:

1. проведен критический анализ вопроса построения ИСППР, в основе которых лежит интеграция с ИНС;

2. разработана и исследована новая модель многокритериального принятия решений на основе лингвистических оценок с учётом множественных иерархически выстроенных аспектов проблемной ситуации;

3. разработаны и исследованы новые алгоритмы по представлению лингвистических оценок в задачах многокритериального выбора, в виде деревьев и в соответствующем им распределенном виде;

4. разработаны и исследованы новые субсимволические распределенные методы агрегации лингвистических оценок с использованием нейросе-тевой парадигмы;

5. спроектирован и реализован комплекс программных средств, позволяющих осуществлять кодирование, декодирование и изменение деревьев на субсимволическом уровне;

6. спроектирован и реализован комплекс программных средств, позволяющих производить агрегацию лингвистической информации на субсимволическом уровне в задачах многокритериального принятия решений;

7. исследована на практике эффективность применения созданных методов, алгоритмов и программных комплексов на ряде модельных задач многокритериального выбора с лингвистическими оценками.

Научная новизна: Научная новизна заключается в особенностях исследовательской программы и полученных результатов, которые обеспечивают новые возможности по моделированию и алгоритмизации процедур лингвистического принятия решений в субсимволическом виде в ИСППР, что ранее в научных работах лишь описывалось и не подвергалось анализу. В результате исследования предлагается новая модель многокритериального выбора на основе многоуровневого метода многокритериального принятия решений с использованием лингвистических оценок. Этот метод позволяет осуществлять оценивание вариантов по иерархически-структурированной шкале Дж. ван Гига [73]. Полученные в ходе исследования результаты делают возможным построение и программную разработку распределенных иерархических моделей оптимизации и многокритериального выбора.

Новой также является постановка задачи по представлению проблемной ситуации и экспертных оценок в виде дерева с дальнейшим преобразованием последнего с помощью метода тензорных представлений (ТП) [74] в распределенный вид. Кроме того, не рассматривался ранее в научных работах вопрос представления лингвистических операторов агрегации в функциональной форме. Такая форма может быть использована как в реализации ИСППР, так и выступать в качестве фундамента для развития теоретических методов и моделей принятия решений на основе лингвистических оценок. По результатам проведенного анализа библиографии и сравнения с аналогами установлено, что авторский подход обладает научной новизной.

Выбранный метод построения ИНС для работы с деревьями, предложенный П. Смоленским, ранее применялся в основном для решения задач лингвистического анализа текстов, несмотря на теоретическую фундаментальность этих идей. Использование данного метода в предлагаемом исследовании позволит оценить её применимость для других научных областей. Сам П. Смоленский - создатель ТП, при обсуждении авторского подхода, отметил, что полученные результаты обладают новизной (ссылка на видеозапись международного семинара VSA ONLINE1).

1https://youtu.be/MFCuxdiJ3ds

Практическая значимость Алгоритмы и программная реализация могут быть доведены до практического использования в виде ядра ИСППР. А именно, для обеспечения взаимосвязи между нейросетевыми модулями и символическими рассуждениями. Например, ИСППР в приложении к медицинским задачам может быть представлена в виде набора специализированных нейросе-тевых ассистентов, управляемых символическим координирующим модулем. По мере развития и стандартизации способов описания решаемых задач и знаний, необходимых для принятия решений, а также по мере накопления исторических данных, можно создавать большее число нейросетевых модулей, которые могли бы взять на себя часть символических рассуждений из модуля-координатора, при этом выигрыш бы заключался в том, что подобные рассуждения теперь опираются не только на экспертные знания, которые обновляются в базе знаний ИСППР с большой задержкой, но и на исторический опыт, где нейросетевые методы находят трудно уловимые закономерности и способны предложить ЛПР наилучшего варианта действий [75], адекватные, неординарные и полезные рекомендации. Подобные рассуждения можно применить к другим инженерным и технических областям, таким как системы умного города и автономного транспорта.

Методология и методы исследования.

Проведенные теоретические и прикладные исследования базируются на методах современного системного анализа [76], теории принятия решений [16], теории нечеткой логики [23]. Для критического анализа проблемы интеграции ИНС и современных ИСППР на основе актуальной научной литературы использовалась методология DSRM [77]. Было собрано и изучено более 160 актуальных научных источников.

Для представления рекурсивных структур в распределенном виде, выполнения манипуляций над структурами на субсимволическом уровне и декодирования рекурсивных структур из распределенного представления использовался метод ТП [74] и разработанный П. Смоленским проект нейросетевой архитектуры, позволяющей манипулировать распределенным представлением произвольных символических структур [78].

В силу фокуса данного исследования на задачах агрегации лингвистических оценок для моделирования лингвистических оценок использовалась двухкортежная модель (2-tuple) [79] и оператор агрегации оценок МТА (multigranular 2-tuple average) [28].

Для подтверждения адекватности и эффективности предложенных моделей и алгоритмов были использованы методы вычислительного эксперимента. Для этого были разработаны два программных комплекса. С этими комплексами была проведена серия экспериментов, подтверждающих корректность сделанных предложений по субсимволической агрегации лингвистических оценок.

Программная реализация комплексов производились по полному циклу разработки программного обеспечения: от шага проектирования до верификации результатов и оценки производительности. Выбор программного каркаса осуществлялся в соответствии с элементами ГОСТ Р ИСО/МЭК 20741-2019 Системная и программная инженерия. Руководство для оценки и выбора инструментальных средств программной инженерии [80]. Для описания дизайна программных комплексов использовался язык графического описания для объектного моделирования ArchiMate® 3.1 2. При реализации программных комплексов использовались: программный каркас TensorFlow, библиотеки NumPy, SciPy и другие, входящие в экосистему языка программирования Python.

Основные положения, выносимые на защиту:

1. модель многокритериального иерархического принятия решений слабоструктурированных проблем с учетом их многоаспектности и неопределенности контекста с использованием лингвистических оценок и иерархии абстракций Дж. Ван Гига. Данный результат позволяет осуществлять работу как с качественными, так и с количественными оценками на протяжении всего процесса принятия решения по различным уровням абстракции, а также предоставляет надежный механизм автоматического распределения весов оценок экспертов в зависимости от точности их оценок,

2. модель нейросетевой агрегации лингвистических оценок, основанная на нейросетевой архитектуре нейронной машины Тьюринга (НМТ) и позволяющая осуществить перенос расчета значений символических выражений на субсимволический уровень,

3. метод автоматической генерации структуры и весов ИНС для выполнения специальных задач кодирования, декодирования и преобразования

2https://pubs.opengroup.org/architecture/archimate3-doc/toc.html

символических структур на субсимволическом уровне. Данный результат позволяет перевести символическое знание, выраженное в виде некоторой рекурсивной структуры, в распределенный вид, требуемый для субсимволических распределенных вычислений,

4. метод кодирования экспертных оценок в задачах многокритериального выбора, в вид дерева. Данный результат делает возможным применение нейросетевых технологий для выражения символических алгоритмов агрегации лингвистических оценок в задачах многокритериального выбора,

5. программный комплекс по кодированию символических структур: бинарных деревьев, лингвистических оценок в распределенное представление, генерации специальных нейросетевых архитектур, декодированию символических структур из распределенного представления. Данный результат позволяет апробировать предлагаемые подходы на ряде модельных задач принятия решений, а программный комплекс не имеет аналогов. Также были определены специфичные характеристики для сравнения существующих программных каркасов и осуществления мотивированного выбора программного каркаса для создания программного комплекса,

6. программный комплекс по обучению и выполнению обученных ИНС, построенных на основе имеющейся реализации нейросетевой архитектуры нейронной машины Тьюринга, которая была значительно переработана, улучшена и адаптирована под внедрение в нейросимво-лические модули ИСППР. Данный программный комплекс позволяет выполнять решение различных задач: суммы чисел с фиксированной точностью, взвешенной суммы чисел с фиксированной точностью, агрегации лингвистических оценок с различными правилами кодирования лингвистических оценок: по отдельным элементам структуры закодированной лингвистической оценки, по полному распределенному представлению лингвистической оценки с включением веса значимости и без него. Данный результат позволяет провести экспериментальное исследование эффективности предлагаемого подхода и осуществить решение ряда модельных задач принятия решений,

7. результаты экспериментальной оценки созданных моделей, алгоритмов и программного обеспечения. Сравнительный анализ эффективности

методов кодирования символических структур в ТП показал быстрый рост размерности при увеличении глубины рекурсивной структуры, а также было продемонстрировано, что использование методов разреженных вычислений позволяет значительно ускорить выполнение операций кодирования и декодирования. Данный результат позволяет сделать вывод о применимости выбранных методов для внедрения в существующие ИСППР и предлагает различные варианты по увеличению эффективности операций кодирования и декодирования символических структур.

Достоверность предлагаемых методов подтверждается результатами вычислительных экспериментов со специализированными нейросетевыми примитивами, автоматически полученными в результате работы программных комплексов, сравнением результатов агрегации с результатами работы символической реализации метода иерархического многокритериального выбора ML-MDM, а также решением актуальной задачи многокритериального выбора стратегии продовольственной безопасности.

Апробация работы. Основные результаты работы докладывались на следующих конференциях, семинарах и т.п:

1. Ежегодная межвузовская научно-техническая конференция студентов, аспирантов и молодых специалистов имени Е.В.Армейского. Даты: 18 - 28 февраля 2019 г.

2. Intelligent Systems Conference 2019 (IntelliSys 2019). Даты: 5-6 сентября 2019 г.

3. XXI Международная научно-техническая конференция "Нейроинфор-матика-2019". Даты: 2-6 октября 2019 г.

4. Международная конференции «Нейронные сети послезавтра: проблемы и перспективы». Даты: 30 ноября - 2 декабря 2019 г.

5. XXIII Международная конференция по мягким вычислениям и измерениям (SCM-2020). Даты: 27 - 29 мая 2020 г.

6. 2nd International Conference on Electrical, Communication and Computer Engineering. Даты: 12 - 13 июня 2020 г.

7. XIII Международная конференция Новые информационные технологии в исследовании сложных структур. Даты: 7-9 сентября 2020 г.

8. Восемнадцатая национальная конференция по искусственному интеллекту. Даты: 10 - 16 сентября 2020 г.

9. 25-я Нижегородская сессия молодых ученых. Даты: 10 - 13 ноября 2020 р

10. 3rd International Conférence on Electrical, Communication and Computer Engineering. Даты: 12 - 13 июня 2021 г.

11. Семинар VSA ONLINE, организуемый объединенной рабочей группой Lulea University of Technology (Sweden) и UC Berkeley (USA). Даты: 28 июня 2021 г.

12. VII Международная конференция и молодежная школа «Информационные технологии и нанотехнологии» (ИТНТ-2021). Даты: 20 сентября

- 24 сентября 2021 г.

13. 5-я Международная научная конференция Интеллектуальные информационные технологии в технике и на производстве. Даты: 30 сентября

- 4 октября 2021 г.

Личный вклад. Личный вклад автора заключается в выполнении всего объема теоретических и экспериментальных исследований, изложенных в диссертационной работе, включая разработку теоретических моделей, методик экспериментальных исследований, проведение исследований, анализ и оформление результатов в виде публикаций и научных докладов.

Публикации. Основные результаты по теме диссертации изложены в 13 печатных изданиях, 0 из которых изданы в журналах, рекомендованных ВАК[53; 81; 82] , 8^в периодических научных журналах, индексируемых Web of Science или Scopus[53; 81—92] .

Объем и структура работы. Диссертация состоит из введения, 4 глав, заключения и 3 приложений. Полный объём диссертации составляет 215 страниц, включая 73 рисунка и 17 таблиц. Список литературы содержит 236 наименований.

Содержание работы

Во введении обосновывается актуальность исследований, проводимых в рамках данной диссертационной работы, приводится обзор научной литературы по изучаемой проблеме, формулируется цель, ставятся задачи работы,

излагается научная новизна и практическая значимость представляемой работы.

Первая глава посвящена анализу современных подходов к построению ИСППР. Рассматриваются методы многокритериального принятия решений в условиях нечеткой исходной информации и обосновывается актуальность использования лингвистических оценок для работы с нечеткой информацией. В частности, затрагиваются вопросы многокритериального принятия решений с использованием лингвистических оценок. Выполнен обзор современных подходов к решению задач многокритериального принятия решений. Также в Главе 1 формулируется вопрос распределенного представления информации как центрального элемента субсимволических вычислений и необходимости создания протокола взаимодействия символических и субсимволических систем. Рассматриваются существующие подходы к представлению знаний и символических рассуждений на субсимволическом уровне. Представлен подробный обзор метода тензорных представлений к построению высокоразмерных представлений для рекурсивных структур. Делается вывод о применимости тензорных представлений для использования в ИСППР в силу гарантированного отсутствия потерь информации при переходе с символьного уровня на субсимволический и обратно.

Вторая глава содержит описание авторской модели многокритериального принятия решений с использованием лингвистических оценок, которая определяет процесс принятия решения в условиях неопределенности и неоднородности контекста проблемной ситуации. Формулируется задача лингвистического многокритериального принятия решений, подробно анализируется иерархия уровней абстракции при анализе проблемной ситуации, играющая важную роль в предлагаемой модели. Приведено теоретическое описание предлагаемой модели, отдельных шагов в процессе работы в рамках заданной модели. Проводится сравнительный анализ предлагаемого подхода и существующих аналогов с точки зрения согласованности итоговых рангов альтернатив.

Список литературы диссертационного исследования кандидат наук Демидовский Александр Владимирович, 2022 год

/ .♦ //

/

2 3 4 5 6 7 8 9 10 11 15

Глубина структуры

2 3 4 5 6 7 8 9 10 11 15

Глубина структуры

а)

б)

Рисунок 4.6 Оценка необходимых а) объема памяти и б) времени для декодирования бинарных деревьев различной глубины с помощью метода ТП. Механика кодирования осуществлялась с помощью различных программных инструментов: нейросетевого каркаса Кеган, библиотеки МптРу и БстРу.

рования и декодирования продемонстрирована на Рисунках 4.5, 4.6. Чтобы сравнить эффективность выполнения задач по кодированию и восстановлению структур, были выполнены две дополнительные реализации кодирования и декодирования ТП на базе таких библиотек, как МптРу и БстРу. МптРу1' - это высоко оптимизированная библиотека с широким набором примитивов для работы с тензорами. Библиотека БслРу18 предоставляет богатый интерфейс для работы с многочисленными статистическими данными, методами машинного

171П;1рз: / / ччч. питру. от§/

18М1рз: //ччч. эспру.

ю

ю

10

10

10

10

10

20

15

20

10

10

К 10

10

10

10

10

20

20

обучения и разреженной арифметикой. Таким образом, рассматриваются три подхода: нейросетевой, основанный на МитРу и БаРу. Для построения весовых матриц для процедур присоединения и извлечения использовалась библиотека МитРу. Извлекающие роли для процедур извлечения вычисляются с помощью библиотеки БаРу. Решение на основе МитРу по определению является прямой реализацией правил кодирования и декодирования метода ТП, что подразумевает создание тензоров высокого порядка и их произведений. Решение на основе БаРу отличается от решения на основе МитРу лишь в способе создания матриц весов, а именно, вместо создания плотных матриц весов создаются разреженные матрицы, что обусловлено блочной структурой и высокой разреженностью этих тензоров по определению.

Для воспроизведения представленных результатов необходимо использовать следующее оборудование: Ме1@Соге™19-9980НК с частотой 2.40 ГГц (частота процессора не выставлялась в фиксированное значение) и 32 Гб оперативной памяти. Особенности реализации программного комплекса описаны в Разделе 4.2.

Наиболее заметным аспектом является неспособность ни одного из решений кодировать деревья большой глубины. Под глубиной дерева подразумевается число узлов на самом длинном пути от корневого узла до самого дальнего конечного узла - узла, у которого нет дочерних узлов. Ни одна из реализаций операций кодирования и декодирования не позволяет обрабатывать деревья глубины, большей чем 20 узлов. 1Ъчнее, деревья глубиной в И узлов, как максимум, могут быть закодированы с помощью программного каркаса Кегин. Глубина в 15 узлов является пределом для реализации ХшпРу. ЗпРу способен кодировать деревья глубиной в 20 узлов. Задачи кодирования и декодирования структур являются ресурсоёмкими с точки зрения оперативной памяти и требуют более 200 Гб дискового пространства для экстремальных глубин 15 и 20 узлов. Одновременно с этим, процедуры кодирования и декодирования также требовательны к техническим харакетристикам центрального процессора. Поэтому, первой рекомендацией является построение символьных данных в виде рекурсивной структуры с ограниченной максимальной глубиной, позволяющей деревьям расти в ширину.

Учитывая теоретическую доступность неограниченной оперативной памяти и дискового пространства, все же существует программное ограничение библиотек, например, ограничение МитРу на создание массивов с размер-

ностью более 32 индексов. SciPy также не умеет работать с большими многомерными массивами. Программный каркас Keras не позволяет создавать тензоры с протокольным буфером больше 2 Гб. Также известно, что программный каркас Keras может некорректно обрабатывать многомерные массивы. Следовательно, вторая рекомендация - спроектировать логику ТП как манипуляции над одномерным массивом.

Третьим важным наблюдением является быстрый рост размеров матриц весов по мере увеличения глубины структуры кодирования. В частности, для получения левого ребенка корня дерева с глубиной 10 узлов требуется матрица с 5115 строками и 10230 столбцами. При этом матрица является крайне разреженной и содержит всего 5115 элементов. Поэтому использование разреженных матриц для создания и хранения весовых матриц выгодно и приводит к уменьшению в 10230 раз требуемой памяти для хранения упомянутой выше матрицы. Поскольку библиотека NumPy не предоставляет встроенных возможностей для работы с разреженной арифметикой, в качестве инструмента для кодирования и декодирования разреженных ТП была использована библиотека SciPy. Эксперимент по использованию разреженных матриц позволяет обрабатывать более глубокие структуры (Рисунок 4.5, 4.6).

4.2.5 Анализ предлагаемого нейросетевого дизайна по условной манипуляции символических структур

Предлагаемый нейросетевой дизайн ИНС по условной манипуляции символическими структурами демонстрирует практическую достижимость выражения символических операций в распределенной и устойчивой форме. В предлагаемом дизайне ИНС существуют явное разделение ответственности между определенными блоками, где каждый из них выступает как самостоятельная ИНС, решающая более специфическую задачу. Наконец, предлагаемая ИНС сочетает операции объединения и извлечения, а также содержит условное ветвление для обработки условий на субсимволическом уровне, принимая на вход распределенные ТП, что предоставляет возможность для компактного и масштабируемого кодирования символических структур и операций над ними.

Из недостатков предлагаемого подхода можно отметить наличие дублирования в вычислительных графах компилируемых ИНС. Действительно, обрабатывающие ветви, такие как блок классификации, содержат блоки исполнения, одинаковые для выполняемых операций. В тоже время в ИНС данная особенность не учитывается, хотя более интеллектуальные правила конструирования ИНС позволят понизить вычислительную сложность данного решения. С другой стороны, повторное переиспользование вычислительных подграфов снижает модульность предлагаемого подхода и повышает связность небольших ИНС. Текущий дизайн ИНС стоит рассматривать как компромисс между ее выразительностью и производительностью.

4.3 Программный комплекс для создания, обучения и исполнения

ИНС для нейросетевой агрегации

В данном разделе рассматривается разработанный программный комплекс для работы с обучаемым нейросетевым агрегатором лингвистических оценок. В качестве программного каркаса был использован ТешогРкж. Данный программный комплекс позволяет выполнять следующие задачи:

1. создание экземпляров ИНС согласно дизайну НМТ и их конфигурирование,

2. создание набора данных, требуемых для обучения и тестирования нейросетевого агрегатора лингвистических оценок, в соответствии с предложенными способами представления исходной информации в распределенном виде,

3. обучение созданных экземпляров ИНС на синтетическом наборе данных для решения задачи агрегации лингвистических оценок,

4. проверка функциональной корректности обученного нейросетевого агрегатора,

5. сохранение обученного нейросетевого агрегатора для повторного использования.

Как уже отмечалось в Разделе 4.2, описание программного комплекса предполагает описание его архитектуры с различных точек зрения. Аналогично предложенным точкам зрения, выбранным для анализа разработанного

программного комплекса для работы с рекурсивными структурами на субсимволическом уровне, рассмотрение разработанного программного комплекса для работы с обучаемым нейросетевым агрегатором также представлено в виде трех разделов: структура приложения, реализация и развертывание программного обеспечения, использование приложения. По мнению автора именно эти точки зрения являются ключевыми при описании разработанного программного комплекса.

4.3.1 Архитектура программного комплекса с точки зрения

структуры приложения

Программный комплекс, решающий поставленные задачи, представлен в виде проекта с открытым исходным кодом на платформе GitHub19. Хеш стабильной версии программного комплекса:

badddeacaa099cb22c9d61b8dd69d05cdf5bd94f Основной язык программирования, используемый в программном комплексе - Python 20. Версия языка - 3.8.

Комплекс выполнен в виде Python пакетов и модулей: tasks, evaluate.py, constants, py, freeze, py, generate _data.py, infer.py, infer_mta.py, ntm.py, run_tasks.py, utils.py, visualize_logs.py, Также был разработан набор вспомогательных сценариев, написанных на языке bash, располагаемых в каталоге scripts, и пример записной книги Jupyter для обучения ИНС в Google Colaboratory (notebooks/ntm.ipynb).

Ядро программного комплекса составляют модули evaluate.py, constants.py, freeze.py, generate_data.py, ntm.py, run_tasks.py, utils.py и пакет tasks. Модули infer.py, infer_m,ta.py содержат программный код для демонстрации работы обученного нейросетевого агрегатора лингвистических оценок. Модуль visualize_logs.py позволяет выполнять визуализацию логов обучения нейросетевого агрегатора в виде изображений. Количество строк на языке программирования Python: 2047, из них заимствованных: 249, количество модулей: 35, из них: служебных: 10, содержащих реализацию алгоритмов: 25.

19https://github.com/ldss-hse/ldss-neural-aggregator

20https://www.python.org/

Каталог scripts содержит сценарии на языке программирования bash, необходимые для упрощения и автоматизации процесса обучения нейросетевого агрегатора в различных конфигурациях. Количество строк: 47, количество сценариев: 5.

Архитектура программного комплекса с точки зрения структуры приложения представлена на Рисунке 4.7).

Интерфейс командной строки

I

Ядро программного комплекса

Экземпляры обученных ИНС

Основные модули ядра

Пакет

tasks

Модуль constants

Модуль evaluate

Модуль utils

Модуль run tasks

Модуль ntm

Модуль freeze

Модуль generate_data

Рисунок 4.7 АгсЫп^е-диаграмма программного комплекса для создания, обучения и исполнения ИНС для нейросетевой агрегации с точки зрения структуры приложения.

4.3.2 Архитектура программного комплекса с точки зрения

реализации и развертывания

Программный комплекс использует ряд встроенных и внешних библиотек программного кода, доступных для свободного использования и размещённых в индексе библиотек языка Python - PyPi. Список сторонних библиотек, используемых в программном комплексе:

1. библиотека matplotlib, версия 3.3.4-, политика лицензирования: PSF,

2. библиотека pandas, версия 1.2.3, политика лицензирования: BSD-3-Clause,

3. библиотека scipy, версия 1.^.1, политика лицензирования: Б5Д

4. библиотека tensorflow, версия 2.3.0, политика лицензирования: Apache 2.0,

5. библиотека typed-argument-pars er, версия политика лицензирования: MIT.

В соответствии с требованиями политик лицензирования, используемых внешних библиотек, возможно создание коммерческих продуктов на базе созданного программного комплекса без каких-либо ограничений. Все зависимости программного комплекса перечислены явно и представлены в виде файла requirements.txt в корне приложения. В соответствии со стандартом PEP 508. Dependency specification for Python Software Packages все зависимости имеют указанную точную версию во избежание появления несовместимых версий библиотек, что может привести к нарушению работы программного комплекса. Фиксация версий библиотек является рекомендуемой практикой при промышленной разработке современного программного обеспечения.

Программный комплекс построен на основе существующей реализации НМТ с использованием программного каркаса TensorFlow - Neural Turing Machine21 [180]. Однако, данная реализация была значительно переработана. А именно, были произведены следующие изменения:

1. осуществлен переход на актуальную версию TensorFlow 2.3.0. Базовая реализация основывалась на устаревшей версии TensorFlow 1.x. Данный фактор значительно усложнял развитие данного комплекса, так как создавал определенные ограничения в процесса развертывания, а также делал невозможным интеграцию данного решения в системы, которые используют актуальную версию программного каркаса для работы с ИНС;

2. создан отсутствующий список зависимостей программного комплекса и оформлен в соответствии со стандартом PEP 508. Отсутствие данного списка также являлось блокирующим фактором при дальнейшей работе с данной реализацией, так как делает невозможным разворачивание приложения без ручного подбора нужных библиотек и их версий;

-'https://github.com/MarkPKCollier/NeuralTuringMachine

3. предложен h реализован отдельный Python пакет для структурированного описания поддерживаемых задач (копирование последовательности, повтор последовательности, поиск по ключу) и новых (сложение, поиск арифметического среднего, агрегация оценок). Данный подход позволяет отделить описание и настройки каждой задачи в независимый пакет, а стандартизированный подход к описанию задач, значительно упрощает процесс расширения программного комплекса поддержкой новых задач;

4. предложен и реализован подход к генерации синтетических данных. В силу особенности поддерживаемых задач генерация синтетических данных играет важную роль в обучении НМТ. Базовый подход не масштабировался, приводил в долгосрочной перспективе к неконтролируемому росту программного кода низкого качества с низким уровнем тестируемости, а с архитектурной точки зрения нарушал принцип единой ответственности;

5. добавлена реализация для обучения нейросетевого агрегатора трёх новых задач: нахождения арифметической суммы, арифметического среднего и агрегации лингвистических оценок. Для этого под каждую задачу были созданы отдельные пакеты, включающие описание собственных настроек, настроек НМТ, а также генератор синтетических данных для обучения ИНС с целью решения поставленных задач;

6. создан набор вспомогательных сценариев для автоматизации и упрощения процесса разворачивания программного комплекса и обучения ИНС. Базовая реализация требует глубоких инженерных знаний для успешного запуска и обучения ИНС, а также большого количества ручной работы, которую необходимо повторять каждый раз, когда происходит изменение окружения, например при обучении ИНС в облаке, при смене пользовательских сессий между экспериментами может про-иходить переход на новую вычислительную машину, которая требует настройки. Наличие автоматических скриптов позволяет значительно сократить время по настройке окружения, а также сводит задачу запуска обучения к выполнению одной команды в командой строке;

7. создан сценарий для интеллектуального отслеживания процесса обучения, визуализации динамики обучения в виде изображений. Данное улучшение позволяет разработчику или учёному избавиться от зри-

тельного анализа многословных логов системы и поиска необходимых маркеров для дальнейшего построения графиков динамики обучения. Данный сценарий также был использован при составлении отчётов для данной работы;

8. создан Python модуль для сохранения результатов обучения, а также выполнения обученной ИНС без необходимости запускать процесс обучения. Существенным недостатком базовой реализации является невозможность сохранить обученную ИНС, а также выполнить её на тестовых данных после того, как ИНС закончила своё обучение. Данное ограничение не позволяет в должной мере осуществить проверку на функциональную корректность обученной ИНС, а также делает невозможным интеграцию обученной ИНС в существующие или вновь создаваемые программные модули для ИСППР.

9. произведен глубокий всесторонний рефакторинг системы: повышена степень модульности программного кода, убраны многочисленные повторения кода и недостижимые части приложений, часть программного кода была оформлена в виде повторно используемых функций, значительно сокращена сложность используемых функций, была произведена реструктуризация программного кода в соответствии с промышленными стандартами.

При разработке программного комплекса использовались современные методологии и парадигмы. В частности, программный код разбит на пакеты и модули в соответствии с принципами SOLID [216]. Особенное внимание уделяется принципам единой ответственности и принципу открытости/закрытости. Код соответствует принятому стандарту разработки программного обеспечения на языке Python - PEP 822.

Как уже отмечалось ранее, задачей программного комплекса является не только обучение нейросетевого агрегатора, но и сохранение обученной ИНС для дальнейшего её внедрения в ИСППР. Сохранение ИНС в процессе обучения в рамках данного программного комплекса осуществляется в два этапа. Сначала ИНС сохраняется в виде контрольной точки обучения23. Данный формат является стандартным для хранения промежуточного слепка состояния обученной ИНС, при этом описания вычислительного графа данный слепок не содержит.

22https://www.python.org/dev/peps/pep-0008/

23https://www.tensorflow.org/guide/checkpoint

Иными словами, для того, чтобы воспользоваться данной контрольной точкой, нужно также иметь описание ИНС в виде исходного кода, что удобно при разработке и отладке работы ИНС. Особенно это актуально при необходимости продолжить обучение с некоторого момента вместо повторения всего процесса обучения с нуля. Такая функциональность оказывается востребованной, например в случае нестабильности окружения, такого как Google Colaboratory, где вычислительные ресурсы могут оказаться недоступными на некоторое время. Однако, использование контрольных точек не может выступать идеальным решением для использования обученных ИНС как части большего программного комплекса, в силу того, что контрольная точка представляется в виде набора служебных файлов, необходимости иметь исходный код ИНС, а также наличии ненужной для выполнения обученной ИНС информации о процессе обучения, которая также сохраняется в контрольной точке. В связи с этим, после сохранения контрольной точки, в разработанном программном комплексе происходит создание единого графа вычислений, включающего обученные веса. Обе задачи: сохранения контрольной точки и создания единого графа вычислений осуществляются с помощью модуля freeze.ру.

Внедрение обученной ИНС в другие программные комплексы невозможно без специализированных модулей infer.ру, infer_ rrita.py, содержащих программный код, необходимый для выполнения обученной ИНС. Данные модули, могут служить и для демонстрации того, какие средства программного каркаса следует использовать для выполнения обученной ИНС, и в качестве самостоятельной программы с интерфейсом командной строки.

На данный момент развертывание программного комплекса возможно согласно следующему набору шагов, которые необходимо выполнить в целевом окружении. Пусть целевое окружение представлено в виде удаленного компьютера с установленной операционной системой Ubuntu 20.04 LTS:

1. шаг 1. Обновление системы. Выполняется с помощью команды:

apt -у update apt -у upgrade apt -у install git

В зависимости от настройки системы может понадобиться выполнить данный шаг с привилегиями администратора с использованием утилиты sudo. Вторая команда, upgrade, является опциональной.

2. шаг 2. Получение исходного кода программного комплекса в виде локального репозитория. Выполняется с помощью команды:

git clone https://github.com/ldss-hse/ldss-neural-

aggregat or cd ldss-neural - aggregator git submodule update --init --recursive

3. шаг 3. Настройка окружения. Выполняется с помощью команды:

bash scripts/bootstrap.sh source venv/bin/activate

При успешном выполнении указанных шагов, программный комплекс настроен и готов к работе. Для того, чтобы проверить работоспособность программного комплекса, можно запустить выполнение любой из уже обученных ИНС. Отсюда и далее будем полагать, что настройка окружения была произведена соответствующим образом. Например, выполним ИНС, обученную выполнять задачу агрегации лингвистических оценок, вызвав модуль infer_ mta.'py:

export MTA_MODELS = "trained_models/mta_vl11

export LAYOUT="binary_layout"

export ENCODING="local_compact_binary_encoding_${LAYGUT}"

export NTM_CONFIG = " 17_bits_256_memory_2_experts 11

export VERSION^" ${NTM_C0NFIG}_${ENCODING} "

export MODEL = " $ {MTA_MODELS }/${VERSIOM}/frozen_graph . pb 11

python infer_mta.py \

--frozen_model_filename ${M0DEL} \ --mta_encoding compact \ --num_experts 2

Архитектура программного комплекса с точки зрения структуры реализации и развертывания представлена на Рисунке 4.8.

Таким образом, разработанный программный комплекс состоит из набора Python модулей с разделением на зоны ответственности: обучение ИНС, сохранение обученной ИНС, выполнение обученной ИНС, различные служебные задачи. С точки зрения развертывания программный комплекс настраивается помощью стандартных и понятных инженерных практик. Необходимость в упаковке целого программного комплекса в вид сторонней библиотеки, доступной на публичном индексе Python пакетов отсутствует, так как одна из задач комплекса - создание обученной ИНС, а логика по выполнению обученной ИНС

Рисунок 4.8 АгсЫп^е-диаграмма программного комплекса для создания, обучения и исполнения ИНС для нейросетевой агрегации с точки зрения структуры приложения.

представляется в виде простого сценария. Данный программный комплекс нацелен на разработчиков, которым важно иметь полный контроль над кодовой базой программного комплекса для дальнейшего расширения набора поддерживаемых задач, а также для продолжения экспериментов по построению и обучению нейросетевых агрегаторов. Поэтому на данный момент выбран способ развертывания из исходного кода. В следующем разделе подробно рассматриваются существующие сценарии использования разработанного программного комплекса.

4.3.3 Архитектура программного комплекса с точки зрения

использования приложения

Основными пользователями программного комплекса являются разработчики нейросимволических ИСППР. При создании программного комплека учитывались следующие сценарии использования:

1. обучение ИНС для решения разнообразных задач, таких как: арифметическая сумма, поиск арифметического среднего, агрегация лингвистических оценок;

2. выполнение обученных ИНС.

Предполагается, что обученные ИНС будут внедряться в специализированные модули нейросимволической ИСППР, разработанные в соответствии со спецификой решаемой в конкретной ИСППР задачи. Поэтому отсутствует необходимость создания собственного графического пользовательского интерфейса. Однако, в силу многообразия задач и высокой гранулярности настроек, которыми можно управлять для получения обученных ИНС высокого качества, а также в силу наличия интерфейса командной строки в базовой реализации, было принято решение о его расширении, а также о внедрении интерфейса командной строки для сценария выполнения обученных ИНС.

Обучение ИНС начинается при вызове модуля run_ tasks.ру. В рамках этого модуля также задаётся интерфейс командной строки, который позволяет указать 34 параметра, из них: 3 служебные параметра, например, желаемый уровень логирования и каталог для хранения артефактов, 11 параметров, определяющие структуру НТМ, например количество читающих и пишущих головок, 12 параметров, задающих настройки процесса обучения, например коэффициент скорости обучения, 8 параметров, определяющие формат представления входных данных, например размер последовательности, подаваемой на вход. Для того, чтобы ознакомиться с описанием каждого из поддерживаемых параметров, необходимо выполнить следующую команду: |python run_tasks.ру --help

Для примера подробно разберем команду запуска обучения ИНС, решающей задачу агрегации лингвистических оценок:

python run_tasks.ру

--experiment_name experiment --verbose no \ --num_train_steps 1000000 --steps_per_eval 1000 \ --use_local_impl yes --num_memory_locations 256 \ --task mta \

--num_bits_per_vector 3 \ --max_seq_len 17 \

--mta_encoding compact --num_experts 2

При запуске процесса обучения с таким набором параметров будет проводиться эксперимент experiment с минимальным уровнем логирования, то

есть будут записываться лишь критичные сообщения, например, об аварийном завершении программы в случае возникновения ошибки, несовместимой с возможностью продолжения процесса обучения. Обучение будет производиться на протяжении 1000000 шагов, на каждом 1000-ном шаге будет производиться оценка качества обученной ИНС. При обучении будет использоваться базовая реализация HTM. Как уже отмечалось ранее, одним из аргументов выбора базовой реализации HTM было её включение в пакет tf.contrib - официального модуля Tensor Flow 1.x. Однако, в актуальной на данный момент версии TensorFlow был произведен отказ от поддержки модуля tf.contrib, что служит причиной его отсутствия в программном каркасе. Поэтому, в рамках разработанного программного комплекса использование такой настройки, как use_ local_ im,pi yes обязательно. Размер внешней памяти составляет 256 ячеек. Задача, решаемая ИНС, состоит в агрегации лингвистических оценок (mta). При обучении ИНС создаётся синтетический набор данных, в соответствии с форматом, предложенным в Разделе 3.5: каждая экспертная оценка, представленная в распределённом виде, приобретает вид двумерного массива, где количество строк (17) соответствует длине вектора этого распределенного представления, а количество столбцов (8) соответствует необходимому числу каналов согласно схеме кодирования: первый канал хранит вектор оценки, второй и третий - маркеры окончания оценки и общего выражения соответственно. Данная ИНС будет обучаться на синтетическом наборе данных, имитирующем набор оценок от фиксированного числа экспертов, равного 2.

Итак, предлагаемый сценарий использования программного комплекса для обучения ИНС состоит из следующих шагов:

1. выбрать интересующую задачу, например задачу агрегации лингвистических оценок,

2. выбрать набор настроек для проведения эксперимента обучения,

3. настроить окружение для обучения ИНС,

4. внести необходимые изменения в сценарий scripts/run.sh. В частности указать все выбранные настройки для обучения ИНС в соответствии с форматом интерфейса командной строки модуля run_ tasks.ру,

5. запустить сценарий scripts/fresh_ train.sh. Для отслеживания динамики обучения предлагается использовать разработанный модуль visualize_logs.py, который позволяет визуализировать динамику изменения значений функций ошибки и потерь по логам, автоматически

сохраняемым в файл out.log. Пример изображений, получаемых в результате выполнения данного модуля представлен на Рисунке 4.10,

6. проверить наличие файла обученной И НС (*.pb) в каталоге models final по завершении обучения.

Кроме сценария обучения ИНС, предлагаемый программный комплекс также поддерживает сценарий выполнения обученной ИНС с целью демонстрации работы, проверки качества ИНС на новых тестовых данных, а также в качестве эталонной реализации программного кода, которую предлагается повторно использовать при интеграции обученных ИНС в специализированные модули ИСППР. Для реализации данного сценария был разработан модуль infer_mta.py. Как уже отмечалось ранее, было решено предоставить интерфейс командной строки для работы с данным модулем. Для примера разберем команду запуска выполнения ИНС, решающей задачу агрегации лингвистических оценок:

export MTA_MODELS="trained_models/mta_vl11 export LAYOUT="binary_layout"

export ENCODING="local_соmpact_binary_encoding_${LAYOUT}" export NTM_CONFIG = " 17_bits_256_memory_2_experts 11 export VERSION^" ${NTM_C0NFIG}_${ENCODING} " export MODEL = " $ {MTA_MODELS }/${VERSION}/frozen_graph . pb 11

python infer_mta.py \

--frozen_model_filename ${M0DEL} \ --mta_encoding compact \ --num_experts 2

Вывод программы:

Using TensorFlow backend. Overall quality of model. Error: 0.0

MTA ((s ~5_3, 0.2), (s"5 _2 , 0)) ~= (s~5_3, -0.4). Expected: (s~5_3 , -0.4)

При запуске процесса выполнения ИНС с таким набором параметров, будет проводиться работа с обученной ИНС, файл которой располагается в trained_ models/mta_ vl/17_ bits_ 256_ memory_ 2_ experts_ local_ compact_ binary _encoding_binary_layout/frozen_graph.pb. Данная ИНС ожидает в качестве входа лингвистические оценки, закодированные по определенному правилу (compact) и полученные от 2-ух экспертов.

Предлагаемый сценарий использования программного комплекса для выполнения обученных ИНС состоит из следующих шагов:

1. выбрать обученную ИНС: любую из 15 готовых к использованию обученных ИНС, хранимых в каталоге trained_ models и поставляемых в рамках предлагаемого программного комплекса, либо обучить ИНС заново;

2. осуществить чтение программного кода демонстрационного сценария, а затем и запуск для выполнения ИНС;

3. продолжить развитие разрабатываемого модуля ИСППР с помощью повторного использования элементов данного программного комплекса.

Архитектура программного комплекса с точки зрения использования представлена на соответствующей диаграмме (Рисунок 4.9).

Ядро программного комплекса

Рисунок 4.9 АгсЫп^е-диаграмма программного комплекса для создания, обучения и исполнения ИНС для нейросетевой агрегации с точки зрения использования.

Таким образом, предложенный программный комплекс обладает функциональной полнотой, его дизайн позволяет выполнять поставленные задачи: обучение и выполнение обученных ИНС. С точки зрения удобства использования программный комплекс является изучаемым и управляемым благодаря наличию интерфейса командной строки, что удобно для пользователей системы - разработчиков программного обеспечения в силу многообразия настроек, задаваемых перед обучением ИНС, а также для сохранения однообразия сценариев использования. Также, программный комплекс имеет модульный дизайн,

что позволяет многократно использовать созданные программные решения при строительстве ИСППР. Программный комплекс выполнен с помощью современных технологий в соответствии с лучшими инженерными практиками создания программного обеспечения, а небольшой набор внешних зависимостей и их политика лицензирования, создает благоприятные условия для создания коммерческих продуктов.

4.3.4 Обучение нейросетевого агрегатора и оценка его функциональной корректности

С точки зрения гиперпараметров и внутреннего устройства НМТ в рамках данного исследования использовались следующие настройки. У НМТ одна считывающая и одна записывающая головка. Контроллер представлен одной LSTM-ячейкой. Размер LSTM-ячейки равен 100 элементам и не менялся в зависимости от входных данных. Размер внешней памяти составлял 256 ячеек, каждая состояла из 20 элементов. Для каждого эксперимента, который характеризуется количеством экспертов и длиной битовой строки, производилось отдельное обучение ИНС и отдельная серия экспериментов после обучения. Так как производилось обучение с учителем, в качестве эталонного ответа (ground truth) использовалось ожидаемое значение агрегации оценок, в соответствии с выбранным оператором агрегации оценок. Для оценки качества модели использовалась метрика количества ошибочных бит (1.9).

В случае агрегации двух оценок НМТ смогла добиться нулевой ошибки в экспериментах с 4-, 6-, 8- и 10-битными числами (Рисунок 4.10а). При агрегации оценок от трех экспертов НМТ смогла добиться нулевой ошибки только для 4-битных чисел (Рисунок 4.11а). Для большей длины битовой строки ошибка варьируется от 0,26 для 6 бит до 2,42 для 10-битных чисел. В то же время НМТ смогла существенно минимизировать значение функции потерь во всех вариантах (Рисунок 4.106, 4.116). Эксперименты проводились на различных конфигурациях центрального и графического процессоров (Таблица 9): Intel®Xeon®CPU Е5-2650 v4 @ 2.20 ГГц, AMD EPYC 7282 16-Core Processor @ 2.79 ГГц, Intel®Xeon(g)Gold 6140 CPU @ 2.30 ГГц (частота процессора не

выставлялась в фиксированное значение) с 60 Гб оперативной памяти, NVIDIA Corporation TU104GL [Tesla Т4].

Таблица 9 — Таблица экспериментов по обучению НМТ

Номер серии экспериментов Количество оценок Размер битовой строки Количество слотов внешней памяти Количество ошибочных бит в результате работы НМТ Аппаратное обеспечение

Intel®Xeon®

1 2 4 128 0 CPU Е5-2650 v 1

@ 2.20ГГц

AMD EPYC 7282

1 2 6 256 0,26 16-Core Processor

@ 2.79 ГГц

Intel®Xeon®

1 2 8 256 0,62 CPU E5-2650 v l z

@ 2.20 GH

Intel®Xeon®

1 2 8 512 0,26 Gold 6140 CPU

@ 2.30 ГГц

Intel®Xeon®

1 2 10 256 0,62 Gold 6140 CPU

@ 2.30 ГГц

AMD EPYC 7282

1 3 4 128 0 16-Core Processor

@ 2.79 ГГц

AMD EPYC 7282

1 3 6 256 0 16-Core Processor

@ 2.79ГГц

AMD EPYC 7282

1 3 8 256 0 16-Core Processor

@ 2.79 ГГц

Intel®Xeon®

1 3 10 256 0 Gold 6240 CPU

@ 2.60 ГГц

1 3 16 256 5,58 NVIDIA Corporation

TU104GL [Tesla T4]

Intel®Xeon®

2 2 17 256 0 Gold 6240 CPU

@ 2.60ГГц

Номер серии экспериментов Количество оценок Размер битовой строки Количество слотов внешней памяти Количество ошибочных бит в результате работы НМТ Аппаратное обеспечение

2 2 48 256 0 Ме1@Хеоп@ СоЫ 6240 СРи @ 2.60ГГц

---6 бит, 256 ячеек памяти

8 бит, 256 ячеек памяти — 10 бит, 256 ячеек памяти 16 бит, 256 ячеек памяти

0.25 0.50 0.75 1.00 1.25

Итерации обучения 1е5

а) б)

Рисунок 4.10 — Динамика обучения НМТ для агрегации оценок, выраженных согласно предложенному способу представления лингвистической оценки в виде битовой строки фиксированной длины для выполнения закодированного арифметического выражение МТА оператора. Изменение функции ошибки (а) и потерь (б) НМТ при агрегации оценок от фиксированного числа экспертов

(двух).

Во второй серии экспериментов была проведена подготовка данных и обучение нейросетевого агрегатора, который принимает на, вход набор из распределенных представлений лингвистических оценок. По сравнению с первой серией экспериментов не требуется предварительный шаг по переводу лингвистических оценок в численное представление перед их упаковкой в качестве входных данных для нейросетевого агрегатора. Общая схема подготовки данных для первого и второго экспериментов выглядит аналогично. Во втором эксперименте вместо распределенного представления чисел в виде битовой строки заданной длины используется распределенное представление лингвистических оценок в виде битовой строки фиксированной длины, равной 17 и 48.

а)

б)

Рисунок 4.11 — Динамика обучения НМТ для агрегации оценок, выраженных согласно предложенному способу представления лингвистической оценки в виде битовой строки фиксированной длины для выполнения закодированного арифметического выражение МТА оператора. Изменение функции ошибки (а) и потерь (б) НМТ при агрегации оценок от фиксированного числа экспертов

(трех).

Эксперименты проводились с агрегацией оценок только от двух экспертов. С точки зрения гиперпараметров и внутреннего устройства, НМТ в рамках второго эксперимента, использовались те же настройки, что и в первом эксперименте. Результат обучения нейросетевого агрегатора, представлен на, Рисунке 4.12. Вычислительные эксперименты проводились на, Intel@Xeon@Gold 6240 CPU @ 2.30 ГГц (частота, процессора, не выставлялась в фиксированное значение) с 60 Гб оперативной памяти.

Таким образом, нейросетевой агрегатор принимает на, вход лингвистические оценки в распределенном виде, закодированные согласно правилам ТП, и выполняет задачу агрегации лингвистических оценок от двух экспертов с нулевой ошибкой.

В экспериментальном исследовании производилась агрегация оценок от фиксированного количества, экспертов: часть экспериментов проводилась по агрегации оценок от двух экспертов, часть - от трёх экспертов. Учитывая устройство МТА и фиксированное количество экспертов, данный оператор можно представить в виде единственного нейрона, обычной ИНС прямого распространения (без функции активации). Использование существенно более сложного нейросетевого дизайна, для реализации этого оператора, вызвано рядом причин. Во-первых, с точки зрения развития идей распределенных вычислений в ИСППР существует более широкая задача,, которая заключает-

а)

б)

Рисунок 4.12 — Динамика обучения НМТ для агрегации оценок, выраженных согласно предложенному способу представления лингвистической оценки в виде ТП структуры из двух заполнителей для выполнения закодированного арифметического выражение МТА оператора. Изменение функции ошибки (а) и потерь (б) НМТ при агрегации оценок от фиксированного числа экспертов (двух).

ся в разработке методов построения истинно распределенного представления информации о проблемной ситуации, которая, например, включает помимо экспертных оценок информацию об экспертах, альтернативах и критериях. Веса в таком случае не должны быть закодированы в локальном виде, что происходит, например, при использовании единственного нейрона и некоторого количества обучаемых весов, соответствующих конкретному эксперту или критерию. Во-вторых, исследовательский вопрос заключался в попытке избавиться от необходимости создания новых символических операторов агрегации, чему посвящено большое количество работ и их число с каждым годом только растет. Вместо этого предлагается использовать нейросетевой дизайн, который мог бы функционировать как оператор агрегации, при этом правила агрегации подбирались бы ИНС самостоятельно. В-третьих, существует задача построения компилятора нейросетевых каскадов для различных конфигураций ИСППР и для работы с произвольным сценарием. В такой постановке задачи использование простейшего варианта в виде нейрона нецелесообразно, в то время как существенно более сложный нейросетевой дизайн позволяет решать поставленную задачу.

Цель данного исследования заключалась в разработке нейросетевого дизайна для эффективного представления субсимволических рассуждений в ИСППР в части алгоритмов агрегирования лингвистических оценок экспертов для выбора альтернативных решений. В рамках общего исследования рассмат-

ривается шаг агрегации оценок при выполнении многокритериального выбора и осуществляется развитие методов к выражению алгоритмов агрегации в полностью субсимволическом виде. В Разделе 3.4 было продемонстрировано, что задача агрегации оценок может быть осуществлена с помощью нейросетевых примитивов, не требующих обучения. Однако в Разделе 4.2.3 показано, что такое кодирование чисел требует создания древовидных структур большой вложенности, а одним из известных недостатков ТП является взрывной рост размерности. Обработка таких распределенных представлений большой размерности требует значительных вычислительных ресурсов и также является затратной по времени.

Как было показано в данном разделе, шаг агрегации оценок может быть реализован на основе обучения ИНС, а уже обученная ИНС может достаточно быстро и точно агрегировать оценки. Кроме того, предлагается использовать метод ТП для кодирования лингвистических оценок в распределенный вид. Это позволяет при необходимости переходить с символического уровня на субсимволический и обратно без потери информации, что создает возможность для интерпретации работы нейросимволической ИСППР.

4.4 Выводы

В Главе 3 была предложена общая схема выражения шага агрегации лингвистических оценок на субсимволическом уровне, выяснены принципы каждого компонента. В данной главе предлагаемый дизайн был практически реализован в каждом из разработанных программных комплексов, что позволяет создавать и внедрять нейросетевые модули в нейросимволические ИСППР. Также была выполнена экспериментальная проверка модели многокритериального выбора с использованием лингвистических оценок в рамках символической системы (детали изложены в Приложении Б). Интеграция нейросетевых подходов с предлагаемой моделью принятия решений с использованием лингвистических оценок выходит за рамки данной работы.

В итоге, в рамках обеспечения предлагаемых моделей и алгоритмов программной реализацией, было разработано два программных комплекса.

Каждый из них представлен в виде проекта с открытым исходным кодом 24 25. Основной язык программирования, используемый в программных комплексах - Python. Версия языка - 3.8. Общее количество строк кода: 5249, Python модулей: 112, Python пакетов: 3, служебных сценариев: 5.

24https://github.com/demid5111/ldss-tensor-structures

25https://github.com/ldss-hse/ldss-neural-aggregator

Заключение

Таким образом, в рамках данной работы была достигнута поставленная цель: были предложены новые модели, методы, алгоритмы, а также созданы новые программные комплексы, содержащие программную реализацию предложенных методов и алгоритмов, которые позволяют создавать интеллектуальные системы поддержки принятия решений, способных выполнять агрегацию лингвистических оценок в задапах многокритериального выбора в распределенном субсимволипеском виде. Были решены все поставленные задачи: был проведен критинеский анализ вопроса построения ИСППР, была разработана и исследована новая модель многокритериального принятия решений на основе лингвистипеских оценок с упётом множественных иерархипески выстроенных аспектов проблемной ситуации, были разработаны и исследованы новые алгоритмы по представлению лингвистипеских оценок в задапах многокритериального выбора в виде деревьев и в соответствующем им распределенном виде, были разработаны и исследованы новые субсимволипеские распределенные методы агрегации лингвистипеских оценок с использованием нейросетевой парадигмы, были спроектированы и реализованы два основных 26 27 и четь1ре вспомогательных 28 29 30 31 комплекса программных средств, была исследована эффективность применения созданных методов, алгоритмов и программных комплексов на модельной задапе многокритериального выбора с лингвистипескими оценками. Основное отлипие собственного решения от существующих подходов к построению ИСППР для помощи ЛПР в задапах многокритериального выбора, основная идея которых заклюпается либо в построении символипеских правил агрегации оценок, либо в построении обупаемого нейросетевого модуля на основе только колинественных оценок, заклюпается в предлагаемой модели принятия решений на основе лингвистипеских оценок, а также в наборе алгоритмов для представления лингвистипеских оценок в распределенном виде, их восстановлении из рас-

26https://github.com/demid5111/ldss-tensor-structures

27https://github.com/ldss-hse/ldss-neural-aggregator

28https://github.com/ldss-hse/ldss-core-aggregator

29https://github.com/ldss-hse/ldss-bdi

30https://github.com/ldss-hse/ldss-core-api

31https://github.com/ldss-hse/ldss-benchmark

пред елейного представления, и агрегации на нейросетевом уровне с помощью обучаемого нейросетевого модуля.

Научная новизна проведенного исследования заключается в следующем:

1. на основе систематического анализа существующих подходов и методов к построению ИСППР поставлен ряд актуальных исследовательских вопросов, требующих разработки новых моделей, алгоритмов и программных комплексов,

2. предложена новая модель многокритериального выбора на основе многоуровневого метода многокритериального принятия решений с использованием лингвистических оценок с учётом множественных иерархически выстроенных аспектов проблемной ситуации,

3. на основе метода ТП предложены новые методы построения распределенного представления лингвистических оценок, их нейросетевой агрегации и восстановления из распределенного представления.

В рамках практической части работы реализованы прототипы нейросетевых модулей для ИСППР. Построенные прототипы подтверждают корректность предложенных моделей и алгоритмов, выполнены в соответствии с современными требованиями к разработке программного обеспечения, предоставляя пользователю функционал для решения задач многокритериального выбора с использованием лингвистических оценок на субсимволическом уровне. В отличие от существующих решений для построения обучаемых нейросетевых модулей на основе НМТ, представленные программные прототипы содержат отдельные модули для создания синтетических данных, сохраняют совместимость с ранее поддерживаемыми задачами, но при этом обладают свойствами расширяемости и поддерживаемости, что было также продемонстрировано в данной работе. В результате создания программных комплексов повторно-используемые структуры данных и алгоритмы были выделены в виде Python модулей и пакетов, что создаёт основу для развития данного направления как с исследовательской, так и с инженерной точек зрения. Таким образом, обеспечивается возможность интеграции разработанных модулей в ИСППР и их дальнейшей коммерциализации.

Эффективность и гибкость предлагаемого подхода продемонстрированы на нескольких типовых примерах, таких как агрегация лингвистических оценок, представленных в распределенном виде, от разного числа экспертов: двух или трех. Также, с помощью программных комплексов демонстрирует-

ся возможность создания компилируемых ИНС, не требующих обучения и выполняющих интеллектуальные задачи по кодированию, восстановлению рекурсивных структур, а также по выполнению операций над распределенными представлениями рекурсивных структур, в том числе требующих условного ветвления. Важно отметить, что предлагаемые подходы к работе с лингвистическими оценками на субсимволическом уровне являются универсальными, что было продемонстрировано.

Представляется важным отобразить полученные результаты на схеме концептуальной модели СППР, рассматриваемой в Главе 1. Концептуальная модель СППР с указанием того, где новые результаты, полученные в результате данного исследования, расширяют набор существующих инструментов и моделей, представлена на Рисунке 4.13. Предлагаемый метод создания субсимволических модулей вычислительных систем, таких как СППР, представлен на Рисунке 3.1.

Пользователь

Интерфейс Пользователь-Система

Симв.«-* ^ I симв. -1-СимВ.«СУб- ^ симв.

Блок анализа проблем Блок принятия решений

База База моделей База

знаний

данных

Символические модели

TOPSIS ELECTRE

Субсимволические модели и примитивы

Кодировщик оценок (каскад ИНС) Декодировщик оценок (каскад ИНС) ИНС агрегатор (обучаемый) ИНС арифметика (каскад ИНС)

Рисунок 4.13 — Концептуальная модель нейро-символической СППР с указанием новых элементов, предложенных в данной работе. МЬ-ЬИМ - обозначение многокритериальной модели принятия решений. Все предлагаемые модели и методы отмечены жирным шрифтом и зеленым цветом. Аналогичным образом отмечен переход между символическими и субсимволическими представлениями знаний, появляющийся в нейро-субсимволических СППР, который становится возможным при внедрении предложенных моделей по кодированию и декодированию символических структур. Сокращения: симв. - символический, субсимв. - субсимволический.

С точки зрения перспектив развития данной темы исследований можно выделить несколько направлений. Во-первых, важным является изучение вопроса формализации принципа представления проблемной ситуации в виде рекурсивной структуры, так как это позволит осуществить полный цикл поддержки принятия решений: от формирования альтернативных решений и иерархически выстроенных критериев до агрегации лингвистических оценок. Во-вторых, необходимо исследовать важные аспекты предлагаемых дизайнов компилируемых ИНС для решения интеллектуальных задач, такие как: возможность оптимизации ИНС с точки зрения повторного использования общих подграфов вычислений, возможность генерации ИНС по произвольному функциональному выражению, состоящему из операций cons и ex. В-третьих, согласно анализу производительности и выделенным ограничениям текущих дизайнов компилируемых ИНС, а также современным достижениям, полученным в области разреженных вычислений [218; 219], перспективным является использование разреженных ИНС, тем более, что необходимые функциональные блоки стали доступны в рамках программного каркаса Tensor Flow32, выбранного в качестве основного в разработанных программных комплексах. В-четвертых, необходимо проанализировать выигрыш в производительности предлагаемых моделей субсимволической агрегации лингвистических оценок в условиях массового параллелизма, по сравнению с символическими методами. По результатам такого анализа предполагается показать вычислительную оправданность предлагаемых нейросетевых дизайнов. В-пятых, предлагается рассмотреть возможности НМТ для выражения других операторов агрегации лингвистических оценок, например, взвешенной версии оператора МТА. В-шестых, необходимо выполнить интеграцию полученных алгоритмов в состав полнофункциональной ИСППР на основе субсимволической парадигмы. В-седьмых, интерес представляет вопрос формализации задачи обучения ИНС для выполнения агрегации лингвистических оценок как задачи предсказания последовательности по заданной последовательности (sequence-to-sequence, seq2seq). При успешном выполнении этого шага становится возможным исследование применимости к поставленной задаче перспективных нейросетевых технологий, таких как Transformer [220] и BERT [221], которые позволяют использовать значительно больший операционный контекст, по сравнению с LSTM, используемых в качестве контроллера НМТ в обучаемом нейросетевом агрегаторе

32https://www.tensorflow.org/api_docs/python/tf/sparse/SparseTensor

лингвистических оценок, предлагаемом в данной работе. Больший операционный контекст позволит создавать нейросетевые агрегаторы для большего числа экспертов. В-восьмых, перспективным направлением дальнейших исследований является сравнение предлагаемого метода построения распределенных представлений на основе ТП с другими методами, используемыми в векторных символьных архитектурах. Наконец, имеет смысл сравнить ключевые характеристики обучаемого нейросетевого агрегатора в случае использования методов получения распределенного представления, используемых при создании современных мульти.модальных ИНС [187; 188]. Например, в рамках рассматриваемой задачи многокритериального выбора можно рассмотреть возможность использования в качестве входных данных необработанного описания экспертных оценок в виде текста, не превращая эти оценки в элементы двух-кортежной модели, или использования методов построения высокоразмерных представлений для графов [222; 223] для кодирования лингвистических оценок и общего описания проблемной ситуации, выраженных в виде рекурсивной структуры. Разработка таких решений обеспечивает фундаментальные строительные блоки для распределенных гибридных нейросимволических ИСППР.

Объединение субсимволической и символьной вычислительных парадигм является перспективной и актуальной идеей, а их интеграция обеспечит значительный прогресс в решении тех задач, которые не могут быть решены исключительно одним из этих двух подходов, в частности, при построении ИСППР, способных выполнять агрегацию лингвистических оценок в задачах многокритериального выбора в распределенном субсимволическом виде.

В заключение автор выражает благодарность и большую признательность научному руководителю Бабкину Э.А. за всестороннюю поддержку, обсуждение результатов и мудрое научное руководство. Также автор благодарит Клейко Д. за обсуждение результатов, и авторов шаблона Russian-Phd-LaTeX-Dissertation-Template за помощь в оформлении диссертации.

Автор благодарит свою семью: бабушку, Шпинер Л. В., дедушку, Шпинер М. И, маму, Демидовскую А. М., отца, Демидовского В. А., жену, Демидовскую Т.А. и сына Демидовского A.A., за их неиссякаемую веру, и любовь, которые вдохновляют на новые свершения.

Список сокращений и условных обозначений

DSRM МТА

ИИ

ИНС

ИСППР

ИТ

ЛИР

нмт сии

СППР

тп

Design Science Research Methodology

Multigranular 2-tuple average, оператор среднего арифметического для мультигранулярных лингвистических оценок, выраженных с помощью двухкортежной модели Искусственный интеллект Искусственная нейронная сеть Интеллектуальная СППР Информационные технологии Лицо, принимающее решение Нейронная машина Тьюринга Система с использованием ИИ Система поддержки принятия решений Тензорные представления

Список литературы

1. Challenges for the cyber-physical manufacturing enterprises of the future / H. Panetto [et al.] // Annual Reviews in Control. — 2019. — Vol. 47. — P. 200—213.

2. Moreira, M. E. Agile Enterprise / M. E. Moreira. — New York : Apress, 2017. — 293 p.

3. MacDonald, T. J. Blockchains and the boundaries of self-organized economies: Predictions for the future of banking / T. J. MacDonald, D. W. Allen, J. Potts // Banking beyond banks and money. — Springer, 2016. —

C. 279-296.

4. Power, D. J. Decision support systems: concepts and resources for managers /

D. J. Power. — Greenwood Publishing Group, 2002.

5. Поспелов, Д. А. Моделирование рассуждений. Опыт анализа мыслительных актов / Д. А. Поспелов. — М.: Радио и связь, 1989. — 214 с.

6. Теория и методы создания интеллектуальных компьютерных систем / В. Л. Арлазаров [и др.] // Информационные технологии и вычислительные системы. — 1998. — № 1. — С. 3—13.

7. Осипов, Г. С. Динамика систем, основанных на знаниях / Г. С. Осипов // Известия РАН. Теория и системы управления. — 1998. — № 5. — С. 24—28.

8. Голицын, Г. А. Нейронные сети и экспертные системы: перспективы интеграции / Г. А. Голицын, И. Б. Фоминых // Новости искусственного интеллекта. — 1996. — № 4. — С. 121—146.

9. Turban, Е. Decision Support Systems and Intelligent Systems (7th Edition) /

E. Turban, J. E. Aronson, T.-P. Liang. — Prentice-Hall, Inc., 2004.

10. Haagsma, I. G. Decision support systems: An integrated and distributed approach / I. G. Haagsma, R. D. Johanns // Transactions on Ecology and the Environment. - 1994. - C. 205-212.

11. Fox, J. Safe and sound. Artificial intelligence in hazardous applications / J. Fox, S. Das. — MIT Press, 2000. — 325 p.

12. Интеллектуальное ядро системы поддержки принятия решений /

B. П. Осипов [и др.] // Препринты ИПМ им. MB Келдыша. — 2018. — Л" 205. - С. 1—23.

13. Бондаренко, И. С. Концепция имитационной модели системы поддержки принятия решений угольного предприятия / И. С. Бондаренко // Вестник университета. — 2021. — № 2.

14. Алескеров, Ф. Т. Качественные модели многокритериального выбора / Ф. Т. Алескеров // Методы сбора и анализа сложноорганизованных данных. _ 1991. _ с. 61—68.

15. Ларичев, О. И. Человеко-машинные методы решения многокритериальной задачи о назначениях / О. И. Ларичев, М. Ю. Стернин // Автоматика и телемеханика. — 1998. — № 7. — С. 135 156.

16. Ларичев, О. И. Методы многокритериальной оценки альтернатив / О. И. Ларичев // Многокритериальный выбор при решении слабострук-туризованных задач. — М. : ВНИИСИ, 1978. — С. 5 30.

17. Ларичев, О. И. Свойства методов принятия решений в многокритериальных задачах индивидуального выбора / О. И. Ларичев // Автоматика и телемеханика. - 2002. Т. 63. Л" 2. С. 304 315.

18. Ногин, В. Д. Принятие решений в многокритериальной среде. Количественный подход / В. Д. Ногин. — Физматлит, 2004. — 325 с.

19. Новикова, Н. М. Многокритериальные задачи принятия решений в условиях неопределенности / Н. М. Новикова, И. И. Поспелова. — М.: ВЦ РАН, 2000. - 64 с.

20. Осипов, В. П. Многокритериальный анализ решений при нечетких областях предпочтений / В. П. Осипов, В. А. Судаков // Препринты Института прикладной математики им. М. В. Келдыша РАН. — 2017. —

C. 6-16.

21. Doumpos, М. Multicriteria decision aid and artificial intelligence: links, theory and applications / M. Doumpos, E. Grigoroudis. — John Wiley & Sons, 2013.

22. Ishizaka, A. Multi-criteria decision analysis: methods and software / A. Ishizaka, P. Nemery. — John Wiley & Sons, 2013.

23. Нечеткие множества в моделях управления и искусственного интеллекта / А. Н. Аверкпн [и др.] ; под ред. Д. А. Поспелов. — Москва : Наука, 1986. - 312 с.

24. Борисов, А. Н. Модели принятия решений на основе лингвистической переменной / А. Н. Борисов, А. В. Алексеев, О. А. Крумберг. — Зинатне, 1982.

25. Алексеев, А. В. Лингвистические модели принятия решений в нечетких ситуационных системах управления / А. В. Алексеев // Методы принятия решений в условиях неопределенности. Рига: РПИ. — 1980.

26. Yager, R. R. A linguistic variable for importance of fuzzy sets / R. R. Yager // Cybernetics and System. - 1980. - T. 10, № 1-3. - C. 249-260.

27. Zadeh, L. The linguistic approach and its application to decision analysis / L. Zadeh // Fuzzy Sets, Fuzzy Logic, And Fuzzy Systems: Selected Papers by Lotfi A Zadeh. - World Scientific, 1996. - C. 260-282.

28. Xu, Z. Linguistic decision making / Z. Xu. — Springer, 2012.

29. Herrera, F. Linguistic decision analysis: steps for solving decision problems under linguistic information / F. Herrera, E. Herrera-Viedma // Fuzzy Sets and systems. - 2000. - T. 115, № 1. - C. 67-82.

30. Martinez, L. 2-tuple linguistic model / L. Martinez, R. M. Rodriguez, F. Herrera // The 2-tuple Linguistic Model. — Springer, 2015. — C. 23—42.

31. Espinilla, M. An extended hierarchical linguistic model for decision-making problems / M. Espinilla, J. Liu, L. Martinez // Computational Intelligence. — 20Ц. - T. 27, № 3. - C. 489-512.

32. Linguistic decision making: Tools and applications / L. Martinez [и др.]. — 2009.

33. Yager, R. R. Concepts, theory, and techniques a new methodology for ordinal multiobjective decisions based on fuzzy sets / R. R. Yager // Decision Sciences. - 1981. - T. 12, № 4. - C. 589-600.

34. Delen, D. Artificial neural networks in decision support systems / D. Delen, R. Sharda // Handbook on Decision Support Systems 1. — Springer, 2008. — C. 557-580.

35. d'Avila Garcez, A. Neurosymbolic AI: the 3rd Wave / A. d'Avila Garcez, L. C. Lamb // arXiv preprint arXiv:2012.05876. - 2020.

36. Фоминых, И. Б. Некоторые формальные аспекты информационного подхода к построению нейросетевых ЭС / И. Б. Фоминых // Известия РАН: Теория и системы управления. — 1999. — № 5.

37. Кузнецов, О. П. Неклассические парадигмы в искусственном интеллекте / О. П. Кузнецов // Известия РАН. Теория и системы управления. — 1995. _ до 5. _ С 70 84.

38. Комарцова, Л. Г. Исследование нейросетевых и гибридных методов и технологий в интеллектуальных системах поддержки принятия решений : дис. ... д-р. техн. наук : 05.13.11 / Л. Г. Комарцова. — Калуга, 2003. — 438 с.

39. Фоминых, И. Б. Нейрологические модели и методы решения задач в интеллектуальных системах реального времени : дис. ... д-р. техн. наук : 05.13.17 / И. Б. Фоминых. - М., 2000. - 204 с.

40. Sofia,го,, D. Integration of symbolic and connectionist AI techniques in the development of Decision Support Systems applied to biochemical processes : PhD thesis / Sottara Davide. — alma : University of Bologna, 2010.

41. Neural-symbolic computing: An effective methodology for principled integration of machine learning and reasoning / A. d'Avila Garcez [и др.] // arXiv preprint arXiv: 1905.06088. - 2019.

42. Medsker, L. R. Hybrid neural network and expert systems / L. R. Medsker. — Springer Science & Business Media, 2012. — 240 p.

43. Neural-symbolic integration and the Semantic Web / P. Hitzler [и др.] // Semantic Web. - 2020. - T. 11, № 1. - C. 3-11.

44. Hammer, B. Perspectives of neural-symbolic integration. T. 77 / B. Hammer, P. Hitzler. — Springer, 2007.

45. Ginzberg, M. J. Decision support systems: issues and perspectives / M. J. Ginzberg, E. A. Stohr. - 1982.

46. Gallant, S. I. Neural network learning and expert systems / S. I. Gallant, S. I. Gallant. - MIT press, 1993.

47. Борисов, А. Н. Принципы построения и реализации гибридных экспертных систем / А. Н. Борисов // Сб. "Гибридные экспертные системы в задачах проектирования сложных технических объектов. Материалы краткосрочного научнотехнического семинара "Гибридные экспертные системы в задачах проектирования сложных технических объектов. — 1992. - С. 6-9.

48. Sima, J. Neural expert systems / J. Sima // Neural networks. — 1995. — T. 8, Л'° 2. - С. 261-271.

49. Besold, Т. R. Towards integrated neural-symbolic systems for human-level ai: Two research programs helping to bridge the gaps / T. R. Besold, K.-U. Kuhnberger // Biologically Inspired Cognitive Architectures. — 2015. — T. 14. - C. 97-110.

50. d'Avila Garcez, A. Neural-symbolic cognitive reasoning / A. d'Avila Garcez, L. C. Lamb, D. M. Gabbay. — Springer Science & Business Media, 2008.

51. Pinko,5, G. Representing, binding, retrieving and unifying relational knowledge using pools of neural binders / G. Pinkas, P. Lima, S. Cohen // Biologically Inspired Cognitive Architectures. — 2013. — T. 6. — C. 87—95.

52. Колесников, А. В. Гибридные интеллектуальные системы : Теория и технология разработки : [Монография] / А. В. Колесников. — СПб. : Изд-во СПбГТУ, 2001. - 710 с.

53. Демидовский, А. В. Интегрированные нейросимволические системы поддержки принятия решений: проблемы и перспективы / А. В. Демидовский, Э. А. Бабкин // Бизнес-информатика. — 2021. — Т. 15. — С. 7—23.

54. Мисевич, П. В. Методология проектирования и сопровождения автоматизированных систем с мультиагентными средствами интеллектуальной поддержки жизненного цикла сценариев работы : дис. ... д-ра техн. наук : 05.13.01 / П. В. Мисевич. — И. Новгород, 2009. — 358 с.

55. Survey on fog computing: architecture, key technologies, applications and open issues / P. Ни [и др.] // Journal of network and computer applications. —

2017. - T. 98. - C. 27-42.

56. Ohsawa, S. Neuron as an agent [Электронный ресурс] / S. Ohsawa. —

2018. —URL: https://openreview.net/forum?id = BkfEzz-0- (visited on 07/05/2021).

57. Fitzgerald, S. Design and implementation of a distributed neural network platform utilising crowdsource processing: M.A.I, diss. / S. Fitzgerald. — Dublin, 2018. — 51 p.

58. Arcand, J.-F. ADN-analysis and development of distributed neural networks for intelligent applications / J.-F. Arcand, S.-J. Pelletier // Proceedings of 1994 IEEE International Conference on Neural Networks (ICNN'94). T. 3. -IEEE. 1994. - C. 1519—1524.

59. James, M. Design of low-cost, real-time simulation systems for large neural networks / M. James, D. Hoang // Journal of Parallel and Distributed Computing. - 1992. - T. 14, № 3. - C. 221 235.

60. Pi, Y. A Flexible Implementation Method of Distributed ANN / Y. Pi, Q. Yuan, X. Meng // International Conference on Brain Inspired Cognitive Systems. — Springer. 2012. — C. 345 350.

61. A Novel Method of Constructing ANN / X. Meng [h ,np.] // International Symposium on Neural Networks. — Springer. 2007. — C. 493 499.

62. Khouzam, B. Neural networks as cellular computing models for temporal sequence processing: PhD diss. / B. Khouzam. — Supelec, 2014. — 252 p.

63. Machine learning at the network edge: A survey / M. Murshed [h ,np.] // arXiv preprint arXiv: 1908.00080. - 2019.

64. Ghosh, J. Mapping neural networks onto message-passing multicomputers / J. Ghosh, K. Hwang // Journal of parallel and distributed computing. — 1989. - T. 6, № 2. - C. 291 330.

65. Suresh, S. Parallel implementation of back-propagation algorithm in networks of workstations / S. Suresh, S. Omkar, V. Mani // IEEE Transactions on parallel and distributed systems. — 2005. — T. 16, № 1. — C. 24 34.

66. Tollenaere, T. Simulating modular neural networks on message-passing multiprocessors / T. Tollenaere, G. A. Orban // Parallel Computing. — 1991. - T. 17, № 4/5. - C. 361 379.

67. Failout: Achieving failure-resilient inference in distributed neural networks / A. Yousefpour [h ,np.] // arXiv preprint arXiv:2002.07386. — 2020.

68. Применение методов искусственного интеллекта для выявления и прогнозирования осложнений при строительстве нефтяных и газовых скважин: проблемы и основные направления решения / А. Д. Черников [и др.] // Георесурсы. - 2020. - Т. 22, № 3.

69. Hwang, С. TOPSIS (technique for order preference by similarity to ideal solution)—A multiple attribute decision making, w: Multiple attribute decision making—Methods and applications, a state-of-the-art survey / C. Hwang, K. Yoon // Methods and application: New York: Springer-Verlag Berlin Heidelberg. Springer Publications. — 1981.

70. Вепауоищ R. Manual de reference du programme electre / R. Benayoun,

B. Roy, N. Sussman // Note de synthese et Formation. — 1966. — T. 25. —

C. 79.

71. Roy, B. Classement et choix en presence de points de vue multiples / B. Roy // Revue française d'informatique et de recherche opérationnelle. — 1968. — T. 2, Л'0 8. - C. 57-75.

72. Igoulalene, /. Novel fuzzy hybrid multi-criteria group decision making approaches for the strategic supplier selection problem / I. Igoulalene, L. Benyoucef, M. K. Tiwari // Expert Systems with Applications. — 2015. — T. 42, № 7. - C. 3342-3356.

73. Van Gigch, J. P. Metadecisions: rehabilitating epistemology / J. P. Van Gigch. — Springer Science & Business Media, 2003.

74. Smolensky, P. The harmonic mind: From neural computation to optimality-theoretic grammar (Cognitive architecture), Vol. 1 / P. Smolensky, G. Legendre. - MIT press, 2006. - 590 c.

75. Ларичев, О. И. Теория и методы принятия решений, а также Хроника событий в Волшебных странах / О. И. Ларичев. — Логос, 2000. — 296 с.

76. Перегудов, Ф. П. Введение в системный анализ / Ф. И. Перегудов, Ф. П. Тарасенко. — Издательство "Высшая Школа", 1989.

77. A design science research methodology for information systems research / K. Peffers [и др.] // Journal of management information systems. — 2007. — T. 24, № 3. - C. 45-77.

78. Legendre, G. Distributed recursive structure processing / G. Legendre, Y. Miyata, P. Smolensky // Advances in Neural Information Processing Systems. - 1991. - C. 591^597.

79. Herrera, F. A 2-tuple fuzzy linguistic representation model for computing with words / F. Herrera, L. Martinez // IEEE Transactions on fuzzy systems. — 2000. - T. 8, № 6. - C. 746 752.

80. ГОСТ P ИСО/МЭК 20741-2019. Системная и программная инженерия. Руководство для оценки и выбора инструментальных средств программной инженерии. — М. : Стандартинформ, 2019. — 36 с.

81. Демидовский, А. В. Разработка распределенной лингвистической системы поддержки принятия решений / А. В. Демидовский, Э. А. Бабкин // Бизнес-информатика. - 2019. - Т. 13. - С. 18 32.

82. Демидовский, А. В. Адаптация нейронных машин Тьюринга для задачи агрегации лингвистических оценок в нейросимволических системах поддержки принятия решений / А. В. Демидовский, Э. А. Бабкин // Информационно-управляющие системы. — 2021. — № 5. — С. 40 50.

83. Demidovskij, А. V. Implementation aspects of tensor product variable binding in connectionist systems / A. V. Demidovskij // Advances in Intelligent Systems and Computing. Vol. 1037. — 2019. — P. 97—110.

84. Demidovskij, A. V. Towards automatic manipulation of arbitrary structures in connectivist paradigm with tensor product variable binding / A. V. Demidovskij // Advances in neural computation, machine learning, and cognitive research III. Vol. 856. — 2019. — P. 375^383.

85. Demidovskij, A. V. Towards Designing Linguistic Assessments Aggregation as a Distributed Neuroalgorithm / A. V. Demidovskij, E. A. Babkin // Proceedings of 2020 23rd International Conference on Soft Computing and Measurements. — 2020. — P. 161 164.

86. Demidovskij, A. V. Comparative Analysis of MADM Approaches: ELECTRE, TOPSIS and Multi-level LDM Methodology / A. V. Demidovskij // Proceedings of 2020 23rd International Conference on Soft Computing and Measurements. — 2020. — P. 190^193.

87. Demidovskij, A. V. Automatic Construction of Tensor Product Variable Binding Neural Networks for Neural-Symbolic Intelligent Systems / A. V. Demidovskij // 2nd International Conference on Electrical, Communication and Computer Engineering. — 2020. — P. 9179403.

88. Demidovskij, A. V. Designing a neural network primitive for conditional structural transformations / A. V. Demidovskij, E. A. Babkin // Lecture Notes in Computer Science. Vol. 12412. — 2020. — P. 117—133.

89. Demidovskij, A. V. Designing arithmetic neural primitive for sub-symbolic aggregation of linguistic assessments / A. V. Demidovskij, E. A. Babkin // Journal of Physics: Conference Series. — 2020. — Vol. 1680. — P. 012007.

90. Demidovskij, A. V. Encoding and Decoding of Recursive Structures in Neural-Symbolic Systems / A. V. Demidovskij, E. A. Babkin // Optical Memory and Neural Networks (Information Optics). — 2021. —Vol. 30. — P. 37—50.

91. Demidovskij, A. V. Exploring Neural Turing Machines Applicability in Neural-Symbolic Decision Support Systems / A. V. Demidovskij // 3rd International Conference on Electrical, Communication and Computer Engineering. — 2021.

92. Demidovskij, A. V. Neural Multigranular 2-tuple Average Operator in Neural-Symbolic Decision Support Systems / A. V. Demidovskij, E. A. Babkin // Lecture Notes in Networks and Systems. — 2021. — P. 350—359.

93. ГОСТ P ИСО/МЭК 25010-2015. Системная и программная инженерия. Требования и оценка качества систем и программного обеспечения (SQuaRE). Модели качества систем и программных продуктов. — М. : Стандартинформ, 2015. - 36 с.

94. Power, D. J. Supporting decision-makers: An expanded framework / D. J. Power // Informing Science. - 2001. - Т. 1. - C. 1901-1915.

95. Ларичев, О. И. Системы поддержки принятия решений: современное состояние и перспективы развития / О. И. Ларичев, А. Б. Петровский // Итоги науки и техники. Теория вероятностей. Математическая статистика. Теоретическая кибернетика. — 1987. — Т. 21. — С. 131—164.

96. Sanchez-Marre, М. Intelligent Decision Support Systems / M. Sanchez-Marre. — Springer, 2022.

97. Плетняков, В. А. Развитие современных технологий поддержки принятия управленческих решений стратегического характера в инновационной сфере / В. А. Плетняков // Terra Economicus. — 2012. — Т. 10, Л" 2 2.

98. Селютина, Л. Г. Развитие современных технологий поддержки принятия управленческих решений в предпринимательской деятельности в сервисной экономике / Л. Г. Селютина // ЭКОНОМИКА XXI ВЕКА. — 2020. — С. 387^393.

99. ГОСТ Р 59276-2020. Системы искусственного интеллекта. Способы обеспечения доверия. Общие положения. — М. : Стандартинформ, 2021. — 16 с.

100. Johannesson, Р. Аи introduction to design science / P. Johannesson, E. Perjons. — Springer, 2014. — 197 c.

101. Hockmayr, B. S. Engineering service systems in the digital age /

B. S. Hockmayr. — Springer, 2019.

102. Brocke, J. vom,. Design Science Research: Cases / J. vom Brocke, A. Havner, A. Maedche. — Springer, 2020.

103. A method for science and technology advancement / A. Dresch, D. Lacetda [и др.] // Design Science Research, Springer, Cham. — 2014. — C. 67^102.

104. Alismail, S. A framework for identifying design science research objectives for building and evaluating IT artifacts / S. Alismail, H. Zhang, S. Chatterjee // International Conference on Design Science Research in Information System and Technology. — Springer. 2017. — C. 218^230.

105. An overview of clinical decision support systems: benefits, risks, and strategies for success / R. T. Sutton [и др.] // NPJ digital medicine. — 2020. — T. 3, Л" 1. C. 1—10.

106. Kasie, F. M. Decision support systems in manufacturing: a survey and future trends / F. M. Kasie, G. Bright, A. Walker // Journal of modelling in management. — 2017.

107. Decision support systems for agriculture 4.0: Survey and challenges / Z. Zhai [и др.] // Computers and Electronics in Agriculture. — 2020. — T. 170. —

C. 105256.

108. Zopounidis, C. Intelligent decision aiding systems based on multiple criteria for financial engineering. T. 38 / C. Zopounidis, M. Doumpos. — Springer Science & Business Media, 2000.