Методология и практика построения систем коллективного интеллекта тема диссертации и автореферата по ВАК РФ 05.13.01, доктор наук Протасов Владислав Иванович

  • Протасов Владислав Иванович
  • доктор наукдоктор наук
  • 2021, ФГБОУ ВО «Нижегородский государственный технический университет им. Р.Е. Алексеева»
  • Специальность ВАК РФ05.13.01
  • Количество страниц 314
Протасов Владислав Иванович. Методология и практика построения систем коллективного интеллекта: дис. доктор наук: 05.13.01 - Системный анализ, управление и обработка информации (по отраслям). ФГБОУ ВО «Нижегородский государственный технический университет им. Р.Е. Алексеева». 2021. 314 с.

Оглавление диссертации доктор наук Протасов Владислав Иванович

Содержание

ВВЕДЕНИЕ_

1. СОВРЕМЕННОЕ СОСТОЯНИЕ СИСТЕМ КОЛЛЕКТИВНОГО ИНТЕЛЛЕКТА. ПОСТАНОВКА ЗАДАЧИ ИССЛЕДОВАНИЯ_

1.1. Системы коллективного интеллекта_

1.1.1. Предпосылки создания систем коллективного интеллекта_

1.1.2. Экспериментальное подтверждение эффективности коллективных решений_

1.1.3. Концепция использования правил взаимодействия для конструирования систем коллективного интеллекта. Метасистемные переходы_

1.2. Генетические алгоритмы_

1.3. Теорема Кондорсе_

1.4. Системы краудсорсинга_

1.5. Схема организации коллективных вычислений «кодирующая двойственность»_

1.6. Определения и термины_

1.7. Модель Раша_

1.8. Возможные структурные схемы систем эволюционного согласования решений_

1.9. Требования к перспективным системам коллективного интеллекта_

1.10. Постановка задачи исследования_

Выводы по первой главе_

2. ПОСТРОЕНИЕ СИСТЕМ КОЛЛЕКТИВНОГО ИНТЕЛЛЕКТА С ИСПОЛЬЗОВАНИЕМ ПРАВИЛ ВЗАИМОДЕЙСТВИЯ МЕЖДУ

ИНТЕЛЛЕКТУАЛЬНЫМИ АГЕНТАМИ_

2.1. Построение систем коллективного интеллекта технических объектов с использованием правил взаимодействия, взятых из физики_

2.1.1. Молекулярно-динамическое моделирование системы коллективного самоуправления беспилотных летательных аппаратов_

2.1.2. Молекулярно-динамическое моделирование коллективной системы управления транспортными потоками

77

2.2. Построение систем коллективного интеллекта

с использованием правил взаимодействия, взятых из генетических алгоритмов_

2.2.1. Моделирование системы, решающей задачу генетического программирования_

2.2.2. Решение задачи формирования инвестиционного

портфеля кластером компьютеров_

2.2.3. Решение задачи распределения целей_

Выводы по второй главе_

3. ИСПЫТАНИЯ МЕТОДА ЭВОЛЮЦИОННОГО

СОГЛАСОВАНИЯ РЕШЕНИЙ_

3.1. Метод эволюционного согласования решений_

3.2. Модель виртуального актора, решающего задачи

спектрометрии_

3.3 Объединенная модель метода эволюционного

согласования решений_

3.4. Исследование метода эволюционного согласования решений с использованием компьютерной модели. Преодоление «барьера Кондорсе»_

3.5. Испытания применимости метода эволюционного согласования для решения различных задач_

3.5. 1. Решение задачи коммивояжера __126

3.5.2. Решение шахматных задач__134

3.5.3. Составление субъективного портрета__141

3.5.4. Автоматический перевод текстов использованием

группы one-line переводчиков__152

3.5.5. Применение метода эволюционного согласования

решений в образовании__161

3.5.6. Распознавание объектов групповым актором,

состоящим из нейронных сетей__162

3.6 Структурная схема системы эволюционного согласования решений_

169

Выводы по третьей главе_

4. ТЕОРЕТИЧЕСКИЕ ПОЛОЖЕНИЯ СИСТЕМ

ЭВОЛЮЦИОННОГО СОГЛАСОВАНИЯ РЕШЕНИЙ_

4.1. Гипотезы, лежащие в основе метода эволюционного

согласования решений_

4.1.1 Гипотеза о сходимости процесса согласования

решений за малое число итераций_

4.1.2 . Гипотеза о возможности преодоления «барьера Кондорсе»

групповым актором при использовании метода эволюционного согласования_

4.2 . Утверждения об акторах. Единицы измерения интеллектуальной сложности задачи и

интеллектуальной силы акторов_

4.2.1 . Утверждения о величине интеллектуальной сложности

задачи и интеллектуальной силе актора_

4.2.2. Утверждение об оптимальном числе акторов_

4.2.3. Утверждение о задаче предельной трудности_

4.3. Оценочные расчеты и обсуждение_

4.4. Абсолютная шкала измерения подготовленности акторов и трудности заданий_

-

4.5. Математическая модель первой стадии МЭС_

4.6. Математическая модель трехтактной схемы МЭС_

4.7. Измерение интеллектуальной силы и других характеристик акторов_

4.8. Утверждение о возможности преодоления «барьера Кондорсе» групповым актором_

4.9. Утверждение о возможности согласовании решений

за одну итерацию_

4.10. Утверждение о стремлении к нулю вероятности неправильного решения групповым актором_

4.11. Минимизация вероятности принятия ошибочных решений

у группового актора второго ранга_

Выводы по четвертой главе_

5. ИСПОЛЬЗОВАНИЕ СИСТЕМ ЭВОЛЮЦИОННОГО СОГЛАСОВАНИЯ РЕШЕНИЙ В НАУКЕ И ПРОМЫШЛЕННОСТИ_

5.1. Типы задач, решаемых с использованием метода

эволюционного согласования решений_

-

5.2. Построение системы обработки данных экологического мониторинга по дистанционному определению концентрации загрязняющих атмосферу веществ в

выбросах промышленных предприятий_

5.3. Примеры использования системы эволюционного согласования решений в управлении проектами на предприятии_

5.4. Решение многокритериальной задачи о назначениях

на предприятии_

5.5. Оценивание компетентности экспертов по вопросам безопасности и эффективности производственных процессов в горнодобывающем предприятии_

5.6. Выбор оборудования и разработка рецептуры для производства продукции на промышленном предприятии ОАО «Ставропласт» с использованием системы эволюционного согласования решений_

5.7. Применение концепции актора второго ранга при решении задачи вероятностного анализа безопасности

и оценок риска на объектах атомной промышленности_

5.8. Сравнение эффективности работы систем, использующих метод эволюционного согласования

решений и существующих систем коллективной работы_

Выводы по пятой главе_

ЗАКЛЮЧЕНИЕ_

ПЕРЕЧЕНЬ СОКРАЩЕНИЙ_

СПИСОК ЛИТЕРАТУРЫ_

П1. Приложение

КОМПЬЮТЕРНАЯ МОДЕЛЬ ТРЕХТАКТНОЙ СХЕМЫ МЭС. ПРОГРАММА ГЕНЕТИЧЕСКОГО ПРОГРАММИРОВАНИЯ

П2. Приложение

САЙТ КОЛЛЕКТИВНОГО ТВОРЧЕСТВА GENETIC COLLECTIVE ENVIRONMENT

276

-

П2.1. Описание сайта

П2.2. Инструкция по использованию сайта

283

П3. Приложение

ТЕСТИРОВАНИЕ МЕТОДА ЭВОЛЮЦИОННОГО СОГЛАСОВАНИЯ РЕШЕНИЙ В СИСТЕМЕ ОБРАЗОВАНИЯ_

П3.1. Измерение коэффициента интеллекта группы студентов_

П3.2. Модель «виртуального учащегося»_

П3. 3. Проверка метода эволюционного согласования в

дистанционном образовании_

П3.4. Перевод текста с английского языка на русский группой студентов_

292

П3.5. Составление консолидированного текста_

П3.6. Использование метода эволюционного согласования в

школе_

П4. Приложение

ЗАЯВКА НА ГОСУДАРСТВЕННУЮ

РЕГИСТРАЦИЮ ПРОГРАММЫ ДЛЯ ЭВМ_

П5. Приложение

АКТЫ И СПРАВКИ ОБ ИСПОЛЬЗОВАНИИ РЕЗУЛЬТАТОВ РАБОТЫ

Рекомендованный список диссертаций по специальности «Системный анализ, управление и обработка информации (по отраслям)», 05.13.01 шифр ВАК

Введение диссертации (часть автореферата) на тему «Методология и практика построения систем коллективного интеллекта»

ВВЕДЕНИЕ

Актуальность и новизна исследования

В настоящее время происходит существенная перестройка способа производства - старые индустриальные способы заменяются современными, связанными с наступлением экономики знаний. В связи с тем, что решаемые задачи становятся все сложнее и имеющихся ресурсов не всегда хватает для поддержания требуемых темпов развития [21,139,165-168], возникла проблема нахождения и теоретического обоснования новых технологий решения сложных интеллектуальных задач, возникающих в науке, технике и промышленности и поддержки этих технологий соответствующими системами.

Существующее положение тормозит проведение разработок методов групповой работы, позволяющих гарантированно решать трудные задачи, выдвигаемые практикой и создавать соответствующие программные продукты для осуществления этих целей [2,9,10,13,42-46].

Как показывают экспериментальные и теоретические исследования, проведенные группой исследователей под руководством автора диссертационной работы, инструментальные средства с требуемыми характеристиками могут быть созданы на базе развиваемой ими теории систем коллективного интеллекта (СКИ), основывающихся на построении подходящих для этих систем правил взаимодействия, а также соответствующих средств измерения [85-89,118,127].

Степень научной разработанности проблемы

К настоящему времени в области принятия решений разработано большое количество методов коллективной работы, предназначенных для применения в различных предметных областях[52-59]. Но присущие этим методам недостатки и ограничения, связанные с трудностями настройки на предметную область,

отсутствием универсальности и стандартизации затрудняют использование этих методов в практике. Существенным недостатком существующих методов является отсутствие гарантии правильности решения. Для каждой вновь возникшей задачи требуется занимающее длительное время процедура подбора из большого количества разработанных методов и настройки их на специфику новой проблемы [132,133].

Большое количество работ и подходов посвящено устранению этих недостатков. Так, применение математических моделей и аналитических методов позволило в ряде случаев упростить процедуры настройки на предметную область и получить ряд важных критериев, позволяющих оптимизировать процедуры принятия решений [6,62-64]. Использование нечеткой логики [201] позволило получить процедуры нахождения оптимальных решений при решении некоторого ряда трудно формализуемых задач. Различные комбинированные технологии [133,197], включающие, например, эволюционные стратегии и генетические алгоритмы, также конструировались для устранения приведенных выше ограничений.

Информационные технологии, основанные на методах, используемых в системах поддержки принятия решений и СКИ, берут начало в трудах Ф.Т. Алескерова (модели агрегирования индивидуальных мнений в коллективное решение, развитие теории группового выбора), В.Н. Буркова, В.В. Кондратьева (теория активных систем, согласованное управление активными производственными системами), В.Н. Вагина (интеллектуальные системы принятия решений), В.Ф. Венды (законы взаимной адаптации и трансформации структур систем, гибридные интеллектуальные системы для коллективного решения сложных задач), Д.А. Новикова (теория управления организационными системами), академика О.И. Ларичева (система «Общий мозг»), А.Н. Райкова (сетевые экспертно-аналитические системы), В.Л. Стефанюка (коллективное поведение автоматов), Э.А. Трахтенгерца (теория систем поддержки принятия решений, согласование управленческих решений), В.Е. Хиценко (эффекты и признаки самоорганизации сложных систем, эволюционный менеджмент) и др.

Современные методы построения и функционирования систем коллективного принятия решений развиты в работах зарубежных ученых Д. Джонсона (кооперативное обучение, групповая работа), Ж.-Л. Лорьера (системы искусственного интеллекта в области принятия решений), Т.В. Мэллоуна (оценка коллективного потенциала, междисциплинарные исследования), А. Осборна (метод коллективного поиска решения проблем), О. Холмера и Т. Гордона (метод Дельфи) и других. В монографии Т. Сегарана «Программируем коллективный разум» приводится большое количество инструментов, включающих, например, эволюционные стратегии и генетическое программирование для конструирования СКИ в Интернете.

Весьма актуальна, несмотря на свое давнее происхождение, теорема о присяжных маркиза де Кондорсе, опубликованная им в 1785 году. Теорема определяет условия, при выполнении которых вероятность правильного решения, получаемого жюри, стремится к единице. На этом эффекте основываются современные системы краудсорсинга, эксплуатирующие коллективный труд десятков и сотен тысяч пользователей сети Интернет ( Джеф Хау [173]).

С 2012 года в области изучения и применения коллективного интеллекта проводятся регулярные международные конференции, при этом каждый год происходит увеличение направлений исследований - с двенадцати в 2012 году до шестнадцати в 2019 г. (Proc. CI 2012 - CI 2019).

На международной конференции «Collective Intelligence 2012» была сформирована новая междисциплинарная область изучения коллективного интеллекта, с тех пор эти конференции проводятся ежегодно. Анализ трудов этих конференций и последних публикаций авторов пленарных докладов показывает, что главным образом развиваются технологии коллективного интеллекта без построения соответствующих теорий. В отдельных случаях наблюдается применение статистических методов, принципов термодинамики и теории массового обслуживания к изучению информационных процессов. Вводятся эмпирические балльные системы оценки результативности работы участников коллективных проектов. Большей частью изучаются психологические и

социальные аспекты коллективной работы, системы же измерений трудности задач и способностей экспертов к их решению, а также теории, позволяющей оценивать вероятности правильности решения в зависимости от этих параметров, числа экспертов и применяемого ими метода коллективной работы, до сих пор не было создано.

При построении СКИ не в полной мере учитывается двойственность креативных характеристик интеллектуальных агентов*, выступающих при создании коллективного решения в двух ролях - генераторов решений или их частей и оценивателей чужих решений. Далее такие агенты называются акторами, и для них строятся специальные СКИ - системы эволюционного согласования решений**, использующие их работу в этих ролях.

Общим недостатком СКИ, использующих акторов, является то, что подбор акторов осуществляется эмпирическим путем и после решения какой-либо сложной задачи коллективом акторов, невозможно оценить вероятности правильности или ошибочности ее решения. Существующее положение тормозит проведение разработок методов коллективной работы, позволяющих эффективно решать трудные задачи, выдвигаемые практикой, и создавать соответствующие инструментальные средства.

Вместе с тем, несмотря на активные исследования в этой области, все еще остаются не полностью решенными многие проблемы, связанные с разработкой методов и алгоритмов групповой работы. Недостаточно проработаны вопросы интеграции созданных на их основе информационных технологий и особенности их реализации в СКИ с целью повышения эффективности решения трудно формализуемых задач [4,14-16].

Как будет показано в настоящем диссертационном исследовании, выход из

* Под интеллектуальными агентами здесь и далее понимаются носители естественного или искусственного интеллекта, или их симбиозы, целью которых является решение заданных им задач с максимально достижимой вероятностью правильного решения.

"Определение и описание систем эволюционного согласования решений приведено в третьей главе.

этого положения может быть осуществлен на путях применения теории

метасистемных переходов В. Ф. Турчина, установившим в [140] определяющую

роль правил взаимодействия, внесенных извне в систему для возникновения

синергетического эффекта «усиления интеллекта». Использование правил

взаимодействия, взятых из генетических алгоритмов, и ролей акторов при групповой работе позволило создать новый метод - метод эволюционного согласования решений (МЭС).

Следует также отметить, что для класса задач развивающейся цифровой

экономики, связанных с коллективным принятием решений и решением массовых творческих задач, не определены величины, характеризующие как сложность этих задач, так и способность акторов решать их.

Связь вероятности правильного решения тестовых заданий с подготовленностью носителей интеллекта и трудностью заданий была установлена в однопараметрической модели Раша[191]. В диссертационном исследовании удалось применить эту модель для группы акторов и ввести понятие «интеллектуальной силы» актора, связанной с затратами его труда, направленного на правильное решение задачи. Введено понятие «интеллектуальной сложности» задачи, также связанной с затратами труда на ее правильное решение, и определена единица измерения вновь введенных величин - 1 ИНТ.

Резюмируя, можно сделать вывод, что в настоящее время существует проблема теоретического обеспечения многокритериальной оптимизации процессов решения трудных задач с использованием СКИ и обеспечения их соответствующими измерительными и инструментальными средствами.

В связи с этим в диссертационном исследовании поставлена и решается научная проблема создания методологии СКИ и синтеза на этой основе инструментальных средств, приводящих к повышению качества управления на предприятиях, в науке, в образовании и в других отраслях. Одной из составной частей проблемы является метрологическое обеспечение измерения трудности

задач и сертификации экспертов для построения экономически эффективных систем группового решения потоков трудных задач.

Объект исследования - системы коллективного интеллекта, обеспечивающие совместную работу интеллектуальных агентов, объединенных правилами взаимодействия и коммуникационной средой, для оптимального решения поставленных перед ними задач различной степени трудности.

Предмет исследования - модели, алгоритмы, методы синтеза и оптимизации систем коллективного интеллекта в зависимости от состава и природы интеллектуальных агентов, а также от класса решаемых ими задач.

Целью диссертационного исследования является создание методологии и инструментальных средств синтеза систем коллективного интеллекта, позволяющие прогнозировать и получать эффективные решения в управлении, науке и промышленности.

Для достижения цели были поставлены и решены следующие задачи:

1. Исследование концепции использования правил взаимодействия в различных системах коллективного интеллекта в зависимости от классов задач и вида интеллектуальных агентов, позволяющих осуществлять метасистемный переход с переводом системы на более высокий уровень интеллекта.

2. Разработка и создание методологии эволюционного согласования решений в системах коллективного интеллекта, позволяющего увеличивать вероятность правильных решений простых задач и задач со средней степенью трудности по сравнению с лучшим из индивидуальных решений и снижать вероятность ошибочных решений в сложных случаях.

3. Обоснование и введение единиц измерения базовых величин теории систем эволюционного согласования решений - «интеллектуальной сложности» задачи и «интеллектуальной силы» акторов, а также разработка процедуры сертификации акторов по подготовленности и тестовых заданий по их трудности.

4. Создание теоретических положений и математических моделей, позволяющих осуществлять прогнозирование результатов работы коллектива акторов с известными характеристиками и оценивать различные системы коллективного интеллекта по их эффективности.

5. Нахождение условий и принципов синтеза систем эволюционного согласования решений, обладающих свойствами решения задач с минимально возможными ошибками.

6. Разработка инструментальных средств, обеспечивающих эффективную работу систем коллективного интеллекта и их реализация при практическом использовании в управлении, промышленности, науке и других сферах народного хозяйства.

Методы исследования. В работе используются методы системного анализа, теории оптимизации, вычислительной физики, теории вероятностей и математической статистики, тестологии. Применяются модели Монте-Карло и генетические алгоритмы.

Достоверность результатов и их обоснованность обеспечивается корректным применением математического аппарата, статистическими

испытаниями компьютерных моделей и тестированием исследуемых методов в экспериментальных исследованиях, а также соответствием полученных теоретических результатов экспериментальным данным в различных предметных областях.

Область исследования соответствует пунктам 2-5 паспорта специальности 05.13.01. - «Системный анализ, управление и обработка информации (в науке и промышленности)»: формализация и постановка задач, разработка критериев и моделей описания и оценки эффективности решения задач, разработка методов и алгоритмов решения задач системного анализа, оптимизации, управления, принятия решений и обработки информации, разработка специального математического и алгоритмического обеспечения.

Научной новизной исследования является создание методологии систем коллективного интеллекта, основанных на концепции использования правил

взаимодействия, взятых из механизмов функционирования физических и биологических систем. На этой основе осуществлен синтез инструментальных средств, приводящих к эффективному решению сложных задач. Главным отличием от известных подходов, в которых применяются традиционные методы теории принятия решений и теории управления техническими системами, для построения сложных систем предлагается использование теории метасистемных переходов, позволяющих находить и формулировать правила взаимодействия между элементами систем.

Выделены основные элементы научной новизны:

1. Концепция применения правил взаимодействия между элементами системы, основанных на природоподобных механизмах, переводящих систему на более высокий иерархический уровень управления. В этом заключается главное отличие от традиционных способов построения систем, позволяющее создавать эффективные самоуправляемые системы коллективного интеллекта (раздел 1.1.3).

2. Метод коллективного самоуправления техническими объектами, отличающийся тем, что он основан на применении правил взаимодействия, взятых из молекулярной физики и позволяющий строить надежные и эффективные системы коллективного интеллекта (раздел 2.1).

3. Методология систем эволюционного согласования решений. Особенностью систем являются использование генетических алгоритмов в качестве координатора групповой работы акторов, что позволяет увеличивать вероятность правильных решений по сравнению с лучшим из индивидуальных решений в случае простых и средней степени трудности задач и существенно снижать вероятность ошибочных решений в сложных случаях. В методологию включены:

• метод эволюционного согласования решений, особенность которого заключается в применении правил взаимодействия, взятых из генетических алгоритмов для координации работы группы акторов (раздел 2.3.1);

• абсолютная шкала подготовленности акторов и трудности тестовых заданий. Система измерения этих величин позволяет сравнивать

«интеллектуальную силу» носителей естественного и искусственного интеллекта и их групп (раздел 4.4);

• единица измерения «интеллектуальной сложности» задач и «интеллектуальной силы» акторов. Особенностью введенной единицы является то, что ее применение позволяет осуществить принцип равной оплаты за равный труд при решении задач различными акторами, группами акторов и на этой основе осуществить нормирование интеллектуального труда (раздел 4.2);

• математические модели, особенностью которых является возможность прогнозировать результаты работы в зависимости от состава коллектива и способностей акторов и оценивать различные системы эволюционного согласования решений по их эффективности (глава 4).

4. Системы эволюционного согласования решений, особенностью которых являются способность решать задачи произвольной трудности с минимально возможными ошибками (глава 5).

Личный вклад. Все результаты, изложенные в диссертации, получены автором самостоятельно или при его непосредственном активном творческом участии. В совместных работах, опубликованных со своими учениками Е.В. Захожей, Е.И. Мельниковым, О.К. Осипчук, А.А. Дружининым, Е.С. Пуртовым, Л.В. Маркарян, Л.В. Михайловым, Е.А. Шустовым, Р.О. Мирахмедовым и коллегами Г.Н. Ахобадзе, З.Е Потаповой, В.П. Карелиным, М.М. Шарниным, П.Д. Рабиновичем, А.В. Шароновым, Н.А. Максимовым, Л.Д. Певзнером, С.В. Клименко, Ю.В. Чернухиным, Н.И. Витиска, автору принадлежит общая постановка задач, все теоретические результаты и осуществление непосредственного руководства решением научной проблемы. Диссертационная работа, выполненная Л.В. Маркарян под руководством автора настоящей работы, посвящена в основном развитию алгоритмов МЭС в системе образования и применению в проектной деятельности различных организаций и промышленных предприятий.

В диссертационном исследовании предложена и обоснована методология систем коллективного интеллекта на основе правил взаимодействия, взятых из механизмов функционирования сложных физических и биологических систем. Определены базовые для систем эволюционного согласования решений величины. Созданы и испытаны инструментальные средства, позволяющие эффективно и гарантированно решать задачи, постоянно возникающие в различных предметных областях, включая управление, науку и промышленность.

Личное участие автора в получении новых научных и практических результатов, содержащихся в диссертационной работе, формулируется в виде следующих положений.

Основные положения, выносимые на защиту

• Концепция использования правил взаимодействия в системах коллективного интеллекта, основанных на природоподобных механизмах взаимодействия.

• Системы самоуправления транспортных объектов, использующие правила взаимодействия между объектами, взятые из молекулярной физики и механики Ньютона.

• Методология систем эволюционного согласования решений, при использовании которых для простых задач и задач средней степени трудности увеличивается вероятность правильных решений по сравнению с лучшими из индивидуальных решений и снижается вероятность ошибочных решений трудных задач.

• Единица измерения «интеллектуальной сложности» задачи и «интеллектуальной силы» акторов, а также процедура сертификации акторов по подготовленности и тестовых заданий по их трудности.

• Теоретические положения, лежащие в основе метода эволюционного согласования решений, позволяющие прогнозировать результаты групповой работы в зависимости от характеристик и числа акторов, трудности задачи и включающие в себя:

- доказательство утверждения о стремлении к единице вероятности правильного

решения задачи группой акторов при соблюдении определенных условий,

- доказательство утверждения о стремлении к нулю вероятности ошибочного решения

задачи коллективом акторов при соблюдении определенных условий.

- математические модели метода эволюционного согласования решений.

• Системы эволюционного согласования решений, позволяющие группам акторов находить правильные решения с большей вероятностью, чем у лучшего из акторов, при вероятности ошибочного решения группы, меньшей наперед заданной величины.

• Комплекс инструментальных средств анализа, моделирования и синтеза систем коллективного интеллекта, позволяющий обеспечить эффективную работу групп интеллектуальных агентов как при исследовании этих систем в тестовых режимах, так и для их практического применения в управлении, промышленности, науке и других сферах народного хозяйства.

Теоретическая значимость заключается в разработке методологии систем коллективного интеллекта, основанной на развитых в работе теоретических положениях, математических и компьютерных моделях, системе измерения базовых величин теории, в совокупности позволяющих существенно повысить эффективность инструментальных средств, разработанных на этой основе.

Практическая значимость результатов диссертационной работы определяется созданием комплекса программных инструментальных средств, повышающих эффективность процессов обработки информации в интегрированных системах коллективного интеллекта и позволяющих использовать разработанные методы, модели и программные средства в конкретных приложениях. Созданный комплекс инструментальных средств может служить как для научных исследований, так и для комплексирования с другими информационными системами промышленных, коммерческих и государственных предприятий и организаций. С использованием методологии систем коллективного интеллекта и разработанных на этой основе инструментальных средств были решены важные отраслевые задачи

вероятностного анализа безопасности в атомной промышленности, определялись приоритетные проблемы, задачи развития и факторы, влияющие на безопасность и эффективность процессов в горнодобывающем предприятии. Создана методика определения содержания и концентрации до двух десятков химических элементов по данным лазерной спектроскопии в удаленном до 20 км облаке и другие важные приложения, приведенные в пятой главе.

Внедрение и реализация результатов работы. Диссертация является теоретическим обобщением научных исследований, выполненных автором в течение ряда лет на кафедрах Таганрогского радиотехнического университета, Таганрогского государственного педагогического института, Московского физико-технического института, Московского авиационного института и Московского института стали и сплавов.

Теоретический базис разработанного подхода к построению систем коллективного интеллекта основан на исследованиях, результаты которых обобщены в ряде публикаций в реферируемых журналах, учебных пособиях, монографиях, научных статьях и в докладах на региональных и международных конференциях. Под руководством и при участии автора диссертационной работы выполнены работы, поддержанные грантами РФФИ и МНТЦ. Учениками автора защищено восемь магистерских диссертаций, выполняются работы на соискание степени кандидата технических наук, одна работа защищена.

На базе МЭС разработан и создан сайт эволюционного согласования решений Genetic Collective Environment (http://gci.newbylon.com/). С использованием этого сайта проведен ряд экспериментов и практических работ, подтвердивших эффективность применяемых методов и алгоритмов.

Основные результаты диссертационной работы нашли свое применение в виде методик, пакетов сетевых прикладных программ поддержки принятия решений на предприятиях, а также для организации учебного процесса в компьютерных классах и дистанционных курсах.

Результаты диссертационного исследования использованы и используются при выполнении следующих научно-исследовательских работ:

- В АНО «Институт физико-технической информатики» при выполнении НИОКР по теме «Интегрированная, интерактивная интеллектуальная и информационно-аналитическая система для мониторинга объектов и территорий в информационной инфраструктуре электронного правительства» в рамках Федеральной целевой программы «Снижение рисков и смягчение последствий чрезвычайных ситуаций природного и техногенного характера в Российской Федерации до 2010 года», результаты в целом приняты к использованию в основной деятельности данной научно-исследовательской организации.

- В АНО «Институт физико-технической информатики» при работе над проектами Российского Фонда фундаментальных исследований по грантам:

№05-07-90346-в «Разработка и создание системы распознавания лиц с помощью объемных фотороботов на основе общедоступных установок виртуальной реальности» (руководитель),

№08-07-00447-а «Разработка и исследование методов оценки достоверности результатов восстановления объемных фотороботов на основе общедоступных установок виртуальной реальности» (руководитель),

№13-07-00958 «Разработка теории и экспериментальные исследования новой информационной технологии самоуправляемого краудсорсинга» (руководитель),

№16-29-09527 «Исследования и разработка методов тематического моделирования для мониторинга, прогноза и визуализации террористической активности в информационном поле Интернет с использованием виртуального окружения» (исполнитель),

№16-07-00756 «Исследование и разработка семантических методов построения Индекса контекстного научного цитирования» (исполнитель),

№ 17-07-00909 «Исследование и разработка методов и алгоритмов оценки межъязыкового семантического подобия текстов для анализа их идеологического влияния» (исполнитель).

- В Институте химической физики им. Н.Н. Семенова РАН при работе по гранту 1113 ISTC (МНТЦ) «Ecological Monitoring Using Multifrequency IR-laser.

Похожие диссертационные работы по специальности «Системный анализ, управление и обработка информации (по отраслям)», 05.13.01 шифр ВАК

Список литературы диссертационного исследования доктор наук Протасов Владислав Иванович, 2021 год

СПИСОК ЛИТЕРАТУРЫ

1. Адизес, Ицхак. На пороге управленческой революции ёТекст] / И. Адизес // Harvard Business Review Россия». — М.:Изд-во «Бизнес Ньюс Медиа», 2017.

— №125. https://hbr-russia.ru/innovatsii/tekhnologii/843261

2. Алескеров, Ф.Т. Бинарные отношения, графы и коллективные решения [Текст] / Ф.Т. Алескеров // - М.: Изд-во ГУ ВШЭ, 2006. - 298 с.

3. Афанасьев, В.О. Интегрированная, интерактивная, интеллектуальная информационно-аналитическая система для мониторинга объектов и территорий в информационной инфраструктуре электронного правительства [Текст] / В.О. Афанасьев, Ю.М. Батурин, А.Е. Бобков и др. // Труды международной конференции «MEDIAS 2009», Кипр, Лимассол. — Протвино: Изд-во Института физико-технической информатики, 2009. — С. 101—111.

4. Бир, С. Наука управления [Текст] / С. Бир // — М.: Энергия, 1971. -112 с.

5. Бурков, В.Н. Как управлять проектами [Текст] / В.Н. Бурков, Д.А. Новиков // -М.: Синтег, 1997. - 188 с.

6. Величко, С.В. Математические модели выбора и распределения ресурсов в информационных системах управления [Текст] / С.В. Величко, С.А Редкозубов., Ю.С. Сербулов // - Воронеж: Изд-во Воронежского государственного университета, 2004. —218 с.

7. Венда, В.Ф. Инженерная психология и синтез систем отображения информации [Текст] / В.Ф. Венда // —М.: Машиностроение, 1975. - 400 с.

8. Венда, В. Ф. Системы гибридного интеллекта: Эволюция, психология, информатика [Текст] / В.Ф. Венда // —М.: Машиностроение, 1990. - 448 с.

9. Винер, Норберт. Я - Математик / Норберт Винер, пер. с англ. Ю.С. Роман // -М.: Наука, 1967. - 355 с.

10. Винер, Норберт. Кибернетика и общество [Текст]/ Норберт Винер // —М.: Тайдекс Ко, 2002. - 183 с.

11. Виноградов, В.И. Аппаратурное обеспечение гамма-спектрографических исследований с использованием мини-ЭВМ [Текст] / В.И. Виноградов, В.И.

Протасов, Л.И. Менькин // Труды I Всесоюзного совещания по автоматизации исследований в ядерной физике. -Киев: Изд-во АН УССР, 1976. -С. 87 - 88.

12. Виноградов, В.И. Быстродействующая программа обработки сложных гамма-спектров [Текст] / В.И. Виноградов, В. И Протасов, Л.В Степаков //

—М.: Атомная энергия, 1982, №.52. —С. 338 -339.

13. Глушков, В.М. Введение в кибернетику / В.М. Глушков // -Киев: Изд-во АН УССР, 1964. —256 с.

14. Глушков, В.М. Человек и ВТ [Текст] / В.М. Глушков // -Киев: Наукова думка, 1971. - 294 с.

15. Гриценко, В.И. Информационная технология: вопросы развития и применения [Текст] / В.И. Гриценко, Б.Н, Паньшин // —Киев: Наукова думка, 1988. - 268 с.

16. Гриценко, В. И. Распределенные информационные системы широкого применения. Концепция. Опыт разработки и внедрения [Текст] / В.И. Гриценко, А. А. Урсатьев // —Киев: Наукова думка, 2005. - 317 с.

17. Думеш, А.В. О методологии использования генетического алгоритма для оценивания знаний преподавателями при подготовке будущих педагогов [Текст] /

A.В. Думеш, Н.И. Витиска, В.И. Протасов // Труды Всероссийской научно-методической конференции «Развитие системы тестирования в России».

-М., 2004. с. 27—31.

18. Евреинов, Э.В. Однородные вычислительные системы [Текст] / Э.В. Евреинов,

B.Г. Хорошевский // —Новосибирск: Наука, 1978. —319 с.

19. Журавлев, Ю.И. Распознавание». Математические методы. Программная система. Практические применения [Текст] / Ю.И. Журавлев, В.В. Рязанов, О.В. Сенько //. -М.:Изд-во ФАЗИС, 2006. —176 с.

20. Затуливетер, Ю.С. Компьютерные архитектуры: неожиданные повороты [Текст] / Ю.С. Затуливетер // —Hard and Soft, 1996, №2. —С.89 — 94.

21.Затуливетер, Ю.С. Информационная природа социальных перемен. Серия «Информация и Социум» [Текст] / Ю.С. Затуливетер // — М.: СИНТЕГ, 2001. —132 с.

22. Затуливетер, Ю.С. Информация и эволюционное моделирование [Текст]

/ Ю.С. Затуливетер // Труды Международной конференции «Идентификация систем и задачи управления» (SICPRO"2000), Москва, 26-28 сентября 2000 г. —М.: Изд-во Института проблем управления РАН, 2000. —С. 1529—1573.

23. Затуливетер, Ю.С. О фундаментальных проблемах программируемого метакомпьютинга [Текст] / Ю.С. Затуливетер // Научный сервис в сети Интернет. Труды всероссийской научной конференции (23-28 сентября 2002 г., Новороссийск). —М.: Изд-во МГУ, 2002. — С. 218—221.

24. Кайдешвилли, А. Как правильно сравнивать алгоритмы распознавания лиц: что стоит за рекламой? [Текст] / А. Кайдешвилли // - Системы безопасности.

-М: Изд-во Гротек. — 2018, №2(140). —С.96—98.

http://jurnali-online.ru/kompyuternie/sistemy-bezopasnosti-2-aprel-maj-2018.html

25. Каляев, И.А. Распознавание трехмерных объектов на сложном фоне по части контура [Текст] / И.А. Каляев, В.И. Протасов, В.Г. Шаповал //

—Нейрокомпьютеры: разработка, применение. -М., 2001, № 7-8, — С. 45—50.

26. Карелин, В.П. Применение метода генетического консилиума для эволюционного менеджмента в корпоративных системах [Текст] / В.П. Карелин, В.И. Протасов // Труды II международной научно-практической конференции «Проблемы регионального управления, экономики, права и инновационных процессов в образовании». -Таганрог: Изд-во ТИУиЭ, 2001, -С. 59-60.

27. Карелин, В.П. Применение метода генетического консилиума для решения многокритериальных задач дискретной оптимизации в системах управления и принятия решений [Текст] / В.П. Карелин, В.И. Протасов // — Вестник Таганрогского института управления и экономики, 2005, вып.2. -С.67-73.

28. Карелин, В.П. Поиск решения сложных комбинаторных и многокритериальных задач выбора методом генетического консилиума [Текст] / В.П. Карелин, В.И. Протасов // —Известия ТРТУ. -Таганрог:Изд-во ТРТУ, 2004, № 3 (38).

-С.49 - 54.

29. Карелин, В.П. Эффективный метод отыскания гамильтонова цикла и решения задачи коммивояжёра на плоском графе [Текст] / В.П. Карелин, В.И. Протасов //

Материалы Международной научной конференции «Оптимальные методы решения научных и практических задач».—Таганрог: —Изд. «Антон», 2005, ч. 2. —C. 34—37.

30. Карелин, В.П. Квалиметрический подход к формированию группы экспертов и определению их компетентностей при организации коллективного интеллекта [Текст] / В.П. Карелин, В.И. Протасов // — Вестник Таганрогского института управления и экономики, 2012, №2 (16). —C.1 —5.

31. Кибзун, А. И. Оценивание уровней сложности тестов на основе метода максимального правдоподобия [Текст] / А.И. Кибзун, А.О. Иноземцев // — Автоматика и телемеханика, 2014, вып. 4. —С. 20—37.

32. Клименко, А.В. Основы естественного интеллекта: рекуррентная теория самоорганизации: Версия 3 [Текст] / А. В. Клименко, отв.ред.Е.П.Гуськов //

- Ростов-на-Дону : Изд-во Ростовского государственного университета, 1994.

- 304 с.

33. Кузьмин, М. Метод Дельфи [Электронный ресурс] / М. Кузьмин // http: //www.inventech.ru/pub/methods/metod-0013/

34. Ларичев, О.И. Теория и методы принятия решений [Текст]/ О.И. Ларичев // -М.: Логос, 2000. - 296 с.

35. Ларичев, О.И. Выявление экспертных знаний [Текст] / О.И. Ларичев, О.И., А.И. Мечитов, Е.М. Мошкович, Е.М. Фуремс // - М.: Наука, 1989. - 128 с.

36.Малашонок, С.В. Применение генетических алгоритмов к решению задачи формирования инвестиционного портфеля [Текст] / С.В. Малашонок, З.Е. Потапова, В.И. Протасов // — Информационные и телекоммуникационные технологии. -М., 2019, №43. - С. 50-56.

37. Маркарян, Л.В. Применение интеллектуального консилиума в образовании [Текст] / Л.В. Маркарян, В.И. Протасов, З.Е. Потапова, П.Д. Рабинович и др. //

—Горный информационно-аналитический бюллетень. -М.: Горная книга, 2011, №11. - С. 351-354.

38. Маркарян Л.В. Настройка параметров интеллектуального консилиума и измерение знаний [Текст] / Л.В. Маркарян, В.И. Протасов, З.Е. Потапова, П.Д. Рабинович и др. // — Горный информационно-аналитический бюллетень.

-М.: Горная книга, 2011, №11. - С. 359-363.

39. Маркарян, Л.В. Модели и алгоритмы системы коллективного интеллекта в решении задач развития промышленного предприятия [Текст]: дисс. на соискание ученой степени кандидата технических наук: 05.13.01: защищена 17.12.2013/ Маркарян Лаура Виликовна // Московский государственный горный университет, 2013. - 117 с.

40. Марухина, М. В. Система дистанционного обучения с использованием модуля коллективного интеллекта [Текст] / М. В Марухина, Н.А. Максимов, В.И. Протасов // Материалы XVIII Международной конференции «Применение новых технологий в образовании». -Троицк, 2007. - С.287-288.

41. Медведев, Н.Н. Метод Вороного-Делоне в исследовании структуры некристаллических систем [Текст] / Н.Н. Медведев // - Новосибирск: Изд-во СО РАН, 2000. —214 с.

42. Мелихов, А.Н. Ситуационные советующие системы с нечеткой логикой [Текст] / А.Н. Мелихов, Л.С. Берштейн. С.Я. Коровин //-М.: Наука, 1990. - 272 с.

43. Мински, М. На пути к созданию искусственного разума [Текст] / М. Мински // — Вычислительные машины и мышление. - М.: Мир, 1967. -552 с.

44.Миркин, Б.Г. Проблема группового выбора [Текст] / Б.Г. Миркин // - М.: Наука, 1974. - 256 с.

45. Миркин, Б.Г. Анализ качественных признаков [Текст] / Б.Г. Миркин // - М.: Статистика, 1976. -166 с.

46. Миркин, Б.Г. Анализ качественных признаков и структур [Текст] / Б.Г. Миркин // -М.: Статистика, 1980. - 319 с.

47. Моисеев, Н. Н. XXI век — век свершений [Текст] / Н.Н. Моисеев // —Политические исследования. 1993, № 4. — 152 с.

48. Молодчик, П. Компьютер-изобретатель. Часть 2. [Электронный ресурс] / П. Молодчик // https://ko.com.ua/kompyuter-izobretatel сИаБ! 2 9072

49. Мудров, В.И. Задача о коммивояжере / В.И. Мудров // —М.: «Знание», 1969.

—62 с..

50. Муравев-Витковский, А.В. Габитоскопия[Электронный ресурс] / А.В. Муравев-Витковский // http: //www.abckrim.ru/rabota/gabito.htm

51. Негойце, К. Применение теории систем к проблемам управления [Текст] / К. Негойце // - М.: Мир, 1981. - 180 с.

52. Нильсон, Н. Принципы искусственного интеллекта [Текст] / Н. Нильсон // - М: Радио и связь, 1985. - 376 с.

53. Орлов, А.И. Задачи оптимизации и нечеткие переменные [Текст]/ А.Н. Орлов // -М.: Знание, 1980. - 64 с.

54. Орлов, А.И. Эконометрика [Текст]: учебник / А.И. Орлов // -М.: Изд-во «Экзамен», 2002. - 576с.

55. Орлов, А.И. Теория принятия решений [Текст]: учебное пособие /А.И. Орлов // -М.: Изд-во «Март», 2004. -656 с.

56. Орловский, С.А. Проблемы принятия решений при нечеткой информации [Текст] / С.А. Орловский // - М.:Наука, 1981. - 206 с.

57. Осипов, Г.В. Методы измерения в социологии [Текст] / Г.В. Осипов, Э.П. Андреев //- М.: Наука, 1977. - 183 с.

58.Осипов Г.С. Построение моделей предметных областей. Ч. I. Неоднородные семантические сети [Текст] / Г.С. Осипов // — Техническая кибернетика, 1990, № 5. -С. 32 - 45.

59. Основы инженерной психологии [Текст] / Под ред. Б.Ф. Ломова // - М.: Высш. школа, 1986. - 448 с.

60. Острейковский, В.А. Безопасность атомных станций. Вероятностный анализ [Текст] / В.А. Острейковский, Ю.В. Швыряев// - М.: ФИЗМАТЛИТ, 2008. - 352 с.

61. Паповян, С.С. Математические методы в социальной психологии [Текст] / С.С. Паповян // - М.: Наука, 1983. - 343 с.

62. Подиновский, В.В. Оптимизация по последовательно применяемым критериям [Текст] / В.В. Подиновский, В.М. Гаврилов // - М.: Сов. радио, 1975. - 192 с.

63. Подиновский, В.В. Об относительной важности критериев в многокритериальных задачах принятия решений [Текст] / В.В. Подиновский // Многокритериальные задачи принятия решений. - М.: Машиностроение, 1978. -C. 48 - 82.

64. Подиновский, В.В. Коэффициенты важности критериев в задачах принятия решений. Порядковые или ординальные коэффициенты важности [Текст] / В.В. Подиновский // —Автоматика и телемеханика, 1978, № 10. -C. 130 - 141.

65. Потапова, З.Е. Модель виртуального студента и обобщенная модель обучения[Текст] / З.Е. Потапова, Л.В Маркарян, В.И.Протасов // Труды международной конференции «MEDIAS DIALOG 2008», Кипр, Никосия. -Протвино: Изд-во Института физико-технической информатики, 2009. -C. 17-20.

66. Потапова, З.Е. Алгоритмы квазиассоциативного распознавания [Текст] / З.Е. Потапова, В.И. Протасов, А.В. Шаронов // Труды международной конференции «MEDIAS DIALOG 2008», Кипр, Никосия. -Протвино: Изд-во Института физико-технической информатики, 2009. -C. 73-76.

67.Потапова, З.Е. Система поддержки принятия решений на основе сетевого интеллектуального консилиума [Текст] / З.Е. Потапова, В.И. Протасов, В.А. Братищева, С.В. Клименко, Н.А. Максимов и др. // Сборник статей научно-практической конференции: «Ситуационные центры. Методы. Решения. Реализация». РАГС. 2008 г. -М.: Изд-во РАГС. 2009. -C. 35-39.

68. Потапова, З.Е. Интеллектуальный консилиум - новый метод коллективного творчества [Текст] / З.Е. Потапова, В.И. Протасов, С.В. Клименко, П.Д. Рабинович и др. // Сборник научных трудов международной конференции «Диалог 2008». -М.: Изд-во МФТИ, 2008. -C. 129-133.

69. Потапова, З.Е. Применение метода генетического консилиума в образовании и управлении [Текст] / В.И. Протасов Л.В. Маркарян П.Д. Рабинович В.В. Созонов и др. // Материалы научно-практической конференции «Новые информационные технологии в образовании». -М. Изд-во «1С Паблишинг», 2009. -C. 212-216.

70. Потапова, З.Е. Мультиагентный подход к проблеме принятия консолидированных решений [Текст] / З.Е. Потапова, В.И. Протасов, Л.Д.

Певзнер // Труды первой международной конференции «Автоматизация управления и интеллектуальные системы и среды (АУИСС -2010)». -Нальчик: Изд-во КБНЦ РАН. -С.90—94.

71. Потапова, З.Е. Метрология систем эволюционного согласования решений и нормирование интеллектуального труда [Текст] / З.Е. Потапова, В.И. Протасов // Современные информационные технологии и ИТ-образование. - М. - 2019,

том 15, № 4. -С.1058-1069.

72. Потапова, З.Е. Распознавание подобных изображений в больших базах данных [Текст] / З.Е. Потапова, В.И. Протасов, О.М. Сулейменов, Р.В. Сыроешкин // -Математические методы распознавания образов. -М: Изд-во ФИЦ «Информатика и управление», 2007, том 13, №1.- С.619-622.

73.Протасов, В.И. Методика кардинального снижения вероятности принятия ошибочных решений в системах коллективного интеллекта [Текст] / В.И. Протасов, З.Е. Потапова // —Современные информационные технологии и ИТ-образование. - М. - 2019, том 15, № 4. -С. 588 - 601.

74. Протасов, В.И. Экспрессный метод обработки сложных гамма-спектров [Текст] / В.И Протасов, В.И. Виноградов, В.В. Буньков // Труды III Всесоюзного совещания по метрологии нейтронного излучения. -Свердловск: Изд-во УПИ, 1983, том 2. -С. 54 - 59.

75. Протасов, В. И. Об одном методе коллективного принятия решений при построении фоторобота [Текст] / В. И. Протасов, Ю.В. Чернухин, Ю.Ю. Здоровеющев, Д.С. Панфилов // Труды международной научно-технической конференции «Интеллектуальные многопроцессорные системы ИМС-99». -Таганрог: Изд-во ТРТУ, 1999. -С. 222-225.

76. Протасов, В.И. Сравнительный анализ применимости методов наименьших квадратов и эволюцнонно-генетического для спектрального анализа многокомпонентных смесей [Текст] / В.И. Протасов, В.И. Алехнович, А.Н. Житов // Труды Х международной научно-технической конференции «Лазеры в науке, технике и медицине». -Сочи, 1999. -С. 231-235.

77. Протасов, В. И. Генерация фоторобота с помощью сетевого человеко-машинного интеллекта [Текст] / В. И. Протасов, Ю.В. Чернухин, Ю.Ю. Здоровеющев, Д.С. Панфилов // Труды международной научно-технической конференции «Интеллектуальные многопроцессорные системы ИМС-99». -Таганрог: Изд-во ТРТУ, 1999. -С.106-107.

78. Протасов, В. И. Применение метода генетического консилиума в системе экономического образования на примере задачи формирования инвестиционного портфеля [Текст] / В. И. Протасов, Е.В. Шустов // Материалы международной научно- практической конференции «Проблемы образования студентов гуманитарных вузов в свете развития современных информационных технологий». -Таганрог: Изд-во ТГПИ, 2001. -С.34—35.

79. Протасов, В. И. Применение метода генетического консилиума в дистанционном образовании на примере организации урока по физике [Текст] / В.И. Протасов, Н.И. Витиска, Е.А. Шустов // Труды IV Всероссийской конференции «Новые информационные технологии. Разработка и аспекты применения». — Таганрог: Изд-во ТГПИ, 2001. -С.149—152.

80. Протасов, В. И Генетический консилиум - новый метод самообразования и оценки знаний учащихся [Текст] / В.И. Протасов // Материалы XI специализированной конференции «Информационные технологии в образовании». —М., 2001. -С.165—167.

81. Протасов, В. И Самоорганизация самообразования в сети на базе метода генетического консилиума [Текст] / В.И. Протасов // Материалы XI специализированной конференции «Информационные технологии в образовании». —М.,2001. -С. 167—168.

82. Протасов, В. И. Использование коллективного интеллекта группы роботов для ускорения принятия целесообразных решений [Текст] / В. И Протасов, Н.И. Витиска, Л.А. Щелчкова // Материалы научной молодежной школы

«Интеллектуальные робототехнические системы ИРС 2001», Геленджик. -

Таганрог: Изд-во ТРТУ, С.187—189.

83. Протасов, В. И. Решение сложных проблем методом генетического консилиума [Текст] / В. И. Протасов, Н.И. Витиска, Е.А. Шустов // Труды Международной научно-технической конференции «Интеллектуальные многопроцессорные системы ИМС 2001», Дивноморское. -Таганрог: Изд-во ТРТУ, 2001. - С. 53-55.

84. Протасов, В. И. Генерация новых знаний сетевым человеко-машинным интеллектом. Постановка проблемы [Текст] / В.И. Протасов // -Нейрокомпьютеры: разработка, применение. -М., 2001, № 7-8. -С. 94-103.

85. Протасов, В. И. Новый метод коллективного творчества в компьютерных сетях [Текст] / В. И. Протасов, В.П. Карелин // Сборник докладов IV международной научно-практической конференции «Фундаментальные и прикладные системы приборостроения, информатики, экономики и права». - Сочи. 2001. -С. 215-218.

86. Протасов, В. И. О возможности применения метода генетического консилиума в эволюционном менеджменте [Текст] / В. И. Протасов, В.П. Карелин // Межвузовский научный сборник «Проблемы формирования и оценки факторов экономического роста региона». -Таганрог: Изд-во ТИУЭ, 2002, вып.1. -С. 34-35.

87. Протасов, В. И. Метасистемный эффект самоорганизации интеллекта более высокого уровня из искусственных и естественных компонентов [Текст] / В.И. Протасов // Сборник научных трудов IV Всероссийской научно-технической конференции «Нейроинформатика 2002», - М:, 2009. -С. 33-40.

88. Протасов, В. И. Применение метода коллективного творчества при проведении урока по физике [Текст] / В.И. Протасов // Сборник научных трудов VIII международной конференции «Математические модели физических процессов и их свойства». -Таганрог: Изд-во ТГПИ, 2002. -С. 17-19.

89. Протасов, В. И. Новый метод коллективной разработки проектов в компьютерных сетях [Текст] / В. И. Протасов, В.П. Карелин // Известия вузов Сев. Кавказского региона. Технические науки. -Ростов-на-Дону, 2002, №2.

-С.. 27-30.

90. Протасов, В. И. Эффект усиления интеллекта в системах, состоящих из искусственных и естественных элементов [Текст] / В. И. Протасов, Н.И Витиска //

Материалы международной научно-технической конференции "Супер ЭВМ и МВС". -Таганрог: Изд-во ТРТУ, 2002. -С. 117- 118.

91. Протасов, В. И. Тестирование гибридного человеко-машинного интеллекта на шахматных задачах [Текст] / В.И. Протасов // Материалы международной научно-технической конференции «Искусственный интеллект 2002». -Кацивели, Крым . -Таганрог: Изд-во ТРТУ, 2002. -С. 348-353.

92. Протасов В.И. Применение метода эволюционного согласования решений в краудсорсинге [Текст] / В.И. Протасов, З.Е. Потапова, О.К. Осипчук // Труды ХХ Байкальской Всероссийской конференции «Информационные и математические технологии в науке и управлении». - Иркутск: Изд-во ИСЭМ СО РАН, 2015, часть 2. - С.158 - 163.

93. Протасов, В. И. Организация коллективной работы с информацией в корпоративных информационных системах [Текст] / В. И. Протасов, В.П. Карелин // Труды III международной научно-практической конференции «Проблемы регионального управления, экономики, права и инновационных процессов в образовании». -Таганрог: Изд-во ТИУиЭ, 2003. - С. 148 - 152.

94. Протасов, В. И. Применение метода генетического консилиума для коллективного перевода текстов [Текст] / В. И. Протасов, Н.И. Витиска, А.В. Думеш, В.А. Галицкий // Педагогическая информатика,-М., 2003, № 3. - С. 59-64.

95. Протасов, В. И. Решение многокритериальной задачи о назначениях методом генетического консилиума [Электронный ресурс] /В. И. Протасов, Н.И. Витиска, Е.А Шустов // Российский экономический Интернет-журнал, 2003.

http: //www. e-rei. ru/Articles/2003/Counsil .pdf

96. Протасов, В. И. Совершенствование техники перевода с использованием интернет моста в разноязычных группах [Текст] / В.И. Протасов // Сборник научных трудов международной конференции «Проблемы формирования единого образовательного пространства г. Таганрога». -Таганрог: Изд-во ТГПИ, 2003.

- С. 78 - 81.

97. Протасов, В. И. О создании программных комплексов поддержки сетевых систем коллективного творчества и принятия решений [Текст] / В. И. Протасов,

Н.И. Витиска, Л.В. Михайлов // Сборник «Актуальные проблемы социальной работы, экономики, образования и культуры» /под ред. В.С. Кукушина. - Ростов-на-Дону: Изд-во «Новый бизнес», 2004. - С. 217-220.

98. Протасов, В.И. Компьютерные системы коллективного творчества и поддержки принятия решений [Текст]: учебное пособие / В.И. Протасов // -Таганрог: Изд-во Таганрогского государственного педагогического института, 2004. -94 с.

99. Протасов В.И. Решение многокритериальных оптимизационных задач методом генетического консилиума в распределенных компьютерных системах [Текст] / В.И Протасов, В.П. Карелин, А.В. Лозовский // Труды V научно-практической конференция преподавателей, студентов, аспирантов и молодых ученых ТИУиЭ, апрель 2004 года. -Таганрог: Изд-во ТИУиЭ, 2004. - С. 86 - 89.

100. Протасов, В.И. Метод эволюционного согласования решений. Компьютерная и математические модели [Текст] / В.И. Протасов // -Горный информационно-аналитический бюллетень. -М.: Изд-во «Горная книга», 2011, №51. -С. 360-379.

101. Протасов, В.И. Определение меры трудности заданий и уровня подготовленности экспертов при использовании метода эволюционного согласования решений [Текст] / В.И. Протасов // -Педагогические измерения. -М.: Изд-во НИИ школьных технологий, 2015, №2. -С. 34-46.

102. Протасов, В.И. Использование метода коллективного человеко-машинного интеллекта для восстановления субъективного портрета [Текст] / В.И. Протасов, Н.И. Витиска, Л.В. Михайлов // Сборник «Актуальные проблемы социальной работы, экономики, образования и культуры» /под ред. В.С. Кукушина. - Ростов-на-Дону: Изд-во: «Новый бизнес», 2006. -С. 213-219.

103. Протасов, В.И. Оценивание знаний студентов при использовании метода генетического консилиума [Текст] / В.И. Протасов, Н.И. Витиска, Л.В. Михайлов, М.А. Марухина // Сборник «Актуальные проблемы социальной работы, экономики, образования и культуры»/под ред. В.С. Кукушина. - Ростов-на-Дону: Изд-во «Новый бизнес», 2006, -С. 220-225.

104. Протасов В.И Разработка и создание системы распознавания лиц с помощью объемных фотороботов на основе общедоступных установок виртуальной

реальности [Текст] / В.И. Протасов, А.А. Дружинин, С.В. Клименко, З.Е. Потапова // Итоговый отчет по гранту РФФИ № 05-07-90346. -М., 2007. -54 с.

105. Протасов В.И. Методика восстановления субъективного портрета коллективом свидетелей с использованием 3D - морфинга [Текст] / В.И. Протасов, А.А. Дружинин, Л.В. Михайлов // -Программные продукты и системы. - Тверь: Изд-во МНИИПУ, 2007, №1(77). -С. 21-24.

106. Протасов, В.И. Новый метод восстановления субъективного портрета [Текст] / В.И. Протасов, Е.Ф. Потапова, З.Е. Потапова // Труды XVI международного научно-технического семинара «Современные технологии в задачах управления, автоматики и обработки информации». -Алушта, 2007. -С. 27 -28.

107. Протасов, В.И. Метасистемный переход и повышение интеллекта в системах, состоящих из искусственных или естественных компонентов [Текст] / В.И. Протасов, З.Е. Потапова // Труды XVI международного научно-технического семинара «Современные технологии в задачах управления, автоматики и обработки информации». -Алушта, 2007 . -С.29 -32.

108. Протасов В.И. Коллективный усилитель интеллекта [Текст] / В.И. Протасов, З.Е. Потапова, Л.В. Михайлов // Материалы XVIII Международной конференции «Применение новых технологий в образовании». -Троицк, 2007.

- С.482-483

109.Протасов, В.И. Разработка и создание системы распознавания лиц с помощью объемных фотороботов на основе общедоступных установок виртуальной реальности [Текст] / Дружинин А.А., Клименко С.В., Протасов В.И., Потапова З.Е. // - Математические методы распознавания образов. -М: Изд-во ФИЦ «Информатика и управление», 2007, том 13, №1. - С.584-585.

110. Протасов, В.И. Минимизация вероятности ошибок в распознавании объектов бортовыми компьютерными системами беспилотных летательных аппаратов [Текст] / В.И. Протасов, А.В. Шаронов, М.М. Шарнин, А.С. Клименко // -Труды Московского авиационного института. - М.: Изд-во МАИ, 2017, № 92 . -С. 1-19.

111. Протасов, В.И. Математическая модель системы принятия консолидированных решений [Текст] / В.И. Протасов, Л.Д. Певзнер // - Горный информационно-аналитический бюллетень. -М.:Изд-во «Горная книга», 2011, №1. -С.319-327.

112. Протасов, В.И. Квазиассоциативный поиск цифровых снимков в больших базах данных [Текст] / В.И. Протасов, Н.А.Максимов, З.Е. Потапова, Д.П.Синча // -Вестник Московского авиационного института. - М.: Изд-во МАИ, 2008, т.15 №4. -С.63-68.

113. Протасов, В.И. Совершенствование инструментов электронной демократии с использованием технологий коллективного интеллекта [Текст] / В.И. Протасов, Б.Б. Славин // -Информационное общество.- М: Изд-во Института развития информационного общества, 2017, вып.2. -С.37-44.

114. Протасов, В.И. Составление фоторобота интеллектуальным консилиумом [Текст] / В.И. Протасов, З.Е. Потапова // - Мир измерений. -М.: Стандарты и качество, 2009, №3. -С.10-16.

115. Протасов, В.И. Итоговый отчет по гранту РФФИ № 08-07-00447-а. Разработка и исследование методов оценки достоверности результатов восстановления объемных фотороботов на основе общедоступных установок виртуальной реальности [Текст] / В.И., Протасов С.В., Клименко З.Е., Потапова и др. // - М.: РФФИ, 2009. - 81 с.

116. Протасов, В.И. Квалиметрия метода генетического консилиума в образовании [Текст] / В.И Протасов, З.Е. Потапова, П.Д. Рабинович, В.В Созонов // Материалы научно-практической конференции «Новые информационные технологии в образовании» 3-4 февраля 2009. -М.: Изд. «1С Паблишинг», 2009. -С. 62-66.

117. Протасов, В.И. Использование новой информационной технологии -коллективный редактор текста - в образовании [Текст] / В.И Протасов, З.Е. Потапова, Л.В. Маркарян, В.В. Созонов // Материалы Всероссийской научно -практической конференции «Инновационные технологии обучения в высшей школе».-Сочи: Изд-во Черноморской гуманитарной академии, 2009. -С. 123-125.

118. Протасов В.И. Конструирование метасистемных переходов [Текст] -М.: Изд-во Института физико-технической информатики, 2009. -186 с.

119. Протасов, В.И. Квалиметрия метода эволюционного морфинга [Текст]

/ В.И. Протасов // Труды 19-й международной конференции по компьютерной графике и зрению <^гарЫсоп2009». -М.: Изд-во МГУ, 2009. -С. 236-240.

120. Протасов, В.И. Применение интеллектуального консилиума в образовании [Текст] / В.И. Протасов, Л.В. Маркарян, З.Е. Потапова // Сборник трудов Международной научно- практической Интернет-конференции "Информационные технологии в науке и образовании". -Шахты: Изд-во ЮжноРоссийского государственного университета экономики и сервиса, 2009. -С.229 -232.

121. Протасов, В.И. Разработка и исследование системы самоуправления в группе БПЛА на базе метода молекулярной динамики [Текст] / В.И. Протасов, Д.С. Бондаренко // Сборник трудов XLII Международной конференции « Гагаринские чтения 2017». - М.:Изд-во МАИ, 2017. - С. 1003-1004.

122. Протасов, В.И. Система коллективного самоуправления транспортными средствами [Текст] / В.И. Протасов, З.Е. Потапова, А.В. Шаронов // - Известия Института инженерной физики. - Серпухов: Изд-во Известия Института инженерной физики, 2018, № 1 (47). - С. 78-81.

123. Протасов, В.И. Определение достоверности восстановления субъективного портрета с использованием генетического консилиума [Текст] / В.И.Протасов // -Информатика и ее применения. -М., 2010, т.4, вып.1. - С. 78-83.

124. Протасов, В.И. Применение новой сетевой информационной технологии интеллектуального консилиума для составления фоторобота [Текст] / В.И. Протасов, П.Д. Рабинович // -Труды Института системного анализа. -М., 2010, том.1. - С. 279 - 286.

125. Протасов, В.И. Сертификация экспертов и определение относительной цены задачи в зависимости от ее сложности [Текст] / В.И. Протасов, З.Е Потапова, О.К. Осипчук // Труды ХХ Байкальской Всероссийской конференции

«Информационные и математические технологии в науке и управлении».-Иркутск: Изд-во ИСЭМ СО РАН, 2015, часть 2. -С.164-175.

126. Протасов, В.И. Применение генетических алгоритмов для получения логически связного машинного перевода текста [Текст] / В.И. Протасов, Е.В. Захожая // International Scientific Conference "Horizons of applied linguistics and linguistic technologies" Megaling 2010, Ukraine, Crimea, Parthenit. -Алушта:Изд-во Таврического национального университета им. В.И. Вернадского, 2010.-С. 34-36.

127. Протасов, В.И. Применение сетевого метода эволюционного согласования решений в управлении проектами [Текст] / В.И. Протасов // - Управление проектами и программами. -М.: Изд-во Grebennikov, 2011, т. 1(25). -С. 22-35.

128. Протасов, В.И. Настройка параметров метода эволюционного согласования решений [Текст] / В.И. Протасов // -Известия Кабардино-Балкарского научного центра РАН, 2012, №2(46). - C.29-37.

129. Протасов, В.И. Уменьшение ошибок первого рода при распознавании контуров самолетов с использованием коллективного интеллекта БПЛА [Текст] / В.И Протасов, Р.О. Мирахмедов, З.Е. Потапова, М.М. Шарнин и др. // -Известия Кабардино-Балкарского научного центра РАН,2018, №6(86). -С.70 -82.

130. Редько, В.Г. Оценка эффективности эволюционных алгоритмов [Текст] / В.Г. Редько, Ю.Р. Цой // -Доклады АН, 2005,том 404, № 3. -С. 312-315.

131. Редько, В.Г. Оценка скорости и эффективности эволюции для простых вариантов генетического алгоритма [Электронный ресурс] / В.Г. Редько, Ю.Р. Цой // http://www.niisi.ru/iont/proiects/rfbr/00180/publications/Redko 14.pdf

132. Саати, Т. Принятие решений. Метод анализа иерархий: Пер. с англ. / Т. Саати // - М.: Радио и связь, 1993. - 320 с.

133. Сегаран, Е. Программируем коллективный разум [Текст] / Е. Сегаран // -СПб: Изд-во Символ-Плюс, 2008. - 368 с.

134. Свидетельство об официальной регистрации программы для ЭВМ. Программа эволюционного согласования решений группой экспертов на языке С# [Текст] В.И. Протасов, заявитель и правообладатель. - №2018618073/18; заявл. 07.07.18; опубл. 01.10.2018, Реестр программ для ЭВМ. - 1 с.

135. Созонова, Г.С. Компьютерная поддержка коллективной работы при составлении консолидированных текстов [Текст] / Г.С. Созонова, В.В. Созонов, В.И. Протасов, З.Е. Потапова и др. // Материалы научно-практической конференции: «Новые информационные технологии в образовании». -М. Изд. «1С Паблишинг», 2009. -С. 293-296.

136. Созонова, Г.С. Тестирование метода интеллектуального консилиума для применения в сфере управления и образования [Текст] / Г.С. Созонова, В.В. Созонов, В.И. Протасов, З.Е. Потапова и др. // Материалы Международной научно-практической конференции «Новые информационные технологии в образовании» —Екатеринбург: Изд-во Российского профессионально-педагогического университета, 2009. —С.193—195.

137. Тихонов А.Н. Методы решения некорректных задач [Текст] / А.Н. Тихонов, А.Я. Арсенин // - М.: Наука, 1986. — 288 с.

138. Тоффлер, Э. Третья волна [Текст] / Э. Тоффлер // — М.: АСТ,1999. — 784 с.

139. Трахтенгерц, Э.А. Компьютерная поддержка принятия решений [Текст]/ Э.А. Трахтенгерц // - М.: СИНТЕГ, 1998. - 811 с.

140. Турчин, В.Ф. Феномен науки. Кибернетический подход к эволюции [Текст]/ Турчин В.Ф. // —М.: Синтег,1993. — 456 с.

141. Форрестер, Дж. Основы кибернетики предприятий [Текст] / Дж.Форрестер //

- М.: Прогресс, 1971. — 164 с.

142. Хиценко В.Е. Самоорганизация в социальных системах. Эволюционный менеджмент.Реф. обзор [Текст] / В.Е Хиценко // —Новосибирск: Изд-во НГТУ, 1993. —14с.

143. Холодных, А.И. Решение обратной спектральной задачи определения размеров и концентраций аэрозолей эволюционно-генетическим методом [Текст]/ А.И. Холодных, В.Я. Агроскин, Г.К Васильев, А.Н.Житов и др. // Труды IV Всероссийской конференции «Экоаналитика-2000» . —Краснодар, 2000.

— С. 237—239.

144. Чернухин, Ю.В. Метод восстановления субъективного портрета на основе генетического алгоритма [Текст] / Ю.В. Чернухин, В.И. Протасов, Д.С. Панфилов // -Известия ТРТУ, 2000, №2(16). —C. 89—92.

145. Чернухин, Ю.В. Метод коллективного принятия решений при построении фоторобота на основе генетического алгоритма [Текст] / Ю.В. Чернухин, В.И. Протасов, Д.С. Панфилов // -Известия ТРТУ, 2000, №2(16). —С. 377—378.

146. Чернухин, Ю.В. Эволюционно-генетический подход к принятию коллективных решений в компьютерных сетях [Текст] / Ю.В. Чернухин, В.И. Протасов, Ю.Ю. Здоровеющев // - Известия ТРТУ, 2001, №3(21). —С. 170—171.

147. Шарден, П. Феномен человека [Текст] / Пьер Тейяр де Шарден // -М.: "Прогресс", 1965.-240с.

148. Шишина, Е.С. Разработка базы данных при проведении вероятностного анализа безопасности АЭС [Текст] / Е.С. Шишина // -М.: Изд-во «Атомэнергопроект», 2004. -79 с.

149. Шуровьески, Дж. Мудрость толпы. Почему вместе мы умнее, чем поодиночке, и как коллективный разум формирует бизнес, экономику, общество и государство: Пер. с англ. [Текст] / Дж. Шуровьески // - М.: Изд-во "И.Д. Вильяме", 2007.

— 304 с.

150. Шустов, Е.А. Решение задачи формирования инвестиционного портфеля кластером компьютеров с использованием метода «каскадного усиления интеллекта» [Электронный ресурс] / Е.А. Шустов, В. И. Протасов,

Н.И. Витиска // -Российский экономический Интернет-журнал, 2003. http://www.e-rei.ru/Articles/2003/Invest.pdf

151. Шустов, Е.А. Исследование эффективности метода генетического консилиума при решении задачи коммивояжера [Текст] / Е.А. Шустов, В. И. Протасов, Н.И. Витиска // - Известия Челябинского научного центра УРО РАН, 2004, №1.

—C. 11—16.

152. Agroskin, V. Ecological Monitoring Using Multifrequency IR laser. Matematical Modelling and Feasibility Study. Report of the Grant International science &

technology center №1113 [Text] / V. Agroskin, G. Wasiljev, V. Protasov, A. Shitov // —Chernogolovka, Institut of problems of chemical physics. 2000. —133 p.

153. Aizerman, M.A. Voting operators in the space of choice functions [Text] / M.A. Aizerman, F.T. Aleskerov // -Mathematical Social Sciences., June 1986, Vol. 11, Iss. 3. —P. 201—242.

154. Aldenderfer, M.S. Cluster Analysis [Text] / M.S. Aldenderfer, R.K. Blashfield // -Beverly Hills, CA: Sage Publications,1984. —88 p.

155. Baharad, Eyal. Beyond Condorcet: Optimal Aggregation Rules Using Voting Records [Electronic resource] / Eyal Baharad, Jacob Goldberger, Moshe Koppel, Shmuel Nitzan // The Open Access Publication Server of the ZBW - Leibniz Information Centre for Economics. CESIFO WORKING PAPER NO. 3323 CATEGORY 2: PUBLIC CHOICE JANUARY 2011. https://www.econstor.eu/dspace/bitstream/10419/46518/1/659079097.pdf

156. Barrett, C.R. On choosing rationally when preferences are fuzzy [Text] / C.R. Barrett, P.K. Pattanaik, M.Salles // -Fuzzy Sets and Systems,1990,v. 34.

— P.197 — 212.

157. Bellman R.E. Decision-making in a fuzzy environment [Text] / R.E. Bellman, L.A. Zadeh // -Management Sci.,1970, v.17. — P.141—164.

158. Chudinov V. Evolution of cascade region in Nb3Sn during thermal spice under fast neutron irradiation [Text] / V. Chudinov, V. Protasov // -Physic state solidi.

- Berlin, 1983, v. 80(a). - P.349-354.

159. Chudinov, V. Molecular dynamics study of atomic configuration of point defects in intermetallic compound Mo3Si [Text] / V. Chudinov, V. Protasov, N. Moseev, B. Goshchitski // -Physic state solidi. - Berlin, 1986, v 94(a). - P.147-152.

160. Chudinov, V. Possible mechanism of homogeneous nucleation, growth and annealing of interstitial-type dislocation loops in pure FCC metals [Text] / V. Chudinov,

V. Protasov, O. Zalukovskaja // -Radiation Effects and Defects in Solids. - London, March 1987, v. 103, Iss. 1 - 4._ -P.141 - 147.

161. Condorcet, marquis Marie-Jean-Antoine-Nicolas de Caritat. Essai sur l'application de l'analyse à la probabilité des décisions rendues à la pluralité des voix [Text] / Marie-Jean-Antoine-Nicolas Condorcet // -Paris: Imprimerie Royale, 1785.

162. Daniels, B.C. Dual Coding Theory Explains Biphasic Collective Computation in Neural Decision-Making [Electronic resource] / B.C. Daniels, J.C. Flack, D.C Krakauer // Front Neurosci. 2017, v.11. -313 p. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5459926/

163. Fishburn, P.C. Utility Theory for Decision Making [Text] / P.C. Fishburn, C. S. Fishburn // —New York: John Wiley & Sons, Jan 15, 1970 . —234 p.

164. Frowd, C.D. EvoFIT: A Holistic, Evolutionary Facial Identification Technique for Creating Composites [Text] / C.D. Frowd, P.J.B. Hancock, D. Carson // Association for Computing Machinery Transactions on Applied Psychology, 2004, v.1 (1). —P.21—41.

165. Forsyth, R. Expert systems. Principles and case studies [Text] / R. Forsyth // —London: Chapman and Hall, 1984. —231 p.

166. Grudin, J. Computer-Supported Cooperative Work: Its History and Participation [Text] / J. Grudin // -Computer, 1994, v. 27 (4). — P. 19—26.

167. Gupta, M.M. Approximate Reasoning in Decision Analysis [Text] / M.M Gupta, E. Sanchez // North-Holland Publishing Company, 1982. —455 p.

168. Gupta M.M. Approximate Reasoning in Expert Systems [Text] / M.M. Gupta // -North-Holland Publishing Company, 1985. —835 p.

169. Hancock, Peter J. B. Evolutionary generation of faces [Text] / Peter J. B. Hancock, Charlie D. Frowd // -San Francisco: Morgan Kaufmann Publishers Inc. , 2001.

- p. 409 - 423.

170. Herrera, F. Direct approach process in group decision making using linguistic OWA operators [Text] / F. Herrera, E. Herrera-Viedma, J.L. Verdegay // -Fuzzy Sets and Systems, 1996, v.79. —P.175— 190.

171. Herrera, F. A model of consensus in group decision making under linguistic assessments [Text] / F. Herrera, E. Herrera-Viedma, J.L. Verdegay // -Fuzzy Sets and Systems, 1996, v.78. —P.73— 87.

172. Holland, J.H. Adaptation in natural and artificial systems [Text] / J. H. Holland // -University of Michigan Press, Ann Arbor, 1975. —228 p.

173. Howe, J. The Rise of Crowdsourcing [Text] / J. Howe // Wired, 2006. —P.1—4.

174. Johnson, N. Diversity in Decentralized Systems: Enabling Self-Organizing Solutions [Text] / N. Johnson // -Presented at the Decentralization II Conference, UCLA, November 19—20, 1999.

https://citeseerx.ist.psu.edu/viewdoc/download;isessionid=C2576EC7B0246F3D123FA 77E53142673?doi=10.1.1.80.1110&rep=rep1&type=pdf

175. Johnson, S.C. Hierarchical clustering schemes [Text] / S.C. Johnson // -Psychometrika, 1967, v. 32. —P. 241—254.

176. Kahneman, D. Before you that big decision [Text] / D.Kahneman, D. Lovallo, and O. Sibany //— Harward Business Review, Yune 2011, Vol. 89, No 6. —P.56—60.

177. Kaljaev, I. An Efficient Method for the Recognition of Three- Dimensional Objects from a Contour Segment [Text] / I. Kaljaev, V. Protasov, V. Shapoval //- Pattern Recognition and Image Analysis, 1998, v.8, № 2. —P. 196—197.

178. Koriyama, Y. A resurrection of the Condorcet Jury Theorem [Text] / Yukio Koriyama, Balazs Szentes //- Theoretical Economics, 2009, v.4. — P. 227-252.

179. Koza, J.R. Genetic Programming: A Paradigm for Genetically Breeding Populations of Computer Programs to Solve Problems [Electronic resource] / J.R. Koza // Stanford University Computer Science Department technical report STAN-CS-90-1314, 1990 http: //www.genetic-pro gramming.com/j kpdf/tr 1314.pdf

180.Kureichik, V.M. Genetic Algorithm for Solution of the Traveling Salesman Problem with New Features against Premature Convergence [Text] / V.M. Kureichik, V.V. Miagkikh, A.P. Topchy // -TSURE Journal of Engineering, 1997, №3. https://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.51.7747&rep=rep1&type=p df

181. Ligthill, M.J. On kinetic waves II. A theory of traffic flow on crowded roads[Text]/ M.J. Ligthill, F.R.S. Whitham // - Proc. of the Royal Society Ser. A. -London.

- 1955, № 1178, v. 229. -P. 317-345.

182. Little J.D.C. An algorithm for the traveling salesman problem [Text] / J.D.C. Little, K.G. Murty, D.W. Sweeney, C. Karel // - Operations Research, 1963, v. 11. —P. 972— 989.

183. Malone, T.W. Harnessing Crowds: Mapping the Genome of Collective Intelligence [Electronic resource] / T. W. Malone, R. Laubacher, R. Dellarocas, N. Chrysanthos // -MIT Sloan Research,2009, Paper No. 4732-09. https://papers.ssrn.com/sol3/papers.cfm7abstract id=1381502

184. Maximov, N.A. Decentralized control of a group of quadrocopters using the molecular dynamics method [Text] / N. A. Maximov, V. I. Protasov, Z. E. Potapova, A. V. Sharonov, I. K. Shatalov // -Amazonia Investiga, April 2020, v. 9(28).

—P. 404—411 .https://doi.org/10.34069/AI/2020.28.04.45 Roman, Zinaida Potapova and Vladislav Protasov

185.Mirakhmedov, R. MESING - a new method of organizing the joint work of neural networks and its metrology [Text] /M. Mirakhmedov, Z. Potapova, V. Protasov //

— Journal of Physics: Conference Series , 2021, v. 1727, 012004. https://iopscience.iop.org/article/10.1088/1742-6596/1727/1/012004/pdf

186. Mitchell, M. An Introduction to Genetic Algorithms [Text] / M. Mitchell //

— Cambridge: The MIT Press, 1996. —221 p.

187. Nix, A.E Modeling genetic algorithms with Markov chains [Text] / A.E. Nix, M.D. Vose // —Annals of Mathematics and Artificial Intelligence, 1991, No. 5. —P. 79—88.

188. Osborn, A. Applied Imagination: Principles and Procedures of Creative Problem Solving [Text] / A. Osborn // —New York: Charles Scribner's Sons, 1963. —417 p.

189. Protasov, V. How to reduce the probability of erroneous decisions in the systems of collective intelligence [Text] / V. Protasov, Z. Potapova , G. Akhobadze// -IOP Conference Series: Materials Science and Engineering, 2020, v.927(1), 012069. https://iopscience.iop.org/article/10.1088/1757-899X/927/1/012069/pdf

190. Protasov, V. The Crowdsourcing Linguistic Technology for Experts Assessment [Text] / V. Protasov, M., Charnine, E. Melnikov // — Proceedings of the 2014 International Conference on Artificial Intelligence, - Las Vegas: CSREA Press, 2014, v. II. —P. 656-661.

191. Rasch, G. Probabilistic Models for Some Intelligence and Attainment Tests [Text]/ G. Rasch // —Chicago: University of Chicago Press, 1981. —199 p.

192. Saaty, T.L. Exploring the interface between hierarchies, multiple objectives and fuzzy sets [Text] / T.L. Saaty // -Fuzzy Sets and Systems, 1978, v. 1. — P.57 —68.

193. SBER. Crowdsourcing [Electronic resource] http://sberbank21 .wikivote.ru/crowdsourcing.html

194. Shapiro, J. A statistical mechanical formulation of the dynamics of genetic algorithms [Text] / Jonathan Shapiro, Adam Prügel-Bennett, Magnus Rattray // —Proceeding conference AISB Workshop on Evolutionary Computing, 1994. —P.17-27.

195. Turing, A.M. Computing Machinery and Intelligence [Text] / A. M. Turing // -Mind, New Series, October 1950, v.59, №236. —P. 433—460.

196. Twidale, M. B. Browsing is a collaborative process [Text] / M.B. Twidale, D.M. Nicols, C.D. Paice // - Information Processing & Management, 1997, v. 33 (6).

—P.761—783.

197. Veltman, K. Computers and a new philosophy of knowledge [Text] / K. Veltman // -Frankfurt: Internftional Classification, 1991, v. 18. —P.2—12.

198. Vose, M. D. Punctuated equilibria in genetic search [Text] / M. D. Vose, G. E. Liepins // —Complex Systems, 1991, No 5. —P. 31-44.

199. Witology [Electronic resource] http: //www.tadviser.ru/index.php/Witology

200. Woolley, A.W. Evidence for a Collective Intelligence Factor in the Performance of Human Groups [Text] / A. W. Woolley, C. F. Chabris, T. W. Malone and others // -Science, 2010, v. 330. - P. 686-688.

201. Zadeh, L.A. Fuzzy algorithms [Text] / L.A. Zadeh // - Information and Control, 1968. —P.12—94.

Приложение 1.

П1. КОМПЬЮТЕРНАЯ МОДЕЛЬ ТРЕХТАКТНОЙ СХЕМЫ МЭС. ПРОГРАММА ГЕНЕТИЧЕСКОГО ПРОГРАММИРОВАНИЯ

П1.1. ТЕКСТ ПРОГРАММЫ КОМПЬЮТЕРНОЙ МОДЕЛИ ТРЕХТАКТНОЙ СХЕМЫ МЭС НА ЯЗЫКЕ PASCAL

const M=3; TGR=0; TGS=0.6; TER=0.6; TES=3.6; BETM=5; N=11; N11=1000000; var

BET,QR,QN,QV,GR,GS,GN,GV,ER,ES,EN,EV,QRF,QNF,PRF,PRF1 ,QRF 1 ,PNF,PR, PN,QVF,QRK: array [1..N] of real;

i,j,k,M2,k1,KM:integer; IT:longint; r,Qm:real; T:array[1..M] of integer; KZ:array[-1..1] of integer;

Function QK(MA:integer;P:real):real;{FORMULA CONDORSET} var MA2:integer; a,b,c,d:array[0..1000]of real; i:integer; Q:real; Begin MA2:=1+MA div 2;

a[0]:=1; b[0]:=1; c[0]:=1; d[0]:=1; d[1]:=MA; a[1]:=1; b[1]:=P; c[1]:=1.0-P; for i:=2 to MA2 do begin

b[i]:=b[i-1]*P; c[i]:=c[i-1]*(1-P); d[i]:=MA-i+1; a[i]:=d[i-1]*a[i-1]/(i-1) end; Q:=0; for i:=1 to MA2 do Q:=Q+a[i]*b[MA2-i]*c[i-1]; QK:=Q*b[MA2] End; BEGIN M2:=M div 2;

writeln(' BET GR GN GV QR QN QV

QRF QNF QVF',' PR PRF ER');

for i:=1 to N do begin BET[i]:=-BETM+(i-1)*2*BETM/(N-1); QR[i]:=0; QN[i]:=0;

QV[i]:=0; PR[i]:=0; PN[i]:=0 end;

FOr i:=1 to N Do BEGIn

GR[i]:=1/(1+exp(BET[i]-TGR));GS[i]:=1/(1+exp(BET[i]-TGS));GN[i]:=GS[i]-GR[i]; GV[i]:=1-GS[i];

ER[i]:=1/(1+exp(BET[i]-TER));ES[i]:=1/(1+exp(BET[i]-TES));EN[i]:=ES[i]-ER[i]; EV[i]:=1-ES[i];

PRF[i]:=GR[i]+ER[i]*GV[i] * (1 -exp((M- 1)*ln(1 -GR[i]))); QRF[i]:=QK(M,PRF [i]); PNF[i]:=GN[i]+EN[i]*GV[i]*(1 -exp((M- 1)*ln(1 -GN[i]))); QNF[i]: =QK(M,PNF[i]); for IT:=1 to NIT do BegiN // GENERATION

for j:=1 to M do begin r:=random; if r<GR[i] then T[j]:=1 else if r<GS[i] then T[j]:=-1 else T[j]:=0 end;

For k:=-1 to 1 do KZ[k]:=0; for j:=1 to M do KZ[T[j]]:=KZ[T[j]]+1; // COORDINATION

for j:=1 to M do if T[j]=0 then begin r:=random; if (r<ER[i]) and (KZ[1]>0) then

T[j]:=1; if (r>=ER[i]) and (r<ES[i]) and (KZ[-1]>0) then T[j]:=-1 end;

For k:=-1 to 1 do KZ[k]:=0; for j:=1 to M do KZ[T[j]]:=KZ[T[j]]+1;

for j:=1 to M do begin if T[j]=-1 then PN[i]:=PN[i]+1; if T[j]=1 then PR[i]:=PR[i]+1

end;

k1:=-M2; KM:=0; for k:=-1 to 1 do if KZ[k]>M2 then begin KM:=KZ[k]; k1:=k end;

if KM>M2 then begin if k1=-1 then QN[i]:=QN[i]+1; if k1=0 then QV[i]:=QV[i]+1; if k1=1 then QR[i]:=QR[i]+1 end else QV[i]:=QV[i]+1 EnD; QR[i]:=QR[i]/NIT; QN[i]:=QN[i]/NIT; QV[i]:=QV[i]/NIT; PR[i]:=PR[i]/NIT/M; PN[i]:=PN[i]/NIT/M;

writeln(BET[i]: 10:8,' ',GR[i]:10:8,' ',GN[i]:10:8,' ',GV[i]:10:8,' ',QR[i]:10:8,' QN[i]:10:8,' ',QV[i]:10:8,' ',

QRF[i]:10:8,' ',QNF[i]:10:8,' ',1-QRF[i]-QNF[i]:10:8,' ',PR[i]:10:8,' ', PRF[i]:10:8,' ',ER[i]:10:8)

ENd; writeln(' END') END.

П1.2. РЕЗУЛЬТАТЫ РАСЧЕТА ОБУЧАЮЩЕЙ ВЫБОРКИ ДЛЯ М=3

PR ER GR GV BET

X0 X1 X2 X3

0.99638668 0.99631576 0.99503320 0.00135852 -5

0.84072097 0.83201839 0.78583498 0.06913842 -1

0.41052488 0.40131234 0.33181223 0.35434369 1

0.18822624 0.19781611 0.15446527 0.59868766 2

0.67158818 0.64565631 0.50000000 0.35434369 0

0.38079562 0.40131234 0.26894142 0.59868766 1

0.15477952 0.19781611 0.11920292 0.80218389 2

0.05448728 0.08317270 0.04742587 0.91682730 3

0.01910033 0.03229546 0.01798621 0.96770454 4

Примечание

Первые четыре результата получены при TGR=0.3 TGS=1.6 TER=0.6 TES=2.6 Следующие пять результатов получены при TGR=0 TGS=0.6 TER=0.6 TES=1.6 ( греческие символы заменены на латинские - 0 на Т, в на ВЕТ)

П1.3. ВОССТАНОВЛЕНИЕ ИСКОМОЙ ФУНКЦИИ ПО ДАННЫМ ОБУЧАЮЩЕЙ ВЫБОРКИ

П1.3.1. ТЕКСТ ПРОГРАММЫ ГЕНЕТИЧЕСКОГО ПРОГРАММИРОВАНИЯ НА ЯЗЫКЕ PASCAL DELPHI

procedure TForm1.Button1Click(Sender: TObject); const x:array[1..9,0..3] of single=(

(0.99638668, (0.84072097, (0.41052488, (0.18822624, (0.67158818, (0.38079562, (0.15477952, (0.05448728, (0.01910033,

0.99631576, 0.83201839, 0.40131234, 0.19781611, 0.64565631, 0.40131234, 0.19781611, 0.08317270, 0.03229546,

0.99503320,

0.78583498,

0.33181223,

0.15446527,

0.50000000,

0.26894142,

0.11920292,

0.04742587,

0.01798621,

0.00135852), 0.06913842), 0.35434369), 0.59868766), 0.35434369), 0.59868766), 0.80218389), 0.91682730), 0.96770454));

NV=9; NK=31;

// NV=4; NK=15; x:array[1..4,0..3] of single=((10,3,3,4),(4,2,3,3),(3,1,2,3),(26,3,4,10)); var a1,d,a2:array[1..100,0..200] of integer; p:array[1..100,1..200] of single; s:array[1..100] of real; NS:array[1..102] of integer; ITER:longint; NS1 ,k,k1,i,i1,i2,i3 ,i4,j ,n: integer; s 1: single; BEGIN randomize; { formir}

for k:=1 to 100 do Begin for i:=6 to 8 do p[k,i]:=-1+random(3);

for i:=0 to 8 do begin a1[k,i]:=0; a2[k,i]:=0; d[k,i]:=0 end;

for i:=9 to NK do begin a1[k,i]:=1+random(i-1); a2[k,i]:=1+random(i-1);

d[k,i]:=1+random(3) end End; for k:=1 to 100 do NS[k]:=k; ITER:=0;

REPEAT {podbor}

for j:=1 to 200 do begin i1:=1+random(50);i2:=1+random(50); NS1:=NS[i1];NS[i1]:=NS[i2]; NS[i2]:=NS1 end; {crossover} for i:=0 to 24 do Begin i1:=i+i+1; i2:=i1+1; i3:=i+i+51; i4:=i3+1; i1:=NS[i1];i2:=NS[i2]; i3:=NS[i3];i4:=NS[i4]; k1:=7+random(NK-6); for j:=6 to k1-1 do begin a1[i3,j]:=a1[i1,j]; a1[i4,j]:=a1[i2,j]; a2[i3j]:=a2[i1j]; a2[i4,j]:=a2[i2,j]; p[i3,j]:=p[i1,j]; p[i4,j]:=p[i2,j]; d[i3,j]:=d[i1,j]; d[i4,j]:=d[i2,j] end;

for j:=k1 to NK do begin a1[i3,j]:=a1[i2,j]; a1[i4,j]:=a1[i1,j]; a2[i3,j]:=a2[i2,j]; a2[i4,j]:=a2[i1,j]; p[i3,j]:=p[i2,j]; p[i4,j]:=p[i1,j]; d[i3,j]:=d[i2,j]; d[i4j]:=d[i1j] end End;

{mutation}for n:=1 to 400 do Begin k:=1+random(100); i:=6+random(NK-5); if i<NK-6 then p[k,i]:=-1+random(3) else beGin k1:=1+random(3); case k1 of

1: a1[k,i]:=1+random(i-1); 2: a2[k,i]:=1+random(i-1); 3: d[k,i]:=1+random(3) end eNd End;

{ocenka} for k:=l to 100 do BegiN s[k]:=0; for n:=l to NV do beGin for i:=l to 3 do p[k,i]:=x[n,i];

for i:=9 to NK do case d[k,i] of

l:p[k,i]:=p[k,al[k,i]] + p[k,a2[k,i]]; 2:p[k,i]:=p[k,al[k,i]] - p[k,a2[k,i]]; 3:p[k,i]:=p[k,al[k,i]] * p[k,a2[k,i]] end; s[k]:=s[k]+abs(x[n,0]-p[k,NK]) eNd EnD;{sort} for k:=l to 100 do NS[k]:=k; for k:=l to 99 do for j:=l to (100-k) do if s[j+l] < s[j] then begin sl:=s[j];s[j]:=s[j+l]; s[j+l]:=sl; NSl:=NS[j];NS[j]:=NS[j+l]; NS[j+l]:=NSl end; ITER:=ITER+l; if iter mod 1000000=0 then

Memo 1 .Text: =Memo 1 .Text+ ' ITER='+ inttostr(ITER div 1000000)+'

S='+floattostr(s [ l])+chr( l3)+chr(l 0);

UNTIL (s[l]<0.00l) or (ITER=100000000); k:=NS[l];

for i:=l to NK do Memol.Text:=Memol.Text+inttostr(i)+' '+ inttostr(al [k,i])+' ' +inttostr(d[k,i])+' ' + inttostr(a2[k,i])+' ' +inttostr(trunc(p[k,i]))+chr(l3)+chr(l0); Memo l.Text:=Memo l.Text+'S='+floattostr(s[l]); END; end.

П1.3.2. РЕЗУЛЬТАТЫ ВОССТАНОВЛЕНИЯ ИСКОМОЙ ФУНКЦИИ

Первый вариант Второй вариант

1 а1[1] ё[1] а2[1] р[1] 1 а1[1] ё[1] а2[1] р[1]

1 0 0 0 х1 1 0 0 0 х1

2 0 0 0 х2 2 0 0 0 х2

3 0 0 0 х3 3 0 0 0 х3

4 0 0 0 с4=0 4 0 0 0 с4=0

5 0 0 0 с5=0 5 0 0 0 с5=0

6 0 0 0 с6=1 6 0 0 0 с6=0

7 0 0 0 с7=0 7 0 0 0 с7=1

8 0 0 0 с8=1 8 0 0 0 с8=-1

9 3 3 2 0 9 8 3 8 1

10 3 3 2 0 10 3 2 9 0

11 7 1 8 1 11 8 2 9 -2

12 5 1 10 0 12 8 2 10 0

13 8 2 2 0 13 2 3 8 0

14 12 3 4 0 14 11 3 9 -2

15 2 2 3 0 15 4 3 8 0

16 9 2 2 0 16 11 2 14 0

17 16 1 13 0 17 10 2 5 0

18 15 1 14 0 18 4 3 2 0

19 4 1 17 0 19 10 3 6 0

20 11 2 7 1 20 5 3 15 0

21 15 1 7 0 21 8 1 6 -1

22 10 3 18 0 22 14 2 10 -1

23 19 1 3 1 23 6 3 7 0

24 9 3 22 0 24 1 3 14 0

25 14 3 24 0 25 13 2 2 0

26 9 1 25 0 26 2 1 11 -1

27 13 3 1 0 27 2 2 18 0

28 20 2 13 0 28 26 3 2 0

29 1 1 27 0 29 28 3 1 0

30 26 3 29 0 30 29 3 12 0

31 30 1 28 0 31 30 1 2 0

ЕрБ= 1,06Е-07 (величина суммарной ошибки ЕрБ= 3,19Е-8

восстановления при использовании формулы)

В соответствии с п.2.2.1 получаем:

Р[31] =х1*х2*х3*(2- ■х2)+х2 Р[31]=х2+х2*х3*х 1*(2-х2)

Итак, в результате восстановления искомой функции после замены обозначений переменных согласно П1.2, мы получили выражение Рд = Сд + Еу * йу * * (2 — Сд) После преобразований получаем:

Учитывая, что восстановление функции проводилось при М=3 , получаем окончательное выражение для искомой функции в виде:

Приложение 2.

П2. САЙТ КОЛЛЕКТИВНОГО ТВОРЧЕСТВА GENETIC COLLECTIVE ENVIRONMENT

П2.1. Описание сайта

Исходя из опыта, полученного при проведении экспериментальных исследований с использованием методологии СЭСР, был разработан сайт коллективного творчества Genetic Collective Environment (http://gci.newbylon.com).

В основу работы сайта положена программа эволюционного согласования решений локальных задач группой экспертов [134], составленная и отлаженная в ходе выполнения проекта по гранту РФФИ № 13-07-00958 «Разработка теории и экспериментальные исследования новой информационной технологии самоуправляемого краудсорсинга».

Сайт предназначен как для получения группой экспертов консолидированного решения различных локальных задач с поставленной организатором проекта целью, так и для сертификации экспертов на тестовых задачах с известными правильными ответами.

Такими задачами могут быть задачи из различных областей науки и промышленности, имеющие сформулированную постановщиком задачи цель, и могущие быть решенными одиночными экспертами за длительное время. С помощью программы эволюционного согласования такие задачи могут быть решены группой заранее отобранных по определенным критериям экспертов за короткое время и с существенно меньшей вероятностью ошибочного решения.

Генерация частичных решений, отбор, скрещивание и мутация осуществляется экспертами с помощью программы эволюционного согласования решений [134]. Эта программа координирует групповую работу экспертов следующим образом.

Постановщик задачи (проекта) регистрируется на сайте и формулирует новый проект, задавая его цель и срок решения. Эксперты, предварительно

зарегистрированные на сайте, выбирают проекты по близкой их квалификации теме и приступают к решению. Вначале, на стадии генерации, они формулируют частичные решения, заполняя отдельные слоты.

На стадиях итерационного согласования они получают чужие заполненные слоты, оценивают и выбирают лучшие из них, соединяют в одно целое части, предложенные разными экспертами (скрещивание), вносят в них изменения (мутация). Эта работа продолжается до тех пор, пока не будет получено консолидированное решение. Приемку проекта осуществляет постановщик задачи и в случае неуспеха может привлечь более квалифицированных экспертов.

Схема сайта приведена на рис. П2.1. Предусмотрено 2 режима работы -коллективное составление текстов и тестирование.

Рис.П2.1. Схема сайта для коллективного творчества

П2.2. Инструкция по использованию сайта

Начало работы

Чтобы начать работу, необходимо предварительно зарегистрироваться и выполнить вход на сайт. Вход и регистрация доступны по ссылкам в правом верхнем углу окна сайта.

Проекты

Поиск и управление проектами осуществляется в модуле "Проекты", доступном по ссылке в главном меню слева. Проекты в системе подразделяются на два типа: тестирование и разработка текста.

Поиск и вступление в проект

Вкладка "Поиск проектов" предоставляет функционал для поиска проектов, в которых вы решили принять участие. Чтобы присоединиться к проекту, нажмите на кнопку "+" на нужном проекте в списке.

Вступление в проект возможно при следующих условиях. Для проекта типа "тестирование" необходим статус "подготовка", для проекта типа "разработка текста" статус "подготовка" либо "в работе". Число участников проекта не должно превышать максимальное, установленное в проекте организатором.

Участие в проектах

Список проектов, в которых можно участвовать, представлен во вкладке "Участие в проектах". Доступные действия соответствуют кнопкам, расположенным справа на каждом проекте.

Если вы решили покинуть проект, нажмите кнопку "-" на соответствующем проекте в списке.

Кнопка "разработка текста" позволяет начать дополнение текста.

Кнопка "тестирование" позволяет пройти тестирование как в индивидуальном порядке, так и осуществлять тестирование группы.

Кнопка "V" на завершенном проекте позволяет посмотреть результат выполнения проекта. В режиме тестирования это тестовые вопросы с полученными ответами, а в режиме разработки текста - итоговый текст.

Создание проекта

Для создания собственного проекта, тестирования или разработки текста, нажмите на кнопку "Создать проект" справа от заголовков вкладок в модуле "Проекты". Откроется окно редактирования проекта. Оно включает как общие свойства проекта (название, число участников, научная область), так и специфические: для тестирования это список вопросов, для разработки текста -задание на разработку.

Управление созданными проектами

Своими проектами можно управлять во вкладке "Мои проекты".

Кнопка "Я" позволяет редактировать проект - открывается окно редактирования, как при создании проекта. Для редактирования доступны только проекты в статусе "Подготовка".

Кнопка "И" открывает панель управления проектом, содержащую, в зависимости от текущего статуса проекта, кнопки "Запустить", "Остановить", "Отменить", "Пауза", "Продолжить", "Завершить", "Подготовить".

Действия

Модуль "действия" содержит список действий, которые предлагается выполнить пользователю в проектах, подлежащих выполнению. Он доступен по ссылке в меню в левой части окна. В этом модуле выполняется основная работа участников проектов типа "тестирование". Также имеется возможность просмотреть результаты выполнения проектов обоих типов. Красным цветом отмечаются еще не выполненные действия, зеленым уже выполненные.

Для проектов типа "тестирование" возможны следующие действия: предложить свое решение тестовых вопросов, оценить чужие решения, посмотреть результат.

Обратите внимание, представленные выше научные тексты размещены для ознакомления и получены посредством распознавания оригинальных текстов диссертаций (OCR). В связи с чем, в них могут содержаться ошибки, связанные с несовершенством алгоритмов распознавания. В PDF файлах диссертаций и авторефератов, которые мы доставляем, подобных ошибок нет.