Методы и алгоритмы интеллектуализации принятия решений в условиях неопределенности на базе аппарата нейронных сетей и эволюционного моделирования тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат наук Хлопкова Ольга Андреевна

• Хлопкова Ольга Андреевна
• кандидат наук
• 2016

Оглавление диссертации кандидат наук Хлопкова Ольга Андреевна

ВВЕДЕНИЕ

ГЛАВА 1. ОБЗОР НЕЙРОЭВОЛЮЦИОННЫХ МЕТОДОВ И СИСТЕМ ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ В УСЛОВИЯХ НЕОПРЕДЕЛЕННОСТИ

1.1.1 Постановка задачи принятия решений в условиях неопределенности

1.1.2 Обзор методов и систем поддержки принятия решений в условиях неопределенности

1.3.1 Метод эволюции нейронных систем путем стохастического синтеза

1.3.2 Нейроэволюционный метод расширения топологий

1.3.3 Метод эволюционной модификации топологии нейронных сетей

1.3.4 Метод оптимизации нейронной сети

1.3.5 Метод динамической нейроэволюции с ограничениями

1.3.6 Метод адаптивной симбиотической нейроэволюции

1.3.7 Метод усиления субпопуляций

1.3.8 Стандартный метод нейроэволюции

1.3.9 Метод клеточного кодирования

1.3.10 Метод обобщенного наращивания рекуррентных связей

1.3.11 Метод эволюционного программирования нейросети

1.3.12 Метод новой эволюционной стратегии

1.3.13 Сравнение и классификация нейроэволюционных методов

ГЛАВА 2. РАЗРАБОТКА НЕЙРОЭВОЛЮЦИОННОГО МЕТОДА И АЛГОРИТМОВ ДЛЯ ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ В УСЛОВИЯХ НЕОПРЕДЕЛЕННОСТИ

2.1.1 Определение схемы кодирования хромосом

2.1.2 Определение генетических операторов

2.1.3 Определение этапов эволюции топологии и настройки параметров особей

2.1.4 Определение дополнительных структур данных

2.2.1 Описание структур данных нейроэволюционного метода

2.2.2 Реализация этапов нейроэволюционного метода

2.3.1 Генетический алгоритм глобального поиска

2.3.2 Генетический алгоритм локального поиска

ГЛАВА 3. РАЗРАБОТКА МЕТОДИКИ ПОДБОРА КРИТЕРИЕВ ОЦЕНКИ НЕЙРОЭВОЛЮЦИОННОГО МЕТОДА И ЭМПИРИЧЕСКОЕ ИССЛЕДОВАНИЕ ЕГО ЭФФЕКТИВНОСТИ

3.2.1 Задачи адаптивного управления

3.2.2 Задача о классификации точек единичного гиперкуба

3.2.3 Задача восстановления поврежденных данных

3.2.4 Сравнение эффективности нейэроэволюцонных методов

3.3.1 Модель системы поддержки принятия решений на базе нейроэволюции

3.3.2 Программная реализация системы поддержки принятия решений на базе нейроэволюции

ГЛАВА 4. ПРАКТИЧЕСКОЕ ПРИМЕНЕНИЕ РАЗРАБОТАННОГО НЕЙРОЭВОЛЮЦИОННОГО МЕТОДА

4.2.1 Подбор показателей, используемых для многокритериальной оценки контента

4.2.2 Реализация предварительной обработки данных

4.2.3 Архитектура системы интегрированной рейтинговой оценки

ЗАКЛЮЧЕНИЕ

СПИСОК СОКРАЩЕНИЙ И УСЛОВНЫХ ОБОЗНАЧЕНИЙ

СПИСОК ЛИТЕРАТУРЫ

Введение диссертации (часть автореферата) на тему «Методы и алгоритмы интеллектуализации принятия решений в условиях неопределенности на базе аппарата нейронных сетей и эволюционного моделирования»

ВВЕДЕНИЕ

Актуальность темы исследования. Нейросетевые модели по праву считаются одним из эффективных инструментов решения широкого круга задач когнитивистики, прогнозирования и управления. Они демонстрируют высокие показатели качества в системах поддержки принятия решений (СППР), оперирующих неполными, трудноформализуемыми и неточными данными. Успешно разрабатываются, совершенствуются и применяются различные модели искусственных нейронных сетей (ИНС). Однако масштабному распространению СППР на базе ИНС препятствуют сложности, связанные с процессом подбора топологии и обучения сети, закономерные в рамках парадигмы нейросетей, но преодолимые путем гибридизации с методами эволюционного моделирования. Основные трудности обучения ИНС связаны с задачей нахождения глобального экстремума функции ошибки, и именно попытки ее решения способствовали развитию нейроэволюционной теории, изучающей гибридные формы настройки нейросетей эволюционными алгоритмами.

Большинство известных нейроэволюционных методов применимы для нейросетей определенного типа (например, только прямого распространения или только полносвязных), накладывают ряд входных ограничений на ИНС и модифицируют в ходе эволюции не все ее параметры. При этом для каждой конкретной задачи параметры нейросети выбираются эмпирически, что не всегда приводит к оптимальным результатам, требует времени и участия эксперта. В связи с этим вопросы автоматизации выбора топологии и процесса настройки параметров нейросетей представляют особый прикладной и научный интерес. Решаемые в диссертационной работе задачи реализации предлагаемого нейроэволюционного метода для интеллектуализации принятия решений в условиях неопределенности являются важными для исследований в направлении оптимизации СППР.

Степень разработанности темы. В разработку теории принятия решений внесли неоспоримый вклад видные отечественные и зарубежные ученые: А. Н. Колмогоров, И. В. Павлов, Э. А. Трахтенгерц, Л. Вайс, Л. Заде, Т. Андерсон, Е. Пейдж, Т. Саати и другие.

Развитием теории искусственных нейронных сетей в разное время занимались многие известные ученые, в том числе У. Маккалок, В. Питтс, М. Минский, Д. Хебб, Ф. Розенблатт. Авторство различных моделей ИНС принадлежит Т. Кохонену, А. Галушкину, К. Фукусимае, Д. Хопфилду, С. Барцеву, В. Охонину и другим.

Методы эволюционного моделирования представлены в работах таких ученых как Дж. Г. Холланд, Н. А. Барричелли, Л. Дж. Фогель, А. Фрейзер. Вопросы гибридизации ИНС и методов эволюционного моделирования освещались в работах следующих ученых: В. Добрынин, С. Ульянов, А. Мишин, Г. Бени, Д.Е. Румельхарт, Л. Ванг, И. Рехенберг, Дж. Миллер, К. Стэнли, Р. Мииккулайнен. Авторство наиболее эффективных нейроэволюционных методов принадлежит таким известным ученым как Ф. Паземан, П. Энжелин, Г. Сондерс, Г. Шер, Л. Шеффер, Ф. Грюау, Кс. Яо, Ю. Ли, Х. Китано, С. Нолфи, Д. Париси, Л. Элман.

Несмотря на наличие значительного количества работ в данной области, существует необходимость разработки новых нейроэволюционных методов и алгоритмов, позволяющих существенно расширить возможности нейроэволюции и повысить эффективность систем поддержки принятия решений.

Цели и задачи диссертационной работы. Целью исследования является разработка метода, модели и алгоритмов на базе аппарата нейронных сетей и эволюционного моделирования для интеллектуализации принятия решений в условиях неопределенности. Достижение поставленной цели реализуется как решение комплекса взаимосвязанных задач:

1. Исследование, критический анализ и классификация систем поддержки принятия решений, а также известных нейроэволюционных методов, используемых для решения задач в условиях неопределенности.

2. Разработка нейроэволюционного метода для генерирования эффективной топологии и автоматической настройки параметров нейросети в соответствии с решаемой практической задачей.

3. Разработка алгоритмов глобального и локального генетического поиска для оптимизации структуры и модификации параметров нейросетей произвольной топологии.

4. Разработка методики расчета основных критериев оценки параметров нейроэволюционного метода для исследования его эффективности на множестве эталонных задач.

5. Построение модели системы принятия решений, инкапсулирующей модуль для нейроэволюционной обработки данных в условиях неопределенности.

6. Разработка программного инструментария, обеспечивающего реализацию нейроэволюционного метода и модели системы поддержки принятия решений в условиях неопределенности.

7. Экспериментальное исследование работоспособности и эффективности предложенной модели СППР в приложении к актуальным практическим задачам, а также оценка качества полученных результатов.

Объектом исследования является нейроэволюционная интеллектуализация обработки данных.

Предметом исследования является разработка метода и алгоритмов интеллектуализации поддержки принятия решений в условиях неопределенности на базе нейроэволюции.

Область исследования. Работа выполнена в соответствии с п. 2 «Исследование информационных структур, разработка и анализ моделей информационных процессов и структур», п. 8 «Исследование и когнитивное моделирование интеллекта, включая моделирование поведения, моделирование

рассуждений различных типов, моделирование образного мышления» и п. 13 «Применение бионических принципов, методов и моделей в информационных технологиях» специальности 05.13.17 - «Теоретические основы информатики».

Научная новизна заключается в следующих научно обоснованных результатах, полученных лично автором в ходе диссертационного исследования:

1. Впервые проведены анализ и классификация известных нейроэволюционных методов, что позволило сформулировать их основные особенности, достоинства и недостатки, а также подтвердило необходимость разработки концептуально нового метода, учитывающего опыт предыдущих исследований в данной области.

2. Разработан новый нейроэволюционный метод, позволяющий корректировать топологию и параметры нейросети и обладающий оригинальной совокупностью свойств, основными из которых являются адаптивность структуры и низкая связность особей, динамичность эволюции, а также возможность гибридизации. В отличие от большинства классических реализаций нейроэволюции, метод лишен таких недостатков как конкуренция представлений, незащищенность инноваций, проблемы начального размера и топологических инноваций.

3. Разработаны алгоритмы глобального и локального генетического поиска, позволяющие, в отличие от существующих, модифицировать нейросеть произвольной топологии и направлять эволюцию как по пути структурного упрощения, так и структурного усложнения ИНС, за счет чего достигается снижение ресурсоемкости и расширение пространства генетического поиска.

4. Разработана методика подбора и расчета критериев оценки нейроэволюционного метода для его практического применения в качестве модуля СППР. Данные критерии являются наиболее полными в сравнении с известными критериями для аналогичных методов. Они позволяют учитывать такие параметры генетического представления как онтогенетическая приспосабливаемость, множественность, компактность, замкнутость

представления, устойчивость, а также совокупные характеристики процесса эволюции и характеристики генерируемых нейросетей.

5. Разработана модель системы поддержки принятия решений в условиях неопределенности на базе нейроэволюции. В отличие от существующих СППР, такая система является самообучаемой: в ходе нейроэволюции она может быть модифицирована в соответствии с изменяющимися условиями задачи.

6. Разработан программный инструментарий, обеспечивающий реализацию нейроэволюционного метода и модели системы поддержки принятия решений в условиях неопределенности и позволяющий использовать его при решении практических задач интеллектуализации обработки данных в качестве встраиваемого или автономного модуля СППР.

Теоретическая и практическая значимость работы. Основные положения диссертации представляют собой определенный вклад в теорию принятия решений в части решения задач в условиях неопределенности с помощью методов на базе нейросетей и эволюционного моделирования.

Выводы и результаты исследования ориентированы на практическое применение разработанного метода и алгоритмов в интеллектуальных системах поддержки принятия решений, оперирующих данными в условиях неопределенности. Самостоятельное практическое значение имеет программный инструментарий, созданный на основе данного метода и реализующий нейроэволюционную модель системы поддержки принятий решений в условиях неопределенности.

Методология и методы исследования. Для решения поставленных задач применялись методы теоретической информатики, теории принятия решений, вычислительной математики, математического анализа, математического моделирования и теории искусственного интеллекта.

Положения, выносимые на защиту:

1. Нейроэволюционный метод для начального конфигурирования, настройки параметров, оптимизации топологии и обучения нейросетей с произвольной топологией.

2. Алгоритмы глобального и локального генетического поиска для оптимизации топологии и параметров нейросетей, формируемых в ходе нейроэволюции.

3. Методика подбора и расчета критериев оценки нейроэволюционного метода для его практического применения в качестве модуля СППР.

4. Модель системы поддержки принятия решений, инкапсулирующая модуль нейроэволюционной обработки данных в условиях неопределенности.

5. Результаты экспериментальных исследований метода, алгоритмов и модели СППР, проведенные на разработанном программном инструментарии в приложении к актуальным практическим задачам, оценка качества полученных результатов.

Степень достоверности и апробация результатов. Результаты диссертационной работы внедрены в Научно-исследовательском финансовом институте Минфина России (НИФИ) при разработке СППР для защиты от ОБоЗ-атак, а также при разработке СППР для автоматизации обработки материалов в виртуальной среде и контроля процесса научной деятельности.

Основные положения работы доказывались на следующих конференциях и семинарах:

1. Всероссийская научно-практическая конференция «Математические методы и интеллектуальные системы в экономике и образовании», Ижевск, 2013 г.

2. Международная научно-практическая конференция «Ценности и интересы современного общества», Москва, 2013 г.

3. 5-я Международная научно-практическая конференция «Наука и общество», Лондон, 2013 г.

4. Международная научно-практическая конференция «Ценности и интересы современного общества», Москва, 2015 г.

5. Всероссийская научно-практическая конференция «Теоретические и практические аспекты развития научной мысли в современном мире», Уфа, 2015 г.

Публикации. По результатам выполненных в диссертации исследований опубликовано 9 работ, в том числе: 4 в периодических изданиях, рекомендованных ВАК; 5 опубликовано в других изданиях, сборниках статей и докладов конференций.

Структура и объем диссертации. Диссертационная работа состоит из введения, 4-х глав, заключения, списка сокращений и библиографического списка из 127 наименований. Работа содержит 157 страниц текста с 30 рисунками и 12 таблицами.

ГЛАВА 1. ОБЗОР НЕЙРОЭВОЛЮЦИОННЫХ МЕТОДОВ И СИСТЕМ ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ В УСЛОВИЯХ

НЕОПРЕДЕЛЕННОСТИ

1.1 Обзор походов к интеллектуализации принятия решений

в условиях неопределенности

1.1.1 Постановка задачи принятия решений в условиях неопределенности

Под принятием решений понимается процесс рационального выбора альтернатив, имеющий целью достижение некоторого результата [1]. Для исследования принятия решений было сформировано комплексное научное направление - теория принятия решений, объединяющая понятия и методы математики, теоретической информатики, системного анализа, статистики с целью изучения закономерностей выбора путей решения проблем и задач, а также способов достижения желаемого результата [17, 18]. В задачах принятия решений с учетом большого количества факторов требуется точный математический аппарат, позволяющий качественно и количественно сравнивать альтернативные решения.

Задача принятия решений формулируется следующим образом. Пусть имеется множество А = {аг, ...,аь..., %}, 5 > 2 альтернативных решений, одно из которых в рамках данной задачи должно выбрать лицо, принимающее решение (ЛПР). Возможные объективные условия, оказывающие влияние на выбор /-ого решения множества А, составляют множество состояний природы П = ...,ыт}, Т > 0, одно или несколько из которых имеют место во

время принятия решения. Множество П может обладать таким свойствами как непрерывность и бесконечность. Помимо множества П на выбор той или иной

альтернативы оказывает влияние последствие принимаемого решения [3]. Последствие и - это функция, определенная на множестве альтернатив и на множестве состояний природы:

Е (1.1)

Задача ЛПР заключается в выборе решения из множества А с учетом состояний природы и последствий. В контексте нейроэволюционного подхода совокупность состояний природы и последствий называется средой. Оптимальность осуществленного ЛПР выбора в рамках поставленной задачи зависит не только от критериев оптимальности альтернативы, но и от объема и вида информации о среде (о состояниях природы). На основании этого в задаче определяется критерий оптимальности - правило, позволяющее численно выявить условие предпочтения одного решения по отношению к другому [1]. При помощи критерия оптимальности возможно провести ранжирование множества А по предпочтительности.

По наличию случайных и неопределенных факторов задачи принятия решений принято подразделять на три класса: детерминированные, стохастические и в условиях неопределенности [49]. Большинство практических задач, изучаемых теорией принятия решений, в том или ином виде содержат неопределенность. Условиями неопределенности считается ситуация, при которой результаты принимаемых решений неизвестны. К основным видам неопределенности в зависимости от свойств имеющихся данных относятся: неизвестность, то есть отсутствие каких-либо данных [9]; недостоверность (недостаточность, неадекватность и неполнота данных, при которой невозможно определить единственное распределение вероятностей для состояний природы [16]); неоднозначность входных данных [15].

Принятие решений с учетом различного типа неопределенностей является общим случаем задачи принятия решений, а принятие решений без их учета -частным случаем. Несмотря на это, в связи с концептуальными и методическими

трудностями на данный момент отсутствует единый методологический подход к решению таких задач.

1.1.2 Обзор методов и систем поддержки принятия решений в условиях

неопределенности

Система поддержки принятия решений - это специализированная информационно-управляющая система, предназначенная для помощи в работе лиц, принимающих решения [2]. Для выработки решений в СППР используются методы из различных областей знаний, в том числе разработанные в рамках концепции вычислительного интеллекта. В случае, если в качестве базы СППР заложены методы искусственного интеллекта, то говорят об интеллектуальной СППР [10]. Далее перечислены основные классические и базирующиеся на теории искусственного интеллекта методы, применяющиеся в СППР [27].

Информационный поиск (information retrieval) [4] - совокупность методов формирования на основе массива информации записей, удовлетворяющих сформулированному запросу или условию поиска. Изучениям методов информационного поиска посвящена междисциплинарная область науки, объединяющая информатику, информационный дизайн, лингвистику, семиотику.

Глубинный анализ данных (data mining) [123] - совокупность методов обнаружения в данных ранее неизвестных, нетривиальных и обладающих практической пользой знаний, доступных для интерпретации и необходимых для принятия решений в различных сферах деятельности. Основу глубинного анализа данных составляют методы классификации, моделирования и прогнозирования, основанные на применении деревьев решений, ИНС, ассоциативной памяти, нечеткой логики [54]. К методам глубинного анализа данных также относятся статистические методы анализа, среди которых: дескриптивный, корреляционный, регрессионный, факторный, дисперсионный, компонентный, дискриминантный, анализ временных рядов [5] и т.д.

Поиск знаний в базах данных (KDD, Knowledge Discovery in Databases) [5] -совокупность методов поиска полезных знаний в массивах данных. Методами KDD реализуются процессы подготовки данных, выбора информативных признаков, очистки данных, применения глубинного анализа данных, постобработки и интерпретации полученных результатов.

Рассуждение на основе прецедентов (CBR - Case-Based Reasoning) [38] -совокупность методов ИИ, позволяющих использовать накопленный СППР опыт при решении новых, неизвестных задач и помогающих ЛПР осуществлять адекватный выбор при управлении процессами различной природы и сложными объектами в условиях временных ограничений и различного типа неопределенностей [11].

Имитационное моделирование [17] - совокупность методов математического моделирования, применяющихся в исследовании систем, для которых отсутствуют аналитические модели. Суть данных методов состоит в замене изучаемой системы моделью, с достаточной точностью ее описывающей, над которой проводятся эксперименты для получения информации о системе [6].

Когнитивное моделирование [13, 75] - совокупность методов анализа и принятия решений в плохо определенных ситуациях, основанная на моделировании субъективных представлений экспертов о ситуации.

К наиболее эффективным методам CI, используемым в интеллектуальных СППР, относятся нейросети и эволюционные алгоритмы [40, 41].

Эволюционные алгоритмы [77] - это раздел эволюционного моделирования, имитирующий принципы естественного отбора в задачах оптимизации. Эволюционные алгоритмы отличаются тем, что легко могут быть описаны в терминах математики [64]. К данной области относятся следующие направления исследований, нашедшие применение в реализации СППР:

Генетические алгоритмы (ГА) [69] - эвристические методы поиска, используемые для решения задач оптимизации и моделирования путем случайного подбора, комбинирования и вариации искомых параметров.

Эволюционные стратегии (ЭС) [69, 75] - эвристические методы, схожие с генетическими алгоритмами за исключением того, что в последующие поколения передаются только положительные мутации.

Генетическое программирование (ГП) [83] - методы автоматической генерации и модификации структуры исходного кода программ с помощью генетических алгоритмов.

Эволюционное программирование (ЭП) [91] - методы автоматической модификации параметров исходного кода программ с помощью генетических алгоритмов.

Дифференциальная эволюция [124] - стохастический метод многомерной оптимизации, использующий идеи генетических алгоритмов для нахождения экстремума недифференцируемых, нелинейных, мультимодальных функций [90].

Программирование с экспрессией генов [120] - методы, объединяющие идеи ГА и ГП для оптимизации особей, представляющих собой префиксные записи выражений и хранящихся в виде строк фиксированной длины. Для того, чтобы по строке всегда можно было построить выражение, вводится требование корректности [116]: с заданной позиции строка должна содержать только терминалы. Генетические операции реализуются аналогично операциям над строками фиксированной длины в ГА [113]. Единственное отличие состоит в требовании корректности строк.

Системы обучающихся классификаторов (LCS, Learning Classifier Systems) [88] - методы создания эволюционирующих обучающихся систем, строящихся на основе множества правил, алгоритмов вычисления вознаграждений, адаптивного усиливающего обучения и ГА. В зависимости от способа применения генетических алгоритмов данные системы делятся на два типа: Питтсбургские и Мичиганские LCS [45]. Питтсбургские LCS определяют популяцию отдельных наборов правил и оптимизирующий их ГА. В Мичиганских LCS определен единственный набор правил в популяции, а генетический поиск направлен на отбор лучших классификаторов в данном наборе. Мичиганские LCS условно

классифицируются по виду функции приспособленности на ZCS (оптимизирующие силу) и XCS (оптимизирующие точность).

Искусственные нейронные сети. ИНС классифицируются на основании следующих параметров: характер входных сигналов (двоичные или аналоговые) [125], вид связей нейросети (ИНС прямого распространения и рекуррентные [43]), тип обучения (с учителем или самоорганизация), структура (полносвязные, многослойные, слабосвязные). Конфигурация структуры ИНС осуществляется на основании особенностей и сложности решаемой задачи. Для решения многих классов задач уже предложены и хорошо исследованы различные топологии ИНС. Однако, если задача не может быть сведена к одному из известных типов, требуется решать нетривиальную проблему выбора новой конфигурации [28].

Следует отметить, что нейросетевые системы и эволюционные методы, несмотря на их возрастающую популярность в качестве модулей СППР, принято рассматривать как альтернативное направление в теории принятия решений [31].

1.2 Анализ биоинспирированного подхода к интеллектуализации принятия решений

Основная цель интеллектуальной поддержки принятия решений состоит в том, чтобы помочь ЛПР в определенной предметной области оценить возникшую ситуацию и спланировать действия в соответствии с известными условиями. Необходимость поддержки принятия решений возникает на трудноформализуемых этапах принятия решений [9], в связи с чем в качестве основы для ее реализации целесообразно использовать модели и методы вычислительного интеллекта.

К категории трудноформализуемых относятся задачи, имеющие формальные постановки и алгоритмы решения, но не гарантирующие получение качественного результата за приемлемое для конечного пользователя время, особенно в случае их высокой размерности (^Р-сложные задачи) [84]. Особо

остро необходимость в интеллектуальной поддержке принятий решений проявляется при решении задач неформального (творческого, интеллектуального) плана. Такие задачи характерны прежде всего для предметных областей, в которых не существует функционально полных математических теорий описания объектов и моделей принятия решений [7]. В качестве средств интеллектуальной поддержки процессов принятия решений в таких предметных областях целесообразно использовать биоинспирированные методы И [12, 14, 45]. В частности, прекрасно зарекомендовали себя нейросетевые технологии. Тем не менее, распространению СППР на базе нейросетей препятствуют сложности, возникающие при подборе топологии и параметров ИНС и нахождении глобального экстремума функции ошибки. Также процесс обучения ИНС требует составления выборок данных (обучающего, тестового и валидационного множеств), охватывающих предметную область. К факторам, осложняющим формирование обучающей выборки данных, относятся:

- неформализуемость или трудная формализуемость задачи [5];

- неполная либо полностью отсутствующая информация о корректных значениях выходных сигналов, при которой известно множество векторов входных сигналов, но соответствующие им выходные векторы не заданы;

- высокие вычислительные затраты или технически сложная реализуемость составления репрезентативной обучающей выборки [122];

- отсутствие адекватной модели системы.

Для нивелирования обозначенных препятствий, возникающих при использовании нейросетевого подхода интеллектуализации принятия решений, хорошо подходят методы эволюционного моделирования [32]. Принято выделять несколько причин, по которым эволюционные методы используются для обучения и оптимизации нейросетей. Так, к преимуществам эволюционной коррекции весовых коэффициентов и пороговых значений ИНС относятся:

1. Снижение риска возникновения проблемы локального оптимума [29]. С увеличением количества примеров в обучающей выборке и сложности топологии

ИНС сложность пространства поиска также возрастает. Для функции ошибки определяется все больше и больше локальных минимумов, распределенных по растущему пространству поиска. Градиентные алгоритмы обучения ИНС [24] не предназначены для выхода из локального оптимума для нахождения глобального экстремума. Эволюционные методы (в частности, генетические алгоритмы) прекрасно зарекомендовали себя в области эффективного перемещения по большому пространству поиска со сложной структурой для определения оптимального или квазиоптимального решения. При этом с ростом сложности и размера пространства поиска растет и эффективность ГА для обучения ИНС в качестве альтернативы градиентным методам обучения.

2. Универсальность эволюционных методов [79]. Способность эволюционных методов к обобщению заключается в том, что для их применения к ИНС различного типа требуются минимальные изменения в самом методе. Они оптимизируют веса для рекуррентных ИНС и ИНС прямого распространения, ИНС с сигмоидными, линейными и даже ступенчатыми функциями активации, градиентные методы обучения для которых в принципе не применимы.

Список литературы диссертационного исследования кандидат наук Хлопкова Ольга Андреевна, 2016 год

СПИСОК ЛИТЕРАТУРЫ

1. Андрейчиков, А.В. Построение моделей и информационной технологии принятия решений для управления интеллектуальными ресурсами в виде патентов на изобретения / А.В. Андрейчиков, О.Н. Андрейчикова // Cloud of Science. - 2015. - Т. 2. № 2. - С. 216-235.

2. Андрейчиков, А.В. Экспертная система для прогнозирования стратегических инноваций / А.В. Андрейчиков, О.Н. Андрейчикова, А.А. Хорычев // Качество. Инновации. Образование. - 2011. - № 12. - С. 26-36.

3. Андрейчикова, О.Н. Интеллектуальная система для синтеза сценариев / О.Н. Андрейчикова // Интеллектуальные продукты и системы. - 2002. - №2. -С. 4-8.

4. Блюмин, С.Л. Модели и методы принятия решений в условиях неопределенности / С.Л. Блюмин, И.А. Шуйкова. - Липецк: ЛЭГИ, 2001. -138 с.

5. Борисов, В.В. Нечеткие модели и сети. / В.В. Борисов, В.В. Круглов, А.С. Федулов. - М.: Горячая линия - Телеком, 2007. - 284 c.

6. Брумштейн, Ю. М. Анализ моделей и методов выбора оптимальных совокупностей решений для задач планирования в условиях ресурсных ограничений и рисков / Ю. М. Брумштейн, Д. А. Тарков, И. А. Дюдиков // Прикаспийский журнал: управление и высокие технологии. - 2013. - №3. -С.169-180.

7. Горяшко, А.П. Робастная оптимизация, как новый подход к решению задач с неопределенностью / А.П. Горяшко, Е.В. Никульчев // Известия высших учебных заведений. Проблемы полиграфии и издательского дела. - 2011. -№ 1. - С. 77-86.

8. Громов, С.А. Интегрированнные интеллектуальные системы оперативного планирования производства / С.А. Громов, В.Б. Тарасов // Известия Южного Федерального университета. Технические науки. - 2011. - № 7. - С. 60-67.

9. Джонс, М.Т. Программирование искусственного интеллекта в приложениях / М.Т. Джонс, пер. с англ. Осипов А.И. - М.: ДМК Пресс. - 2011. - 312 с.

10.Дик, В.В. Развитие методов представления знаний в системах поддержки принятия решений / В.В. Дик, А.И. Уринцов, И.В. Павлековская. - М.: Вольное экономическое общество России, 2014. - № 186. - С. 463-470.

11. Дик, В.В. Системы поддержки принятия решений / В.В. Дик // М.: ЕАОИ, 2011. - 368 с.

12. Жиглявский, А. А. Методы поиска глобального экстремума / А. А. Жиглявский, А. Г. Жилинскас. - М.: Наука, 1991. - 248 с.

13. Заенцев, И.В. Нейронные сети: основные модели: учебное пособие / И.В. Заенцев. - Воронеж: Вестник ВГУ, 1999. - 78 с.

14. Запрягаев, С. А. Распознавание речевых сигналов / С.А. Запрягаев, А.Ю. Коновалов // Вестник ВГУ. Серия: системный анализ и информационные технологии. - 2009. - №2 - С. 39-48.

15. Зунг, Н.Т. Распознавание объектов в системе технического зрения мобильного робота: использование библиотеки FLANN и алгоритма SURF / Н. Т. Зунг, И.А. Щербатов // Прикаспийский журнал: управление и высокие технологии. -2014. - №4. - С. 65-76.

16. Карманов, В. Г. Математическое программирование / В.Г. Карманов. - М.: ФИЗМАТЛИТ, 2004. - 264 с.

17. Кини, P. Принятие решений при многих критериях: предпочтения и замещения / Р.Л. Кини, X. Райфа. - М.: Радио и связь, 1981. - 560 с.

18. Козлов, В. Н. Системный анализ, оптимизация и принятие решений: учебное пособие / В. Н. Козлов. - М.: Проспект, 2014. - 174 с.

19. Комлева, Н.В. Интеллектуальные технологии в совершенствовании научно-исследовательской работы в системе научных институтов и центров финансового сектора / Н. В. Комлева // Научно-исследовательский финансовый институт. Финансовый журнал. - 2013. - №3. - С. 145-150.

20. Комлева, Н.В. Образование на основе компетенций в открытых информационных средах: алгоритмы принятия решений / Н.В. Комлева, А.П, Горяшко // Высшее образование в России. - 2011. - №8-9. - С. 78-84.

21. Комлева, Н.В. Технологии сохранения и развития знаний / Н.В. Комлева // М.: Совершенствование подготовки IT-специалистов по направлению «Прикладная информатика». - 2014. - С. 74-80.

22. Котомин, А. В. Предобработка звукового сигнала в системе распознавания речевых команд / А.В. Котомин. - Переславль-Залесский: Университет города Переславля, XV Молодежная научно-практическая конференция наукоемкие информационные технологии SIT - 2011, 2011. - С. 25-38.

23. Лахман, К.В. Механизмы кратковременной памяти в целенаправленном поведении нейросетевых агентов / К.В. Лахман, М.С. Бурцев // Математическая биология и биоинформатика. - 2013. - Т. 8. - № 2. - С. 419-431.

24. Лисьев, Г. А. Технологии поддержки принятия решений / Г. А. Лисьев, И. В. Попова. - М.: ФЛИНТА, 2011. - 133 с.

25. Могилев, А.В. Технологии поиска и хранения информации. Технологии автоматизации управления / А.В. Могилев, Л.В. Листрова. - СПб: БХВ-Петербург, 2012. - 320 с.

26. Никульчев, Е.В. Моделирование систем с нелинейной динамикой на основании экспериментальных данных / Е.В. Никульчев // Мехатроника, автоматизация, управление. - 2006. - № 5. - С. 6-14.

27.Одинцов, Б.Е. О классификации знаний с позиций интеллектуализации информационных систем / Б.Е. Одинцов, А.Н. Романов // Вестник финансового университета. - 2013. - № 1(73). - С. 124-132.

28. Одинцов, Б.Е. Советующие информационные системы в экономике: учебное пособие / Б.Е. Одинцов, А.Н. Романов. - М.: Юнити-ДАНА, 2000. -487 с.

29. Орлов, А. И. Принятие решений. Теория и методы разработки управленческих решений: учебное пособие / А.И. Орлов. - М.: Март, 2004. - 656 с.

30. Розен, В.В. Математические модели принятия решений в экономике: учебное

пособие / В.В. Розен. - М.: Книжный дом Университет, 2002. - 288 с.

31. Рутковская, Д. Нейронные сети, генетические алгоритмы и нечеткие системы / Д. Рутковская, М. Пилиньский, Л. Рутковский. - М.: Горячая Линия - Телеком, 2006. - 452 с.

32. Саати, Т.Л. Принятие решений при зависимостях и обратных связях. Аналитические сети / Т.Л. Саати. - М.: ЛКИ, 2008. - 360 с.

33. Самарин, Ю.Н. Алгоритм оценки уровня сформированности компетенций студентов, обучающихся по направлениям, связанным с информационными технологиями / Ю.Н. Самарин, М.С. Тигина // Полиграфист. В помощь руководителю и главному бухгалтеру (Россия). - 2014. - № 2. - С. 13-22.

34. Станкевич, Ф.В. Нейросетевое распознавание музыкальных инструментов с использованием мел-частотных кепстральных коэффициентов / Ф.В. Станкевич, В.Г. Спицын // Фундаментальные исследования. - 2014. - № 12-1. -С. 51-56.

35. Талалаев, А.А. Анализ эффективности применения искусственных нейронных сетей для решения задач распознавания, сжатия и прогнозирования / А.А. Талалаев [и др.] // Искусственный интеллект и принятие решений. - 2008. -№ 2. - С. 24-33.

36. Тарасов, В. Б. Моделирование взаимодействия робота с внешней средой на основе пространственных логик и распространения ограничений / В.Б. Тарасов, А. П. Калуцкая // Программные продукты и системы. - 2010. - № 2. -С. 174-178.

37. Тарасов, В.Б. Когнитивные измерения в интеллектуальных системах мониторинга объектов железнодорожной инфраструктуры / В.Б. Тарасов, М.Н. Святкина // Вестник РГУПС. - 2013. - № 4 (52). - С. 106-115.

38. Тарасов, В.Б. О механизмах понимания и интерпретации в интеллектуальных системах / В.Б. Тарасов // Научная сессия НИЯУ МИФИ-2015. - 2015. - Т. 3. -С.157.

39. Терелянский, П. В. Системы поддержки принятия решений. Опыт проектирования: монография / П. В. Терелянский. - Волгоград: ВолгГТУ, 2009. - 127 с.

40. Фурман, Я.А. Комплекснозначные и гиперкомплексные системы в задачах обработки многомерных сигналов / Я.А. Фурман [и др.]. - М.: ФИЗМАТЛИТ, 2004. - 452 с.

41. Хайкин, С. Нейронные сети: полный курс, 2-е издание / С. Хайкин, пер. с англ. Н.Н. Куссуль. - М.: Вильямс, 2006. - 1104 с.

42. Хемди, А. Введение в исследование операций / А. Хемди, пер. с англ. В.И. Тюпти. - М.: Вильямс, 2005. - 912 c.

43. Хлопкова, О.А. Интеллектуализация сервисов онлайн-обучения на базе технологий COGANN. / О.А. Хлопкова // Материалы Всероссийской научно-практической конференции «Математические методы и интеллектуальные системы в экономике и образовании». Ижевск: Удмуртский государственный университет, 2013. - С. 36-48.

44. Хлопкова, О.А. Интеллектуализация сервисов открытого образования / О.А. Хлопкова, Н. В. Комлева // Открытое образование, 2015. - № 2. - С. 56-62.

45. Хлопкова, О.А. Нейроэволюционный метод интеллектуализации принятия решений в условиях неопределенности / О.А. Хлопкова // Прикаспийский журнал: управление и высокие технологии, 2015. - № 3(51). - С. 114-129.

46. Хлопкова, О.А. Нейроэволюционный подход к защите информационной системы от DDoS-атак / О.А. Хлопкова // Материалы Всероссийской научно-практической конференции «Теоретические и практические аспекты развития научной мысли в современном мире». - Уфа: РИО МЦИИ Омега сайнс, 2015. -С. 19-25.

47. Хлопкова, О.А. Нейроэволюционный подход к проектированию неокогнитрона / О.А. Хлопкова // Материалы Всероссийской научно-практической конференции «Ценности и интересы современного общества». -М.: МЭСИ, 2015. - № 1. -С. 57-65.

48. Хлопкова, О.А. Обработка контента в информационных средах на основе нейро-нечеткой модели принятия решений / О. А. Хлопкова, Н. В. Комлева // Экономика, статистика и информатика. Вестник УМО. - 2013. - № 5. - С. 188-192.

49. Хлопкова, О.А. Оптимизация конструкции деталей BD-принтера на базе аппарата нейронных сетей и эволюционного моделирования / О.А. Хлопкова // Известия высших учебных заведений. Проблемы полиграфии и издательского дела. - 2015. - №5. - С. 53-63.

50. Хлопкова, О.А. Технология мягких вычислений в автоматизации обработки данных на примере информационно-аналитической системы НИФИ Минфина России / О.А. Хлопкова, Н.В. Комлева // Материалы Международной научно-практической конференции «Ценности и интересы современного общества». Часть 2. - М.: МЭСИ, 2013. -С. 90-95.

51. Чернодуб, А.Н. Обзор методов нейроуправления / А.Н. Чернодуб, Д.А. Дзюба // Проблемы программирования. - 2011. - № 2. - С. 79 - 94.

52. Черноруцкий, И. Г. Методы принятия решений: учебное пособие / И. Г. Черноруцкий. - СПб.: БХВ-Петербург, 2005. - 416 с.

53. Щербина, Ю.В. Проектирование систем автоматизации и управления методами теории нечетких множеств / Ю.В. Щербина, К.В. Смыкова // Вестник МГУП имени Ивана Федорова. - 2011. - №1. - С. 192-196.

54. Энгель, Е.А. Метод интеллектуальных вычислений для управления конфигурацией манипуляционного робота / Е.А. Энгель // Вестник СевероВосточного федерального университета им. М.К. Аммосова. - 2015. - № 3 (47). -С. 127-137.

55. Angeline, P. An Evolutionary Algorithm that Constructs Recurrent Neural Networks / P. Angeline, G. Saunders, J. Pollack // IEEE Transactions on Neural Networks and Learning Systems. - 1994. - Vol 5. - № 1. - pp. 27-54.

56. Arbib, M. A. The handbook of brain theory and neural networks / M. A. Arbib. -Cambridge: The MIT Press, 2002. - 1309 p.

57. Ashlock, D. Evolutionary Computation for Modeling and Optimization / D. Ashlock. - Guelph: Springer & Business Media, 2005. - 572 p.

58. Baeck, T. Evolutionary Algorithms in Theory and Practice / T. Baeck. - N.Y.: Oxford University Press, 1996. - 328 p.

59. Baeck, T. Evolutionary Computation: An Overview / T. Baeck, H.-P. Schwefel // Nagoya: Conference on Evolutionary Computation (ICEC 1996). - pp. 20-29.

60. Barnett, L. Evolutionary search on fitness landscapes with neural networks: PhD thesis / L. Barnett. - Sussex: University of Sussex, 2003. - 199 p.

61. Beyer, H.-G. How to analyze evolutionary algorithms / H.-G. Beyer, H.-P. Schwefel, I. Wegener // Theoretical Computer Science. - 2002. - № 1. - pp. 101130.

62. Bhanu, B. Evolutionary Synthesis of Pattern Recognition Systems / B. Bhanu, Y. Lin, K. Krawiec. - N.Y.: Springer, 2005. - 314 p.

63. Bramer, M. Artificial Intelligence Applications and Innovations / M. Bramer, V. Devedzic. - N.Y.: Kluwer, 2004. - 499 p.

64. Cardamone, L. Evolutionary Learning and Search-Based Content Generation in Computer Games: PhD thesis / L. Cardamone. - Milano: Politecnico di Milano, 2012. - 199 p.

65. Chen, X. Multi-Facet Survey on Memetic Computation / X. Chen, Y.S. Ong // IEEE Transactions on Evolutionary Computation. - 2011. - № 5. - pp. 591-607.

66. Clune, J. On the performance of indirect encoding across the continuum of regularity / J. Clune, K. O. Stanley // IEEE Transactions on Evolutionary Computation. - 2011. - pp. 5-27.

67. De Jong, K. A. Generation gaps revisited / K.A. De Jong, J. Sarma // Whitley: Foundations of Genetic Algorithms. - 1993. - № 2. - pp. 19-28.

68. Deb, K. Self-adaptive genetic algorithms with simulated binary crossover / K. Deb, H.-G. Beyer // Evolutionary Computation. - Vol 9. - № 2. - 2001. - pp. 197-221.

69. Dolson, E. Applying neural pruning to NEAT / E. Dolson, D. Park // Lansing: Adaptive Robotics Spring 2012. - 2012. - pp. 305-322.

70. Floreano, D. Neuroevolution: from architectures to learning / D. Floreano, P. Durr, C. Mattiussi // Evolutionary Intelligence. - 2008. - Vol 1. - № 1. - pp. 47-62.

71. Forsyth, D. Computer Vision: A Modern Approach / D. Forsyth, J. Ponce. - New Jersey: Prentice Hall. - 2002. - 720 p.

72. Fulcher, J. Advances in applied artificial intelligence / J. Fulcher. - Hershey: Idea Group Publishing, 2006. - 309 p.

73. Gauci, S. Generating Large-Scale Neural Networks Through Discovering Geometric Regularities / S. Gauci // N.Y.: Proceedings of the Genetic and Evolutionary Computation Conference (GECCO-2007), 2007. - 18 p.

74. Gomez, F. Efficient Non-Linear Control through Neuroevolution / F. Gomez, J. Schmidhuber, R. Miikkulainen // Berlin: Proceedings of the European Conference on Machine Learning, 2006. - pp. 654-662.

75. Gomez, J. Solving non-markovian control tasks with neuroevolution / J. Gomez, R. Miikkulainen // SanFrancisco: Proc. of the International Joint Conference on Artificial Intelligence, 1999. - pp. 1356-1361.

76. Gomez, J. Self adaptation of operator rates in evolutionary algorithms / J. Gomez // Washington: Proc. of Genetic and Evolutionary Computation Conference 2004 (GECCO 2004), 2004. - pp. 1162-1173.

77. Gruau, F. A Comparison between Cellular Encoding and Direct Encoding for Genetic Neural Networks / F. Gruau, D. Whitley, L. Pyeatt // San Francisco: Proceedings of the First Annual Conference, 1996. - pp. 81-89.

78. Hausknecht, M. Neuroevolution Approach to General Atari Game Playing / M. Hausknecht, J. Lehman // Nottingham: Computational Intelligence and AI in Games, IEEE, 2014. - № 4. - pp. 355-366.

79. Hinterding, R. Adaptation in evolutionary computation: A survey / R. Hinterding, Z. Michalewicz, A. Eiben // Indianapolis: Proc. of the 4th IEEE International Conference on Evolutionary Computation, 1997. - pp. 65-69.

80. Hinterding, R. Gaussian mutation and self-adaptation in numeric genetic algorithms / R. Hinterding // Cambridge: IEEE Press: IEEE International Conference on Evolutionary Computation, 1995. - pp. 384-389.

81. Hofland, M. Combining Manual Training and Enforced Sub-Populations to Control Forest Fires: Master thesis / M. Hofland. - Utrecht: Utrecht University, 2007. -163 p.

82. Holland, J.H. Building blocks, cohort genetic algorithms and hyperplane-defined functions / J.H. Holland // Massachusetts: Massachusetts Institute of Technology: Evolutionary computation. - 2000. - № 4. - pp. 373-391.

83. Igel, C. Evolutionary optimization of neural systems: The use of strategy adaptation / C. Igel, S. Wiegand, F. Friedrichs // Bochnm: Birkhauser Basel, Trends and Applications in Constructive Approximation. International Series of Numerical Mathematics, 2005 - 23 p.

84. Igel, C. Neuroevolution for reinforcement learning using evolution strategies / C. Igel // Bochum: Proc. of Congress on Evolutionary Computation (CEC 2003), 2003. - pp. 2588-2595.

85. James, D. A comparative analysis of simplification and complexification in the evolution of neural network topologies / D. James, P. Tucker // Genetic and Evolutionary Computation Conference (GECCO-2004), 2004. - pp. 441-459.

86. Janghel, R.R. Breast cancer diagnostic system using Symbiotic Adaptive Neuroevolution / R.R. Janghel, A. Shukla, R. Tiwari, R. Kala // Paris: Soft Computing and Pattern Recognition. - 2010. - pp. 326-329.

87. Jorgensen, T. D. Pruning artificial neural networks using neural complexity measures / T. D. Jorgensen, B. P. Haynes, C. Norlund // International journal of neural systems. - 2008. - Vol 18. - № 5. - pp. 389-403.

88. Karkavitsas, G. Automatic Music Genre Classification Using Hybrid Genetic Algorithms // G. Karkavitsas, G. Tsihrintzis // Intelligent Interactive Multimedia Systems and Services, 2011 - 335 p.

89. Kassahun, Y. Efficient reinforcement learning through evolutionary acquisition of neural topologies / Y. Kassahun, G. Sommer // 13th European Symposium on Artificial Neural Networks, 2005. - pp. 259-266.

90. Kenneth, O. Evolving Neural Networks through Augmenting Topologies / O. Kenneth, R. Miikkulainen // Evolutionary Computation, 2002. - Vol 10. - № 2. - pp. 99-127.

91. Khlopkova, O.A. Application of combinations of genetic algorithms and neural networks in online learning services / O.A. Khlopkova // 5th International Scientific Conference Science and Society. - London: SCIEURO, 2013. - pp. 78-83.

92. Kita, H. A comparison study of self-adaptation in evolution strategies and real-coded genetic algorithms / H.A. Kita // Evolutionary Computation, 2000. - Vol 9. -№ 2. - pp. 223-241.

93. Kitano, H. Designing neural network using genetic algorithm with graph generation system / H. Kitano // Pittsburgh: Complex Systems. - 1990. - № 4. - pp. 461-476.

94. Komleva, N. Development of business models of open education based on new intellect technologies / N. Komleva, N. Tikhomirova // Zermatt: The EADTU's annual conference 2010, Proceedings of Strategies and Business Models for Lifelong Learning/Networking Conference, 2010. - pp. 409-415.

95. Koza, J. Genetic programming: a paradigm for genetically breeding computer population of computer programs to solve problems / J. Koza. - Cambridge: MIT Press, 1992. - 315 p.

96. Liles, W. Introduction to Schema Theory: a survey lecture of pessimistic & exact schema theory / W/ Liles, P. Wiegand. - Virginia: George Mason University EC lab Activities, 2002 - 114 p.

97. Lubberts, A. Co-evolving a go-playing neural network / A. Lubberts, R. Miikkulainen // San Francisco: Process of Coevolution: Turning Adaptive Algorithms upon Themselves, Birds-of-a-Feather Workshop, Genetic and Evolutionary Computation Conference (GECCO-2001), 2001. - pp. 14-19.

98. Luger, G. F. Artificial intelligence: structures and strategies for complex problem solving. Reading / G.F. Luger. - Wesley: Pearson, 1998. - 824 p.

99. Maniezzo, V. Genetic evolution of the topology and weight distribution of neural networks / V. Maniezzo // Transactions of on Neural Networks. - 1994. - Vol 5. -№ 1. - pp. 39-53.

100. Mohammadian, M. Computational Intelligence in Control / M. Mohammadian, R. A. Sarker, X.Yao. - Hershey: Idea Group Inc, 2003. - 346 p.

101. Moriarty, D. Forming neural networks through efficient and adaptive coevolution / D. Moriarty, R. Miikkulainen // Evolutionary Computation, 1997. - № 5. - pp. 373-399.

102. Nguyen, T. C. Evolvable 3D modeling for model-based object recognition systems / T.C. Nguyen, T.S. Huang, K. Kinnear // Cambridge: Advances in Genetic Programming. - 1994. - pp. 459-475.

103. Nixon, M. Feature Extraction and Image Processing / M. Nixon, A. Aguado. -Oxford: Newnes, 2002. - 350 p.

104. Pal, S. Foundations of soft case- based reasoning / S. Pal, S. Shiu. - New Jersey: John Wiley & Sons, 2004. - 300 p.

105. Pasemann, F. Balancing rotators with evolved neurocontroller / F. Pasemann, U. Dieckmann. - Leipzig: Max-Planck-Institute for Mathematic in Sciences, 1997 -pp. 36-43.

106. Pasemann, F. Evolving Structure and Function of Neurocontrollers / F. Pasemann, U. Steinmetz, U. Dieckmann // Washington: CEC 99: Proceedings of the 1999 Congress on Evolutionary Computation, 1999. - pp. 22-29.

107. Perez-Bergquist, A. S. Applying ESP and region specialists to neuroevolution for go: Technical Report CSTR01-24 / A.S. Perez-Bergquist. - Austin: The University of Texas at Austin, 2001. - 274 p.

108. Rabunal, J.R. Artificial neural networks in real-life applications / J. R. Rabunal, J. Dorrado // Hershey: Idea Group Publishing, 2005. - 375 p.

109. Rempis, C. W. An Interactively Constrained Neuro-Evolution Approach for Behavior Control of Complex Robots / C. W. Rempis, F. Pasemann // Osnabruck: Springer. - 2012. - pp. 305-41.

110. Rempis, C. W. Evolving Complex Neuro-Controllers with Interactively Constrained Neuro-Evolution : PhD thesis / C.W. Rempis. - Osnabruck: Osnabruck University, 2012. - 240 p.

111. Riessen, G.A. PEPNet: parallel evolutionary programming for constructing artificial neural networks / G. A. Riessen, G. J. Williams, X. Yao // Berlin: 6th International Conference on Evolutionary Programming, 1997. - pp. 35-45.

112. Risi, S. An Enhanced Hypercube-Based Encoding for Evolving the Placement, Density and Connectivity of Neurons / S. Risi, K. O. Stanley // Journal Cambridge MA. - 2012. - pp. 32- 54.

113. Rudolph, G. Self-adaptive mutations may lead to premature convergence / G. Rudolph // IEEE Transactions on Evolutionary Computation, 2001. - Vol 5. - № 4. - pp. 410-414.

114. Sher, G. I. Evolving Chart Pattern Sensitive Neural Network Based Forex Trading Agents / G. I. Sher // Neural and Evolutionary Computing, Computational Engineering, Finance, and Science. - 2011. - pp. 47-68.

115. Sher, G. I. Handbook of Neuroevolution Through Erlang / G.I. Sher. - N.Y.: Springer, 2013. - 851 p.

116. Siebel, N. T. Creating Edge Detectors by Evolutionary Reinforcement Learning / N. T. Siebel, S. Grunewald, G. Sommer // Hong Kong: IEEE Congress on Evolutionary Computation, 2008. - pp. 3552-3559.

117. Siebel, N.T. Evolutionary reinforcement learning of artificial neural networks / N.T. Siebel, G. Sommer // International Journal of Hybrid Intelligent Systems. -2007. - Vol 4. - № 3. - pp. 171-183.

118. Stanley, K. O. Evolving neural networks through augmenting topologies / K.O. Stanley, R. Miikkulainen // Evolutionary Computation, 2002. - Vol 10. - № 2. - pp. 99-127.

119. Thierens, D. Non-redundant genetic coding for neural networks / D. Thierens // Utrecht: International Conference on Evolutionary Computation, 1996. - pp. 571-575.

120. Valsalam, V. Constructing good learners using evolved pattern generators / V. Valsalam, J. Bednar, R. Miikkulainen. // Washington: Genetic and Evolutionary Computation Conference (GECCO), 2005. - pp. 189-203.

121. Wang, J. Computational intelligence in manufacturing handbook / J. Wang, A. Kusiak // Boca Raton: CRC Press LLC. - 2001. - 560 p.

122. Whitley, D. Cellular Encoding Applied to Neurocontrol / D. Whitley, F. Gruau, L. Pyeatt // San Francisco: Sixth International Conference on Genetic Algorithms, 1995. - pp. 460-469.

123. Wong, M.L. Data mining using grammar based genetic programming and applications / M.L. Wong, K.S. Leung // N.Y.: Kluwer Academic Publishers. - Vol 3. - 2002. - 228 p.

124. Yamamichi, T. Synthesis of binary cellular automata based on binary neural networks / T. Yamamichi, T. Saito // Tokyo: International Joint Conference on Neural Networks, 2005. - Vol 3. - pp. 1361-1365.

125. Yao, X. volving artificial neural networks / X. Yao // Tokyo: Proceedings of the IEEE, 1999. - Vol 87. - № 9. - pp. 1423-1447.

126. Yong, C. H. Cooperative coevolution of multi-agent systems: Technical Report AI01 / C. H. Yong, R. Miikkulainen. - Austin: The University of Texas at Austin, 2000. - 287 p.

127. Yu, T. Online population size adjusting using noise and substructural measurements: Illigal Report № 2005017 / T. Yu, K. Sastry, D. E. Goldberg. -Chicago: The University of Illinois, 2005. - 176 p.