Топология поиска нейросетевой модели с помощью генетических алгоритмов тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат наук Чистик, Игорь Константинович

• Чистик, Игорь Константинович
• кандидат наук
• 2013

Оглавление диссертации кандидат наук Чистик, Игорь Константинович

Оглавление

Введение

Глава 1. Нейронные сети и генетические алгоритмы

1.1 Искусственные нейронные сети

1.2 Пластичность нейронной сети

1.3 Подходы к ускорению обучения нейронных сетей

1.4 Стохастические методы обучения нейронных сетей

1.4.1 Обзор стохастических методов обучения нейронных сетей

1.4.2 Машина Больцмана

1.4.3 Сигмоидальные сети доверия

1.4.4 Распределение Гиббса

1.4.5 Метод «отжига»

1.4.6 Алгоритм Метрополиса

1.4.7 Машина Гельмгольца

1.6 Индекс производительности стохастических методов

1.7 Генетические алгоритмы

1.7.1 Совместное применение генетических алгоритмов и нейронных сетей

1.7.2 Применение генетических алгоритмов

Выводы Главы 1

Глава 2. Топология генетического поиска нейросетевой модели

Введение

2.1 Топология стохастического генератора для обучения нейронной сети

2.2 Основные операции с прототипами

2.3 Общая структура топологии

2.4 Общий алгоритм работы топологии

2.5 Структура и принцип действия интеллектуальной базы знаний

2.5.1 База знаний о нейронных сетях

2.5.2 База знаний по генетическим алгоритмам

2.5.3 База знаний о временных рядах

2.5.4 База знаний о предыдущих запусках поиска нейронных сетей

2.5.6 Блок управления популяциями

2.5.7 Блок генерации прототипа

2.5.8 Модуль предварительного расчета параметров нейросети (слои+нейроны)

2.5.9 Блок оценки сложности задачи

2.5.10 Блок получения новых особей

2.5.11 Блок оценки особей

2.5.12 Блок отбора особей

2.5.16 Модуль обучения нейросетей

2.5.17 Блок расчета ошибки нейросети

2.6 Вариант топологии без обучения нейронной сети

2.7 Вариант топологии с обучением нейронной сети

2.8 Вариант топологии с ансамблем нейросетей

2.10 Топология с параллельным механизмом генетического поиска

2.11 Сравнение с эволюционными алгоритмами

Выводы Главы 2

Глава 3. Реализация топологии генетического поиска нейросетевых

моделей

3.1 Постановка задачи анализа и прогнозирования биржевых котировок

3.2 Прогнозирование финансовых временных рядов с помощью нейронных сетей

3.3 Механические торговые системы

3.4 Описание разработанной информационной системы

3.5 Описание реализованного алгоритма

3.6 Реализация стохастического генератора

3.6.1. Описание реализации БЗНС

3.6.2. Описание реализации БЗПЗН

3.7 Особенности реализации БЗГА

3.8 Представление особей для различных вариантов топологии

3.8 Кодирование входов и выходов нейронных сетей

3.9 Постановка задачи выбора инвестиционного проекта в строительной

сфере

Выводы Главы 3

Глава 4. Экспериментальная часть

4.1 Описание условий проведения экспериментов

4.2 Параметры оценки работы топологии

4.3 Работа топологии для поиска НС-модели краткосрочного прогноза (вариант топологии 1)

4.4 Работа топологии для поиска НС модели краткосрочного прогноза (вариант топологии 2)

4.5 Сравнение двух вариантов топологии:

Выводы Главы 4

Заключение

Список литературы

Приложение А. Обзор современных нейросетевых и генетических программных продуктов

Введение диссертации (часть автореферата) на тему «Топология поиска нейросетевой модели с помощью генетических алгоритмов»

Введение

Методы нейроматематики с каждым годом все больше получают распространение в самых различных сферах применения [1, 3, 7, 8, 16, 21, 22, 33, 39, 40, 50]. Можно выделить основные направления применения нейронных сетей - это распознавание изображений, прогнозирование финансово - экономических инструментов и показателей, различные веб -задачи и т.д. Основные преимущества нейросетевого моделирования следующие:

• возможность решения задач, не имеющих строгого математического описания

• возможность интеграции в одной модели переменных различной природы и типов значений;

• адекватность современным технологиям;

• высокая помехоустойчивость и слабая чувствительность к потере части нейронов и связей между ними;

• неявный учет скрытого влияния переменных;

• высокая скорость получения результата за счет массового параллелизма работы;

• нечувствительность к наличию пропусков и искажений во входных данных и т.д.

Основными недостатками нейронных сетей обычно считают следующее [3, 7, 22, 33]: нейронная сеть обычно рассматривается, как «черный ящик» из которого трудно вербализовать нейросетевую базу знаний; для обучения нейронной сети требуется значительная по объему обучающая выборка; значительное время обучения нейронной сети и трудность работы с нейросетью неподготовленному специалисту.

Обучение нейронной сети, в общем, относится к задаче оптимизации. Методы оптимизации, как известно, делят на два класса: методы, использующие производную (градиентные методы) и стохастические методы [31].

Одной из главных проблем многослойного персептрона и нейронных сетей вообще является собственно проблема обучения для задач уровня сложности выше среднего. Одними из примеров таких задач являются распознавание изображений и прогнозирование [7, 29]. Задача обучения нейронной сети - сложный процесс, вначале необходимо определиться с типом сети, со структурой сети - слои и нейроны в них, входы и выходы, подготовить данные, далее необходимо обучить сеть, то есть подобрать коэффициенты связей между нейронами. Одним из современных подходов к поиску структуры нейронной сети и ее обучению является применение генетических алгоритмов [29, 33].

Генетические алгоритмы способны отыскивать решения при практически полном отсутствии предположений о характере исследуемой функции при решении целочисленных или комбинаторных оптимизационных задач [27, 29, 30, 33, 36]. Генетические алгоритмы тесно связаны с биологическим процессом эволюции, который можно рассматривать, как процесс постоянной оптимизации биологических видов, с основной направляющей - естественным отбором. Более того, можно сказать, что теория генетических алгоритмов строилась на базе теории Ч. Дарвина и его последователей [12].

Достоинства генетических алгоритмов заключаются в следующем® генетические алгоритмы могут работать с данными большой размерности и без упорядоченности в них, могут применяться для широкого круга задач, в том числе для задач с изменяющейся средой. Главное достоинство генетических алгоритмов в том, что они могут применяться для сложных неформализованных задач, для которых не существует специальных методов.

В то же время, если существует специальный метод решения задачи, то генетический алгоритм, скорее всего ему проиграет [30].

Главный недостаток генетических алгоритмов в том, что они не гарантируют, что найденное решение будет оптимальным. К недостаткам также следует отнести то, что время поиска решений генетическими алгоритмами обычно велико и существуют ограничения по основным операторам генетических алгоритмов.

Актуальность данной диссертационной работы заключается в следующих выводах:

1. разработка топологии генетического поиска нейросетевых моделей является серьезным вкладом в развитие методов искусственного интеллекта;

2. программная реализация разработанной топологии на веб -технологиях является передовым методом построения интеллектуальных систем и позволяет получить мощное и доступное средство нейросетевого и генетического моделирования;

3. реализация системы с высоким процентом автоматизации поиска нейросетевых моделей, позволяет значительно повысить привлекательность моделирования с помощью методов искусственного интеллекта.

На основании перечисленных требований к методам генетического поиска нейросетевых моделей, сформулированы вопросы, отражающие научную проблему:

1. Возможно ли создание обобщенной методологии создания генетической топологии поиска нейросетевых моделей.

2. Как обеспечить интерпретируемость работы поиска нейросетевой модели с помощью генетических алгоритмов?

3. Возможен ли поиск прогнозирующих моделей с помощью генетического топологии поиска нейросетевой модели?

4. Возможно ли создание полностью автоматической системы поиска адекватной нейросетевой модели?

5. Каким образом реализовать доступность моделирования сложных задач с помощью генетических алгоритмов и нейронных сетей для конечного пользователя?

Целью работы является разработка генетической топологии поиска нейросетевых моделей, ее программная реализация в составе моделирующей системы и апробация топологии на актуальной задаче.

Программная реализация должна позволять создавать имитационную модель рассматриваемой задачи и проводить различные эксперименты с моделями. При работе с моделью исследователю должна предоставляться возможность устанавливать зависимости, соотношения и допущения, выражающие взаимосвязи различных элементов системы, возможность оценивать их влияние на функциональное состояние системы.

Для достижения указанных целей были поставлены и реализованы следующие задачи:

- исследовать существующие методы обучения нейронных сетей и провести их сравнительный анализ;

- проанализировать методы совместного использования генетических алгоритмов и нейронных сетей, выявить сильные и слабые стороны взаимодействия;

- разработать топологию и алгоритм генетического поиска адекватной нейросетевой модели;

- программно реализовать разработанную топологию в составе моделирующего комплекса;

- разработать модель прогнозирования котировок финансовых инструментов с помощью созданной топологии и программного обеспечения;

провести экспериментальные исследования найденных прогнозирующих моделей;

- оценить эффективность предложенной топологии генетического поиска нейросетевых моделей.

Содержание диссертационной работы отражает реализацию поставленных задач.

В первой главе выполнен анализ основных архитектур и методов обучения нейронных сетей. Рассмотрены генетические и эволюционные алгоритмы, а также существующие варианты совместного использования генетических алгоритмов и нейронных сетей. Выявлены достоинства и недостатки существующих вариантов совместного использования генетических алгоритмов и нейронных сетей.

Во второй главе обосновано и описано создание генетической топологии поиска нейросетевой модели. Введено понятие прототипа особи. В топологию введены интеллектуальные базы знаний о временных рядах, нейросетевых моделях, решенных задачах и генетических алгоритмах. Разработанная топология накапливает данные о решаемых задачах и позволяет находить нейросетевые модели для вновь поступивших задач с меньшим временем поиска. Предложено два варианта топологии: а) с поиском весовых коэффициентов; б) с поиском структуры нейронной сети с последующим ее обучением.

В третьей главе рассмотрена конкретная реализация разработанных топологий для задачи прогнозирования котировок финансовых инструментов. Также поставлена задача для выбора инвестиционных проектов в строительной сфере.

В четвертой главе приведены результаты экспериментов с созданными моделями топологии генетического поиска нейросетевых моделей для задачи прогнозирования финансовых котировок.

В заключении описаны выводы и результаты проделанной работы.

В приложении 1 приводится обзор современных программных продуктов реализующих нейронные сети и генетические алгоритмы.

Задачи исследования решены с помощью методов теории искусственных нейронных сетей, генетических алгоритмов, системного анализа, математической статистики и искусственного интеллекта.

Научная новизна исследования заключается в следующих результатах:

- разработана топология генетического поиска нейросетевых моделей и алгоритм ее работы;

- предложены варианты разработанной топологии а) для поиска структуры нейронной сети; б) для поиска весов синаптических связей; в) с параллельным генетическим поиском;

- введено понятие прототипа особи и операции над ним;

- разработана модель прогнозирования котировок финансовых инструментов с помощью разработанной топологии;

Практическая значимость работы заключается в разработке и адаптации метода создания генетической топологии генерации нейросетевых моделей, разработке моделирующей системы МС8ой\уаге, исследования и применения генетических и нейросетевых моделей. Система ЫС8ой\уаге используется для генерации нейронных сетей работающих на финансовых рынках.

Основные положения, выносимые на защиту:

- топология генетического поиска нейросетевых моделей;

- алгоритм работы топологии генетического поиска нейросетевых моделей;

- варианты разработанной топологии для поиска структуры нейронной сети и весов синаптических связей;

- понятие прототипа особи в генетических алгоритмах;

- применение разработанной топологии для работы на финансовых рынках;

- результаты сравнительного анализа разработанной топологии. Разработанное программное обеспечение внедрено в «ВТБ 24 (ЗАО)»

(филиал г. Краснодар).

Основной материал работы опубликован в 1 научной статье в журналах рекомендованных ВАК и 4 тезисах докладов. Подана заявка о выдаче патента на изобретение.

Диссертация состоит из введения, четырех разделов, заключения, списка использованной литературы и приложения. Ее общий объем составляет 130 страниц текста, содержащего 23 рисунка и 25 таблиц.

Глава 1. Нейронные сети и генетические алгоритмы

1.1 Искусственные нейронные сети

Нейронные сети в настоящее время очень популярный инструмент для решения задач во многих областях человеческой деятельности [1, 7, 16, 21]. Свою историю искусственные нейронные сети ведут с формального персептрона МакКаллока и Питтса 1943 года [40]. Искусственные нейронные сети прошли долгий путь своего развития, пройдя и сквозь забвение и период бурного расцвета. В настоящее время искусственные нейронные сети (далее просто нейронные сети) являются широко применяемым инструментом для решения ряда задач.

Основной топологией нейронных сетей является многослойный персептрон [52, 55], а наиболее распространенным методом обучения многослойного персептрона является алгоритм обратного распространения ошибки [33]. За последние три десятилетия придумано большое количество нейросетевых топологий и еще большее число методов обучения. Проведем краткий анализ методов обучения нейронных сетей типа многослойный персептрон в последовательности «название - принцип работы - недостатки» [2, 19].

1. Алгоритм обратного распространения ошибки (BackPropogation). Стандартный метод градиентного спуска. Медленное обучение. Высокая вероятность остановки в локальных минимумах.

2. С>Р1ЮР. Упрощенный алгоритм обратного распространения ошибки. Недостаточно точный.

3. 11Р1ЮР. Упрощенный стандартный градиентный метод. Недостаточно точный.

4. Метод Ньютона. Совпадает с известным методом Ньютона решения систем уравнений. Требует вычисления второй производной. Точный, но медленно сходится.

5. Метод Ньютона с регулировкой шага. хк+х =хк +акЬк, при ак =1 совпадает с классическим методом Ньютона. Иногда дает лучшие результаты, чем классический метод обратного распространения ошибки. Вычисление второй производной приводит к большому количеству вычислений.

6. Метод покоординатного спуска. Строится вектор обладающий приблизительно теми же свойствами, что и градиент. Дается положительное приращение первой координате вектора. Если оценка увеличилась, то даем отрицательное приращение. Также и с другими компонентами вектора. В результате получается вектор с убывающей оценкой. Больше вычислений, чем у стандартного алгоритма обратного распространения ошибки.

7. Метод случайного поиска. Задается начальный вектор параметров. Новый вектор ищется как начальный плюс случайный, умноженный на радиус. Если после определенного количества итераций не уменьшилась ошибка, то радиус сужается и т.д. Высокая вероятность не обучить НС с достаточной точностью.

8. Метод случайной стрельбы. Практически идентичен с методом случайного поиска. Высокая вероятность не обучить НС с достатчной точностью.

9. Метод Нел дера - Мида. Генерируется случайная точка в пространстве параметров, затем строится симплекс с центром в этой точке и длиной стороны к. В каждой вершине симплекса считается оценка. Выбирается вершина с наибольшей оценкой, от нее строится новый симплекс и т.д. Эксперименты показывают,

что он не превосходит алгоритм обратного распространения ошибки.

10. Антиовражный метод. Запоминается случайная начальная точка, затем выполняется п шагов оптимизации по методу наискорейшего спуска, затем делается оптимизация. Высокая вероятность уйти от глобального минимума и остановка в локальных минимумах.

11. Метод кРагТап. Делается к шагов оптимизации по методу наискорейшего спуска и делается шаг оптимизации по направлению из начальной точки в конечную. Плохо подходит для многомерных задач.

12. Квазиньютоновские методы. Расчет ведется с использованием второй производной градиента ошибки. Большое количество вычислений. Медленная сходимость.

Наверное, главной проблемой использования нейронных сетей является точность обучения, на которую влияет большое количество факторов. Прежде всего сами данные, они могут быть противоречивыми, неполными и не отражать в полной мере саму суть решаемой задачи. Следующим влияющим на обучение фактором является предобработка данных [3]. Как мы видим, еще до старта обучения, лучше даже сказать - до выбора метода обучения есть факторы, которые очень сильно влияют на конечный результат обучения! Далее идет проблема выбора значащих входов [3], выбор и настройки метода обучения [52].

1.2 Пластичность нейронной сети

Пластичность нейронной сети - это характеристика ее способности к обучению. Можно сказать, что качество одной нейронной сети лучше другой, если первая при прочих равных условиях обладает лучшей пластичностью [15].

Обычно пластичность нейронной сети рассчитывается с помощью константы Липшица [7, 15]. Рассмотрим стандартный многослойный персептрон, а именно этот тип нейронных сетей наиболее распространен для решения большинства нейросетевых задач, со следующими свойствами:

• число входных сигналов - п0;

• число слоев - т;

• число нейронов в / -м слое - п,;

• каждый нейрон первого слоя получает все входные сигналы, а каждый нейрон любого слоя получает сигналы всех нейронов предыдущего слоя;

• нейроны всех слоев имеют одинаковые характеристики (то есть тип нейрона и функция активации);

• все синоптические веса лежат в интервале [-1; 1];

В данном случае константа Липшица для г-го слоя можно оценить следующей величиной:

0-1)

Оценка константы Липшица для всей сети:

т т-1

д5<Па,<А;7^ЛП"- О-2)

1=1 1=1

Если в качестве функции активации задан гиперболический тангенс, то Аф = с и оценка константы Липшица сети рассчитывается как:

т-1

Д,£с">/^ПИ. С1-3)

1=1

Если заменить всю область определения функций £> на конечное множество, то условие, определяющее требуемый объем нейросети, то есть количество связей, можно получить, сравнивая Д4 с оценкой константы Липшица для обучающей выборки:

A.., sup »/W-/WII. (1.4)

х,уе{хр},х*у || ЛГ — |]

является нижней оценкой константы Липшица аппроксимируемой функции. Нейронная сеть может реализовать данную функцию только

в том случае, когда Д5 > А

выб '

1.3 Подходы к ускорению обучения нейронных сетей

Как отмечалось выше, одной из главных проблем использования нейронных сетей является медленное обучение. Обычно выделяют следующие подходы для решения этой проблемы:

а) использование специальных, скоростных алгоритмов [19];

б) использование знаний о предметной области и нейронных сетях [3];

в) использование базы знаний о предыдущих запусках нейронных

сетей.

К скоростным алгоритмам обучения нейронных сетей можно отнести следующие:

• RProp;

• скоростной алгоритм [19];

• быстрый алгоритм обратного распространения ошибки (Quick Propogation) [41].

Другим широким классом методов повышения скоростных характеристик обучения нейронных сетей является использование знаний о предметной области (или способы построения нейронной сети на основе известных структурированных знаний). Отметим следующие методы: KBANN (Knowledge Based Artificial Neural Networks) [83, 84], M - сети (нейро - подобные сети - активные семантические сети) [17, 24], сети ALN [53], а также подходы на основе извлечения конъюнктивных правил [8, 64], ппавил типа Миз N Г 95. 961 и до.

--1------L ' J ' А

1.4 Стохастические методы обучения нейронных сетей

1.4.1 Обзор стохастических методов обучения нейронных сетей

Стохастические методы обучения нейронных сетей черпают свои идеи в основном в статистической механике [41]. Данные методы обычно относятся, за некоторыми исключениями, к классу самоорганизующихся обучаемых систем. Подробно останавливаться на статистической механике в рамках данной работы не будем, данное направление прекрасно раскрыто в классических учебниках. Отметим, что главной целью статистической механики является управление термодинамическими свойствами макроскопических объектов, начиная с движения микроскопических частиц, таких как атомы и электроны [41].

1.4.2 Машина Больцмана

Машина Больцмана, была наверно, первой многослойной обучаемой машиной, использующей принципы статистической механики [72,73]. Свое название машина получила за счет формального сходства поведения динамической сети и основополагающими работами Больцмана в термодинамике [41]. Машина Больцмана представляет собой стохастическую машину, главными компонентами которой являются стохастические нейроны. Данный нейрон находится в одном из двух возможных вероятностных состояний (формально +/- 1, но можно использовать и другие числа). Эти два состояния можно интерпретировать как включенное состояние и выключенное состояние. Стохастические нейроны в машине Больцмана делятся на две группы - видимые и скрытые. Первые

представляют собой интерфейс между нейронной сетью и средой, в которой она работает. Во время обучения машины Больцмана видимые нейроны фиксируются в своих специфических состояниях, определяемых внешней средой. Скрытые нейроны всегда работают свободно и извлекают корреляцию высокого порядка в ограничивающих векторах для выражения ограничений, содержащихся во входных векторах [41]. Машину Больцмана можно интерпретировать как самообучающуюся сеть для моделирования распределения вероятности, которое применяется к видимым нейронам с соответствующими вероятностями, т.е. сеть может осуществлять дополнение образов. Например, если вектор с неполной информацией поступает на часть видимых нейронов, то правильно обученная сеть дополняет эту информацию на оставшихся видимых нейронах. То есть видимые нейроны в машине Больцмана можно разделить на входные и выходные.

Существуют две фазы работы машины Больцмана:

а) положительная фаза - сеть работает с фиксированным набором примеров;

б) отрицательная фаза - сеть работает в свободном режиме. Переменное использование отрицательной и положительной фазы в

машине Больцмана стабилизирует распределение синаптических весов. Целью обучения Больцмана является максимизация функции правдоподобия Ь(м>), где ж есть вектор, который содержит все синаптические веса сети. Для максимизации Цм>) можно использовать метод градиентного спуска:

—, (1.5)

дм>л

или, согласно [41] - правило обучения Больцмана:

-р~,), (1.6)

где 77 - параметр скорости обучения, определяемый как

7 = § (1-7)

Как видно из формулы (1.6) - два слагаемых в правиле обучения Больцмана прямо противоположны. Первое слагаемое, соответствующее фиксированному состоянию сети, можно рассматривать, как правило обучения Хебба. Второе, соответствующее свободному состоянию сети, рассматривается как слагаемое «забывания». В [41] сформулировано, что правило обучения Больцмана есть не что иное, как обобщение правила повторяющегося забывания и обучения. Особенностями обучения Больцмана является то, что [74,75]:

а) обучение происходит пакетным образом;

б) синаптические веса машины Больцмана корректируются с использованием только локальных методов в двух разных условиях -фиксированной и свободной фазе работы;

в) правило коррекции между нейронами / и ] не зависит от того, являются ли оба нейрона видимыми, скрытыми, или один скрытый, другой видимый;

Главная задача машины Больцмана - это создание нейросети, которая правильно моделирует входные образы в соответствии с распределением Больцмана.

Главный недостаток в машине Больцмана - это чрезвычайно медленное обучение [41]. Однако попытки устранения данного недостатка привело к появлению новых версий стохастических машин.

Медленное обучение машины Больцмана связано во многом с использованием отрицательной фазы, в которой все нейроны работают свободно. Но использование отрицательной фазы необходимо для стабилизации весов.

Также машина Больцмана чувствительна к статистическим ошибкам

Недостатки машины Больцмана можно обойти с помощью сигмоидальных сетей доверия1 [88].

1.4.3 Сигмоидальные сети доверия

Сигмоидальные сети доверия (англ. - sigmoid belief network) были впервые представлены в работе [88]. Сигмоидальные сети доверия принадлежат к большому классу сетей доверия [90], которые также называют сетями Байеса или байесовыми сетями, введенных впервые для представления вероятностных знаний в экспертных системах. Сигмоидальные сети доверия были созданы при попытке обойти использование отрицательной фазы машины Больцмана. Это было достигнуто за счет замены симметричных связей в машине Больцмана прямыми соединениями, которые формируют ацикличный граф. Сигмоидальные сети доверия имеют многослойную архитектуру, состоящую из двоичных стохастических нейронов.

Сигмоидальная сеть доверия состоит из N стохастических нейронов и случайных двоичных переменных Хх,Х2,...,ХN. Родители элемента X, определяются как

ра{Х,)^{Хх,Хг,...,Х,_х} (1.8)

Отличительной чертой сигмоидальной сети доверия является способность явно представлять условные зависимости исследуемых вероятностных моделей входных данных. В частности, вероятность активации j -го нейрона определяется следующей функцией:

Р(Х, =х, = (1-9)

L kj

где wu - синаптический вес, идущий от у-го нейрона к z-му. Это значит, что условная вероятность Р(Х, = х, | ра(Х, )) зависит от ра(Х, ) только

1 Другое название - «логистические сети доверия».

через сумму взвешенных входов. Это можно интерпретировать, как «доверие» данного нейрона к предыдущим и считается, что распространяется доверие по сети. В сигмоидальных сетях доверия примеры обучения обычно двоичной системы счисления [41].

При обучении сигмоидальной сети доверия, обучающие примеры подаются с частотой, пропорциональной частоте встречи на практике. Вектор состояния х разбивается на вектор состояния видимых нейронов ха и вектор состояния скрытых нейронов хр. Соответственно на одном и том же наборе

обучающих примеров можно получить большое количество представления одной задачи. Обучение в сигмоидальных сетях доверия происходит с помощью градиентного спуска в пространстве параметров [41].

Обучение сигмоидальной сети доверия происходит за один проход, в отличие от машины Больцмана, во многом благодаря тому, что убрана отрицательная фаза [88].

1.4.4 Распределение Гиббса

Одним из краеугольных моментов во многих стохастических машинах является использование распределения Гиббса или вариаций на данное распределение. Распределение Гиббса обычно вводится следующим образом. Пусть физическая система может находиться в одном из большого количества состояний. Тогда pt - вероятность нахождения системы в / - ом состоянии.

р,> ОдляУ/, (1.10)

и

1>,=1, (1.12) <=1

где N - количество возможных состояний, возможно бесконечное.

Пусть Е, - энергия системы, когда она находится в состоянии /. Основной принцип статистической механики утверждает, что если система находится в термальном равновесии с окружающей средой, то состояние / возникает с вероятностью

где Т - абсолютная температура в градусах Кельвина; кв - константа Больцмана (кв =1,38 -10"23 Дж/Кельвин); 1 - константа, не зависящая от конкретного состояния. Если совместно рассматривать два последних уравнения, то получается:

Нормализующая величина 2 называется функцией разбиения. Распределение вероятности (1) называется каноническим распределением или

Е

распределением Гиббса. Множитель ехр(--—) называют коэффициентом

квТ

Больцмана.

Отметим, что в распределении Гиббса состояния с более низкой энергией более вероятны и при понижении температуры Т вероятность концентрируется на небольшом подмножестве состояний с низкой энергией

В контексте искусственных нейронных сетей, основному предмету исследования данной работы, параметр Т можно рассматривать как псевдотемпературу, которая управляет термальными флуктуациями, по сути «синаптическим шумом» в нейроне. При этом константа кв приравнивается единице и выражения для вероятности и функции разбиения записываются следующим образом:

Список литературы диссертационного исследования кандидат наук Чистик, Игорь Константинович, 2013 год

Список литературы

1. Барский А.Б. "Логические нейронные сети". М.: Бином. 2007, 352 с.

2. Ботин В.А. Адаптивный критик с использованием фильтра Калмана. Дисс. на соиск. уч. степ. канд. техн. наук. Краснодар: КубГТУ. 2011. 123 с.

3. Бычков A.B. Нейросетевое управление рентабельностью предприятия. Дисс. канд. техн. наук. Краснодар: КубГТУ. 2001. 156 с.

4. Бэстенс Д.-Э., ван ден Берг В.-М., Вуд Д. Нейронные сети и финансовые рынки: принятие решений в торговых операциях. -Москва: ТВП, 1997. - 236 с.

5. Вентцель Е. С. Исследование операций. - М.: Высшая школа, 2001. -208 с.

6. Вентцель Е.С. Элементы динамического программирования. М.: Наука, 1964.

7. Галушкин. А.И. Нейрокомпьютерные системы. - М.: Издательское предприятие журнала "Радиотехника", 2000. - 205 с.

8. Гилмор Дж. Ф. Автоматизированное приобретение знаний с помощью нейронных сетей // Изв. АН. Техническая кибернетика. -1994. - №5. с. 93-96.

9. Гладков JI.A., Курейчик В.В., Курейчик В.М. Генетические алгоритмы. М.:ФИЗМАТЛИТ. 2010. 368 с.

10. Глушань В.М. Метод имитации отжига // Известия ТРТУ. Тематический выпуск «Интеллектуальные САПР». С. 148-150.

11. Гнеденко Б.В. Курс теории вероятностей. М.: УРСС, 2001.

12. Дарвин Ч. О происхождении видов путем естественного отбора или сохранении благоприятствуемых пород в борьбе за жизнь [Текст]/Ч. Дарвин. - М.: АН СССР. 1933. - Т.З.

13. Де Марк Т. Технический анализ - новая наука. - М.: Диаграмма, 1997. - 122 с.

14. Джарратано Д. "Экспертные системы. Принципы разработки и программирование". М.: Вильяме. 2007, 1147 с.

15. Дорогов А.Ю., Алексеев A.A. Пластичность многослойных нейронных сетей // Известия вузов. «Приборостроние». 1998. № 4. т.41. с. 36-41.

16. Ежов A.A., Шумский С.А. Нейрокомпьютинг и его применения в экономике и бизнесе. - М: ФИАН , 1998. - 222с.

17. Ершов Н. М. Стохастические алгоритмы обучения нейросетей взадаче определения коэффициентов среды //Вестник Московского университета, серия 15.Вычислительная математика и кибернетика. -1996. -№4.-С.31-34.

18. Зуева В.Н. Математическое обеспечение информационной системы учета и прогнозирования продовольственных ресурсов региона. Дисс. соиск. уч. ст. канд. техн. наук. Краснодар: КубГТУ. 2006. 145 с.

19. Карлов Д.А. Интеллектуальная многоконтурная система поддержки принятия решений аналитика. Дисс. на соиск. уч. степ. канд. наук. Краснодар: КубГТУ. 2010. 131 с.

20. Кобелев В.А. "Электронная коммерция". М.: Дашков и К, 2009, 684 с.

21. Комашинский В.И., Смирнов Д.А. Нейронные сети и их применение в системах управления и связи. М.: Горячая линия - Телеком. 2002. 96 с.

22. Круглов В.В., Дли М.И., Голунов Р.Ю. Нечеткая логика и искусственные нейронные сети. Физматлит, 2001. - 224 с.

23. Кузнецов М., Симдянов И. "PHP. Практика создания веб - сайтов". СПб.: БХВ-Петербург, 2008, 1264 с.

24. Куссуль Э.М. Ассоциативные нейроподобные структуры. Киев: Наук, думка, - 1992. -144 с.

25.Марков В.Н. Идентификация и синтез интеллектуальных NP-полных систем. Дисс. докт. техн. наук. Краснодар: КубГТУ. 2007. 370 с.

26. Минаев Ю.И., Филимонова О. Ю., Бенамеур Лиес. Методы и алгоритмы решения задач идентификации и прогнозирования в условиях неопределенности в нейросетевом логическом базисе. М.: Горячая линия - Телеком. 2003. 208 с.

27. Назаров A.B., Лоскутов А.И. Нейросетевые алгоритмы прогнозирования и оптимизации систем - СПб.: Наука и Техника. 2003. -384 с.

28. Нейронные сети. Statistica Neural Networks. Методология и технологии современного анализа данных. М.: Горячая линия - Телеком. 2008, 392 с.

29. Осовский С. Нейронные сети для обработки информации. / Пер. с польского И.Д. Рудинского. - М.: Финансы и статистика, 2002. - 344 с.

30. Панченко Т.В. Генетические алгоритмы: учебно - методическое пособие / под. ред. Ю.Ю. Тарасевича. - Астрахань: Издательский дом «Астраханский университет». 2007. 87 с.

31. Панченко Т.В., Тарасевич Ю.Ю. Сравнительный анализ эффективности применения генетических алгоритмов и алгоритма Метрополиса в задачах физики твердого тела // Вычислительные методы и программирование. 2007. №8. С. 77-87.

32. Редько В.Г. Эволюция, нейронные сети, интеллект. Модели и концепции эволюционной кибернетики. М.: Либроком. 2009. 224 с.

33. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы: Пер. с польск. И.Д. Рудинского. М.: Горячая линия - Телеком. 2006. 452 с.

34. Ручкин В.Н., Фулин В.А. "Универсальный искусственный интеллект и экспертные системы". М.: BHV. 2009, 240 с.

35. Симанков B.C., Луценко Е.В., Лаптев В.Н. Системный анализ в адаптивном управлении. Краснодар: ТУ КубГТУ. 2001. 258 с.

36. Симанков B.C., Частикова В.А. Генетические алгоритмы и программы для решения задач оптимизации // Международная научно-практическая конференция «Компьютерные технологии в науке, производстве, социальных и экономических процессах». Новочеркасск. 2000. с. 14-15.

37. Симанков B.C., Частикова В.А. Генетический поиск решений в экспертных системах. Краснодар. Изд-во КубГТУ. 2008. 160 с.

38. Симанков B.C., Шпехт И.А. Методология автоматизации этапов системного анализа сложных систем // Информатика и системы управления. 2011. № 4. с. 149 - 156.

39. Тархов Д.А. Нейронные сети. Модели и алгоритмы. М.: Радиотехника. 2005. 256 с.

40. Уоссермен. Ф. Нейрокомпьютерная техника: Теория и практика. - М.: Мир, 1992. - 240 с.

41.Хайкин С. Нейронные сети: полный курс, 2-е издание.: Пер. с англ. -М.: Издательский дом «Вильяме», 2006. - 1104 с.

42. Химмельблау Д. Прикладное нелинейное программирование. М.:Мир, 1975.

43. Частикова В.А. Оптимизация процессов поиска решений в интеллектуальных системах обработки экспертной информации на основе генетических алгоритмов. Дисс. канд. техн. наук. Краснодар. КубГТУ. 2005. 186 с.

44. Черноруцкий И.Г. "Методы принятия решений". С-Пб.: BHV-Петербург. 2005, 416 с.

45.Чистик И.К. «О нумерации решений в задачах с факториальным ростом сложности» // «Исследование, разработка и применение высоких технологий в промышленности». Сборник трудов восьмой международной научно-практической конференции. - Санкт-

Петербург: Издательство Политехнического университета, 2009. С. 6667.

46. Чистик И.К. «Факториальная форма представления цепей» // «Современные информационные технологии». Сборник статей международной научно-технической конференции. - Пенза: Пензенская государственная технологическая академия, 2009, выпуск 10, С. 69-71.

47. Чистик Р.К., Шумков Е.А. // Политематический сетевой электронный научный журнал КубГАУ. №7, 2013. [Режим доступа: http://ei .kubagro.nl/2013/07/pdf/78 .pdf 1

48. Чистик Р.К., Шумков Е.А. Автотрейдер с использованием Q-обучения // "Математические методы и информационные технологии в экономике, социологии и образовании". Сборник статей XXX Международной научно - технической конференции. - Пенза: Приволжский Дом знаний. 2012. С. 126-127.

49. Чистик Р.К., Шумков Е.А. Аттракторы на финансовых временных рядах // "Математические методы и информационные технологии в экономике, социологии и образовании". Сборник статей XXXI Международной научно - технической конференции. - Пенза: Приволжский Дом знаний. 2013. С. 42-44.

50. Чулюков В.А., Астахова И.Ф., Потапов A.C. "Системы искусственного интеллекта. Практический курс". М.: Бином. Лаборатория знаний. 2008, 292 с.

51. Ширяев В.И. "Финансовые рынки. Нейронные сети, хаос и нелинейная динамика. Издание 3". М.: КРАСАНД, 2010, 232 с.

52. Шумков Е.А. Система поддержки принятия решений предприятия на основе нейросетевых технологий. Дисс. канд. техн. наук. Краснодар, КубГТУ-2004, 158 с.

53. Экспертные системы. Принципы работы и примеры / Под ред. Р.Форсайта. - М.: Радио и связь, 1987. -350 с

54. Ясницкий JI.H. "Введение в искусственный интеллект". М.: Академия, 2010, 176 с.

55. Яхъяева Г.Э. "Нечеткие множества и нейронные сети". М.: БИНОМ. 2008,316 с.

56.Ackley D.H. F connectionist machine for genetic hillclimbing. Boston, MA: Kluwer Academic Publishers. 1987.

57. Ash T. Dynamic node creation in backpropagation networks. La Jolla (CA): Institute for cognitive Science, UCSD; 1989 Feb. Technical Report 8901.

58. Barricelli N.A. Esempi numerical di processi di evoluzione. Methodos: 5648.

59. Bartlett P., Downs T. Training a neural networks with genetic algorithm, Technical Report, Dept. of Elec. Eng., Univ. of Queensland. 1990.

60. Belew R.K., Mclnerney J., Schraudolph N.N. Evolving networks: Using genetic algorithms with connectionist learning. CSE technical report CS90-174. La Jolla, С A: Univ. Of California at SanDiego. 1990.

61. Caudell T.P. Genetic algorithms as a tool for the analysis of adaptive resonance theory neural networks sets. Proceedings of International Workshop of on Combi-nations of Genetic Algorithms and Neural Networks. COGANN-92. 1992. pp. 184-200.

62. Chalmers D.J. The evolution of learning: an experiment in genetic connectionism. In: Proceeding of the 1990 Connectionist Model Summer Fourth International Conference on Genetic Algorithm. San Mateo, CA: Morgan Kauffmann. 1991. pp. 377-383.

63. Cichocki A., Unberhauer R. Neural Networks for optimization and signal processing. Wiley. Chichester. 1993.

64. Craven M. W., Shavlik J. W. Using sampling and queries to extruct rules from trained neural networks // Proceedings to the Future Generation Computer Systems, 1997.

65. Dayan P., Hinton G.E., Neal R.M. and Zemel R.S. The Helmholtz machine. Neural Computation. 1995, vol.7, p. 889-904.

66. Eberhart R.C. The role of genetic algorithms in neural network query-based learning and explanation facilities. Proceeding of International Workshop on Combinations of Genetic Algorithms and Neural Networks. COGANN-92. 1992. pp. 169-183.

67. Eberhart R.C., Dobbins R.W. Designing neural network explanation facilities using genetic algorithms. IEEE International Conference on Neural Networks. Singapore: IEEE. 1991. pp. 1758-1763.

68. Goldberg D. Algorytmy genetyczne. - Warsawa: WNT. 1995.

69. Gonzales - Seco J. A genetic algorithm as the learning procedure for neural networks. IEEE International Joint Conference on Neural Networks. Baltimore, MD. IEEE. 1992. pp. 835-840.

70. Guo Z., Uhrig R.E. Use of genetic algorithms to select.inputs for neural networks. In Proceeding of International Workshop on Combinations of Genetic Algorithms and Neural Networks. COGANN-92. 1992. pp. 223234.

71. Harp S.A., Samad T., Guha A. Towards the genetic synthesis of neural networks. In Proceedings of the Third International Conference on Genetic algorithms and Their Applications: Schaffer J.D. (ed.). Morgan Kauffmann. San Mateo, CA. 1989. pp. 360-369.

72.Hinton G.E. and Sejnowski T.J. "Learning and relearning in Boltzmann machines", in Parallel Distributed Processing: Exploration in Microstructure of Cognition, D.E. Rumelhart and J.L.

73.Hinton G.E. and Sejnowski T.J. "Optimal perceptual inference", Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 1983, p. 448 - 453, Washington, DC.

74. Hinton G.E. and T.J. Sejnowski. "Learning and releaming in Boltzmann machines", in Parallel DistribHted Processing: Explorations in MicrostractHre of Cognition, O.E. Rumelhart and J.L. McClelland, eds., Cambridge, MA: MIT Press, 1986.

75. Hinton G.E. and T.J. Sejnowski. "Optimal perceptual inference", Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 1983, p. 448-453, Washington, OC.

76. Hinton G.E., Dayan P., Frey B.J. and Neal R.M. The 'wake-sleep' algorithm for unsupervised neural networks. // Science, 1995, vol.268, p. 1158-1161.

77. Holland J.H. Adaptation in natural and artificial systems. Ann Arbor: University of Michigan Press, 1975.

78. Hsu L.S., Wu Z.B. Input pattern encoding through generalized adaptive search. Proceeding of International Workshop on Combinations of Genetic Algorithms and Neural Networks. COGANN-92. 1992. pp. 235-247.

79. Kadaba N., Nygard K.E., Improving of performance of genetic algorithms in automated discovery of parameters. Proceeding of the 17-th International Conference of Machine Learning. San Mateo, CA. Morgan Kauffmann. 1990. pp. 140-148.

80. Kadaba N., Nygard K.E., Juell P.L. Integration of adaptive machine learning and knowledge - based systems for routing and scheduling applications. Expert Systems with Applications. 1991. t.2, nr 1. pp. 15-27.

81. Kelly J.D., Davis L. Hybridizing the genetic algorithm and k-nearest neighbors classification algorithm. Forth International Conference on Genetic Algorithms. San Mateo, CA: Morgan Kauffmann. 1991. pp. 377-383=

82. Kitano H. Designing neural networks using genetic algorithms with graph generation systems. Complex Systems. 1990. nr 4 . pp. 461 - 476.

83. Knowledge-based artificial neuwral networks/ Towell G., Shavlik J. //Artificial Intelligence, vol. 70, no. 1,2, pp.119-165,1994.

84. Maclin.R. Learning from Instruction and Experience: Metods for Incorporating Procedural Domain Teories Intu Knowledge-Based Newral Networks. PhD thesis, Departament of Computer Scinses, University of Wisconsin-Madison, 1995.

85.Metropolis N., Rosenbluth A., Rosenbluth M., Teller A. and Teller E. Equations of state calculations by fast computing machines. Journal of Chemical Physics, 1953, vol. 21, p. 1087-1092.

86. Michalewicz Z. Genetic Algorithms + Data Structures = Evolution Programs. Springer-Verlag. Berlin. 1994.

87. Montana D.J., Davis L. Training feedforward neural networks using genetic algorithms. In Proceeding of Eleventh International Joint Conference on Artificial Intelligence. San Mateo, CA. 1989. pp. 762-767.

88. Neal R.M. Connectionist learning of belief networks. Artificial Intelligence, 1992, vol.56, p. 71-113.

89. Pao Y.H. Adaptive pattern recognition and neural networks. Reading: Adison Wesley. 1989.

90. Pearl J. Probabilistic reasoning in intelligence systems. San Mateo, CA: Morgan Kaufmann, 1988.

91. Salakhutdinov R., Hinton G. An efficient learning procedure for deep Boltzmann machine //Neural computation, 2012 № 24, pp. 1967-2006.

92. Schaffer J.D., Caruana R.A., Eshelma'n L. Using genetic search to exploit the emergent behavior of neural networks. In: Forest S. (ed.) Emergent Computation. Amsterdam: North Holland. 1990. pp. 244-248.

93. Schizas C.N., Pattichis C.S., Middleton L.T. Neural networks, genetic algorithms and k-means algorithms. In search of data classification. In:

Proceedings of International Workshop on Combinations of Genetic Algorithms and Neural Networks. COGANN-92. 1992.

94. Suzuki K., Kakazu Y. An approach to the analysis of the associative memory model using genetic algorithms. In Forth International Conference on Genetic Algorithms. San Mateo, CA: Morgan Kauffmann. 1991. pp. 539546.

95. To well G. G., Shavlik J.W.Extructing refined rules from knowledge-based neural networks//Machine learning, vol 13, no.l, pp. 71-101, 1993.

96. Towell G. G.. Symbolic Knowledge and Neural Networks: Insertion, Refinement and Extraction. PhD thesis, Department of Computer Sciences, University of Wisconsin-Madison. -1991.

97. Weigend, A. On overfitting and the effective number of hidden units. Proceedings of the 1993 Connectionist Models Summer School, 1994, 335342.

98. Whitley D. Applying genetic algorithms to neural network learning. Proceeding of 17-th Conference of the Society of Artificial Intelligence and Simulation of Behavior. Sussex, England. Pitman Publishing. 1989. pp. 137144.

99. Whitley D., Starkweather T., Bogart C. Genetic algorithms and neural networks: Optimizing connections and connectivity. Parallel Computing. 1990. nr. 14. pp. 347-361.

100. Wnek J., Sarma J., Wahab A.A., Michalcki R.S. Comparing learning paradigms via diagrammatic visualization. Metho dologies for intelligence systems, 5. New York. Elsevier Sience Publishing, pp. 428-437.

101. Zurada J.M., Marks R.J., Robinson C.J. Computational intelligence: Imitating life. IEEE Press. New York. 1994.

Приложение А. Обзор современных нейросетевых и генетических программных продуктов

Нейросетевые программные продукты. На рынке существует большое количество нейросетевых программных продуктов, в том числе и свободно распространяемого. Также существует большое количество нейросетевых библиотек, практически на всех языках программирования. Также есть некоторое количество нейросетевых надстроек для пакета MS Office Excel. В Таблице 25 приведены, наиболее удачные, на наш взгляд нейросетевые программные продукты.

Таблица 25

Распространенные нейросетевые продукты

no Производитель Цена

SNNS Университет Штутгарта (Германия) Бесплатно (GPL)

Emergent Университет Колорадо (США) Бесплатно (GPL)

Neuro Solutions «NeuroDimension Inc.» (США) от $295 до $4995

Alyuda Neurolntelligence «Alyuda Research» (США) от $149 до $399

Neuro Shell "Ward Systems Group" (США) от $870 до $1395

Attrasofit Predictor "Attrasoft Inc." (США) от $99 до $499

Neural Power "CPC-X Software" (США) $149

Matlab Neural Toolbox «MathWorks Inc» (США) от $1495

Deductor "BaseGroup" (Россия) $1000 (академическая лицензия -бесплатно)

Neural Lab University of Guanajuato (Мексика) Бесплатно (GPL)

Программные продукты, реализующие генетические алгоритмы.

Среди таких программ в первую очередь следует отметить "Evolver" и "GTO" (от Genetic Training Option), а также "Matlab", "GeneHunter", "SAS/IML", "GAGA", "GARP", "NNUGA", "SPLICER", "GALIB" и другие. Отметим, что нейросетевые продукты обычно со временем становятся платными, то генетические обычно остаются бесплатными и разрабатываются/поддерживаются в основном университетами. Среди отечественных генетических программ отметим ПИК «ПОИСК» [37].

уу)

Программные продукты, использующие комбинацию «генетические алгоритмы + нейронные сети». Программ совместно использующих генетические алгоритмы и нейронные сети практически нет. В первую очередь стоит отметить МайаЬ, в котором есть модули («тулбоксы») и генетических алгоритмов и нейронных сетей. В [33] описан алгоритм применения программ Еуо1уег и Вга1пМакег. Вначале, с помощью Еуо1уег генетическим алгоритмом рассчитываются веса нейронной сети, а затем веса подгружаются в ВгатМакег для последующей работы нейронной сети. Там же [33] описан подобный алгоритм работы генетической программы ОТО и ВгатМакег. Также существует небольшое количество прикладных, научных программ.