Система поддержки принятия решений предприятия на основе нейросетевых технологий тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Шумков, Евгений Александрович

• Шумков, Евгений Александрович
• кандидат технических наук
• 2004

Оглавление диссертации кандидат технических наук Шумков, Евгений Александрович

ВВЕДЕНИЕ.

ГЛАВА 1. СИСТЕМЫ ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ.

1.1 Понятие системы поддержки принятия решений.

1.1.1 Хранилище данных.

1.1.2 OLAP - системы.

1.1.3 Интеллектуальный анализ данных (Data - mining).

1.2 Нейронные сети.

1.2.1 Обучение с подкреплением.

1.2.2 Q - обучение.

Р 1.2.3 Сети адаптивной критики.

1.2.4 Достоинства и недостатки существующих алгоритмов обучения с подкреплением.

1.3 Самообучасмыс системы на базе SMP..--------.

1.3.1 Методика SMP.

1.3.2 Базовый алгоритм SMP.

1.3.3 Достоинства и недостатки SMP.

Выводы первой главы .^

ГЛАВА 2. ТОПОЛОГИЯ «ВНУТРЕННИЙ УЧИТЕЛЬ».

2.1 Основные положения.

2.2 Топология «внутренний учитель».

2.2.1 Сенсоры.

2.2.2 Решатель.

2.2.3 Учитель.

2.2.4 Коэффициент эффективности.

2.2.5 Адаптационные параметры и правила самообучения.

2.2.6 Моторики.

2.2.7 Взаимодействие компонент.

2.3 Обучение самообучению.

2.3.1 Планирование.

2.3.2 Уточнение взаимодействия компонент.

2.3.3 Разработка идеологии самообучения для прикладных задач.

2.3.4 Приоритетность адаптационных параметров.

2.3.5 Пластичность.

2.4 Топология «внутренний учитель» с использованием нечеткой логики.

2.4.1 Использование системы типа Мадмани.

2.4.2 Использование системы типа Сугэно.

Выводы второй главы.

ГЛАВА 3. РЕАЛИЗАЦИЯ СИСТЕМЫ ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ.

3.1 Актуальность применения СППР и нсйросстсвых методов прогнозирования.

3.2 СППР предприятия оптово - розничной торговли.

3.2.1 Архитектура СППР.

3.2.2 Структура хранилища данных.

3.2.3 Структура OLAP-сервиса.

3.2.4 Структура модуля Data - mining.

3.3 Задача прогнозирования объема продаж....----------.

3.3.1 Стандартные методы прогнозирования объема продаж.

3.3.2 Прогнозирование с помощью нейронных сетей.

3.4 Топологии «внутренний учитель» для системы прогнозирования объема продаж товаров.

3.4.1 Решатель, учитель и общий принцип работы.

3.4.2 Коэффициент эффективности.

3.4.3 Коэффициент степени уверенности и правила управления решателя.

Выводы третьей главы.

ГЛАВА 4. ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ МОДЕЛИ ПРОГНОЗИРОВАНИЯ.

4.1 Экспериментальная оценка эффективности методов прогнозирования.

4.2 Предобработка данных.

4.3 Краткосрочное прогнозирование.

4.4 Долгосрочное прогнозирование.

4.5 Преимущества и недостатки топологии «внутренний учитель.

4.6 Пути дальнейшего развития методики.....

Выводы четвертой глапы.

Введение диссертации (часть автореферата) на тему «Система поддержки принятия решений предприятия на основе нейросетевых технологий»

В области информационных технологий, всегда существовали два взаимодополняющих друг друга направления развития [61]:

• системы, ориентированные на операционную обработку данных -системы обработки данных (далее СОД);

• системы, ориентированные на анализ данных - системы поддержки принятия решений (далее СППР).

Но ещё до недавнего времени, когда говорилось о стремительном вхождении в нашу жизнь информационных технологий и росте числа реализаций информационных систем, прежде всего, имелись в виду системы, ориентированные исключительно на операционную обработку данных. И такое, опережающее развитие одного из направлений, вполне объяснимо.

На первых этапах автоматизации требовалось и требуется навести порядок именно в процессах повседневной, рутинной обработки данных, на что и ориентированны традиционные СОД. Более того, системы СППР являются в определенном смысле вторичными, по отношению к ним. И это очевидно -прежде чем заниматься анализом данных, необходимо эти данные произвести, а именно, это и является одной из функций СОД [61].

Однако за последние два-три года ситуация существенно изменилась. И это непосредственно связано с тем, что практически в любой организации сложилась хорошо всем знакомая парадоксальная ситуация - «информация вроде бы, где-то и есть, её даже слишком много, но она неструктурированна, несогласованна, разрознена, не всегда достоверна, её практически невозможно найти и получить».

Именно на разрешение этого противоречия - отсутствие информации при ее наличии и даже избытке и нацелены концепции в рамках СППР: хранилищ данных, витрин данных, On-Line Analitical Processing (далее OLAP), Data -mining [59,78,94,122,100,138,139,162,163].

Принять любое управленческое решение, невозможно не обладая необходимой для этого информацией. Для этого необходимо создание хранилищ данных, то есть процесс сбора, отсеивания и предварительной обработки данных с целью предоставления результирующей информации пользователям для дальнейшего анализа и создания отчетов [59,94,142].

Использование технологии OLAP позволяет аналитику посмотреть в удобном виде данные в виде «кубов», разворачивать и сворачивать их. OLAP предоставляет удобные быстродействующие средства доступа, просмотра и анализа деловой информации. Пользователь получает естественную, интуитивно понятную модель данных, организуя их в виде многомерных кубов. Нужный разрез или свод данных аналитик может проанализировать с помощью средств анализа данных [78,122,133,140].

Необходимость использования автоматизированного анализа данных стала очевидной в первую очередь из-за огромных массивов исторической и вновь собираемой информации. Другой причиной роста популярности анализа данных является объективность получаемых результатов. Человеку — аналитику, в отличие от машины, всегда присущ субъективизм, он в той или иной степени является заложником уже сложившихся представлений. Иногда это полезно, но чаще всего нет. Технология Data - mining не исключает полностью человеческую роль, но значительно упрощает процесс поиска знаний [100,109,139,162,163,130].

В качестве средств Data - mining всё большее распространение получают технологии на основе нейронных сетей. Нейросетевая методология находит все новые успешные применения в практике управления и принятия решений, в том числе - в финансовой и торговой сферах. Лежащая в ее основе теория нелинейных адаптивных систем доказала свою полезность в целом ряде отраслей экономики и финансов.

Методы нейроматематики с каждым годом получают все большее распространение в различных сферах человеческой деятельности [18,19,21,28,29,37,40,42,44,67,95,97,105,107,111,114,115,200,123,150,129,137,144 ,153,169,170,191]. Основными преимуществами нейросетевого моделирования перед другими направлениями являются [29,32,44,40,67,97,123,129]: а) инвариантность методов синтеза нейронных сетей к размерности пространства признаков и размерам нейронной сети; б) адекватность современным перспективным технологиям; в) отказоустойчивость в смысле монотонного (постепенного), а не катастрофического изменения качества решения задачи в зависимости от числа вышедших из строя элементов; г) высокая скорость формирования результата за счет естественного массового параллелизма функционирования; д) высокая помехоустойчивость и адекватность; е) возможность интеграции в одной модели переменных имеющих разную природу и типы значений; ж) нечувствительность к наличию пропусков и искажений в данных; з) неявный учет скрытого взаимного влияния известных переменных и реализация нелинейного влияния неизвестных параметров. Основными недостатками нейросетей, препятствующими их использованию относятся: а) невозможность вербализации нейросетевой базы знаний и, как следствие, неинтерпретируемость результата сформированного нейросетевой моделью; б) необходимость наличия большого объема исходных данных для обучения и тестирования нейросетевой модели; в) значительное время обучения нейросетевой модели; г) необходимость обучения персонала основам теории искусственных нейронных сетей и работе с нейросетевыми программными комплексами.

Одной из важных задач Data - mining является прогноз, в частности для предприятий оптово - розничной торговли прогноз объема продаж. Объем продаж - один из ключевых показателей, характеризующих деятельность коммерческой фирмы [9,50,69,85,99]. Товароведам необходимо знать примерное количество продукции, которое они смогут реализовать в ближайшее время, для того, чтобы, с одной стороны, иметь достаточное количество товаров на складе, а с другой- не перегрузить склады продукцией, что особенно важно, если продукция имеет небольшой срок хранения. Обычно для решения данной задачи используются методы по последней скорости продаж и коэффициентов сезонности, а также статистические методы. Но данные методы не позволяют прогнозировать объем продаж с необходимой точностью. Также в больших организациях обычно несколько тысяч позиций продаваемых товаров. Проводить качественный анализ продаж и его прогнозирование, в ручном режиме, в том числе с помощью нейронных сетей, является трудной, зачастую неразрешимой задачей. Для этого необходимо построение автоматизированных систем прогнозирования. Одним из перспективных подходов для построения таких систем является использование нейронных сетей и обучения с подкреплением.

Актуальность этой диссертационной работы заключается в следующих выводах:

1. Разработка нейросетевой топологии «внутренний учитель» и метода обучения самообучению для создания нейросетевой имитационной модели является серьезным вкладом в развитие направления создания нейросетевых интеллектуальных систем;

2. Реализация метода обучения самообучению полностью на нейросетевой архитектуре является передовым методом построения адаптивных систем;

3. Программная реализация метода нейросетевого моделирования с использованием топологии «внутренний учитель» в составе СППР предприятия позволит создать мощное и доступное средство прогнозирования;

4. Реализация адаптивной модели прогнозирования, работающей без участия пользователя, позволяет значительно повысить привлекательность нейросетевых методов прогнозирования.

5. Создание СППР позволит получить доступное средство для оперативного анализа и управления предприятием.

На основании перечисленных требований к методам нейросетевого моделирования процессов, сформулированы вопросы, отражающие научную проблему:

1. Возможно ли качественное обучение нейронной сети при заведомо недостаточном количестве исходных данных?

2. Как обеспечить интерпретируемость результатов работы нейросети?

3. Возможна ли реализация метода обучения самообучению полностью на нейросетевой архитектуре?

4. Возможно ли создание обобщенной методологии построения адаптивных систем управления на основе нейросетевых технологий?

5. Возможно ли создание нейросетевой системы прогнозирования, работающей и обучающейся в автоматическом режиме, без участия эксперта?

6. Каким образом реализовать доступность нейросетевого моделирования для конечного пользователя?

Целью работы является разработка архитектуры СППР предприятия; разработка метода обучения самообучению с использованием принципов SMP; разработка нейросетевой топологии для метода обучения самообучению и осуществить ее программную реализацию в составе нейросетевой моделирующей системы; создание на основе топологии адаптивной модели прогнозирования.

С помощью моделирующего комплекса необходимо создать имитационную модель прогнозирования объема продаж предприятия, отличающуюся высокой адекватностью и необходимой точностью. Модель должна включать возможность проведения различных экспериментов с данными. При работе с моделью исследователю (пользователю) должна предоставляться возможность устанавливать зависимости, соотношения и допущения, выражающие взаимосвязи различных элементов системы, возможность оценивать их влияние на функциональное состояние системы.

Для достижения указанных целей были поставлены и реализованы следующие задачи:

- исследовать существующие методы построения систем управления на основе обучения с подкреплением;

- провести сравнительный анализ методов построения СППР предприятия;

- разработать метод обучения самообучению с использованием принципов SMP;

- разработать нейросетевую топологию для построения адаптивных систем на основе предложенного метода обучения;

- реализовать топологию в составе нейросетевой моделирующей системы;

- разработать архитектуру СППР предприятия оптово - розничной торговли;

- 10- разработать адаптивную модель прогнозирования объема продаж на основе предложенных топологии и метода обучения в рамках модуля Data -mining в составе СППР;

- провести экспериментальные исследования прогнозирования с помощью различных методов;

- оценить эффективность предложенных метода обучения и топологии.

Содержание диссертационной работы отражает реализацию поставленных задач.

В первой главе выполнен анализ текущего состояния проблемы использования СППР в деятельности предприятий. Рассмотрены модели построения OLAP и Data - mining систем. Проведен анализ существующих методов обучения с подкреплением (Q-learning, сети адаптивной критики и других) с использованием нейронных сетей, рассмотрена методика SMP. Выявлены достоинства и недостатки существующих методов.

Во второй главе обоснован и описан метод создания топологии «внутренний учитель». Разработанный метод позволяет обучить нейросеть на небольшом количестве примеров, а также дообучать (переобучать) в режиме реального времени по мере поступления новой информации, без участия эксперта (впрочем, последний может корректировать процесс обучения). Это позволяет использовать данный метод для моделирования динамических процессов, в которых наибольшую достоверность имеют самые свежие данные, или процессов, для которых, на начальном этапе, не представляется возможным создать обучающее множество необходимого размера. За счет использования принципов обучения с подкреплением система выполняет задачу с заданным показателем качества. Использование метода обучения самообучению предоставляет системе уникальную возможность изменения стратегии и тактики поведения.

В третьей главе разработаны структура хранилища данных предприятия, OLAP - система и модуль Data - mining на основе нейросетевой топологии «внутренний учитель» и обоснована целесообразность применения нейросетевых методов для прогнозирования финансовых показателей предприятия. Приведен пример применения топологии «внутренний учитель» для прогнозирования объема продаж товаров предприятия.

В четвертой главе проведено сравнение результатов анализа данных полученных при помощи топологии «внутренний учитель», классической нейронной сети с алгоритмом SMP/SSA и метода математической статистики. Также рассмотрены возможные пути дальнейшего развития методики.

В заключении описаны выводы и результаты проделанной работы.

В приложении 1 приводится анализ современных нейропакетов.

В приложении 2 приводится описание и руководство по использованию разработанной системы нейросетевого моделирования NNWizard.

Задачи исследования решены с использованием методов теории искусственных нейронных сетей, системного анализа, математической статистики, нечеткой логики и искусственного интеллекта.

Научная новизна исследования заключается в следующих результатах:

- разработан метод обучения самообучению с использованием принципов

SMP;

- разработана нейросетевая топология «внутренний учитель» для метода обучения самообучению, позволяющая объекту управления выполнять задачу с заданным коэффициентом эффективности и изменять поведение в зависимости от состояния среды;

- предложена модель топологии «внутренний учитель» на основе нечеткой логики;

- 12- разработана архитектура системы поддержки принятия решений предприятия с использованием технологий: хранилищ данных, витрин данных, OLAP и Data - mining;

- разработана адаптивная модель прогнозирования объема продаж предприятия на основе топологии «внутренний учитель» и метода обучения самообучению.

Практическая значимость работы заключается в разработке и апробации метода создания нейросетевых моделей, разработке нейросетевой моделирующей системы NNWizard для создания, исследования и применения нейросетевых имитационных моделей. Система NNWizard используется для прогнозирования объема продаж предприятия и поддержки принятия решений. Основные положения, выносимые на защиту:

- метод обучения самообучению с использованием принципов SMP;

- метод создания нейросетевой модели на основе топологии «внутренний учитель»;

- система поддержки принятия решений предприятия с использованием технологий хранилищ данных, витрин данных, OLAP и Data - mining;

- адаптивная модель прогнозирования на основе топологии «внутренний учитель» и метода обучения самообучению

- результаты сравнительного анализа прогнозирования объема продаж созданных тремя способами: регрессионная модель, нейросетевая модель с использованием алгоритма SMP/SSA, модель созданная на основе топологии «внутренний учитель».

Разработанная система поддержки принятия решений внедрена в ООО «Трансазия Трейд».

Разработанная система нейросетевого моделирования внедрена в ООО «Трансазия Трейд» и ООО «Престиж».

Основной материал работы опубликован в 5 научных статьях и 3 тезисах докладов. Подана заявка о выдаче патента на изобретение.

Диссертация состоит из введения, четырех разделов, заключения, списка использованной литературы и приложений. Ее общий объем составляет 158 страниц текста, содержащего 13 таблиц и 32 рисунка.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Шумков, Евгений Александрович

Выводы четвертой главы

Проведены эксперименты, имеющие цель сравнить эффективность использования для данной прикладной задачи - прогнозирования объема продаж предприятия оптово - розничной торговли, рассматриваемых методов моделирования.

При помощи аналитических технологий мы решили задачу прогнозирования продаж некоторых групп товаров. При помощи построенной нами системы на основе нейронных сетей мы имеем возможность выполнять краткосрочные и долгосрочные прогнозы в автоматическом режиме.

В результате анализа полученных экспериментальных данных сделаны следующие выводы:

1. Линейные регрессионные модели показали недостаточную воспроизводимость исходной таблицы данных и тестовых примеров, хотя имели значительно меньшее время создания модели.

2. Высокая воспроизводимость исходной таблицы данных рассмотренными нейросетевыми моделями, еще раз подтверждает способность многослойных нейронных сетей к нелинейной аппроксимации функций многих переменных и целесообразность выбора этого типа моделей для такой важной прикладной задачи как прогнозирование объема продаж.

3. Время переобучения адаптивной модели прогнозирования на основе «внутренний учитель» при краткосрочном прогнозе меньше, чем время переобучения нейросетевой модели с использованием SMP/SSA в среднем на 21%.

5. При оценке адекватности созданных нейросетевых моделей при краткосрочном прогнозе, по имеющимся таблицам данных модели созданные с помощью топологии «внутренний учитель» показали на 5% меньше среднюю ошибку прогноза и коэффициент эффективности после адаптации больше на 22%, чем нейросетевые модели с SMP/SSA.

6. При долгосрочном прогнозе, с горизонтом прогнозирования четыре недели система, созданная с использованием топологии «внутренний учитель» показала результат, превосходящий модель с SMP/SSA.

Заключение

Проделанная в рамках диссертации работа позволила ответить на поставленные вопросы, цели и задачи исследования. Основными задачами исследования являлись: создание архитектуры СППР, создание новой нейросетевой топологии и алгоритма обучения, создание обоснованной методики и ее апробация в важной прикладной проблеме. Выполненные нами исследования и разработки позволили сделать следующие выводы:

• разработан метод обучения самообучению с использованием принципов методики SMP;

• разработана нейросетевая топология «внутренний учитель» для метода обучения самообучению;

• создана СППР предприятия оптово - розничной торговли на основе технологий: хранилищ данных, витрин данных, OLAP и Data - mining;

• создана адаптивная нейросетевая модель прогнозирования объема продаж предприятия оптово - розничной торговли;

• экспериментально установлено, что при краткосрочном прогнозе модели созданные с помощью топологии «внутренний учитель» при краткосрочном прогнозировании имеют ошибку прогноза меньше на 5%, меньшее на 21% время переобучения при поступлении новых данных и большее на 22% подкрепление, чем нейросетевые модели с SMP/SSA. При долгосрочном прогнозировании, модели «внутреннего учителя», также показали лучший результат.

Топология «внутренний учитель» и предложенный метод обучения самообучению может использоваться в случаях, когда невозможно построить точную модель среды, т. е. если среда недетерминирована. При этом объект в недетерминированной среде выполняет конкретную задачу с заданным коэффициентом эффективности. Объект, за счет метода обучения самообучения, может менять как тактику, так и стратегию поведения.

Созданный метод является инвариантным от моделируемой задачи и может применяться для построения систем управления для недетерминированных сред.

Разработанная система нейросетевого моделирования является удобным и доступным инструментом для исследования и прикладного использования нейросетевых моделей, а также реализации новых методов создания, обучения нейронных сетей и моделей на их основе.

Построение системы поддержки принятия решений позволило получить доступное средство для оперативного контроля и анализа деятельности предприятия. Примененные технологии позволяют значительно разгрузить менеджерский персонал при анализе продаж и отдел логистики при планировании поставок.

Список литературы диссертационного исследования кандидат технических наук Шумков, Евгений Александрович, 2004 год

1. Аджиев В. MineSet визуальный инструмент аналитика // Открытые системы. - 1997. №3. - С. 72-77.

2. Алиев Р.А., Абдикеев Н.М., Шахназаров М.М. Производственные системы с искусственным интеллектом.- М: Радио и связь. 1990. 264 с.

3. Ариб М. Алгебраическая теория автоматов, языков и полугрупп: пер. с англ. М.: Статистика, 1975. 254 с.

4. Армстронг Р. Семь этапов оптимизации производительности хранилища данных. Открытые системы 2002 №1.- С: 51-54.

5. Архангельский В.И., Богаенко И.Н., Грабовский Г.Г., Рюмшин Н.А. Системы фуцци-управления. К.: Тэхника, 1997. - 208 с.

6. Астафьева Н.В. Вейвлет-анализ: основы теории и примеры применения // УФН, 1996, №11, С. 1145 - 1170.

7. Беллман Р. Динамическое программирование. М.: Иностранная литература, 1968.-261 с.

8. Беллман Р., Заде Л. Принятие решений в расплывчатых условиях.- В кн.: Вопросы анализа и процедуры принятия решений.- М.:Мир, 1976. С. 172215.

9. Белявский И. К. Маркетинговое исследование: информация, анализ, прогноз. М.: Финансы и статистика, 2001. - 320 с.

10. Березин И. С. Маркетинг и исследования рынков. М.: Русская деловая литература, 1999. - 416 с.

11. Борисов А.Н., Алексеев А.В., Крумберг О.А. и др. Модели принятия решений на основе лингвистической переменной. Рига: Зинатне, 1982. -256 с.

12. Борисов А.Н., Алексеев А.В., Меркурьева Г.В. и др. Обработка нечеткой информации в системах принятия решений.- М: Радио и связь. 1989. 304 с.

13. Борисов А.Н., Крумберг О.А., Федоров И.П. Принятие решений на основе нечетких моделей. Примеры использования.- Рига:3инатне, 1990.- 184 с.

14. Бочарников В.П. Fuzzy-Технология: математические основы практика моделирования в экономике. Санкт-Петербург, 2001 328 с.

15. Брауэр Б. Введение в теорию конечных автоматов: Пер. с англ. М.: радио и связь, 1987.-272 с.

16. Бутенко А. А. и др., Обучение нейронной сети при помощи алгоритма фильтра Калмана. Труды VIII Всероссийской конференции «Нейрокомпьютеры и их применение», НКП 2002. Москва, 2002. -С. 105.

17. Буч Г. Объектно-ориентированный анализ и проектирование с примерами приложений на С++, М.: "Издательство Бином", СПб.: "Невский диалект", 1999.-560 с.

18. Бычков А. В. Нейросетевое управление рентабельностью предприятия: дис. канд. техн. наук. Краснодар, 2001. — 156 с.

19. Бэстенс Д.-Э., ван ден Берг В.-М., Вуд Д. Нейронные сети и финансовые рынки: принятие решений в торговых операциях. Москва: ТВП, 1997. - 236 с.

20. Вагнер Г. Основы исследования операций. В 3-х томах. М.: Мир,-т.1. 1972-335с.-т.2. 1973.-488с.-т.3. 1973.-501 с.

21. Вайну Я. Я.-Ф. Корреляция рядов динамики. М.: Статистика, 1977. - 119 с.

22. Вентцель Е. С. Исследование операций. М.: Высшая школа, 2001. - 208 с.

23. Волькштейн М. В. Биофизика: Учебное руководство. М: Наука, Гл. ред. физ. - мат. лит., 1988. - 592 с.

24. Воротников С. А. Информационные устройства и системы. Часть I. Учебное пособие. М.: Изд. МГТУ, 1995. 64 с.

25. Вукобратович М., Стокич Д., Кирчински Н. Неадаптивное и адаптивное управление манипуляционными роботами. М.: Мир, 1989.-376 с.

26. Галушкин А.И. О Современных направлениях развития нейрокомпьютеров //Информационные технологии. 1997. -№5. - С. 2-5.

27. Галушкин. А.И. Нейрокомпьютерные системы. М.: Издательское предприятие журнала "Радиотехника", 2000.- 205с.

28. Гарбар П. Организация отказоустойчиво хранилища. Открытые системы -2002 №4.-С: 56-61.

29. Глушков В. М. Теория автоматов и вопросы проектирования структур цифровых машин. Кибернетика, 1965 №1. С. 3-11.

30. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере -Новосибирск: Наука, Сибирская издательская фирма РАН, 1996.-276 с.

31. Гупал А. М., Пономарев А. А., Цветков А. М. Об одном методе индуктивного вывода с подрезанием деревьев решений // Кибернетика и системный анализ. 1993. - №5. - С. 174-178.

32. Де Марк Т. Технический анализ новая наука. - М.: Диаграмма, 1997. - 122 с.

33. Джейн А. К., Мао Ж., Моуддин К. М. Введение в искусственные нейронные сети // Открытые системы. 1997. - № 4. - С. 16-24.

34. Долматова JI.M. Что считать результатами обучения: интерполяция зависимостей посредством анализа топологии обученной нейронной сети// Известия РАН. Теория и системы упрпавления. 1996. - №5. - С. 71-75.

35. Доререр М.Г. Психологическая интуиция искусственных нейронных сетей: дис. канд. техн. наук. Красноярск, 1998.- 126 с.

36. Дремин И.М., Иванов О.В., Нечитайло В.А. Вейвлеты и их применение // УФН, 2001, №5. С.465 - 501.

37. Ежов А., Чечеткин В. Нейронные сети в медицине. «Открытые системы.» -1997.-№4.-С. 34-37.

38. Ежов А.А., Шумский С.А. Нейрокомпьютинг и его применения в экономике и бизнесе. М: ФИАН , 1998. - 222с.

39. Елисеева И. И., Юзбашев М. М. Общая теория статистики / Под ред. чл,-корр. РАН И. И. Елисеевой. М.: Финансы и статистика, 1996. - 368 с.

40. Ермоленко В.В. Разработка нейросетевой базы знаний интеллектуальной автоматизированной системы мониторинга образовательного процесса: дис. канд. техн. наук. Краснодар, 1996.- 130 с.

41. Заде JI.A. Понятие лингвистической переменной и его применение к принятию приближенных решений.-М.:Мир, 1976.-165 с.

42. Заенцев И. В. Нейронные сети: основные модели. Учебное пособие . Воронеж: ВГУ. 1998.- 76с.

43. Замков 0.0.,Толстопятенко А.В.,Черемных Ю.Н. Математические методы в экономике. Учебник МГУ им. Ломоносова М.: Издательство "ДИС", 1998.-368с.

44. Зенкевич С. Л., Ющенко А. С., Управление роботами. Изд: МГТУ, 2000. -400 с.

45. Змиртович А.И. Интеллектуальные информационные системы. Мн.: НТООО «ТетраСистемс», 1997. - 368 с.

46. Иванов Н. Н., Михайлов Г. И., Руднев В. В., Таль А. А. Конечные автоматы: эквивалентность и поведение. М.: Наука, 1984. 278 с.

47. Капица С. П., Курдюмов С. П., Малинецкий Г. Г. Синергетика и прогнозы будущего. М.: Наука, 1997. 286 с.

48. Киселев М., Соломатин Е. Средства добычи знаний в бизнесе и финансах // Открытые системы. 1997. - № 4. - С. 41-44.

49. Ключко В. И., Шумков Е. А., Система поддержки принятия решений. Известия вузов. Северо-Кавказский регион. Технические науки.2,2002. С. 25-27.

50. Ключко В. И., Стасевич В. П., Шумков Е. А. Сети адаптивной критики. Научный журнал: «Труды КубГТУ».- Краснодар: КубГТУ, 2003. T.XVIII. - Сер. Информатика и управление. - Вып. 2. - С. 86 - 91.

51. Ключко В. И., Шумков Е. А. Использование нейронных сетей в системах поддержки принятия решений. Научный журнал: «Труды КубГТУ»,

52. Краснодар: КубГТУ, 2003. T.XVIII. - Сер. Информатика и управление. -Вып. 2.-С. 203-208.

53. Кофман А. Введение в теорию нечетких множеств.- М.:Радио и связь, 1982.432 с.

54. Крастинь О. П. Разработка и интерпретация моделей корреляционных связей в экономике. Рига: Зинатне, 1983. - 156 с.

55. Кречетов Н. Продукты для интеллектуального анализа данных. Рынок программных средств, N14-1597. - С. 32-39.

56. Круглов В.В., Дли М.И., Голунов Р.Ю. Нечеткая логика и искусственные нейронные сети. Физматлит, 2001. 224 с.

57. Кузнецов С. Хранилища данных в начале века. Открытые системы 2002 №1.- С: 35-36.

58. Ларичев О.И., Петровский А.Б. Системы поддержки принятия решений для слабоструктурированных проблем: требования и ограничения // Человеко-машинные процедуры принятия решений: c6.Tp.Nl 1. М.: ВНИИСИ, 1988. -С.4-13.

59. Ларичев О.И., Петровский А.Б. Системы поддержки принятия решений. Современное состояние и перспективы развития // Итоги науки и техники. Сер. Техническая кибернетика. -М.: ВИНИТИ, 1987. -т.21. -С. 131-154.

60. Лиховидов В.Н., Сафин В.И. Технический анализ валютных рынков. -Владивосток: Изд-во ДВГАЭУ, 1998. -200 с.

61. Малышев Н.Г., Бернштейн Л.С., Боженюк А.В. Нечеткие модели для экспертных систем в САПР. — М.: Энергоиздат, 1991. — 136 с.

62. Марчук Г.И. Методы вычислительной математики. 3-е изд., М.:Наука,1989. 608 с.

63. Меладзе В. Курс технического анализа М.: Серебряные нити, 1997. - 272 с.

64. Мелихов А.Н., Берштейн Л.С., Коровин С.Я. Ситуационные советующие системы с нечеткой логикой.- М.: Наука, 1990.- 272 с.

65. Мкртчян С. О. Нейроны и нейронные сети. М: Энергия, 1971. -232 с.

66. Мошков М.Ю. О глубине деревьев решений // Доклады РАН. 1998. Т. 358. 1.-С. 26.

67. Наговицин А.Г., Иванов В.В. Валютный курс. Факторы. Динамика. Прогнозирование. М.: Инфра-М, 1995. - 176 с.

68. Недосекин А.О. Нечетко-множественный анализ риска фондовых инвестиций. СПб: Изд-во Сезам, 2002. 181 с.

69. Нечеткие множества в моделях управления и искусственного интеллекта. Под ред. Д.А. Поспелова.- М.:Наука.Гл.ред.физ.-мат. лит., 1986.-312 с.

70. Нечеткие множества и теория возможностей. Последние достижения/Под ред. P.P. Ягера.-М.: Радио и связь, 1986.-408 с.

71. Нильсон Н. Принципы искусственного интеллекта. М., "Радио и связь", 1984. -372 с.

72. Новиков Л.В. Основы вейвлет-анализа сигналов. С.-Пб., Изд-во СПбГТУ, 1999.- 152 с.

73. Орлов А.И. Задачи оптимизации и нечеткие переменные.-М.: Знание, 1980.64 с.

74. Орлов А.И. Связь между средними величинами и допустимыми преобразованиями шкалы.- Математические заметки, т. 30, вып. 4,1981. С. 561-568.

75. Орловский С.А. Проблемы принятия решений при нечеткой информации.-М.:Наука, 1981.- 206 с.

76. Педерсен Т., Йенсен К. Технология многомерных баз данных. Открытые системы 2002 № 1. - С: 45-50.

77. Питерсон Дж. JT. Теория сетей Петри и моделирование систем. Пер. с англ. М.: Мир, 1984.-264 с.

78. Поспелов Д.А. Логико-лингвистические модели в системах управления.-М.:Энергоиздат, 1981.- 232 с.

79. Поспелов Д.А. Ситуационное управление: теория и практика.- М. Наука, 1986.- 288 с.

80. Ротштейн А.П., Штовба С.Д. Нечеткая надежность алгоритмических процессов Винница: Континент-ПРИМ, 1997. 142с.

81. Ротштейн А.П., Штовба С.Д. Проектирование нечетких баз знаний: лабораторный практикум и курсовое проектирование. Учебное пособие. -Винница: Винницкий государственный технический университет, 1999.-65с.

82. Ротштейн А.П. Интеллектуальные технологии идентификации: нечеткая логика, генетические алгоритмы, нейронные сети. — Винница: УНИВЕРСУМ—Винница, 1999. — 320 с.

83. Савицкая Г.В. Анализ хозяйственной деятельности предприятия: 2-е изд; перераб и доп.-Мн.:Экоперспектива,1997.-498с.

84. Сахаров А. А. Принципы проектирования и использования многомерных баз данных (на примере Oracle Express Server). СУБД, 1996 №3. С. 44 - 59.

85. Соколов Е.Н., Вайткявичюс Г.Г. Нейроинтеллект: от нейрона к нейрокомпьютеру. М.: Наука, 1989.-238 с.

86. Сорос Дж. Алхимия финансов/ Пер. с англ. Аристова Т.С. М.: ИНФРА-М, 1999.-416 с.

87. Стасевич В., Шумков Е. (2002), "Новый принцип построения самообучаемых систем управления", Труды VIII конференции «Нейрокомпьютеры и их применение». Москва: ИПУ им. Трапезникова, 2002.-С. 1037- 1039.

88. Степанов В., Фондовый рынок и нейросети. Мир ПК, 1998 №12. С. 40-46.

89. Страуструп Б. Язык программирования С++, 3-е изд., СПб.: "Невский диалект"-"Издательство БИНОМ", 1999.-991 с.

90. Сураджит Чаудхури, Умешвар Дайал, Венкатеш Ганга. Технология баз данных в системах поддержки принятия решений. Открытые системы 2002 №1. - С. 37-44.

91. Суровцев И. С., Клюкин В. И., Пивоварова Р. П., Нейронные сети. -Воронеж: ВГУ, 1994. 224с.

92. Тимофеев А. В. Адаптивные робототехнические комплексы. JI.: Машиностроение, 1988. 332 с.

93. Уоссермен. Ф. Нейрокомпьютерная техника: Теория и практика. М.: Мир, 1992.-240 с.

94. Холодниок М. и др. «Методы анализа нелинейных динамических моделей».- М.: Высшая школа, 1994, 256 с.

95. Цуприков С. Нейронные вычисления берутся на вооружение финансистами //Банковские системы. 1995. - №7. - С. 57-58.

96. Шапот М. Интеллектуальный анализ данных в системах поддержки принятия решений/Юткрытые системы. 1998. - №1. - С. 30-35.

97. Шумков Е. А., Семенов С. С. Нейросетевая моделирующая система NNWizard. Инновационные системы в высшей школе. Материалы VIII Всероссийской научно-практической конференции. Краснодар. Изд. КубГТУ. 2002. С. 129

98. Шустер Г. Детерминированный хаос. Введение. -М.: Мир, 1988.-240с.

99. Эрлих А. Технический анализ товарных и фондовых рынков. М.: Юнити, 1996.-215 с.

100. Яковлев B.JL, Яковлева Г.Л., Лисицкий Л.А. "Применение нейросетевых алгоритмов к анализу финансовых рынков" // "Информационные технологии" № 8.-С. 35-36.

101. Яковлев В.Л., Яковлева Г.Л., Малиевский Д.А. Нейросетевая экспертная система управления портфелем банка // V Всероссийская конференция "Нейрокомпьютеры и их применение". Сборник докладов 1999.- С.291-294.

102. Barclay et al., Loading Databases Using Dataflow Parallelism, SIGMOD Record, Dec. 1994.

103. Battiti, R., "First and second order methods for learning: Between steepest descent and Newton's method," Neural Computation, vol. 4, no. 2, pp. 141-166, 1992.

104. Bishop С. M., Neural Networks for Pattern Recognition, Oxford Univ. Press, 1995.

105. Brand E., Gerritsen R. Data Mining and Knowledge Discovery// DBMS. -1998.

106. Breiman L., et al., Classification and Regression Trees, Chapman & Hall/CRC, Boca Raton, Fla., 1984.

107. Brian D. Ripley, Pattern recognition and Neural Networks, Cambridge University Press, 1996.

108. Campos J., Lewis F. L. Adaptive critic neural network for feedforward compensation. American control conference, San Diego, California. June 1999.

109. Caruana R., Silver D. L., Baxter J., Mitchell Т. M., Pratt L. Y., and Thrun s. Learning to learn: knowledge consolidation and transfer in inductive systems, 1995. Workshop held at NIPS-95, Vail, CO.

110. Caudill M., Butler C., Understanding Neural Networks: Computer Explorations, Vols. 1 and 2, Cambridge, MA: the МГГ Press, 1992.

111. Caudill M., Neural Networks Primer, San Francisco, CA: Miller Freeman Publications, 1989.

112. Chaitin G.J. On the length of programs for computing finite binary sequences: statistical consider-ations. Journal ofthe ACM, 16:145-159, 1969.

113. Charalambous C.,"Conjugate gradient algorithm for efficient training of artificial neural networks," IEEE Proceedings, vol. 139, no. 3, pp. 301-310, 1992.

114. Chen S., Cowan C. F. N., and P. M. Grant, "Orthogonal least squares learning algorithm for radial basis function networks," IEEE Transactions on Neural Networks, vol. 2, no. 2, pp. 302-309, 1991.

115. Chrisman L. Reinforcement learning with perceptual aliasing: The perceptual distinctions approach. In Proceedings of the Tenth International Conference on Artificial Intelligence, pages 183-188. AAAI Press, San Jose, California, 1992.

116. Chui C. An introduction to wavelets. Academic Press, 1992.

117. Cliff D., Ross S., Adding temporary memory to ZCS. Adaptive Behavior, 3:101-150, 1994.

118. Codd E.F., Codd S.B., and Salley C.T., Providing OLAP (on-line analytical processing) to user-analysts: An IT mandate. Technical report, 1993

119. DARPA Neural Network Study, Lexington, MA: M.I.T. Lincoln Laboratory, 1988.

120. Donnart, J.Y. and Meyer, J.A. (1996). Learning Reactive and Planning Rules in a Motivationally Autonomous Animat. // IEEE Transactions on Systems, Man, and Cybernetics Part B: Cybernetics, 26(3):381-395.

121. Elman J.,"Finding structure in time," Cognitive Science, vol. 14, pp. 179-211, 1990.

122. Fletcher, R., and Reeves С. M., "Function minimization by conjugate gradients," Computer Journal, vol. 7, pp. 149-154, 1964.

123. Foresee F. D., Hagan M. Т., "Gauss-Newton approximation to Bayesian regularization," Proceedings ofthe 1997 International Joint Conference on Neural Networks, pages 1930-1935, 1997.

124. Galhardas H. et al., "Declarative Data Cleaning: Model, Language, and Algorithms", Proc. VLDB Conf., Morgan Kaufmann, San Francisco, 2001.

125. Gallant S. I. Neural Network Learning and Expert Systems . MIT Press, Cambridge, MA, 1993.

126. Ganti V., Gehrke J., Ramakrishann R., "Mining Very Large Data Sets", Computer, Aug. 1999

127. Gaskett C., Fletcher L., Zelinsky A. Reinforcement Learning for Visual Servoing of a Mobile Robot. ANU, ACT, Canberra. 2000.

128. Grawal S. A., et al., "On the Computation of Multidimensional Aggregates", Proc. VLDB Conf., Morgan Kaufmann, San Francisco, 1996.

129. Gray J. et al., "Data Cube: A Relational Aggregation Operator Generalizing Group-By, Cross-Tabb, and Sub Totals", Data Mining and Knowledge Discovery J., Apr. 1997.

130. Hagan M. Т., Demuth H. В., and Beale M. H., Neural Network Design, Boston, MA: PWS Publishing, 1996.

131. Hagan, M. Т., and M. Menhaj, "Training feedforward networks with the Marquardt algorithm," IEEE Transactions on Neural Networks, vol. 5, no. 6, pp. 989-993, 1994.

132. Hagan, M.T., De Jesus O., and Schultz R., "Training Recurrent Networks for Filtering and Control," Chapter 12 in Recurrent Neural Networks: Design and Applications, L. Medsker and L.C. Jain, Eds., CRC Press, 1999, pp. 311-340.

133. Hagan, M.T., Demuth H.B., "Neural Networks for Control," Proceedings of the 1999 American Control Conference, San Diego, CA, 1999, pp. 1642-1656.

134. Han J., "OLAP Mining: An Integration of OLAP with Data Mining", Proc. IFIP Conf. Data Semantics, Chapman & Hall/CRC, Boca Raton, Fla., 1997.

135. Han J., Kamber M., Data Mining: Concepts and Techniques, Morgan Kauffmann, San Francisco, 2001

136. Harinarayan V., et al., "Implementing Data Cubes Efficiently", Proc. SIGMOD Conf., CAN Press, New York, 1996.

137. Haykin S., Neural Networks: A Comprehensive Foundation New York: Prentice Hall Press, 1998.

138. Hernandez M., Stolfo S., "The Merge/Purge Problem for Large Databases", Rroc. SIGMOD Conf., ACM Press, New York, 1995.

139. Holland J.H., Holyoak K.J., Nisbett R.E., Thagard P. Induction: Processes of Inference, Learning, and Discovery. Cambridge: MIT Press, 1986. 416 p.

140. Hunt, K.J., D. Sbarbaro, R. Zbikowski, and PJ. Gawthrop, Neural Networks for Control System A Survey," Automatica, Vol. 28, 1992, pp. 1083-1112. Kohonen, Т., Self-Organization and Associative Memory, 2nd Edition, Berlin: Springer-Verlag, 1987.

141. Intelligent Systems for Finance and Business, Edited By Suran Goonatilake and Philip Treleaven -John Wiley & Sons Inc., 1995.

142. Kimball R., "The Data Warehouse Toolkit: Practical Techniques for Building Dimensional Data Warehouses", John Wiley & Sons, 1996

143. Kohonen, Т., Self-Organizing Maps, Second Edition, Berlin: Springer-Verlag, 1997.

144. Kolmogorov A. N., Three approaches to the quantitative definition of information. Problems of Information Transmission, 1:1-11, 1965.

145. Laurene F., Fundamentals of Neural Networks: Architectures, Algorithms, and Applications, Prentice Hall, 1994.

146. Levin L. A. Randomness conservation inequalities: Information and independence in mathematical theories. Information and Control, 61:15-37, 1984.

147. Levin L. A. Universal sequential search problems. Problems of Information Transmission, 9(3):265-266, 1973.

148. Lippman, R. P., "An introduction to computing with neural nets," IEEE ASSP Magazine, pp. 4-22, 1987.

149. Meyer J.-A., Wilson S. W. From animals to animats. Proceeding of the First International Conference on simulation of adaptive behavior. The MIT Press: Cambridge, Massachusetts, London, England. 1990.

150. Meyer, Y. Wavelets and Operators. Cambridge University Press, 1993.

151. Meyer, Y. Wavelets: Algorithms and Applications, SIAM, 1993.

152. Moller, M. F., "A scaled conjugate gradient algorithm for fast supervised learning," Neural Networks, vol. 6, pp. 525-533, 1993.

153. Murray, R., D. Neumerkel, and D. Sbarbaro, "Neural Networks for Modeling and Control of a Non-linear Dynamic System," Proceedings of the 1992 IEEE International Symposium on Intelligent Control, 1992, pp. 404-409.

154. Nguyen, D., Widrow В., "Improving the learning speed of 2-layer neural networks by choosing initial values of the adaptive weights," Proceedings of the International Joint Conference on Neural Networks, vol 3, pp. 21-26, 1990.

155. Parsaye K. A Characterization of Data Mining Technologies and Processes // The Journal of Data Warehousing. -1998.-№ 1.

156. Parsaye K. OLAP and Data Mining: Bridging the Gap // Database Programming and Design. 1997. - № 2.

157. Piaget J. Genetic Epistemology, New York, Colambia University Press. 1970

158. Powell, M. J. D., "Restart procedures for the conjugate gradient method," Mathematical Programming, vol. 12, pp. 241-254, 1977.

159. Prokhorov D., Feldcamp L. A. Generalized adaptive critic and their applications. IJCNN'99, session 6.5, Washington D. C.

160. Prokhorov D., Wanch D. Adaptive critic designs. IEEE transactions on Neural Networks, September 1997, pp. 997-1007

161. Riedmiller M., Braun H., "A direct adaptive method for faster backpropagation learning: The RPROP algorithm," Proceedings of the IEEE International Conference on Neural Networks, 1993.

162. Rosenblatt, F., Principles of Neurodynamics, Washington D.C.: Spartan Press, 1961.

163. Rumelhart D. E., Hinton G. E., Williams R. J., "Learning representations by back-propagating errors," Nature, vol. 323, pp. 533-536, 1986.

164. Rumelhart D. E., McClelland J. L., and the PDF Research Group, eds., Parallel Distributed Processing, Vols. 1 and 2, Cambridge, MArTheM.I.T. Press, 1986.

165. Rumelhart, D. E., Hinton G. E., Williams R. J., "Learning internal representations by error propagation,", in D. E. Rumelhart and J. L. McClelland, eds. Parallel Data Processing, vol.1, Cambridge, MA: The M.I.T. Press, pp. 318362, 1986.

166. Sarawagi S, "User Adaptive Exploration of OLAP Data Cubes", Proc. VLDB Conf., Morgan Kaufmann, San Francisco, 2000.

167. Schmidhuber J. A neural network that embeds its own meta-levels. In Proc. of the International Conference on Neural Networks '93, San Francisco. IEEE, 1993.

168. Schmidhuber J. Discovering neural nets with low Kolmogorov complexity and high generalization capability. Neural Networks, 1997. In press.

169. Schmidhuber J. Evolutionary principles in self-referential learning, or on learning how to learn: the meta-meta-. hook. Institut fur Informatik, Technische Universitat Munchen, 1987.

170. Schmidhuber J. On learning how to learn learning strategies. Technical Report FKJ-198-94, Fakultat fur Informatik, Technische Universitat Munchen, 1994. Revised 1995.

171. Schmidhuber J. Reinforcement learning in Markovian and non-Markovian environments. In D. S. Lippman, J. E. Moody, and D. S. Touretzky, editors, Advances in Neural Information Processing Systems 3, pages 500-506. San Mateo, С A: Morgan Kaufmann, 1991.

172. Schmidhuber J., Zhao J., Schraudolph. Reinforcement Learning with self -modifying policies. In S. Thrun and L. Pratt, eds., "Learning to learn", pages 293 -309, Kluwer, 1997.

173. Shannon Т., Lendaris G. A new hybrid critic-training method for approximate dynamic programming. 1996.

174. Shavlik J. W. An overview of research at Wisconsin on knowledge-based neural networks. Proc. of int. conf. on neural networks, pp. 65-69, Washington, DC, 1996.

175. Solomonoff R.J. A formal theory of inductive inference. Part I. Information and Control, 7:1-22, 1964.

176. Solomonoff R.J. An application of algorithmic probability to problems in artificial intelligence. In L. N. Kanal and J. F. Lemmer, editors, Uncertainty in Artificial Intelligence, pages 473-491. Elsevier Science Publishers, 1986.

177. Soloway, D. and P.J. Haley, "Neural Generalized Predictive Control," Proceedings of the 1996 IEEE International Symposium on Intelligent Control, 1996, pp. 277-281.

178. Sutton R. Learning to predict by the methods of temporal dierences. Machine Learning, 3:9-44, 1988.

179. Sutton R., Barto A. Reinforcement Learning: An Introduction. Cambridge: MIT Press, 1998. 432 p.

180. Swingler K, Applying Neural Networks, A Practical Guide, Academic Press, 1996.

181. Touzet C. F. Neural networks and Q-learning for robotics. International Joint Conference on Neural Networks., Washington, DC July 10- 16, 1999.

182. Tsitolovsky L.E. (1997) A model of motivation with chaotic neuronal dynamics // Journ. of Biological Systems, V. 5. N.2, pp. 301-323.

183. Utgofif P. Shift of bias for inductive concept learning. In R. Michalski, J. Carbonell, and T. Mitchell, editors, Machine Learning, volume 2, pages 163-190. Morgan Kaufmann, Los Altos, CA, 1986.

184. Vogl, T. P., Mangis J. K., Rigler A. K., Zink W. Т., and Alkon D. L., "Accelerating the convergence of the backpropagation method," Biological Cybernetics, vol. 59, pp. 256-264, 1988.

185. Wasserman, P. D., Advanced Methods in Neural Computing, New York: Van Nostrand Reinhold, 1993.

186. Watanabe O. Kolmogorov complexity and computational complexity. EATCS Monographs on Theoretical Computer Science, Springer, 1992.

187. Watkins C. J., Dayan P. Q learning. Machine Learning, 8:279 - 292,1992.

188. Werbos P. J. Stable adaptive controlusing new critic design. In The handbook of applied computational intelligence? Karayiannis, Padgett & Zadeh, eds., CRC Press.

189. Whitehead S.D., Ballard D. H. Active perception and reinforcement learning. Neural Computation, 2(4):409-419, 1990.

190. Wickerhauser, M.V. Adapted wavelet analysis. AKPeters, 1994.

191. Wiering M, Schmidhuber J. HQ learning. Adaptive behavior, 6(2):219 - 246, 1998.

192. Wiering M., Schmidhuber J. HQ-Learning: Discovering Markovian subgoals for non-Markovian reinforcement learning. Technical Report IDSIA-95-96, IDSIA, 1996.

193. Wolpert D. H. The lack of a priori distinctions between learning algorithms. Neural Computation, 8(7): 1341-1390, 1996.