Методика извлечения знаний в задачах анализа рядов динамики с использованием нейронных сетей тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат технических наук Родионов, Павел Евгеньевич

• Родионов, Павел Евгеньевич
• кандидат технических наук
• 2003

Оглавление диссертации кандидат технических наук Родионов, Павел Евгеньевич

Введение.

Глава1. Анализ существующих методов решения задачи прогнозирования.

1.1. Статистические методы.

1.1.1 .Экспоненциальное сглаживание.

1.1.2. АРПСС (Авторегрессионное Проинтегрированное Скользящее Среднее).

1.1.3. Множественная линейная регрессия.

1.1.4. Спектральный анализ.

1.2. Технический анализ.

1.2.1. Графический технический анализ.

1.2.2. Метод японских подсвечников.

1.2.3. Трендовые индикаторы.

1.2.4. Осцилляторы.

1.2.5. Показатели объема.

1.3. Нейронные сети.

1.3.1. Общие сведения.

1.3.2. Анализ применяющихся функций активации.

1.3.3. Сущность задачи обучения нейронной сети.

1.4. Постановка задачи и сравнительный анализ методов ее решения

1.4.1. Постановка задачи прогнозирования.

1.4.2. Сранительный анализ методов получения краткосрочного прогноза.

Выводы по главе 1.

Глава 2. Нейросетевое моделирование процессов обработки экспериментальных данных.

2.1. Классификация существующих парадигм нейронных сетей.

2.1.1. Классификация по структуре.

2.1.2. Классификация по особенностям модели нейронной сети.

2.1.3. Классификация по характеру и методам обучения сети.

2.2. Выбор архитектуры нейронной сети.

2.2.1. Анализ применимости нейросетей к решению различных задач.

2.2.2. Нейронная сеть типа "многослойный перцептрон".

2.2.3. Нейронные сети радиального базиса.

2.2.4. Сравнение сетей радиального базиса и многослойных перцептронов.

2.3. Предварительная подготовка данных.

2.3.1. Методы преобразования исходных данных.

2.3.2. Нормировка входных переменных.

2.3.3. Нормировка выходных переменных.

Выводы по главе 2.

Глава 3. Методика моделирования и формирования эмпирического знания.

3.1. Описание разработанной методики.

3.1.1. Этапы методики.

3.1.2. Разработанный способ нормировки данных.

3.1.3. Определение глубины ретроспективной выборки для обучающего примера.

3.1.4. Корректировка состава входных факторов.

3.1.5. Определение структуры нейронной сети.

3.1.6. Определение параметров обучения.

3.1.7. Формирование подмножеств обучающих примеров.

3.1.8. Критерии оценки эффективности и ограничения методики

3.2. Разработанные функция ошибки и алгоритм обучения

3.2.1. Функция ошибки нейрона.

3.2.2. Функция суммарной ошибки и критерий останова.

3.2.3. Алгоритм обучения нейросети.

3.3. Описание разработанного программного комплекса.

3.3.1. Программные средства моделирования нейронной сети.

3.3.2. Программные средства формирования файла входных данных.

3.3.3. Программные средства расчета автокорреляционных функций.

Выводы по главе 3.

Глава 4. Экспериментальные исследования методики.

4.1. Прогнозирование котировок облигаций государственного внутреннего валютного займа (ОГВВЗ).

4.1.1. Описание решаемой задачи.

4.1.2. Описание ряда проведенных экспериментов и результаты.

4.2. Уточнение прогноза аналитической модели движения искусственного спутника Земли (ИСЗ).

4.2.1. Общие сведения об эксперименте.

4.2.2. Описание и постановка решаемой задачи.

4.2.3. Описание эксперимента и результаты.

4.3. Оценка влияния случайных возмущений на характеристики насоса авиационного двигателя.

4.3.1. Общие сведения об эксперименте.

4.3.2. Описание и постановка решаемой задачи.

4.3.3. Описание эксперимента и результаты.

Выводы по главе 4.

Введение диссертации (часть автореферата) на тему «Методика извлечения знаний в задачах анализа рядов динамики с использованием нейронных сетей»

Данная диссертационная работа посвящена вопросу разработки методики извлечения знаний из эмпирических данных с использованием теории нейронных сетей. Цель состоит в выявлении скрытых, нетривиальных и неформализуемых закономерностей в наборах данных. Получение практически полезных и доступных интерпретации знаний необходимо для принятия решений в различных сферах человеческой деятельности. Подобные задачи актуальны в областях, где присутствуют большие информационные массивы неоднородных, меняющихся во времени данных высокой размерности[133]. Например, методы извлечения знаний могут применяться для предприятий торговли[79] (анализ структуры клиентов и покупок, характера и моделей поведения), банков и страховых компаний [96] (выявление мошенничества, создание новых целевых программ и услуг), медицинских учреждений [54] [70] (выбор способа лечения, прогнозирование осложнений).

Существует пять различных типов закономерностей[78]: ассоциация, последовательность, прогнозирование, классификация, кластеризация. Ассоциация представляет собой определение связи между событиями. Если события связаны друг с другом по времени, то говорят о последовательности. Прогнозирование осуществляет предсказание поведения системы в будущем на основе ретроспективной информации, хранящейся в виде временных рядов. Классификация - выявление признаков, характеризующих группу, к которой принадлежит тот или иной объект. Более общим случаем является кластеризация, которая отличается от классификации тем, что сами группы заранее не заданы.

Ввиду широты проблематики, связанной с извлечением знаний из массивов данных, область исследований была сужена и в диссертационной работе рассматриваются задачи прогнозирования. Важной особенностью является то, что прогноз основывывается не только на предшествующих значениях прогнозируемой величины, но также учитывает влияние различных дополнительных факторов, также представленных временными рядами. Таким образом, данном случае прогнозирование осуществляетсчя на основе совместной обработки нескольких временных рядов.

Рассматриваемая задача актуальна в различных областях. В частности, в представляемой диссертационной работе приведены результаты решения задачи уточнения траекторного прогноза движения искусственного спутника земли (ИСЗ), а также задачи оценки влияния случайных возмущений на параметры авиационного насоса. Характерной предметной областью, в которой необходимо решение задачи нахождения прогноза с учетом выявляемых скрытых закономерностей в массивах данных, являются финансовые рынки. Прогнозирование финансовых временных рядов рассматривается в [42][62][81][119], и является актуальной научно-технической задачей. Так, в настоящее время существует несколько сот организаций-участников финансового рынка (национальная ассоциация участников фондового рынка (НАУФОР) по состоянию на 01.04.02 включала 507 членов. Существуют также и организации - не члены НАУФОР. [109]), результаты деятельности каждой из которых напрямую зависят от успешности решения подобной задачи. При этом данные организации оперируют значительными суммами. Например, совокупный оборот только московской межбанковской валютной биржи (ММВБ) в 2001г. составил 107 млрд. долларов США[105], при этом в Российской Федерации имеются и другие торговые площадки [106] [122] [123]. В целом, рассматриваемая задача актуальна в областях, где требуется решение задачи прогнозирования, на основе анализа данных за предшествующие моменты времени в целью учета зависимости между значениями некоторого набора факторов и поведением исследуемого объекта или процесса, представленного временным рядом. При этом задача имеет следующие особенности[118]:

- на прогнозируемую величину влияют нескольких различных факторов (также являющихся временными рядами). Нахождение и аналитическое описание данных зависимостей затруднено.

- рассматриваемые временные ряды являются нелинейными и нестационарными

- вид нелинейности временного ряда априорно не известен и не описан аналитически

- в результате решения задачи требуется нахождение не сглаженного краткосрочного прогноза.

Математически рассматриваемая задача может быть описана следующим образом:

Пусть имеется объект прогноза У, представленный временным рядом своих значений в предшествующие моменты времени У, , где текущий момент времени, /¿-глубина ретроспективной выборки. На поведение У влияет совокупность факторов (характеристик): У, У„, где пколичество факторов. Каждая г'-ая характеристика 0=1.л) также представлена совокупностью своих предыдущих значений ,

Исходя из физического смысла задачи У принадлежит V, так как предыдущие значения У влияют на его будущее значение и, следовательно, должны входить в К В общем случае глубина ретроспективной выборки для различных У(0 может быть различной. Требуется найти значение У в будущий момент времени на основе известных предыдущих значений V. В зависимости от физического смысла задачи может одновременно прогнозироваться несколько величин, то есть значение У в каждый момент времени может быть вектором.

Традиционно для решения подобных задач используются методы математической статистики, изложенные в работах [53][63][73][90][107][59]. Однако описанные выше особенности ограничивают возможности применения статистических методов. Так, применение различных процедур сглаживания не отвечает поставленной задаче, так как при прогнозировании нас интересует не сглаженное значение, а именно отклонение от него в будущий момент времени. Кроме того, прогнозируемый временной ряд характерен тем, что он не является стационарным и не преобразуем к стационарному. Поэтому методы, разработанные для стационарных рядов, использованы быть не могут. Применение линейных регрессионных моделей ограничено ввиду явной нелинейности процесса, а нелинейных - из-за необходимости явного задания характера нелинейности.

Для прогнозирования на финансовых рынках де-факто используется технический анализ, под которым понимается исследование динамики рынка, чаще всего посредством графиков, с целью прогнозирования будущего направления движения цен [100]. Методы и индикаторы технического анализа описаны в [92] [99] [100] [44] [115]. Основным постулатом является предположение о том, что в существующие рыночные цены сделок уже заложено направление динамики цен, в виде ожиданий игроков[43][100]. То есть в самом характере изменения цены отражены все влияющие на нее факторы и текущая цена - результирующая всех этих факторов. Средства технического анализа являются распространенным способом прогнозирования временных рядов. Основными их достоинствами является простота использования и наглядность. Современный технический анализ включает в себя большое количество прикладных методов. Всего в настоящий момент насчитывается более 160 различных индикаторов и методик[98]. Положительные черты технического анализа заключаются в свойственных ему гибкости и адаптационных способностях. Также сильной стороной технического анализа является возможность его применения на любом отрезке времени. В целом средства технического анализа позволяют получать неплохие результаты, однако его большими минусами были и остаются субъективизм эксперта (особенно в графическом анализе), обилие ложных сигналов, противоречивость различных индикаторов. Другим принципиальным недостатком является то, что анализ основывается лишь на прогнозируемом ряде, не используя в явной форме информацию по другим факторам, влияющим на прогнозируемую величину. Таким образом, возможности аппарата технического анализа заведомо сужены по сравнению с методами, использующими для прогноза несколько различных факторов (например, нейронными сетями, применение которых обсуждается в данной работе).

По сравнению со средствами математической статистики и технического анализа, традиционно использовавшихся для прогнозирования, нейронные сети имеют ряд преимуществ[98].

Нейросетевой анализ не предполагает никаких ограничений на характер входной информации. Это могут быть как индикаторы данного временного ряда, так и сведения о динамике других факторов, в то время как другие методы рассматривают только значения прогнозируемого ряда.

Применение нейронных сетей не накладывает никаких ограничений на характер исследуемых рядов, поэтому нестационарность рассматриваемых процессов не представляет проблемы. Наиболее ценным свойством нейронных сетей является их способность успешно решать задачи, в которых затруднено или невозможно нахождение аналитических зависимостей между входными и выходными данными. Нейросети способны находить оптимальные для данной задачи индикаторы и строить по ним оптимальную для данного ряда стратегию предсказания. Кроме того, эта стратегия может быть адаптивна, меняясь вместе с ситуацией.

Для многослойных нейронных сетей строго математически доказано, что они могут представлять любую вещественную непрерывную векторную функцию любого вещественного непрерывного векторного аргумента [17]. То есть многослойные сети могут быть использованы для решения любой задачи, которая может быть сведена к построению функций, в том числе для прогнозирования.

Все вышеперечисленные факторы определяют возможность эффективного использования аппарата нейронных сетей в рассматриваемом классе задач.

Основным недостатком нейронных сетей является отсутствие формализованных алгоритмов настройки сети, а, как следствие, необходимость привлечения высококлассных специалистов ввиду высокой сложности такой настройки, отсутствие гарантий успешного решения поставленной задачи. Кроме того, произведенный анализ показал, что существующие программные средства не имеют конкретной проблемной ориентации и не адаптированы к решению рассматриваемого класса задач[75][111]. Поэтому большую практическую значимость приобретает разработка формальной методики настройки и обучения сети и выработка практических рекомендаций, которые позволят более успешно применять аппарат нейронных к решению задач прогнозирования временных рядов широкому кругу пользователей.

Таким образом, целью настоящей диссертационной работы является разработка и апробация методики извлечения знаний из совокупности эмпирических данных и учета неформализуемых информационных зависимостей для предсказания будущего состояния нестационарного временного ряда с помощью аппарата нейронных сетей, позволяющей решать рассматриваемый класс задач прогнозирования с обеспечением практически значимой устойчивой точности выдаваемых нейронной сетью прогнозов.

Для выбора типа используемой нейронной сети в диссертационной работе была выполнена классификация существующих архитектур нейронных сетей, а также выполнен анализ применимости конкретных видов нейросетей к решению различных классов задач. Результатом данного анализа явилось определение архитектур нейронных сетей, которые могут быть применены для решения задачи прогнозирования: это сети радиального базиса (RBF-сети) и сети типа «многослойный перцептрон» (MLP), и их сравнение. Сеть MLP характеризуется более высокой сложностью обучения. В то же время существует некоторая неэффективность сети RBF, которая связана с тем, что при работе сети в каждом конкретном случае используется лишь часть нейронов. Следствием этого является экспоненциальный рост размерности сети RBF при увеличении размерности входных данных [81]. При решении одной и той же задачи в большинстве случаев размер сети RBF будет превышать размер MLP. Кроме того, сеть RBF не обладает способностью к экстраполяции данных при увеличении ширины диапазона значений входных данных[113]. С учетом вышеизложенного, в данной диссертационной работе для построения моделей использовалась сеть типа «многослойный перцептрон».

Разработанная методика краткосрочного прогнозирования основана на учете неформализуемых зависимостей между различными факторами в массиве эмпирической информации. При этом предлагаемая методика позволяет решать задачу прогнозирования на основе совместной обработки нескольких влияющих друг на друга временных рядов, не накладывая никаких ограничений на их характер. В рамках методики предложены способы предварительной обработки данных для повышения экономичности нейросетевой модели, процедура определения параметров модели, определены параметры обучения (в т.ч. разработана и исследована новая функция ошибки обучения), предложены критерии оценки качества получаемой модели, разработан алгоритм обучения с учетом специфики решаемой задачи.

Правильная предварительная подготовка данных является ключевым фактором успешного решения задачи[81], и в работе предложен новый способ такой подготовки. Основная цель данного этапа - повышение информативности исходных данных.

Для этого в рамках методики предложен ряд процедур. Во-первых, отказ от использования абсолютных значений временных рядов и переход к относительным изменениям, взятым с лагом 1, что позволяет повысить чувствительность сети к ее входам. Во-вторых, нормировка данных -линейная, либо на основе статистических характеристик ряда, позволяющая повысить информативность обучающих примеров. В-третьих, нелинейная нормировка с помощью функции активации нейронной сети, усиливающая эффект предыдущей нормировки. Новизна данного подхода заключается в изменяемом виде функции активации, что позволяет повысить эффективность нормировки путем лучшего приближения распределения данных к равномерному. Для возможности изменения вида функции активации в ее состав введен специальный коэффициент.

В работе предложен способ определения состава входных факторов, глубины ретроспективной выборки (то есть числа предыдущих значений, участвующих в нахождении прогноза) по каждому из них, а также иных параметров модели. Для этого предлагается использовать следующую процедуру: к уже существующей модели добавляется следующий фактор из числа неиспользованных, дающий наибольшее улучшение точности модели. Первоначальная модель строится только на основе прогнозируемого ряда. Глубина ретроспективной выборки по каждому фактору устанавливается при его добавлении путем варьирования найденного раньше ее начального приближения, которое определяется на основе анализа графиков автокорреляционных функций. Добавление дополнительных факторов прекращается, если оно перестанет улучшать точность модели. Описанная процедура позволяет находить приемлемые субоптимальные комбинации входных факторов и параметров модели.

Одним из результатов диссертационной работы является разработка новой функции расчета ошибки обучения сети. Идея ее применения заключается в том, что при прогнозировании экономических рядов важнее правильное определение знака будущего изменения, нежели его абсолютного значения, поэтому традиционно применяющаяся среднеквадратичная ошибка в силу специфики предметной области не является наилучшим критерием. В состав функции введены специальные коэффициенты, позволяющие изменять ее вид и использовать не только в экономической сфере, но и других областях в рамках рассматриваемого в диссертационной работе класса задач.

В качестве алгоритма обучения использовался модифицированный для учета специфики задачи алгоритм обратного распространения ошибки, отличающийся высокой надежностью и обеспечивающий удовлетворительную скорость сходимости.

В рамках данной работы была создана программная реализация разработанной методики, обеспечивающая автоматизированную обработку эмпирических данных. С этой целью были разработаны программные средства выполняющие расчет необходимых статистических характеристик, формирование обучающих примеров, а также реализующие обучение и работу нейронной сети с учетом предложенной в данной работе новизны.

В ходе экспериментальных исследований были рассмотрены три задачи из различных областей. В качестве предметной области в для первой задачи использовалась финансовая сфера, а именно прогнозирование котировок пятого транша облигаций государственного внутреннего валютного займа (ОГВВЗ). В качестве второй задачи было рассмотрено построение нейросетевой модели, выполняющей прогноз ошибки определения координат ИСЗ с помощью аналитической модели на основе анализа ретроспективной эмпирической информации. Третья задача заключалась в оценке влияния случайных возмущений на характеристики авиационного насоса.

Практическая ценность данной работы заключается в разработке методики применения аппарата нейронных сетей к решению задачи прогнозирования нестационарных временных рядов, выработку рекомендаций по ее применению, разработке программных средств, реализующих данную методику. Результаты данной диссертационной работы (конкретные алгоритмы, методика и программные средства) могут быть успешно использованы на практике, что подтверждается результатами численных экспериментов, проводившихся на реальных данных и показавших практически значимые результаты, а документально подтвержденными результатами внедрения.

В представляемой диссертационной работе решен комплекс научно-технических, прикладных и экспериментальных задач, а именно:

1) В результате анализа предметной области произведено выделение класса рассматриваемых в диссертационной работе задач

2) Произведен анализ математических методов и программных средств, использующихся для решения подобных задач, и исследована применимость аппарата нейронных сетей. Выполнена классификация нейросетевых архитектур.

3) Выполнена формальная постановка задачи, предложена методика решения, основанная на нейронных сетях. Определены ограничения.

4) Выполнена разработка комплекса обработок, методов и алгоритмов для настройки, обучения и функционирования нейросетевой модели.

5) В рамках методики сформулированы конкретные практические рекомендации по решению рассматриваемого класса задач

6) Определены критерии оценки эффективности разработанной методики.

7) Выполнена разработка программного комплекса для реализации предложенной методики

8) Осуществлены экспериментальные исследования и апробация методики.

Автор имеет четыре печатные работы по теме диссертации, три подготовленных к публикации, а также ряд выступлений на научных конференциях.

Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы и приложений. Общий объем основного текста диссертации 138 страниц, включая 27 рисунков, 17 таблиц, список использованной литературы из 134 источников.

Заключение диссертации по теме «Теоретические основы информатики», Родионов, Павел Евгеньевич

Выводы по главе 4.

1) Произведена апробация разработанной методики на реальных данных. Для этого была рассмотрены три различные задачи из различных предметных областей. Был проведен ряд численных экспериментов с целью оценки эффекстивности как различных этапов разработанной методики, так и методики в целом.

2) Была обоснована необходимость предложенного в рамках методики перехода от анализа абсолютных значений элементов временных рядов к анализу их относительных изменений, то есть разницы между соседними элементами ряда. Так, использование относительных изменений позволило в 6-12 раз снизить ошибку обучения сети, полученную на обучающем множестве.

3) Была подтверждена эффективность предложенной процедуры выбора глубины ретроспективной выборки на основе анализа графиков автокорреляционных функций. В ходе экспериментов были исследованы два различных ряда, в каждом случае было исследовано более 50 нейронных сетей с различными значениями глубины ретроспективной выборки. Для обоих рядов первые 10 сетей с наименьшей ошибкой имели значение глубины ретроспективной выборки, близкое к определенному в соответствии с методикой.

4) Проведенные эксперименты подтвердили эффективность предложенного в рамках методики способа нелинейной нормировки данных с изменяемым видом нелинейности. Сравнение четырех различных способов нормировки показало, что предложенный способ является лучшим и позволяет снизить ошибку обучения сети в 3-4 раза относительно данных, нормировка которых не проводилась.

5) Была подтверждена эффективность методики в целом. В ходе эксперимента, имитирующего реальную работу нейросетевой модели в наименее благоприятных условиях изменяющегося характера рынка была достигнута точность 73-75%, что является практически значимым результатом.

6) На примере задачи уточнения результатов прогнозирования координат ИСЗ с помощью аналитической модели были продемонстрированы возможности учета влияния случайных возмущающих факторов, формальный аналитический учет которых затруднен или невозможен. В данном эксперименте была достигнута точность 90% .

7) Для демонстрации возможности улучшения точностных показателей путем использования комитетов нейросетей (то есть нескольких сетей, имеющих идентичное строение, но различные начальные значения весовых коэффициентов) была рассмотрена задача оценки влияния случайных возмущений на характеристики авиационного насоса. В ходе данного эксперимента применение комитета нейросетей позволило на 25% улучшить первоначально полученный результат.

Заключение

В заключении приводятся основные выводы по представляемой диссертационной работе:

1) Выполнен анализ существующих методов прогнозирования временных рядов. Проведен анализ достоинств и недостатков каждого метода, оценена область его применимости при решении задач прогнозирования. В результате проведенной работы сделан вывод о предпочтительности применения нейронных сетей для некоторого класса задач.

2) Выявлен класс задач, при решении которых нейронные сети имеют преимущество перед традиционными статистическими методами. Данные задачи характеризуются следующими свойствами:

- Нестационарность и нелинейность прогнозируемого процесса

- Необходимость нахождения несглаженных прогнозов

- Необходимость совместного использования для нахождения прогноза нескольких временных рядов, содержащих значения факторов, влияющих на объект прогноза.

- Затрудненная формализация зависимостей между входными факторами и значением прогнозируемой величины

3) Предложена формальная постановка задачи прогнозирования, предполагающая нахождение одношагового прогноза на основе обработки массива эмпирических данных с использованием аппарата нейронных сетей. На основе выполненной классификации нейросетевых архитектур проведен сравнительный анализ применимости различных парадигм нейронных сетей к решению рассматриваемого класса задач.

4) Разработана состоящая из четырех этапов методика решения поставленной задачи. В рамках методики предложен новый способ нелинейной нормировки данных, заключающийся в последовательном выполнении над ними линейных, а затем нелинейных преобразований с изменяемым видом нелинейности, предложена процедура подбора субоптимального состава входных факторов, а также способ определения глубины ретроспективной выборки на основе средств корреляционного анализа.

5) В рамках методики предложена новая функция ошибки нейронов при обучении сети, обеспечивающая более надежное предсказание направления будущего изменения прогнозируемой величины, а также реализующий ее новый алгоритм обучения сети. В качестве его теоретического обоснования доказан ряд теорем. Разработана функция суммарной ошибки обучения, предложен основанный на данной функции критерий останова обучения. Разработан пакет программ, включающий программные средства моделирования работы нейронной сети и ее обучения по новому алгоритму.

6) Произведена апробация методики на примере прогнозирования котировок облигаций. В ходе экспериментов подтверждена обоснованность применения приемов и процедур, использующихся в рамках методики, а также эффективность методики в целом.

Список литературы диссертационного исследования кандидат технических наук Родионов, Павел Евгеньевич, 2003 год

1. Abu-Mostafa Y.S., St. Jacques J. 1.formation Capacity of the Hopfield Model // IEEE Transactions on Information Theory. - 1985. - Vol. 31, № 4. - P. 461 -464.

2. Bishop С. M. Neural Networks and Pattern Recognition. Oxford: Press, 1995. - 168 p.

3. Burr D.J. Experiments with a Connecnionlist Text Reader // Proceedings of the IEEE First International Conferense on Neural Networks / Eds. M. Caudill, C.Butler. San Diego, 1987 - Vol. 4. - P. 717-724.

4. Carpenter G., Grossberg S. A Massively Parallel Architecture for a Self-organizing Neural Pattern Recognition Machine. Computing Vision // Graphics and Image Processing. 1987. - Vol. 37. - P. 54 - 115.

5. Cottrell G.W., Munro P., Zipser D. Image Compression by Backpropagation: An example of extensional programming. San Diego: University of California, 1987. - 87 p. (ICS Report 8702).

6. Fukushima K. A Hierarchical Neural Network Model for Associative Memory //Biological Cybernetics. 1984.-Vol. 50.-P. 105-113.

7. Fukushima K. Cognitron: A Self-organizing Multilayered Neural Network // Biological Cybernetics. 1975. - Vol. 20. - P. 121-136.

8. Fukushima K. Neocognitron: A Self-organizing Neural Network Model for a Mechanism of Pattern Recognition Uneffected by Shift in Position // Biological Cybernetics. 1980. - Vol. 36, № 4. - P. 193 - 202.

9. Green D.G., Reichelt R. Statistical Behavior of the GMDH algorithms // Biometrics. 1988. - № 2. - P. 49 - 70.

10. Grossberg S. A theory of Human Memory: Self-organization and performance of sensory-motor codes, maps and plans // Progress in theoretical biology / Ed. R. Rosen and F. Shell. New York: Academic Press, 1978. - Vol. 5. - P.120.

11. Grossberg S. Adaptive pattern classification and universal recording: Parallel development and coding of neural feature detectors // Biological Cibernatics -1976. -№23 P. 187-202.

12. Grossberg S. Studies of Mind and Brain. Boston: Reidel Press, 1982. - P.268.

13. Haines K., Hecht-Nielsen R. A BAM with Increased Information Storage Capacity. // Proceedings of the IEEE International Conference on Neural Networks. San Diego: 1988. - Vol. 1. - P. 181 - 190.

14. Harris Drucker, Yann Le Cun. Improving Generalization Performance Using Backpropagation // IEEE Transactions on Neural Networks. 1992. - Vol.3, №5. -P.991-997.

15. Hebb D.O. The Organization of Behavior. New York: Wiley, 1949. - 65 p.

16. Hecht-Nielsen R. Counterpropagation Networks // Proceedings of the IEEE First International Conference on Newral Networks / Eds. M. Caudill, C. Butler. -San Diego: 1987. Vol. 2. - P. 19 - 32.

17. Hertz J., Krogh A., Palmer R.G. Introduction to the Theory of Neural Computation. London: Addison-Wesley, 1991. - 214 p.

18. Hinton G.E., Sejnowski T.J. Learning and Relearning in Boltzmann Machines. In Parallel distributed processing. Cambridge (MA): MIT Press, 1986. - Vol. 1. -P. 282 - 317.

19. Horfield J.J., Tank D.W. Computing with Neural Circuits: A model // Science. 1986.-№233.-P.625 - 633.

20. Horfield J.J., Tank D.W. Neural Computation of Decisions in Optimization Problems. // Biological Cybernetics. 1985. - №52. - P.141 - 152.

21. Keun-Rong Hsieh, Wen-Tsuen Chen. A Neural Network Model which Combines Unsupervised and Supervised Learning // IEEE Trans, on Neural Networks. 1993. - Vol. 4, № 2. - P.60-83.

22. Kohonen T. Self-organised Formation of Topologically Correct Feature Maps // Biological cybernetics. 1982. - №43. - P. 127-138.

23. Kohonen T. The "neural" Phonetic Typewriter // IEEE. Computer. 1988. -№ 3. - P.154.

24. Kohonen T. Self-organization and Associative Memory. New-York: SpringerVerlag, 1989.-P.266.

25. Kosko B. Bi-directional Associative Memories. IEEE Transactions on Systems. // Man and Cybernetics. 1987. - Vol. 18, № 1. - P. 49 - 60.

26. Kosko B. Competitive Adaptive Bi-directional Associative Memories. // Proceedings of the IEEE First International Conference on Neural Networks / Eds. M.Caudill, C.Butler. San Diego, - 1987. - № . y0l. 2. - P. 759 - 766.

27. Lippmann R. An Introduction to Computing with Neural Nets // IEEE Acoustics, Speech, and Signal ProcessingMagazine. 1987. - P.4-22.

28. Maxwell T, Giles C, Lee Y, Chen H. Nonlinear Dynamics of Artificial Neural Systems // Proceedings of the conference on neural networks for computing. -Washington (D.C.), 1986. 634 p.

29. McEliece R.J., Rosner E.G. Rodemich E.R. The Capacity of Hopfield Associative Memory // IEEE Transactions on Information Theory IT-33. New York: Venka-tesh S. S., 1987. - P. 461 - 482.

30. Minsky M. Logical vs. Analogical or Symbolic vs. Connectionist or Neat vs. Scruffy. -San Diego: MIT Press, 1990. P.225.

31. Moody J, Darken C. Fast Learning in Networks Locally-Tuned Processing Units // Neural computation. 1989. - №1. - P.20-29.

32. Paul J. Werbos. Backpropagation Through Time: What It Does and How to Do It: Artificial Neural Networks: Concepts and Theory // IEEE Computer Society Press, 1992. -P.309-319.

33. Petrowski A., Dreyfus G., Girault C. Performance Analysis of a Pipelined Backpropagation Parallel Algorithm //IEEE Transactions on Neural Networks. 1993. Vol.4, № 6. - P. 970 - 981.

34. References hystoriques : HHTepHeT-caHT.-http://www-dapnia.cea.fr/Spp/Experiences/OPAL/bib/nnhistory.html

35. Rummelhart D.E., Hinton G.E., Williams R.J. Learning Internal Reprentations by Error Propagation. In Parallel distributed processing. Cambridge (MA): MIT Press, 1986. - Vol. 1. - P. 318 - 362.

36. Sankar K. Pal, Sushmita Mitra, Multilayer Perceptron, Fuzzy Sets and Classification // IEEE Transactions on Neural Networks. 1992. - Vol. 3, № 5. - P. 683 - 696.

37. Sarle W. How to measure importance of inputs? : FTP-архив.-ftp:// ftp. sas.com/pub/neural/importance .html

38. Sarle W. Neural network FAQ : FTP-архив.-ftp://ftp.sas.com/pub/neural/nnfaq.txt

39. Sejnowski T.J., Rosenberg C.R. Parallel Networks that Learn to Pronounce English text. Complex Systems. New York: Academic Press, 1987. - Vol. 1. - P. 145 - 168.

40. Self-organizing Method in Modeling: GMDH Type Algorithms/ Ed. by S. Farlow. N.Y. and Basel: Statistics, 1984. - P. 350.

41. The efficient market hypothesis & the random walk theory: Интернет сайт.-Investor home.-http://www.investorhome.com/emh.htm.

42. The investment FAQ: HHTepHeT-cafiT.-http://invest-faq.com/articles/index-technical.html.

43. Tveter D. Donald Treveter's Backpropagator Review: Интернет-сайт.-http://www.msc.com/~drt/bprefs.html.

44. Van den Bout D.E., Miller ТАК КАК A Traveling Salesman Objective Function that Works // Proceedings of the IEEE International Conference on Neural Networks. San Diego, 1988. - Vol. 2. - P. 299 - 304.

45. Wasserman P.D. Experiments in Translating Chinese Characters Using Backpropagation // Proceedings of the Thirty-Third IEEE Computer Society International Conference. Washington (D.C.): Computer Society Press of the IEEE, 1988.-P. 349-357.

46. Wassermann P.D. Combined Backpropagation/Cauchi machine. Neural Networks: Abstracts of the First INNS Meeting, Boston. Elmsford (NY.): Pergamon Press, 1988. - Vol. 1. - P. 556.

47. Werbos P.J. Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences: Masters thesis. Harward: University Press, 1974. - P. 129.

48. Widrow B, Lehr M. 30 Years of Adaptive NeuralNetworks: Perceptron, Madaline and Backpropagation // Artificial Neural Networks: Concepts and Theory. Washington (D.C.): IEEE Computer Society Press, 1992. - P. 327-354.

49. Zurada J.M. Introduction to Artificial Neural Systems. San Diego: PWS Publishing Company, 1992. - 785 p.

50. Айвазян C.A., Бежаева З.И., Староверов O.B. Классификация многомерных наблюдений. -М.: Статистика, 1974. 240 с.

51. Андерсон Т. Статистический анализ временных рядов. М.: Мир, 1976. -755 с.

52. Арсеньев С. Обнаружение знаний в медицинских базах данных : Интернет-сайт.- http://www.megaputer.ru/download/book.zip

53. Банди Б. Методы оптимизации. Вводный курс. М.: Радио и связь, 1988. -128 с.

54. Басканова Т.Ф., Ланкин Ю.П. Нейросетевые алгоритмы самостоятельной адаптации. Всероссийская научно-техническая конференция // Нейроинформатика-99. Научная сессия МИФИ-99. Сборник научных трудов, В 3 ч. М.: МИФИ, 1999. - ч. 2. - 230с.

55. Бир С. Кибернетика и управление производством. М.: Наука, 1965. - 391 с.

56. Блум Ф., Лейзерсон А., Хофстедтер J1. Мозг, разум и поведение. М.: Мир, 1988.-317 с.

57. Бокс Дж, Джеккинс Г. Анализ временных рядов. Прогноз и управление. -М.: Мир, 1974. 406 с.

58. Боровков A.A. Математическая статистика. М.: Наука, 1984. - 219 с.

59. Браверман Э.М., Мучник И.Б. Структурные методы обработки эмпирических данных. М.: Наука. Гл. Ред. Физ.-мат. лит., 1983. - 467 с.

60. Бэстенс Д.-Э. и др. Нейронные сети и финансовые рынки. М.: Научное издательство, 1997.- 236 с.

61. Венцель Е.С. Теория вероятностей. М.: Наука, 1969. - 576 с.

62. Галушкин А.И Нейронные сети и проблема малой выборки // Нейрокомпьютеры и их применение: Сборник докладов V Всероссийской конференции. М., 1999. - С. 399-401.

63. Галушкин А.И. Теория нейронных сетей. М.: Радиотехника, 2000. -428 с.

64. Гилев С.Е. Сравнение методов обучения нейронных сетей // Нейроинформатика и ее приложения: Тез. докл. III Всероссийского рабочего семинара. Красноярск, 1994. - С. 80-81.

65. Нейроинформатика и нейрокомпьютеры // Тез. докл. рабочего семинара / Гилев С.Е., Горбань А.Н., Галушкин А.И. и др. Красноярск, 1993. -С. 83-85.

66. Глаз А.Б. Применение принципов самоорганизации для построения решающих правил на недостаточных обучающих выборках // Автоматика. (Киев). — 1984. № 3. - С. 3 - 12.

67. Головко В.А. Нейронные сети: обучение, организация и применение. М.: Радиотехника, 2001.- 256 с.

68. Горбань А.Н. Нейроинформатика и ее приложения // Открытые системы.-1998.-№4.- С. 38-42.

69. Горбань А.Н. Обучение нейронных сетей. М.: СП «ПараГраф», 1990. -160 с.

70. Горбань А.Н., Россиев Д.А., Коченов Д.А. Применение самообучающихся нейросетевых программ. Красноярск: СПИ, 1994. - 169 с.

71. Демиденко Е.З. Линейная и нелинейная регрессия. М.: Финансы и статистика, 1981. - 302 с.

72. Денис Дж. (мл), Шнабель Р. Численные методы безусловной оптимизации и решения нелинейных уравнений. М.: Мир, 1988. - 440 с.

73. Документация к пакету Brain Maker Pro v.3.1 : Интернет-сайт. -http://www.tora-centre.ru/program/optim.htm

74. Дуда Р., Харт П. Распознавание образов и анализ сцен. М.: Мир, 1976. -512 с.

75. Дунин-Барковский В.Л. Информационные процессы в нейронных структурах. М.: Наука, 1978. - 317 с.

76. Дюк В., Самойленко A. Data mining: учебный курс. СПб.: Питер, 2001. -368 с.

77. Дюк В.A. Data mining интеллектуальный анализ данных // Интернет-cafiT.-http://www.olap.ru/basic/dm2.asp

78. Евтушенко Ю.Г. Методы решения экстремальных задач и их применение в системах оптимизации. М.: Наука, 1982. - 432 с.

79. Ежов A.A., Шумский С.А. Нейрокомпьютинг и его применения в экономике и бизнесе. М.: МИФИ, 1998. - 224 с.

80. Жиглявский A.A., Жилинскас А.Г. Методы поиска глобального экстремума. М.: Наука, 1991.- 248 с.83.3аенцев И.В. Нейронные сети: основные модели. Воронеж: ВГУ, 1999. -157 с.

81. Ивахненко А.Г. Непрерывность и дискретность. Переборные методы моделирования и кластеризации. Киев: Наукова Думка, 1990. - 224 с.

82. Ивахненко А.Г. Перцептроны. Киев: Наукова Думка, 1974. - 179 с.

83. Инженерный справочник по космической технике / Под ред. А.В.Солодова.-М.: Воениздат, 1977.-430с.

84. Искусственный интеллект / Справочник, В 3-х кн. / Под ред. Д.А.Поспелова. М.: Радио и связь, 1990. - Кн.2: Модели и методы. — 304 с.

85. Итоги науки и техники: физические и математические модели нейронных сетей. М.: ВИНИТИ, 1990. - Т. 1. - 247 с.

86. Касимов Ю.Ф. Основы теории оптимального портфеля ценных бумаг. -М.: Филинъ, 1998.- 142 с.

87. Кендалл М. Временные ряды. -М.: Финансы и статистика, 1981. 199 с.

88. Кендалл М., Стьюарт А. Статистические выводы и связи. М.: Наука, 1973.-900 с.

89. Колби Р., Мейерс Т. Энциклопедия технических индикаторов. Б.м : Альпина, 2000.- 581с.

90. Колмогоров А.Н. Представление непрерывных функций многих переменных суперпозицией функций одной переменной и сложением. Б.м.: ДАН, 1958. - №5. - С.953-956.

91. Лалетин П.А., Ланкина Э.Г., Ланкин Ю.П. Использование сетей с самостоятельной адаптацией для распознавания слов человеческой речи // Сборник научных трудов II Всероссийской научно-технической конференции // Нейроинформатика 2000. М., 2000. - С.88-95.

92. Ланкин Ю.П. Некоторые особенности самоадаптирующихся нейросетей на примере управления механическим объектом // Нейроинформатика-99: Материалы Всероссийской научно-технической конференции. М., 1999. - С. 278-284.

93. Лукацкий A.B. Системы обраружения мошенничества : Интернет-сайт .-http:/www.infosec.ru/press/pub/p40.htm

94. Маккаллок У., Питтс У. Логическое исчисление идей, относящихся к нервной деятельности. Автоматы. М.: ИЛ, 1956.-154с.

95. Материалы фирмы Тора-центр : Интернет-сайт.- http://www.tora-center.ru

96. Меладзе В.Э. Курс технического анализа. М.: Серебряные нити, 1994. -272 с.

97. Мерфи Дж. Технический анализ фьючерсных рынков: теория и практика : Интернет-сайт.- http://murhy.wallst.ru

98. Минский М., Пайперт С. Перцептроны. М.: Мир, 1971. - 328 с.

99. Мкртчян С.О. Нейроны и нейронные сети (Введение в теорию формальных нейронов). М.: Энергия, 1971. - 413 с.

100. Моделирование изменений экологических объектов с помощью нейронных сетей // Сибирский экологический журнал. 1999. - № 4. - С. 449-452.

101. Монахова Е. "Нейрохирурги" с Ордынки // PC Week/RE. 1995. -№9.-С. 35-43.

102. Московская межбанковская валютная биржа : Интернет сайт ММВБ.-http://www.micex.ru

103. Московская фондовая биржа : Интернет-сайт МФБ.- http://www.mse.ru

104. Мостеллер Ф., Тьюки Дж. Анализ данных и регрессия. М.: Финансы и статистика, 1982. - 239 с.

105. Насосы. Каталог-справочник.-М.:ВИГМ, 1959.-552с.

106. Национальная ассоциация участников фондового рынка : Интернет-сайт НАУФОР.- http://www.naufor.ru

107. Нейронные сети: карты Кохонена / Валютный спекулянт. 2000 - сент. -С. 116.

108. Нейропрограммы: Учебное пособие / JI.B. Гилева, С.Е. Гилев, А.Н. Горбань и др.; В 2 ч. Красноярск: Краснояр. гос. тех. ун-т, 1994. - ч. 1 -260 с.

109. Овсянников Б.В. Моделирование и опримизация характеристик высокооборотных насосных агрегатов. М., 1992.-150с.

110. Он-лайновый учебник // Статистический портал.- http:// www.statistica.ru

111. Основы теории полета космических аппаратов / Под ред.Г.С.Нариманова, М.К.Тихонравова.-М.: Машиностроение, 1972.-608с.

112. Пискулов Д.Ю. Теория и практика валютного дилинга. М.: Инфра-М, 1996.-224 с.

113. Растригин JI.A. Экстраполяционные методы проектирования и управления. М.: Машиностроение, 1986. - 120 с.

114. Родионов П.Е. Классификация существующих парадигм нейронных сетей // Материалы 42 научно-технической конференции преподавателей, сотрудников и аспирантов МГУП. М., 2002. - С.29-30.

115. Родионов П.Е. Краткосрочное прогнозирование котировок ОГВВЗ с использованием аппарата нейронных сетей // Интеллектуальные технологии и системы. (М.), 1998.-Вып.1.-С.231-245.

116. Родионов П.Е. Решение проблем поиска информации путем использования самообучающихся адаптирующихся систем на базе нейронных сетей // Интеллектуальные технологии и системы. (М.), 2001. -Вып.З. - С.60-61.

117. Розенблатт Ф. Принципы нейродинамики. Перцептроны и теория механизмов мозга. М.: Мир, 1965. - 480 с.

118. Российская торговая система : Интернет-сайт РТС.-http://www.rts.ru

119. Санкт-петербургская фондовая биржа : Интернет-сайт СПБ.-http://www.spbex.ru

120. Скурихин А.Н. Нейронные сети: определения, концепции, применение. М.: ЦНИИ управления экономики и информатики, 1991. 274 с.

121. Соколов E.H. Вайткявичюс Г.Г. Нейроинтеллект: от нейрона к нейрокомпьютеру. М.: Наука, 1989. -238 с.

122. Судариков В.А. Исследование адаптивных нейросетевых алгоритмов решения задач линейной алгебры // Нейрокомпьютер. 1992. - №3. - С. 1320; №4. -С. 21.

123. Суровцев И.С., Клюкин В.И., Пивоварова Р.П. Нейронные сети. -Воронеж: ВГУ, 1994.-215 с.

124. Уоссермен Ф. Нейрокомпьютерная техника. М.: Мир, 1992. - 226 с.

125. Фор А. Восприятие и распознавание образов. М.: Машиностроение, 1989. -272 с.

126. Фролов A.A., Муравьев И.П. Нейронные модели ассоциативной памяти. М.: Наука, 1987. - 160 с.

127. Харман Г. Современный факторный анализ. М.: Статистика, 1972. -486 с.

128. Цыганков В.Д. Нейрокомпьютер и его применение. М.: Сол Систем, 1983г.-344 с.

129. Что такое data mining? : Интернет-сайт.-http://www.megaputer.ru/doc.php7classroom/whatisdm/whatisdm.html.

130. Щетинин В.Г. Самоорганизация минимальной нейронной сети // Нейроинформатика и ее приложения: Тезисы докл. III Всероссийского семинара. Красноярск, 1996. - С. 103 - 104.