Адаптивный критик с использованием фильтра Калмана тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Ботин, Валерий Александрович

• Ботин, Валерий Александрович
• кандидат технических наук
• 2012

Оглавление диссертации кандидат технических наук Ботин, Валерий Александрович

Содержание

Введение

Глава 1. Топологии с подкреплением, фильтр Калмана и нейронные сети.

Обзор и анализ современного состояния

Обучение с подкреплением

Адаптивные критики

Алгоритм SARS А

Обобщенная схема адаптивных критиков

Варианты расчета подкрепления

Достоинства и недостатки сетей адаптивной критики

Нейронные сети

Нейронные сети для прогнозирования

Общий принцип решения задач прогнозирования с помощью нейронных

сетей

Фильтр Калмана

Фильтр Калмана для прогнозирования

Фильтр Калмана для цветного шума помех

Некоторые замечания к теории фильтров Калмана

Ансамбль фильтров Калмана

Скользящая средняя

Метод МГУ А

Выводы к главе 1

Глава 2. Модифицированный адаптивный критик с фильтром Калмана

Объект управления

Модуль прогнозирования рабочего параметра (Решатель)

Блок переобучения прогнозирующей нейронной сети

Одномерная, простая система с подкреплением на базе фильтра Калмана

Модуль критика на базе фильтра Калмана (вариант Q-критика)

Модуль критики на базе фильтра Калмана (вариант V-критика)

Выводы к главе 2

Глава 3. Модельные задачи с разработанной топологией

Введение

Построение механической торговой системы

Особенности финансовых рынков

Основные принципы построения МТС

Модель МТС финансового рынка на базе АКФК

Модель ITIL + адаптивный критик на базе ФК

Выводы к главе 3

Глава 4. Экспериментальная часть

Исследование МТС на базе АКФК

Исследование системы управления ИТ - отделом

Выводы к главе 4

Заключение

Приложение А (программные продукты)

Приложение Б (справочное)

Список литературы:

Введение диссертации (часть автореферата) на тему «Адаптивный критик с использованием фильтра Калмана»

Введение

Рациональная деятельность во многих прикладных задачах, например, ведение хозяйств, использование ресурсов, организация деловой активности является многошаговой задачей, часто с бесконечным горизонтом. В данных задачах необходимо на каждой итерации выбирать некоторое управление, возможно неоптимальное на данном шаге, но оптимальное с точки зрения конечной цели. Другими словами - оптимальным должен быть весь многоэтапный процесс смены состояний системы. Данной проблеме посвящено много работ и над ней трудились известные ученые со всего мира, отметим следующий ряд ученых: Р. Беллман, Е.С. Вентцель, Г. Вагнер, Кофман А., Крюон Р., Т.Л. Саати и др. [8,19,20,47,62,63,76].

Приведем несколько примеров многоэтапных задач:

а) Управление проектом (Менеджмент проекта). Обычно есть конечная цель проекта, например, выпуск законченной версии программного продукта. И есть этапы проекта, на каждом из которых необходимо принятие управленческих решений, которые должны, как можно скорее привести к конечной цели проекта с заданным показателем качества. При этом управленческие решения могут быть разнообразны по своей природе, например, изменение количества специалистов на определенном этапе, вопрос премирования за опережение графика, использование различных ресурсов, в том числе аутсорсинг и т.д.

б) Управление закупками в торговых сетях (логистическая задача). В данной задаче необходимо принимать решение - сколько и какого товара закупать на каждый операционный момент времени (обычно на неделю). При этом должны учитываться: остатки товаров на складах, сезонность, тренд и многое другое. Управления закупками происходит периодически, и процесс их оптимальной выборки является многошаговым.

в) Управление инвестиционным портфелем. Регулярное участие в торгах и периодическая реструктуризация активов портфеля позволяют

рассматривать задачу управления им, как многошаговую. При этом необходимо учитывать огромное количество моментов, как в плане фундаментального анализа, так и технического анализа. Управляющие воздействия состоят в покупке и продаже некоторых активов портфеля с целью достижения некоторого критерия качества, например максимальной доходности за выбранный период.

г) Управление сервисной службой (задача методологии 1Т1Ь). В данной задаче имеется набор обслуживаемых ресурсов (сервисов), потребители ресурсов и специалисты, обслуживающие данные ресурсы. Задача управления состоит в том, чтобы так спланировать плановый ремонт ресурсов и их профилактическое обслуживание, чтобы потребители ресурсов, как можно меньше посылали заявок на внеочередное обслуживание и соответственно, как можно меньше простаивали сами. Данная задача очевидно многошаговая.

д) Задача динамического планирования загрузки вычислительных ресурсов распределенной сети (динамическое составление расписаний). Сложность данной задачи состоит в том, чтобы обоснованно иметь некоторый резерв мощностей под задачи с высоким приоритетом, которые могут поступить в следующие моменты времени (а могут и не поступить).

е) Задача управления мобильным роботом в автономном режиме. В таких задачах может быть неизвестна карта местности, и робот может "видеть" только в пределах видимости своих сенсорных устройств и видеокамер. Таким образом, робот в режиме пошагового исследования окружающей среды должен выполнить поставленную задачу.

Можно привести еще большое количество примеров пошаговых задач, например: поиск информации в распределенной сети, динамическое планирование загрузки каналов сотовой связи, обучение в многошаговых играх и т.д. [18,19,31,47,62,63,73,76,71].

В последние полтора десятка лет все большую популярность для решения вышеописанных задач приобретают методы, базирующиеся на

обучении с подкреплением [85,97,98,101,102,104]. Существует несколько корневых направлений реализации обучения с подкреплением, это Р -обучение, сети адаптивной критики и с использованием нечеткой логики. Наиболее перспективными, на наш взгляд, являются сети адаптивной критики [98], которые обладают следующими несомненными достоинствами:

• работа системы возможна без первоначального обучения и обучающей выборки;

• система пошагово адаптируется к окружающей среде (задаче);

• использование нейросетей позволяет описывать задачи любого уровня сложности.

В тоже время сети адаптивной критики обладают и некоторыми недостатками, которые ограничивают область их применения:

• сложность реализации;

• неустойчивость поступления подкрепления;

• строгий алгоритм работы1.

Актуальность данной диссертационной работы заключается в следующих выводах:

• разработка новой топологии обучения с подкреплением является серьезным вкладом в развитие направления интеллектуальных систем;

• программная реализация разработанной топологии для задач автоматической торговли и управления ИТ - отделом позволило получить мощные и надежные средства управления данными объектами управления;

• реализация моделей управления работающих без участия специалистов (или с минимальным их участием), позволяет значительно повысить интерес к нейросетевым моделям, фильтру Калмана и обучению с подкреплением.

1 в том смысле, что наперед задано количество входов, выходов, слоев и нейронов в них. Если нейросеть критики аппроксимирует решение дифференциального уравнения, то уравнение задается заранее.

На основании вышеперечисленного, сформулируем вопросы, отражающие научную новизну:

1. Возможно ли создать более быстродействующую топологию обучения с подкреплением, чем существующие, с теми же показателями качества работы системы?

2. Каким образом реализовать доступность моделирования систем с обучением с подкреплением для конечного пользователя?

3. Можно ли создать скоростную модель механической торговой системы на базе адаптивного критика?

4. Можно ли создать систему управления ИТ - отделом на базе прогнозирования инцидентов (методология ITIL)?

Целью работы является разработка топологии модифицированного адаптивного критика с использованием фильтра Калмана, построение механической торговой системы на новой топологии адаптивного критика и ее программная реализация, разработка системы управления ИТ - отделом крупного предприятия на базе новой топологии адаптивного критика и ее программная реализация.

С помощью моделирующего комплекса необходимо создать имитационную модель для проверки предложенной топологии. Модели должны включать возможность проведения различных экспериментов с данными. При работе с моделью исследователю (пользователю) должна предоставляться возможность устанавливать зависимости, соотношения и допущения, выражающие взаимосвязи различных элементов системы, возможность оценивать их влияние на функциональное состояние системы. При этом - для всестороннего анализа и проверки подхода в работе созданы две имитационные модели. Первая в среде Matlab в связке с торговым терминалом Quik позволяет управлять инвестиционным портфелем на российском фондовом рынке. Вторая модель, реализованная на Delphi 8 в связке с HP OpenView, осуществляет поддержку принятия решений при управлении отделом информационных технологий.

Для достижения указанных целей были поставлены и реализованы следующие задачи:

• анализ топологий использующих принцип обучения с подкреплением;

• анализ современного состояния теории систем управления обучающихся с подкреплением;

• провести сравнительный анализ методов построения систем управления обучающихся с подкреплением;

• разработать модель торгового робота на базе предлагаемой топологии, реализовать и протестировать ее;

• разработать модель управления ИТ - отделом крупной организации с использованием методологии 1Т1Ь и предлагаемой топологии, реализовать и протестировать ее.

Содержание диссертационной работы отражает реализацию поставленных задач.

В первой главе выполнен приведен обзор методов и алгоритмов использующих обучение с подкреплением, анализ возможных применений фильтра Калмана, а также различных методов прогнозирования.

Во второй главе обоснован и описан метод создания топологии модифицированного адаптивного критика с фильтром Калмана (АКФК).

В третьей главе приведены разработанные модели торгового робота и системы управления ИТ - подразделением с использованием разработанной топологии АКФК.

В четвертой главе приведены результаты экспериментов, а также анализ применения разработанных механических торговых систем для торговли на финансовых рынках, а также системы поддержки принятия решений для управления ИТ - подразделением крупного предприятия на базе АКФК и методологии 1Т1Ь.

В заключении приведены выводы и результаты проделанной работы.

В приложении 1 приведен список наиболее распространенных программных продуктов реализующих нейронные сети, фильтр Калмана и обучение с подкреплением.

Задачи исследования решены с использованием методов системного анализа, искусственного интеллекта, математической статистики, теории операций.

Научная новизна заключается в следующих результатах:

1. разработана топология модифицированного адаптивного критика с фильтром Калмана;

2. разработана топология модифицированного адаптивного критика с каскадом фильтров Калмана;

3. разработана и программно реализована механическая торговая система на базе модифицированного адаптивного критика с фильтром Калмана;

4. разработана и программно реализована система поддержки принятия решений ИТ - отдела с использованием модифицированного адаптивного критика с фильтром Калмана.

Практическая значимость работы заключается в разработке и апробации топологии АКФК, разработки информационной моделирующей системы ККРШегТоо1 для создания, исследования и применения разработанной топологии.

Основные положения, выносимые на защиту:

- топология модифицированного адаптивного критика с фильтром Калмана;

- модель механической торговой системы на базе модифицированного адаптивного критика с фильтром Калмана;

- модель системы поддержки принятия решений ИТ - подразделения крупного предприятия на базе модифицированного адаптивного критика с фильтром Калмана и методологии 1Т1Ь;

- результаты экспериментов с разработанными моделями.

Разработанная система №№П1егТоо1 реализована в системе поддержки принятия решения для достижения качества ИТ сервиса и внедрена в ООО «Кубнет».

Основной материал работы опубликован в 3 научных статьях в журналах рекомендованных ВАК и 2 тезисах докладов. Подана заявка о выдаче патента на изобретение.

Диссертация состоит из введения, четырех разделов, заключения, списка использованной литературы и приложения. Ее общий объем составляет 123 страниц текста, содержащего 39 рисунков и 8 таблиц.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Ботин, Валерий Александрович

Выводы к главе 4

В четвертой главе приведены результаты функционирования предложенной топологии адаптивного критика с фильтром Калмана к двум разноплановым задачам.

Построенная МТС на базе адаптивного критика с фильтром Калмана показывает прибыльность в среднем на 20% выше, чем модели со стандартным адаптивным критиком. По результатам многочисленных экспериментов с МТС на базе технических индикаторов [81,82], данные МТС обычно не проходят тестирование на реальных данных и показаны в таблицах только для сравнения. Использование адаптивного критика с фильтром Калмана дает существенный выигрыш по времени анализа ситуации и принятия решений на торговую операцию в сравнении со стандартным адаптивным критиком. Значительное снижение времени анализа ситуации и выработки решения существенно при построении высокочастотных МТС, то есть МТС работающих на тиковом графике. Также выигрыш во времени существенен при построении многоконтурных механических систем работающих с множеством финансовых активов.

Построенная система управления ИТ - отделом позволяет корректировать работу каждой группы по ИТ-отраслям для достижения максимального качества выполняемых ИТ запросов пользователей. В свою очередь еженедельная выгрузка данных о состоянии количества обращений позволяет переобучать нейронную сеть для прогнозирования наиболее точных данных о возможных инцидентах и их количестве на следующую рабочую неделю, что также позволяет эффективно распределить нагрузку специалистов как в самой группе, так и в отделе целиком.

В процессе практической эксплуатации выяснилось, что данная система способна подсказывать начальнику отдела либо же работодателю о необходимости расширения штата сотрудников отдела ИТ, что в свою очередь является весьма положительным эффектом всего программного комплекса.

Также основным показателем является и тот момент, что после прогнозирования данных для дальнейшего распределения нагрузок по группам, сотрудники получают больше времени для организации работы сторонних сервисов и пополнения базы знаний отдела.

Тем самым, приведенные эксперименты показывают универсальность разработанной топологии.

Заключение

Проделанная в рамках диссертации работа позволила ответить на поставленные вопросы, цели и задачи исследования. Основными задачами исследования являлись: создание новой топологии адаптивного критика и алгоритма его обучения, создание обоснованной методики и ее апробация в важных прикладных проблемах.

Разработанную топологию АКФК рекомендуется использовать в тех случаях, когда известна математическая модель рабочей системы, либо когда по историческим данным (по предыдущим результатам работы системы) можно построить априорную модель среды. Данная модель разработана на двух хорошо зарекомендовавших себя моделях - фильтре Калмана и адаптивных критиках и в целом она наследует, как положительные так и отрицательные качества своих «прародителей». В то же время, в ряде задач, там, где необходимо быстрое время реакции решателя, то есть когда на тактическом уровне система работает в режиме реального времени, у данной модели неоспоримое преимущество перед стандартными адаптивными критиками. При этом компонента стратегического управления - критик, остается такой же, как у стандартного адаптивного критика. Разработанная топология, как наследник адаптивных критиков, несет в себе большой потенциал развития, в частности на разных уровнях топологии можно использовать различные модели и алгоритмы прогнозирования и выбора действий.

Созданная топология является инвариантной от моделируемой задачи и может применяться для построения различных систем управления, в том числе и для недетерминированных сред.

Список литературы диссертационного исследования кандидат технических наук Ботин, Валерий Александрович, 2012 год

Список литературы:

1. Айвазян С.А., Бухштабер В.М., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Классификация и снижение размерности. М.: Финансы и статистика, 1989.

2. Алексеенкова М.В. Применение отраслевого анализа ценных бумаг в российской переходной экономике. Автореферат канд. экон. Наук. М.: ГУ - ВШЭ. 2002.

3. Армстронг Р. Семь этапов оптимизации производительности хранилища данных. Открытые системы - 2002 №1.- С: 51-54.

4. Байцур Г. «Гиперактивные торговые автоматы на рынках группы ММВБ - анализ влияния на общую активность торгов и технические риски участников». Журнал «Биржевые технологии».2009 №9. стр.712.

5. Барановская М. Г. Инвестирование средств фондов национального благосостояния в ценные бумаги. Автореферат канд. экон. наук. РЭУ им. Плеханова, М, 2011. 24 с.

6. Барашов Н.Г. Циклическая динамика структурно - технологических сдвигов в развитии экономических систем. Автореферат дисс. доктора экон. наук. Саратов: СГСЭУ, 2010.

7. Безруков A.B. Статистические методы оценки волантильности финансового рынка. Автореферат дисс. канд. эконом, наук. М.: ГОУ ВПО РЭА им. Г.В. Плеханова, 2010. - 26 с.

8. Беллман Р. Динамическое программирование. - М.: Иностранная литература, 1968. -261 с.

9. Беляев С.Р. Торговая система (расчет следующей свечи). Технический анализ рынка Forex. - М.: ФГУП «Пик ВИНИТИ», 2004. - 170 с.

10. Березин И. С. Маркетинг и исследования рынков. - М.: Русская деловая литература, 1999. - 416 с.

П.Борисов A.B. Оптимальная фильтрация в системах с вырожденными шумами в наблюдениях. // Автоматика и телемеханика. 1998, №11. с. 32-45.

12. Боровков A.A. Математическая статистика. М.: Наука, 1984. - 472 с.

13. Ботин В.А., Шумков Е.А. Создание универсальной тестирующей системы для технических индикаторов. Материалы I Межву-зовской научно - практической конференции "Автоматизированные информационные и электроэнергетические системы". КубГТУ, 2010. с. 129-131.

14.Ботин В.А., Шумков Е.А. Управление ИТ-подразделением ВУЗа. // Материалы XVII Всероссийской научно - практической конференции "Инновационные процессы в высшей школе". КубГТУ. 2011.

15. Браммер К., ЗиффлингГ. Фильтр Калмана - Бьюси. М.: Наука, 1982.

16. Бэстенс Д.-Э., ван ден Берг В.-М., Вуд Д. Нейронные сети и финансовые рынки: принятие решений в торговых операциях. -Москва: ТВП, 1997. - 236 с.

17.Бычков А. В. Нейросетевое управление рентабельностью предприятия: дис. канд. техн. наук. - Краснодар, 2001. - 156 с.

18. Вагнер Г. Основы исследования операций. В 3-х томах. - М.: Мир,-т.1. 1972-335с.-т.2. 1973.-488с.-т.3. 1973.-501 с.

19. Вентцель Е. С. Исследование операций. - М.: Высшая школа, 2001. -208 с.

20. Вентцель Е.С. Элементы динамического программирования. М.: Наука, 1964.

21. Воронов A.A. Введение в динамику сложных управляющих систем. -М.: Наука, 1985.

22. Вучков И. и др. Прикладной линейный регрессионный анализ. М.: Финансы и статистика, 1987.

23. Галушкин А.И. О Современных направлениях развития нейрокомпьютеров //Информационные технологии. - 1997. - №5. - С. 25.

24. Галушкин. А.И. Нейрокомпьютерные системы. - М.: Издательское предприятие журнала "Радиотехника", 2000. - 205 с.

25. Гарбар П. Организация отказоустойчиво хранилища. Открытые системы - 2002 №4. - С: 56-61.

26. Гнеденко Б.В. Курс теории вероятностей. М.: УРСС, 2001.

27. Де Марк Т. Технический анализ - новая наука. - М.: Диаграмма, 1997. - 122 с.

28.Демиденко М. В. «Оценка равновесных и циклических компонент в динамике макропеременных Республики Беларусь». Банкуйский вестник, Снежань 2008. с. 10-19.

29. Демиденко М.В. Модель среднесрочного прогнозирования и проектирования денежно - кредитной политики республики Беларусь. Автореферат дисс. канд. экон. наук. БГЭУ, Минск, 2011. 27 с.

30. Джонстон Дж. Эконометрические методы. М.:Мир, 1977.

31. Добровидов A.B., Кошкин Т.М. Непараметрическое оценивание сигналов. М.: Наука, Физматилит. 1997.

32.Драница Ю.П. Об одном методе решения некорректно поставленных задач. Вестник МГТУ, том 3, №1, 2000. - стр. 67 - 78.

33. Дрейпер Н., Смит Г. Прикладной регрессионный анализ. Книги 1 и 2. М.: Финансы и статистика, 1987.

34. Дронов C.B. Многомерный статистический анализ. : Учебное пособие. Барнаул: Изд-во Алт. гос. ун-та, 2003. 213 с.

35. Ежов A.A., Шумский С.А. Нейрокомпьютинг и его применения в экономике и бизнесе. - М: ФИ АН , 1998. - 222с.

36. Елисеева И. И., Юзбашев М. М. Общая теория статистики / Под ред. чл.-корр. РАН И. И. Елисеевой. - М.: Финансы и статистика, 1996. - 368 с.

37. Емельянова Э.С. Методы и инструментальные средства поддержки принятия решений на фондовом рынке. Автореферат к.э.н. М., РЭА им. Г.В. Плеханова, 2010. 22 с.

38. Ивахненко А.Г. Долгосрочное прогнозирование и управление сложными системами. Киев: «Техника», 1975. с. 312.

39. Игнаточкин В. Спектральный анализ валютных курсов, или еще раз о фракталах. // Валютный спекулянт, №8, август 2000, с. 46-47.

40. Казаков И.Е., Гладков Д.И. Методы оптимизации стохастических систем. М.: Наука, Гл. ред. физматлит, 1987.

41.Кендалл М., Стюарт А. Статистические выводы и связи. М.: Наука, 1973.

42.Киланова Н.В., Климова Е.Г. Численные эксперименты по оценке систематической ошибки модели в задаче усвоения данных о концентрации пассивной примеси. Вычислительные технологии, т. 11, №5, 2006. с. 32- 40.

43. Ключко В. И., Стасевич В. П., Шумков Е. А. Сети адаптивной критики // Труды КубГТУ. - 2003. - №2. - С. 86 - 91.

44. Комов Л.Е. Развитие деятельности коллективных инвесторов на рынке ценных бумаг. Автореферат дисс. канд. экон. наук. М.:РЭУ, 2011. 24 с.

45. Копыркин К. «Индикатор тренда на основе прорыва динамического ценового канала». Журнал «Современный трейдинг». 2001 №4. стр. 24 -28.

46.Кордунов Д.Ю., Битюцкий С.Я. Прогнозирование конъюктуры рынка нефтехимических предприятий. Нефтегазовое дело, 2004. 5 стр.

47. Кофман А., Крюон Р. Массовое обслуживание, теория и применения. -М.: Прогресс, 1965.

48. Круглов В.В., Дли М.И., Голунов Р.Ю. Нечеткая логика и искусственные нейронные сети. Физматлит, 2001. - 224 с.

49.Крук Д., Коршун А. Экономический цикл и опережающие индикаторы: методологические подходы и возможности исследования в Беларуси. Рабочий материал исследовательского центра ИПМ. ^^Р/10/05. Минск: 2010,35 с.

50. Кузнецов С. Хранилища данных в начале века. Открытые системы -2002 №1,-С: 35-36.

51. Лившиц Е.Д. Сходимость жадных алгоритмов. Автореферат дисс. доктора физ.-мат. наук. М., РУДН. 2011. - 35 с.

52. Медведев М.Ю. Управление нелинейными многосвязными объектами в условиях неопределенности. Автореферат дисс. доктора техн. наук. Таганрог. ТИ ЮФУ, 2010. 32 с.

53. Менхо О., Чангхи Хан, Синицын И.Н., Шин В.И. Рекуррентная фильтрация в дискретных нелинейных системах с неизвестными параметрами. // Автоматика и телемеханика. 1998, №1. с. 44 - 63.

54. Мкртчян С. О. Нейроны и нейронные сети. - М: Энергия, 1971. -232 с.

55. Мосалов О.П., Прохоров Д.В., Редько В.Г. Самообучающиеся агенты на основе нейросетевых адаптивных критиков // Искусственный интеллект. 2004. Т.З, с. 550-560.

56. Осовский С. Нейронные сети для обработки информации / Пер. с польского И.Д. Рудинского. - М.: Финансы и статистика, 2002. - 344 с.

57. Плеханов JL, Плеханов С. Нейронные сети как инструмент распознавания фигур. Рынок ценных бумаг. №3 - 2005. с. 68-72.

58. Пугачев B.C., Синицын И.Н. Стохастические дифференциальные системы. Анализ и фильтрация. М.: Наука, 1985.

59. Пугачев B.C., Синицын И.Н., Хатунцев А.П., Шин В.И., Корепанов Э.Р., Синицын В.И. Математическое обеспечение для проектирования условно оптимальных фильтров и анализа процессов в дискретных стохастических системах. // Автоматика и телемеханика. 1992. №6. с. 78-85.

60. Редько В.Г., Прохоров Д.В. Нейросетевые адаптивные критики. // Научная сессия МИФИ-2004. VI Всероссийская научно - техническая конференция «Нейроинформатика - 2004». Сб. науч. Трудов. Часть 2. М.: МИФИ, 2004, с. 77 - 84.

61. Рутковская Д., Пилиньский М., Рутковский JT. "Нейронные сети, генетические алгоритмы и нечеткие системы". М.: Горячая линия -Телеком. 2007, 452 с.

62. Саати Т.Д. Математические методы исследования операций. - М.: Воениздат, 1963.

63. Саати Т.Д. Элементы теории массового обслуживания и ее приложения. - М.: Советское радио, 1971.

64.Сейдж Э., Меле Дж. Теория оценивания и ее применение в связи управлении .М., Связь, 1976. с. 494.

65. Синицын И.Н. Развитие теории фильтров Пугачева для оперативной обработки информации в стохастических системах. // Информатика и ее применения. 2007. Т. 1. Вып. 1. с. 3 - 13.

66. Синицын И.Н. Условно оптимальная фильтрация и распознавание сигналов в стохастических дифференциальных системах. // Автоматика и телемеханика. 1997, №3. с. 124- 130.

67. Синицын И.Н. Фильтры Калмана и Пугачева. М.: Изд-во Логос, 2006.

68. Солодовников В.В. Статистическая динамика линейных систем автоматического управления. - М.: Физматгиз, 1960. - 656 с.

69. Стасевич В. П., Шумков Е. А. Построение адаптивных систем управления на основе топологии "Внутренний учитель". // Инновационные процессы в высшей школе: Материалы IX

Всероссийской научно - практической конференции. - Краснодар: КубГТУ, 2003. - С. 136.

70.Стасевич В. П., Шумков Е. А., Ключко В. И., Воротников С. А. Адаптивные системы на основе самообучающихся нейросетей // Труды КубГТУ. - 2002. - Вып.2. - С. 192 - 198.

71.Стасевич В.П. Анализ и адаптивное управление в недетерминированных средах на основе самообучения: дис. канд. техн. наук. - Краснодар, КубГТУ, 2007. - 170 с.

72. Суровцев И. С., Клюкин В. И., Пивоварова Р. П., Нейронные сети. -Воронеж: ВГУ, 1994. - 224с.

73. Тейл Г. Экономическое прогнозирование и принятие решений. (Пер. с англ.). М., "Статистика", 1971.

74. Уоссермен. Ф. Нейрокомпьютерная техника: Теория и практика. - М.: Мир, 1992.-240 с.

75. Хаммельблау Д. Анализ процессов статистическими методами. М.: Мир, 1973.

76. Химмельблау Д. Прикладное нелинейное программирование. М.:Мир, 1975.

77. Четыркин Е.М. Статистические методы прогнозирования. Изд. 2-е, перераб. и доп. М., "Статистика", 1977. - 196 с.

78. Шин В.И. Фильтры Пугачева для комплексной обработки информации. // Автоматика и телемеханика. 1998, № U.c. 195 - 206.

79. Шумков Е.А. Система поддержки принятия решений предприятия на основе нейросетевых технологий. Дисс. канд. техн. наук. Краснодар, КубГТУ-2004, 158 с.

80. Шумков Е.А., Ботив В.А., Карлов Д.Н. Распознавание фигур технического анализа с помощью нейронных сетей. // Политематический научный журнал КубГАУ [Электронный ресурс]. -Краснодар: КубГАУ, 2011. - №65

81.Шумков Е.А., Ботин В.А. Исследование технического индикатора MACD. // Политематический научный журнал КубГАУ [Элек-тронный ресурс]. - Краснодар: Куб-ГАУ, 2010. - №64

82. Шумков Е.А., Ботин В.А. Статистический анализ технических индикаторов. // Политематический научный журнал КубГАУ [Электронный ресурс]. - Краснодар: Куб-ГАУ, 2010. - №64

83.Яхъяева Г.Э. "Нечеткие множества и нейронные сети". М.: БИНОМ. 2008,316 с.

84.Bry G., Boschan С. Cyclical analysis of time series: selected procedures and computer program. NBER, Technical Paper 20, 1971.

85. Campos J., Lewis F. L. Adaptive critic neural network for feedforward compensation. American control conference, San Diego, California. June 1999.

86.Caruana R., Silver D. L., Baxter J., Mitchell T. M., Pratt L. Y., and Thrun s. Learning to learn: knowledge consolidation and transfer in inductive systems, 1995. Workshop held atNIPS-95, Vail, CO.

87. Chrisman L. Reinforcement learning with perceptual aliasing: The perceptual distinctions approach. In Proceedings of the Tenth International Conference on Artificial Intelligence, pages 183-188. AAAI Press, San Jose, California, 1992.

88. Gaskett C., Fletcher L., Zelinsky A. Reinforcement Learning for Visual Servoing of a Mobile Robot. ANU, ACT, Canberra. 2000.

89. Hagan, M.T., De Jesus O., and Schultz R., "Training Recurrent Networks for Filtering and Control," Chapter 12 in Recurrent Neural Networks: Design and Applications, L. Medsker and L.C. Jain, Eds., CRC Press, 1999, pp. 311-340.

90.Hodrick R., Prescott E. Postwar U.S. Business Cycles: an Empirical Investigation. Journal of Money and Banking, V-29(l), 1997, pp. 1-16.

91. Hunt, K.J., D. Sbarbaro, R. Zbikowski, and PJ. Gawthrop, Neural Networks for Control System - A Survey," Automatica, Vol. 28, 1992, pp. 1083-1112. Kohonen, T., Self-Organization and Associative Memory, 2nd Edition, Berlin: Springer-Verlag, 1987.

92.Jazwinski A. Stochastic processes and filtering theory/ New York: Academic Press, 1970.

93.Kalman R.E. A new approach to linear filtering and prediction theory // Journal of Basic Engineering, Transactions ASME. - 1960. - Series D. Vol 83. P. 35 -45.

94. Moriarty D., Schultz A., Grefenstette J. Evolutionary algorithms for reinforcement learning. // Journal of artificial intelligence research. 1999, № 11. pp. 241-276.

95.Moody J., Saffell M., Liao Y., Wu L. Reinforcement learning for trading systems and portfolios: Immediate vs future rewards. In A.N. Refens, N.Burges & J.Moody, eds, "Decision Technologies for Financial Engineering". Kluwert, Netherlands. 1998.

96. Naeeni A. F. Advanced multi - agent fuzzy reinforcement learning. Master thesis computer engineering. Nr: E3098D. Sweden, Dalarna University. 2004. 99 p.

97. Prokhorov D., Feldcamp L. A.. Generalized adaptive critic and their applications. IJCNN'99, session 6.5, Washington D. C.

98. Prokhorov D., Wanch D. Adaptive critic designs. IEEE transactions on Neural Networks, September 1997, pp. 997-1007

99. Rosenblatt, F., Principles of Neurodynamics, Washington D.C.: Spartan Press, 1961.

100. Rumelhart D. E., Hinton G. E., Williams R. J., "Learning representations by back-propagating errors," Nature, vol. 323, pp. 533-536, 1986.

101. Sutton R. Learning to predict by the methods of temporal dierences. Machine Learning, 3:9-44, 1988.

102. Sutton R., Barto A. Reinforcement Learning: An Introduction. Cambridge: MIT Press, 1998. 432 p.

103. Watkins C. J., Dayan P. Q - learning. Machine Learning, 8:279 - 292, 1992.

104. Wiering M, Schmidhuber J. HQ - learning. Adaptive behavior, 6(2):219- 246, 1998.

105. Werbos P. J. Stable adaptive controlusing new critic design. In The handbook of applied computational intelligence? Karayiannis, Padgett & Zadeh, eds., CRC Press.