Нейронные сети для обработки временных рядов тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат физико-математических наук Якушев, Дмитрий Жанович

• Якушев, Дмитрий Жанович
• кандидат физико-математических наук
• 1998

Оглавление диссертации кандидат физико-математических наук Якушев, Дмитрий Жанович

1. Введение.

2. Основные определения.

Глава I

Функция активации нейрона.

3. Функция активации нейрона искусственной нейронной сети.

3.1. Основные определения и виды.

3.2. Функция активации как основа выбора топологии нейронной сети.

3.3. Философское значение функции активации.

3.4. Аппаратная реализация функций активации на современной элементной базе.

3.4.1. Реализация линейной функции активации с настраиваемым коэффициентом крутизны.

3.4.2. Реализация сигмоидной функции активации.

Глава II.

Обработка временных рядов на нейронных сетях постоянной структуры.

4. Нейронные сети для решения задач обработки временных рядов.

4.1. Аппроксимирующие свойства нейронных сетей. Основные теоремы.

4.2. Основные приложения нейронных сетей для обработки временных рядов.

4.2.1. Соответствие структур нейронных сетей и 2-фильтров для задач обработки сигналов.

4.2.2. Нейронные сети постоянной структуры для аппроксимации функций одной и нескольких вещественных переменных.

4.2.2.1. Постановка задачи.

4.2.2.2 Нейронная сеть постоянной структуры для аппроксимации функций.

5. Классификация топологий искусственных нейронных сетей и алгоритмов обучения для задач обработки временных рядов.

5.1. Классификация нейронных сетей по структуре их выходов, соответствующих решаемой задаче обработки временных рядов. Системный подход к построению нейронных сетей.

5.2. Классификация нейронных сетей по топологии.

5.2.1. Нейронная сеть фиксированной структуры

5.2.2. Нейронная сеть переменной (динамической) структуры.

5.2.3. Выбор функции активации.

5.2.4. Выбор локального алгоритма аппроксимации при построении сети. 44 5.3. Классификация алгоритмов обучения нейронных сетей в соответствии с выбором функционала.

5.3.1. Алгоритм обучения нейронной сети постоянной структуры с помощью модифицированных градиентных методов.

5.3.2. Алгоритм обучения нейронной сети постоянной структуры по критерию минимума модуля ошибки.

6. Нейронные сети для решения задач экстраполяции.

6.1. Классификация методов экстраполяции.

6.2. Классификация нейросетевых методов экстраполяции.

6.2.1. Классификация нейронных сетей для решения задач экстраполяции по типу входного и и выходного сигнала. 50 6.2.1.1 .Формирование обучающего множества на основе временного ряда без учета временной координаты.

6.2.1.2. Формирование обучающего множества на основе ряда с учетом временной координаты.

6.2.1.3. Формирование обучающего множества с введением времени упреждения.

6.2.2. Многоканальный вариант функции Б.

6.2.3. Классификация нейронных сетей для экстраполяции функций по выбору функционала оптимизации и процедуры обучения.

Глава III.

Нейронные сети переменной структуры для решения задач обработки временных рядов.

7. Нейронные сети переменной структуры для решения задач распознавания образов и аппроксимации функций.

7.1. Предпосылки использования нейронных сетей переменной структуры. 58 7.2.2. Алгоритм построения нейронной сети переменной структуры для распознавания образов.

8. Кусочно-линейная аппроксимация, реализуемая нейронными сетями переменной структуры по критерию модуля ошибки.

8.1. Взаимосвязь нейронных сетей переменной структуры для аппроксимации функций с нейронными сетями для распознавания образов.

8.2. Алгоритм построения нейронной сети переменной структуры для кусочно-линейной аппроксимации одномерных функций многих вещественных переменных.

8.2.1. Двухслойная нейронная сеть переменной структуры для аппроксимации функции одной переменной.

8.2.2. Построение нейронной сети переменной структуры для аппроксимации функции нескольких вещественных переменных.

9. Аппроксимация нелинейными элементами, реализуемая нейронными сетями переменной структуры по критерию min max.

9.1. Выбор функции активации для построения НС переменной структуры для аппроксимации функции многих переменных.

9.2. Выбор функции активации и алгоритма обучения.

9.3. Построение нейронной сети переменной структуры для аппроксимации функции одной вещественной переменной по критерию MIN МАХ.

9.4. Построение нейронной сети переменной структуры для аппроксимации функции многих вещественных переменных.

9.5. Интерпретация «черного ящика».

9.6. Реализация алгоритма генерации НС переменной структуры на различных вычислителях.

Глава IV.

Прикладные задачи обработки временных рядов.

10. Нейронные сети для финансовых приложений.

10.1. Основные финансовые приложения нейрокомпьютеров.

10.2. Нейронные сети для экстраполяции временных последовательностей. 106 10.2.1 .Предсказание одномерного ряда.

10.2.2.Прогнозирование многомерных рядов.

10.2.3. Эффективность применения нейросетевых прогнозов.

10.3. Место нейронных сетей в алгоритмическом арсенале прогнозных методик и их сравнение с существующими методами.

11. Нейронные сети для решения задач обработки радиолокационных сигналов.

11.1. Постановка задач обработки радиолокационной информации.

11.2. Чейросетевые алгоритмы обработки радиолокационной информации, решающие трудноформализуемые адаптивные задачи.

11.3. Нейронные сети для фильтрации помех.

11.3.1. Применение нейросетевой аппроксимации для построения нелинейного фильтра.

11.3.2. Реализация на ЭВМ алгоритма аппроксимации функции нескольких вещественных переменных для решения задач фильтрации.

11.4. Нейронные сети для моделирования движения летательного аппарата и экстраполяции траекторий.

11.4.1. Случай квазилинейного движения J1A.

11.4.2. Случай нелинейного многомерного движения.

12. Применение нейронных сетей для обработки медицинских временных рядов.

12.1. Постановка задачи предсказания значений измеряемых параметров по имеющимся компонентам векторов.

12.2. Обучение нейронной сети.

Заключение диссертации по теме «Теоретические основы информатики», Якушев, Дмитрий Жанович

Основные результаты данной работы следующие:

• Сформулированы принципы синтеза нейронных сетей переменной структуры для задач обработки сигналов и распознавания образов. Впервые сеть переменной структуры для распознавания образов была введена в [4], позднее сформирована в [24]. Логическое продолжение задачи распознавания К классов образов - переход к континуальному случаю, от задачи распознавания к задаче аппроксимации. Предложены два новых алгоритма синтеза нейронных сетей переменной структуры для решения задачи аппроксимации функции многих переменных и разработана методика их применения к ряду прикладных задач, в частности к задачам радиолокации (построению негауссовского нелинейного фильтра). Основные достоинства предложенных алгоритмов - гарантированная сходимость к заданной точности за фиксированное число шагов, параллельность и аппаратная реализуемость за счет кусочно-линейной функции активации. К недостаткам данного метода можно отнести необходимость использовать кусочно-линейную аппроксимацию, ограничения по классу аппроксимируемых функций (скалярные функции векторного аргумента), существенный рост вычислительных затрат при увеличении размерности п (порядок 2"). Это ограничивает размерность аппроксимируемой функции, ограничивая успешное применение алгоритма постановками задач, в которых функция имеет небольшую размерность. При этом необходимо отметить, что использование кусочно-линейной аппроксимации не является обязательным на заключительном этапе алгоритма, поскольку при реализации на СБИС некоторого класса сигмоидных функций, возможно даже небольшое количество точек разреженной выборки соединять нелинейной кривой, если в последующем появится возможность, при появлении новых точек разрешить возникающее многообразие решений; распространяя этот опыт и/или в случае неравномерной плотности выборки.

• Разработана реализация сигмоидальной функции в виде кусочно-линейной аппроксимации и кусочно-линейной аппроксимации в виде пороговых функций с ориентацией на структуру БИС. Таким образом, на основе пороговых функций возникает возможность строить монотонные отображения высокой степени нелинейности, использующие в качестве базисных функций сигмоидные и кусочно-линейные функции активации. Полученные результаты были использованы при проектировании СБИС «Нейрочип-2».

• Проведено исследование эффективности многослойного персептрона в применении к ряду задач обработки временных рядов. Рассматривались три группы задач -финансовые временные ряды, предсказание траекторий и набор медицинских показателей. Рассматриваемые задачи характеризуются значительной сложностью. Финансовые временные ряды отличаются высоким уровнем нелинейности, хаотичностью, медицинские и траекторные - многомерностью и сложностью построения нелинейных разделяющих поверхностей. Приведенное сравнение НС с традиционными методами решения, позволило выделить следующие характеристики эффективности многослойного персептрона для выбранных задач: Стандартные методы технического анализа для финансовых рядов широко используют аппарат трендов - фиксированных характерных ситуаций с заданными последствиями. Некоторые системы используют 20-200 основных трендов, наибольшее известное количество трендов в одной системе - 7000. Возникает дополнительная задача запоминания и последующего распознавания таких трендов. НС строит тренды на основе выборки, такое количество, какое позволяет выборка, но может и большее; кроме того эти тренды уникальны и присущи только данной выборке или процессу. В этом преимущества НС как адаптивных систем. Для ряда задач стандартные методы формирования НС дополнены выбором времени упреждения и другими методами, сформулированными в п.6. Представлены результаты эффективного применения многослойного персептрона к прогнозированию временных рядов на различных примерах. В частности, эффект от внедрения НС прогноза составил по выбранной методике 36% от первоначального капитала на 103 сделках. Кроме того, НС не только дает прогноз, но и выступает в роли «генератора стратегий», а также может быть самим генератором стратегий при соответствующей постановке. Такая универсальность делает НС наиболее эффективным методом фундаментального анализа. Приведено сравнение НС с другими методиками. Аналогичные выводы можно сделать при использовании НС для построения негауссовой фильтрации. НС сама выбирает взвешивающую функцию для данного конкретного случая, проявляя свойства адаптивной системы. При этом различие предметных областей не делает различий в использовании НС аналогичной структуры. Предложен алгоритм построения негауссового фильтра. В задаче экстраполирования траекторий была исследована точность прогноза в зависимости от длины ряда и глубины прогноза, размерность входных данных задачи п при этом составила 25, а выходных - т=6. Этот результат может быть использован для сравнения с нелинейными методами экстраполяции. Для медицинских рядов предложен нейросетевой метод корректирующих выходов для увеличения точности нейросетевого приближения однородным персептроном. Введение неоднородности в выходной слой позволило существенно увеличить точность прогноза, что позволило преодолеть сложность построения разделяющих поверхностей так, чтобы сеть имела экстраполятивные свойства. После введения дополнительных бинарных выходов нейронная сеть оказалась достаточно устойчивой и эффективной для выполнения этого отображения с приемлимой точностью. Кроме того, многофакторный анализ с помощью НС дает возможность не только прогнозировать, но и анализировать сложную связь между разными показателями («корреляционный анализ» на базе НС).

Полученные результаты, проиллюстрированные примерами, позволяют сделать вывод о практической эффективности многослойного персептрона для решения каждой из прикладных задач, наибольшая эффективность по сравнению с традиционными методами достигается в случае сильно нелинейных многомерных зависимостей (временных рядов).

Кроме того, к результатам работы можно отнести следующие:

• Объединение различных прикладных задач в рамках единой идеологии, основанной на системном подходе к построению нейронных сетей А.И.Галушкина с одной стороны, и анализе топологий с выделением общности с другой;

• Использование новых алгоритмов в ряде прикладных задач с одновременным определением места нейронных сетей в рассматриваемых областях применения;

• Проведено сравнение, там, где это было возможно, нейронных сетей с другими численными методами решения этих задач;

• Произведена попытка с одной стороны, описать принципы функционирования нейронных сетей, с другой - принципы их построения, в зависимости от типов задач.

Работа написана по результатам научной и практической деятельности автора в Научном центре нейрокомпьютеров за период с 1991 по 1998 гг. Автор выражает признательность всем лицам, проявившим заинтересованность результатами данной работы и благодарит всех лиц, вольно или невольно способствовавших ее написанию.

13. Заключение.

Попытаемся оценить результаты данной работы. Во-первых, работа носит прикладной характер, и материал для ее написания сформировался из решения ряда практических задач, объединенных единой идеологией. Во-вторых, она не претендует на энциклопедичность, свойственную, например, [64] со всеми достоинствами и недостатками этого свойства, однако, содержит достаточное количество теоретической информации и классификаций для иллюстрации приложений изложенных в ней алгоритмов. В-третьих, хотелось бы отметить, что изложенные в работе алгоритмы могут быть полезными для практической работы лицам, интересующимся данной тематикой, причем в ряде случаев была сделана попытка добавить недостающие в некоторых методиках звенья за счет предложения новых алгоритмов. В ряде работ уже рассматривались проблемы, аналогичные описанным в работе, однако до сих пор в задачах обработки временных последовательностей не был использован интегрирующий подход, позволяющий с одной стороны за счет организации данных решать на сетях одной структуры задачи аппроксимации и распознавания образов, с другой - строить нейронные сети полностью адекватные структуре поставленной задаче.

Таким образом, актуальность темы диссертационной работы обусловлена не только выбором прикладных задач из разных областей, которые удается решить применением единого подхода, описываемого в работе, но и недостаточным развитием алгоритмов построения нейронных сетей переменной структуры в тех работах, где они были изложены ранее.

Основная цель работы состояла из двух взаимосвязанных исследовательских задач - исследования эффективности многослойного персептрона для задач обработки временных рядов (на примере различных задач и алгоритмов) и разработки методики синтеза НС переменной структуры для решения задач распознавания и аппроксимации для более узкого круга задач с целью улучшить существующие характеристики нейросетевых алгоритмов. Трудность при выполнении работы, которая привела к введению ограничений на класс решаемых задач, заключалась в необходимости многокритериальной оценки каждого алгоритма с точки зрения его оптимизации свойств алгоритма и его аппаратной реализуемости. Действительно, оценка аппаратной реализуемости НС, как правило, не выходит за рамки рекомендаций по программированию на однопроцессорной машине, описания же реализации НС на

СБИС не содержат оценок эффективности алгоритмов. Ставилась попытка «построить небольшой мост между двумя берегами» на примере алгоритмов построения НС с переменной структурой.

Список литературы диссертационного исследования кандидат физико-математических наук Якушев, Дмитрий Жанович, 1998 год

1. Колмогоров А.Н. О представлении непрерывных функций нескольких переменных суперпозициями непрерывных функций одной переменной и суммированием/ Доклады АН СССР, 1957, том 114, стр. 953.

2. R. Heckt-Nielsen. "Kolmogorov's Mapping Neural Network Exictence Theorem", /IEEE First Annual Int. Conf. on Neural Networks, paper III-l 1, 1987.

3. Галушкин A.M. Многослойные системы распознавания образов; М., МИЭМ, 1970.

4. Галушкин А.И. Синтез многослойных систем распознавания образов. -М. .-Энергия, 1974.

5. Conner Doug; "Data transformation explains the basic of neural networks"; FDN, 1988, N10 (138-141).

6. Y. Ito. "Approximation of functions on a Compact set by finite sums of sigmoidal function without scaling"; Neural networks, v4 (817-826), 1991.

7. Y. Ito , "Approximation of continuons function on R by linear combination of shifted rotations of a sigmoidal function with and without scaling"; Neural networks, v5 (105-115),1992.

8. G. Cybenko, "Approximation by superposition of a sigmoidal function", Mathematics of Control, Signals and Systems, Vol.2, pp.303-314, 1989.

9. Shlomo Geva, Joaquin Sitte. "A constructive method for multivariate function approximation by multiplayer perceptrons."; //IEEE Trans. Neural Networks.,-1992.-3,N 4.

10. Bulsari A., Saken В., Sakee H. "Investigation of the simmetric logarifmoid as an activation function for neurons in feed-forward neural networks"; //Artif. Neur. Networks: Proc. Int. Conf. Espoo-1991; Vol.1.

11. J.A.Leonard and oth. "Using Radial basis functions to approximate a function and its error bounds", IEEE Trans on Neural networks, v3, n4, 1992 (624-627).

12. S Qian and oth. "Function approximation with an orthogonal basis net". IJNN, Int. J. Conf. Neural networks, San-Diego, 1990, N3, N.Y. 1990 (3-605-619).

13. S. Chen, C.F.N. Cowan, P.M. Grant, "Orthogonal least squares learning algorithm for radial basis function networks. IEEE Trans. Neural Networks, vol.2., pp.302-309,1991.

14. S.Lee, S.Shimoji, RCCN: Radial Basis Competitive and cooperative network." Proc. Of the 1992 IEEE, Int. Conf on tools and AI (73-84).

15. D J.Myers, R.A.Hutchinson "Efficient implementation of piecewise linear activation function for digital VLSI"; Neural networks, Elect.Lett, 1989, 25, N4 (1661-1663).

16. Ken-ichi Funahashi. "On the Approximate Realization of Continuos Mappings by Neural Networks", Neural Networks, Vol.2, pp. 183-192, 1989.

17. K. Hornic, M. Stinchcombe, H. White, "Multilayer feedforward networks are universal approximators", Neural Networks, Vol.2, pp. 359-366, 1989.

18. Kwan H.K. Simple sigmoid-like activation function suitable for digital hardware implementation." Electronic letters, 16 jul. 1992 vol.28 nl5.

19. S. Chen, C.F.N. Cowan, P.M. Grant, "Orthogonal least squares learning algorithm for radial basis function networks. IEEE Trans. Neural Networks, vol.2., pp.302-309,1991.

20. Lee, R.M. Kil, "A Gaussian potential function network with hierarchically self-organizing learning." Neural networks, vol.4. pp.207-224, 1991.

21. Горбань A.H. Обучение нейронных сетей.-M.: ПараГраф, 1991.

22. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере.

23. Widrow В., Hoff М. 1960. Adaptive switching circuits., 1960. IRE WESCON Convention Record. New York,institute of Radio Engineers.

24. Грачев JI.B., Резницкий И.В. Синтез систем распознавания с переменной структурой на базе трехслойных нейронных сетей. «Нейрокомпьютер», №1, 1992г.

25. Ф. Уоссермен. Нейрокомпьютерная техника., М., «МИР», 1992

26. Галушкин А.И., Судариков В.А., Шабанов Е.В. Нейроматематика: методы решения задач на нейрокомпьютерах. М., «Математическое моделирование», №11, 1991 г.

27. Логовский А.С., Якушев Д.Ж. «Нейропакеты: что, где, зачем», Зарубежная радиоэлектроника, 1, 1997

28. Якушев Д.Ж. «Применения нейрокомпьюетров в финансовой деятельности», Зарубежная радиоэлектроника,1, 1998

29. Д.-Э. Бэстенс, В.-М. Ван Ден Берг., Д.Вуд. Нейронные сети и финансовые рынки», ТВП, 1997

30. Dutta, S. and Sheknar, S., "Bond Rating: A Non-Conservative Application of Neural Networks", Working Paper (Computer Science Division, University of California, 1989).

31. Beaver, W.H., "Financial Ratios as Predictors of Falure", Empiried Research in Accounting: Selected Studies, 1966, pp. 71-111.

32. Altman, E.I., "Financial Ratios, Diseriminant Analysis and the Prediction of Corporate Bankruptcy", The Journal of Finance (September 1968), pp. 589-609.

33. DeakinE.B., "A Discriminant Analysis of Predictors of Business Failure", Journal of Accounting Research (Spring 1972), pp. 167-179.

34. Blum, M., "Failing Company Discriminant Analysis", Journal of Accounting Research ( Spring 1974), pp. 1-25.

35. Moyer, R.C., "Forecasting Financial Failure: A Reexamination", Financial Management (Spring 1977), pp. 11-17.

36. Altman,E.I., Haldeman, R.G. and Narayanan, P., "Zeta Analysis", Journal of Banking and Finance (June 1977), pp.29-51.

37. Karels, G.V. and Prakash, A., "Multivariate Normality and Forecasting of Business Bankruptcy", Journal of Business Finance & Accounting (Winter 1987), pp.573-93.

38. Siegel, J.G., "Warning Signs of Impending Business Failure and Means to Counteract such Prospective Failure", The National Public Accountant (April 1981).

39. Altman,E.I., "Accounting Implications of Failure Prediction Models", Journal of Accounting Auditing & Finance (Fall 1982), pp. 4-19.

40. Odom M.D., Sharda R. -Oklahoma State University A Neural Network Model for Bankruptcy Prediction IJCNN, S.D.,1990,v2,pp,163-168.

41. Watts,R.L. and Zimmerman,J.L., POSITIVE ACCOUNTING THEORY (Prentice Hall, Inc., 1986).

42. T.Kimoto, K.Asakawa, M.Yoda, M.Takeoka. Stock Market Prediction System with Modular Neural Networks. IJCNN, San Diego, 1990,vl,pp.l-6.

43. K.Kamijo, T.Tanigwa. Stock Price Pattern Recognition: A Recurrent Neural Network Approach. IJCNN, San Diego, 1990,vl,pp.215-221.

44. Heifetz S. Nestor's decision learning system. In Therd Europen Seminar on Neural Computing, 1990.

45. Mc.Clelland & Rumelhart Explorations Parallel Distributed Processing. A Hand Book of Models, Programms and Exercises. Massachseths London, England, 1988.

46. Altman,E.I., and Spivack J., "Predicting Bakruptcy: The Value Line Relative Financial Strength System vs. the Zeta Bankruptcy Classification Approach", Financial Analysts Journal (November-December 1983),pp.60-67.

47. American Accountig Association, A STATMENT OF BASIC ACCOUNTING THEORY (AAA, 1966).

48. Belkaoui,A., ACCOUNTING THEORY (Harcourt Brace Jovanovich. Inc., 1981).

49. Caudill,M., "Neural Networks Primer, Part III", AI Expert (June 1988)

50. Collins,E., Ghosh,S., and Scofield,C.,"An Application of Multiple Neural Network Learning System to Emulation of Mortgage Underwriting Judgements", Working Paper (Nestor, Inc., 1 Richmond Square, Providence, RI, 1989).

51. Wong F.S. Time series Forecasting using backpropagation neural networks. Neurocomputing, 2, pp.147-159, 1990.91.

52. Varfis A., Versino C. Univariate Economic Time Series Forecasting by Connectionist Methods. .Int. Neural Network Conf., Paris, July 9-13, 1990, Vol 1, pp.342-345.

53. Lowe D., Webb A.R. Time series prediction by adaptivenetworks: a dynamical systems perspective. IEE Proc., 1991, 138, N1, pp.17-24.

54. Odom M.D., Sharda R. A Neural Network Model for Bankruptcy Prediction. IJCNN, San Diego, 1990,v2,pp.l63-168.

55. Collins Edward etc. An application of a multiple neural network learning system to emulation of mortage underwriting Jugments.

56. Weigend Andreas S. etc. Generalization by weight elimination applied to currency exchange rate prediction.

57. Jang Gia-Shuh. An intelligent stock prtfolio managment system based on short-term trend prediction using dual-module neural networks.

58. Kimoto Takashi etc. Stock market prediction system with modular neural networks.

59. Kamijo Ken-ichi Tanigawa Tetsiji . Stock price pattern recognition. A recurrent neural network approach.

60. Цыпкин Я.З. Теория импульсных систем.

61. Кузин Л.Г. Теория и расчет дискретных систем автоматического управления; Машгиз, М., 1963.

62. Галушкин А.И. Расчет и проектирование оптимальных дискретных фильтров. "Автоматическое управление и вычислительная техника", 1968, М.

63. Галушкин А.И. Итоги развития теории многослойных нейронных сетей., М., "Нейрокомпьютер № 1,2" 1996

64. Татузов А.Л., Чухлеб Ф.С. Использование нейросетевой технологии при обработке радиолокационной информации. //.НКП-97, 12-14 февраля 1997 г., Москва, 1997

65. Эрлих А., Технический анализ товарных и финансовых рынков. Москва, Инфра-М, 1996