Разработка и исследование нейросетевых алгоритмов управления тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Хоанг Куанг Тинь

• Хоанг Куанг Тинь
• кандидат технических наук
• 2006

Оглавление диссертации кандидат технических наук Хоанг Куанг Тинь

ОСНОВНЫЕ ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ

ВВЕДЕНИЕ

ГЛАВА 1. ПРИМЕНЕНИЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ

В ЗАДАЧАХ ИДЕНТИФИКАЦИИ И УПРАВЛЕНИЯ

1.1. Введение

1.2. Искусственные нейронные сети и их основные свойства

1.2.1. История и основные свойства ИНС

1.2.2. Многослойные нейронные сети и их аппроксимирующие свойства

1.3. Задача идентификации на основе ИНС

1.4. Основные схемы и задача управления на основе ИНС

1.4.1. Основные схемы нейросетевого управления

1.4.2. Задача управления динамическими объектами на основе нейросетевой модели

1.5. Многослойные нейронные сети в задачах идентификации и управления

1.6. Выводы

ГЛАВА 2. ИДЕНТИФИКАЦИЯ СИСТЕМ НА ОСНОВЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ

2.1. Введение

2.2. Основные этапы процедуры идентификации

2.3. Планирование и проведение эксперимента

2.4. Выбор модельной структуры

2.4.1. Линейные регрессионные модели

2.4.2. Базовые нейросетевые модельные структуры

2.4.3. Основные критерии выбора модельной структуры

2.5. Принятие решения об адекватности модели 44 2.5.1. Исследование корреляционных функций

2.5.2. Оценка средней ошибки обобщения

2.6. Моделирование

2.6.1. Системы управления положением считывающего устройства накопителя на жестком магнитном диске

2.6.2. Идентификация исполнительного двигателя

2.7. Выводы

ГЛАВА 3. АЛГОРИТМЫ ОПТИМИЗАЦИИ ПАРАМЕТРОВ НЕЙРОСЕТЕВОЙ МОДЕЛИ

3.1. Введение

3.2. Постановка задачи оптимизации параметров нейросетевой модели

3.3. Методы инициализации весовых коэффициентов сети

3.4. Определение шага алгоритма (скорости обучения)

3.5. Методы и алгоритмы оптимизации параметров нейросетевой модели

3.5.1. Методы первого порядка

3.5.2. Методы второго порядка

3.5.3. Рекуррентные методы

3.6. Критерий останова

3.7. Моделирование

3.7.1. Аппроксимация функции одной переменной на основе ИНС

3.7.2. Аппроксимация функции двух переменных на основе ИНС

3.7.3. Моделирование динамической системы на основе нейросетевой модели ANNARX

3.8. Выводы

ГЛАВА 4. МЕТОДЫ СТРУКТУРНОЙ ОПТИМИЗАЦИИ НЕЙРОСЕТЕВЫХ МОДЕЛЕЙ

4.1. Введение

4.2. Способность нейросетевой модели к обобщению

4.3. Методы структурной оптимизации нейросетевой модели

4.3.1. Методы структурной оптимизации с модификацией целевой функции

4.3.2. Методы структурной оптимизации с учетом чувствительности

4.3.3. Метод OHU

4.4. Критерий останова

4.5. Моделирование

4.5.1. Аппроксимация функции одной переменной

4.5.2. Аппроксимация функции двух переменных

4.5.3. Моделирование динамической системы

4.6. Выводы

ГЛАВА 5. СИНТЕЗ НЕЙРОСЕТЕВЫХ СИСТЕМ УПРАВЛЕНИЯ

5.1. Введение

5.2. Методы обучения ИНС при разработке нейросетевых регуляторов

5.2.1. Алгоритмы обучения ИНС регуляторов в режиме офлайн

5.2.2. Алгоритмы обучения ИНС регуляторов в режиме реального времени

5.3. Синтез нейросетевого управления на основе инверсной модели объекта

5.3.1. Обобщенный метод обучения инверсной нейросетевой модели

5.3.2. Обучение нейросетевой модели в режиме реального времени (специализированный метод обучения)

5.3.3. Обучение нейросетевой модели в режиме реального времени с использованием эталонной модели

5.3.4. Замечания по реализации и применению метода синтеза управления на основе инверсных нейросетевых моделей

5.4. Нейросетевое оптимальное управление

5.5. Синтез нейросетевого управления на основе прогнозирующей р модели (Model Predictive Control - МРС)

J стр.

5.5.1. Постановка задачи

5.5.2. Нелинейное прогнозирующее управление

5.6. Параметры качества системы управления положением считывающего устройства накопителя на жёстком диске

5.7. Выводы

ГЛАВА 6. НЕЙРОСЕТЕВАЯ РЕАЛИЗАЦИЯ АЛГОРИТМОВ УПРАВЛЕНИЯ ДИСТИЛЛЯЦИОННОЙ КОЛОННОЙ

6.1. Принципы функционирования дистилляционной колонны

6.1.1. Функционирование колонны в установившемся режиме

6.1.2. Логарифмические композиции

6.1.3. Внутренние и внешние потоки

6.2. Трехстадийная дистилляционная колонна

6.3. Модель многостадийной колонны

6.3.1. Динамические особенности колонны

6.3.2. Нелинейность используемой модели

6.4. Задача управления процессом дистилляции

6.4.1. Оценка быстродействия системы

6.4.2. Задача управления

6.5. Решение задачи идентификации и синтез системы управления дистилляционной колонной

6.5.1. Нейросетевая реализация процедуры идентификации дистилляционной колонны

6.5.2. Синтез нейросетевой системы управления дистилляционной колонной

6.6. Выводы 185 ВЫВОДЫ И ЗАКЛЮЧЕНИЯ 186 СПИСОК ЛИТЕРАТУРЫ 187 ПРИЛОЖЕНИЕ А. ВЫЧИСЛИТЕЛЬНЫЕ ПРОЦЕДУРЫ МЕТОДОВ ОЦЕНКИ ПАРАМЕТРОВ НЕЙРОСЕТЕВЫХ МОДЕЛЕЙ

Введение диссертации (часть автореферата) на тему «Разработка и исследование нейросетевых алгоритмов управления»

Искусственные нейронные сети (ИНС) являются эффективным средством решения сложных плохоформализуемых задач. К этому классу традиционно относятся задачи классификации, кластеризации, аппроксимации многомерных отображений, прогнозирования временных рядов, нелинейной фильтрации, идентификации, а также управления сложными технологическими объектами. В настоящее время методы нейротехнологии активно применяются для обработки аэрокосмических изображений и гидроакустических сигналов, идентификации и управления нелинейными динамическими объектами в реальном времени.

Наибольшее распространение в технических приложениях получили многослойные нейронные сети прямого действия, что обусловлено простотой их алгоритмической и программно-аппаратной реализации, наличием развитых методов обучения, возможностью параллельного выполнения вычислений.

Для эффективного использования ИНС для решения задач идентификации нелинейных динамических объектов и проектирования систем автоматического управления, необходимо решить задачу оптимизации параметров ИНС и провести оптимизацию структуры сети. В настоящее время для обучения ИНС разработан ряд алгоритмов, основанных на градиентном методе, методах Ньютона, Гаусса-Ньютона, Левенберга-Марквардта и методе сопряжённых градиентов.

Цель и задачи диссертационной работы. Целью диссертационной работы является разработка и исследование методов и алгоритмов оптимизации параметров и структуры ИНС, применяемых для решения задач идентификации нелинейных динамических объектов и проектирования систем автоматического управления с использованием нейроконтроллеров.

В соответствии с указанной целью определены следующие задачи ис-» следований:

1. Исследовать нейросетевой подход к решению задач идентификации нелинейных динамических объектов и проектирования систем автоматического управления с использованием нейроконтроллеров.

2. Реализовать и исследовать процедуру идентификации на основе нейросетевых моделей.

3. Провести исследование, анализ и реализацию алгоритмов оптимизации параметров и структуры ИНС.

4. Реализовать и исследовать методы управления на основе нейросетевых моделей.

Методы исследования. В процессе выполнения диссертационной работы использовались методы теории нейронных сетей, математического моделирования, теории управления и др. Кроме того, использовались методы численного моделирования разработанных алгоритмов. При моделировании применялись пакеты прикладных программ Matlab-SimulLink.

Научная новизна. На основе анализа, систематизации и обобщения научных достижений в таких областях, как теория автоматического управления, информатика, вычислительная математика и статистика, сформирован подход к решению задачи проектирования систем автоматического управления на основе ИНС.

В ходе выполнения работы получены следующие основные результаты:

1. Проведен анализ методов и разработаны алгоритмы оптимизации параметров и структуры ИНС.

2. Разработан новый алгоритм решения задачи определения оптимальной структуры ИНС.

3. Методы оптимизации параметров и структуры ИНС реализованы в виде программного комплекса.

4. Разработаны и исследованы нейросетевые структуры управления дистилляционной колонной и положением считывающего устройства накопителя на жестком диске.

Разработанные нейросетевые алгоритмы идентификации динамических объектов могут быть использованы при создании программного обеспечения и технических средств информационно-вычислительных комплексов моделирования систем управления нелинейными процессами при отсутствии достаточного объема априорной информации.

Практической реализацией разработанных алгоритмов является программный продукт, представляющий собой композицию модулей, объединенных в одной оболочке. Интуитивно понятный интерфейс пользователя, быстрота и вычислительная робастность используемых алгоритмов позволяют получать адекватные нейросетевые модели динамических объектов за рекордно короткие сроки и с минимальным участием пользователя (проектировщика).

Внедрение результатов. Материалы диссертации использованы в учебном процессе НУК ИУ МГТУ им. Баумана.

Апробация работы. Материалы исследований представлены на Шестом международном симпозиуме "Интеллектуальные системы" (Россия, Саратов, 2004г.), аучном семинаре "Интеллектуальные системы" кафедры «Системы автоматического управления» МГТУ им. Н.Э.Баумана, Седмом международном симпозиуме "Интеллектуальные системы" (Россия, Краснодар, 2006г.).

Публикации. Основные результаты диссертационной работы опубликованы в четырёх печатных трудах.

Структура и объем работы. Диссертация состоит из введения, шести глав, заключения, списка литературы из 106 наименований и приложений. Основная часть работы составляет 195 страниц машинописного текста, 13 таблиц и 65 рисунков. Общий объем приложений - 20 страниц.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Хоанг Куанг Тинь

ВЫВОДЫ И ЗАКЛЮЧЕНИЯ

В работе получены следующие основные научные результаты:

1. Реализованы и исследована многоэтапная процедура идентификации динамических систем на основе нейросетевых моделей.

2. Реализованы и исследованы алгоритмы настройки параметров нейросетевых моделей.

3. Исследованы методы структурной оптимизации ИНС. Разработан новый алгоритм решения задачи определения оптимальной структуры ИНС.

4. Исследован ряд структур нейросетевых систем управления. Разработаны процедуры и алгоритмы синтеза законов нейросетевого управления на основе инверсных моделей, оптимального управления, прогнозирующего управления.

5. На основе предложенных методов и алгоритмов разработана универсаль-> ная программная система, позволяющая эффективно решать задачи нейросетевой идентификации и управления.

6. Эффективность предложенных алгоритмов подтверждена моделированием нейросетевой системы управления положением считывающего устройства накопителя на жестком диске.

7. На основе предложенных алгоритмов и программного обеспечения получены нейросетевые модели дистилляционной колонной и разработаны структуры управления для этого многомерного нелинейного объекта.

187

Список литературы диссертационного исследования кандидат технических наук Хоанг Куанг Тинь, 2006 год

1. Гаврилов А.И. Перспективы применения нейросетевых технологий в системах автоматического управления // Вестник МГТУ им. Баумана. Приборостроение. 1998. - № 1. - С. 119-126.

2. Гаврилов А.И. Нейросетевая реализация процедур идентификации динамических систем: Дисс. канд. техн. наук. М., 2000.- 230 с.

3. Гаврилов А.И., Хоанг Куанг Тинь. Разработка и исследование алгоритмов структурной и параметрической оптимизации искусственных нейронных сетей // Интеллектуальные системы: Тезисы докладов шестого международного симпозиума. Саратов, 2004. - С. 384-386.

4. Гаврилов А.И., Хоанг Куанг Тинь. Разработка и исследование алгоритма структурной оптимизации искусственных нейронных сетей // Наукоемкие технологии, научно-технический журнал. 2006. - № 1 - С. 26-31.

5. Галушкин А.И. Современные направления развития нейрокомпьютерныхтехнологий в России // Открытые системы. 1997. - №4. -С. 25- 28.

6. Гилл Ф., Мюррей У., Райт М. Практическая оптимизация: Пер. с англ. -М.: Мир, 1985.-509 с.

7. Гроп Д. Методы идентификации систем: Пер. с англ. М.: Мир, 1979.302 с.

8. Дэннис Дж., Шнабель Р. Численные методы безусловной оптимизации и решения нелинейных уравнений. Пер с англ. М.: Мир, 1998. - 440 с.

9. Дорф Р., Бишоп Р. Современные системы управления /Пер. с англ. Б. И. Копылова М.: Лаборатория базовых знаний, 2004. - 832 с.

10. Интеллектуальные системы автоматического управления /Под ред. И. М. Макарова, В. М. Лохина. М.: Физматлит, 2001. - 576 с.

11. П.Комашинский В.И., Смирнов Д.А. Нейронные сети и их применение в системах управления и связи. М.: Горячая линия - Телеком, 2003. - 94 с.

12. Короткий С. Нейронные сети: основные положения // Статья №3 из цикла статей журнала Монитор. URL: http://lii.newmail.ru/nn/korotky/nl.html.1996.-7 р.

13. Круглое В.В., Дли М.И., Голунов Р.Ю. Нечёткая логика и искусственные нейронные сети. М.: Физматлит, 2001. - 224 с.

14. Льюнг Л. Идентификация систем: Теория для пользователя: Пер. с англ. /Под ред. Я. 3. Цыпкина. М.: Наука. Гл. ред. Физ.-мат. лит., 1991. - 432 с.

15. Моисеев Н.Н., Иванилов Ю.П., Столярова Е.М. Методы оптимизации. -М.: Наука, 1978.-352 р.

16. Попов Е.П. Теория нелинейных систем автоматического регулирования и управления: Учеб. пособие, 2-е изд., стер. М:. Наука, Гл. ред. Физ.-мат. лит.,1988. - 256 с.

17. Пупков К.А. Методы робастного, нейро-нечеткого и адаптивного управления: Учебник. М.: Изд-во МГТУ им. Н.Э. Баумана, 2001. - 744 с.

18. Роберт К. Основные концепции нейронных сетей. М.: Издательский дом "Вильяме", 2001.-288 с.19.0совский С. Нейронные сети для обработки информации / Пер. с польского И.Д. Рудинского. М.: Финансы и Статистика, 2002.- 344 с.

19. Сейдж Э.П., Мелса Д.Л. Идентификация систем управления: Пер. с англ.-М.: Наука. Гл. ред. физ.-мат. лит., 1974. 248 с.

20. Сигеру Омату. Нейроуправление и его приложения: Пер. с англ. /Под ред. Галушкин А.И. М.: ИПРЖР, 2000 (Кн. 2.). - 272 с.

21. Химмельблау Д. Прикладное нелинейное программирование: Пер с англ. -М.: Мир, 1975.-534 с.

22. ЦыпкинЯ.З. Информационная теория идентификации. М.: Наука, 1995. -336 с.

23. Akaike Н. A new look at the statistical model identification // IEEE Trans. Autom. Control. -1974. Vol. AC-19. - P. 716 - 723.

24. Akaike H. Fitting autoregressive models for predictive // Ann. Inst. Stat. Math. 1969.-Vol. 21.-P. 243-347.

25. Anscombe F. J., Tukey J. W. The examination and analysis of residuals // Tech-nometrics. 1963. - Vol. 5. - P. 141 -160.

26. Barron A.R. Universal approximation bounds for superposition of a sigmoidalfunction // IEEE Transactions on Information Theory. 1993. - Vol. 39. - P. 930 - 954.

27. Bebis G., Georgiopoulos M. Optimal feed-forward neural network architectures // IEEE Potentials. 1994. - October. - P. 27 - 31.

28. Benjamin С. K. Automatic Control System. Fourth edition. New Jersey: Englewood Cliffs, Prentice Hall 1982. - 740 p.

29. Billings S.A., Zhu Q.M. Nonlinear model validation using correlation tests // Int. Journal of Control. 1994. - Vol. 60, No. 6. - P. 466 - 470.

30. Bishop G., Welch G. An Introduction to the Kalman filter. North Carolina: SIGGRAPH-Course 8,2001. -80 p.

31. Broyden C.G. Quasi-newton methods and their applications to function minimization // Math Сотр. 1967. - Vol. 21. - P. 368 - 381.

32. Broyden C.G. The convergence of a class of double rank minimization algorithms. Part 1 and 2. // J. Inst. Math. Appl. 1970.- Vol. 6. - P. 76 - 90.

33. Buckley P.S., Luyben W.L., Shunta F.S. Design of distillation column control systems. North Carolina: ISA, Research Triangle Park, 1985. - 540 p.

34. Chen S., Billings S.A. Neural networks for non-linear dynamic system modelling and identification // Int. J. Control. 1992. - Vol. 56, No. 2. - P. 319 - 349.

35. Constantin N. Adaptive neural predictive techniques for nonlinear control // Studies in Informatics and Control. 2003.- Vol. 12, No 4. - P. 285 - 291.

36. Cybenco G. Approximation By Superposition Of A Sigmoidal Function // Math. Control Systems and Sygnals. 1989. - No. 2. - P. 303 - 314.

37. Dayhoff J.E. Neural network architectures: an introduction. New York (NY): Van Nostrand Reinhold, 1990. - 259 p.

38. Denoeux J., Lengalle R. Initializing back propagation networks with prototypes // Neural Networks. 1993. - Vol. 6. - P. 351 - 363.

39. Eduardo D.S. Neural networks for control // In Essays on Control: Perspectives in the Theory and its Applications /H.L. Trentelman and J.C. Willems, eds., Birkhauser. Boston, 1993. - P. 339 - 380.

40. Fletcher R., Reeves C.M. Function minimization by conjugate gradients // Computer Journal. 1964. - Vol. 7. - P. 163 - 168.

41. Fletcher R., Powell M.J.D. A rapidly convergent descent method for minimization // Computer Journal. 1963. - Vol. 6. - P. 163 - 168.

42. Fletcher R. A new approach to variable metric algorithms // Computer Journal. 1970.-Vol. 13(3).-P. 317-322.

43. Fletcher R. Practical methods of optimization. New York: Wiley, 1987.-424 p.

44. Goldfarb D. A family of variable metric methods derived by variational means // Math. Сотр. 1970. - Vol. 24. - P. 23 - 26.

45. Grewal M.S., Andrews A.P. Kalman Filtering: Theory and Practice. New Jer-sey:-Englewood Cliffs, Prentice-Hall, 1993. - 398 p.

46. Hagan M.T. and Demuth H.B. Neural networks for Control // Proceedings of the 1999 American Control Conference. San Diego (CA), 1999. - P. 1642 -1656.

47. Hagan M.T., Menhaj M.B. Training feed-forward networks with the Marquardt Algorithm // IEEE Transactions on Neural Networks. 1994. - Vol. 5, No. 6. -P. 989-993.

48. Hangos K.M. Analysis and control of nonlinear process systems. London: Springer-Verlag, 2004. - 335 p.

49. Hassibi В., Stork D.G., Wolff G.J. Optimal brain surgeon and general network pruning // Procedings of the 1993 IEEE International Conference on Neural Networks. San Francisco, 1993. - P. 293 - 299.

50. Haykin S. Neural networks: a comprehensive foundation. New York: Mac-millan College Publishing Co. Inc., 1994. - 842 p.

51. He X., Asada H. A new method for identifying orders of input-output models for nonlinear dynamic systems // Proc. of the American Control Conference. -San Francisco, 1993. P. 67 - 83.

52. Hornik K., Stinchcomb M. Multilayer feedforward networks are universal approximators //Neural Networks. 1989. - Vol. 2. - P. 359 - 366.

53. Hush D. Horn B. Progress in supervised neural networks // IEEE Signal Processing Magazine. 1993. - Vol. 10, No. 1. - P. 8 - 39.

54. Iiguni, Sakai H. A non-linear regulator design in the presence of system uncertainties using multi-layered neural networks // IEEE Trans, on Neural Networks. 1991. - Vol. 2. - P. 410 - 417.

55. Ikonen E., Najim K. Advanced process identification and control. New York: Marcel Dekker Inc., 2002. - 316 p.

56. Ioannou P., Sun J. Robust Adaptive Control. California: Prentice Hall Inc, 1996.-834 p.

57. Jang Jyh-Shing R., Sun С. Т., Mizutani E. Neuro-Fuzzy And Soft Computing: A Computational Approach To Learning And Machine Intelligence. Upper Saddle River: Prentice-Hall, 1997. - 640 p.

58. Jolliffe I.T. Principal component analysis. New York: Springer-Verlag, 1986. - 502 p.

59. Jorge O.H., Paulo G., Antonio D. Non-linear Multivariable Predictive Control: Neural versus First Principle Modelling Approach // IASTED, Control and Applications. Cancun (Mexico), 2002. - P. 1 - 22.

60. Karayiannis N. Accelerating training of feed forward neural network using generalized hebbian rules for initializing the interal representation // IEEE Proc. ICNN. Orlando, 1994. - P. 1242 - 1247.

61. King C.J. Separation processes. New York: McGraw-Hill, 1971. - 447 c.

62. Kwakernaak H., Sivan R. Linear optimal control systems. New-York: Wiley Inc. - 436 p.

63. Larsen J. Design a neural network filters: Ph.D. thesis, Lyngby (Denmark): Technical University of Denmark, 1996. 451 p.

64. Lecun Y., Denker J.S., Solla S.A. Optimal Brain Damage // IEEE Transactions on Neural Networks. San Mateo (CA): Morgan Kaufmann,1990. - Vol. 3. - P. 62-72.

65. Lester S.H., Sjoberg J., Viberg M. Adaptive neural nets filter using a recursive Levenberg-Marquardt search direction // Proc. Asilomar Conf. Signals, Systems, Computers. Gothenburg, 1998 - Vol. 1. - P. 697 - 701.

66. Levenberg K. A Method for the solution of certain nonlinear problems in least squares // Quart. Appl. Math. 1944. - No. 2. - P. 164 - 168.

67. Levin E., Gewirtzman R. Neural network architecture for adaptive system modelling and control // Proc. of Int. Joint Conf. on Neural Networks. -Washington D.C., 1989. Vol. 11. - P. 311 - 316.

68. Ljung L. System identification: Report of Department of Electrical Engineering, Linkoping University. Linkoping (Sweden), 1995. - 67 p.

69. Marquardt D. An algorithm for least-squares estimation of nonlinear parameters // SIAM J. Appl. Math. 1963. - No 11. - P. 164 - 168.

70. Miller W.T., Sutton R.S., Werbos P.J. Neural networks for control. Cambridge: MIT Press (MA), 1990. - 544 p.

71. Morari M., Ricker N.L. Model predictive control toolbox. Natick: The Math-Works Inc. (MA. USA), 1998. - 240 p.

72. Narendna K.S., Parthasarathy K. Identification and control of dynamical systems using neural networks // IEEE Trans, on Neural Networks. 1990. - Vol. 1. - P. 4 - 27.

73. Nguyen D., Widrow B. Neural networks for self-learning control systems // IEEE Control Systems Magazine. 1990. - April. - P. 18 - 23.

74. Norgard M. The neural network based control system design toolkit. Lyngby (Denmark), 2000. - 41 p. (Tech. Report 96-E-891, Department of Automation, Technical University of Denmark)

75. Norgard M. The neural network based system identification toolbox. Lyngby, Denmark, 2000. - 98 p. (Tech. Report 00-E-892, Department of Automation, Technical University of Denmark)

76. Nocedal J., Wright S. J. Numerical optimization. New York: Springer, 1999. -651 p.

77. Peterson С. Determining dependency structures and estimating nonlinear regression errors without doing regression // International Journal of Modern Physics. 1995. - Vol. 611. - P. 18 - 31.

78. Polak E. Computational methods in optimization. New York: Academic Press, 1971.-329 p.

79. Rolf F., Frank A. An introduction to nonlinear model predictive control // Proceedings 21st Benelux Meeting on Systems and Control. Veldhoven, 2001. -P. 3.1 -3.45.

80. Roncon E., Peter J.G. Neural networks for modelling and control. Glasgow, Scotland, 1997. - 38 p. (Technical Report CSC-97008, Department of Mechanical Engineering, University of Glasgow)

81. Rosenblatt F. Principles of neurodinamics: Perceptron and the theory of brain mechanisams. Washington DC: Spartan Books, 1962. - 480 p.

82. Rumelhart D.E. Parallel distributed processing: Explorations in the micro structure of cognition. Cambridge (MA): MIT Press, 1986 .- Vol. 1. - Foundations. -532 p.

83. Saerens M., Soquet A. A Neural controller based on back propagation algorithm // Proc. of First IEEE Int. Conf. on Artificial Neural Networks. London, 1989.-P. 211-215.

84. Sankar K.P., Mitra S. Multilayer perceptron, fuzzy sets, and classification //IEEE Transactions on Neural Networks. 1992. - Vol. 3. - P. 683 - 696.

85. Shanno D.F. Conditioning of quasi-Newton methods for function minimization // Math. Сотр. 1970. - Vol. 24. - P. 647 - 656.

86. Shewchuk J.R. Second order gradients methods // School of Computer Science Carnegie Mellon University. Pittsburg, 1994. - P. 356 - 373.

87. Sjoberg J. Nonlinear black-box modeling in system identification: A unified overview // Automatica. 1995. - Vol. 31. - P. 1691 - 1724.

88. Sjoberg J. Non-linear system identification with neural networks: Ph.D. thesis, Division of Automatic Control. Linkoping(Sweden): Linkoping University, 1995.-235 p.

89. Sjoberg J., Hjalmarsson H., Ljung L. Neural networks in system identification // 10 th IFAC Symposium on System Identification. Copenhagen, 1994. -Vol. 2.-P. 49-72.

90. Skogestad S. Dynamics and control of distillation columns: A tutorial introduction // Trans. IchemE. 1997.- Vol. 75, Part A. - P. 539-562.

91. Skogestad S., Lundstrom P., Jacobsen E.W. Selecting the best distillation control structure // AIChE Journal. 1990. - Vol. 36. - C. 753 - 764.

92. Skogestad S., Morari M. The dominant time constant for distillation columns //Comput. Chem. Engng. 1987. - Vol. 11. - C. 607 - 617.

93. Skogestad S., Morari M. Control configuration selection for distillation columns // AIChE Journal. 1987. - Vol. 33(10). - C. 1620 - 1635.

94. Skogestad S., Morari M. Understanding the dynamic behavior of distillation columns // Ind. Eng. Chem. Res. 1988. - Vol. 27(10). - C. 1848 - 1862.

95. Skogestad S., Postlethwaite I. Multivariable feedback control. New York: JohnWiley & Sons, Chichester. - 1996. - 559 p.

96. Smith L.I. A tutorial on principal components analysis / URL: http://www.cs.otago.ac.nz/cosc453/student tutorials/principal components.pdf. 2002.-27 p.

97. Soderstrom Т., Stoica P. System identification. London: Prentice Hall International, Great Britain, 1989. - 440 p.

98. Soeterboek R. Predictive control: a unified approach. New Jersey: Prentice Hall, 1992.-300 p.

99. S0rensen O. Neural networks in control applications: Ph.D. thesis, Aalborg (Danmark): Aalborg University, Department of Control Enginering. 1994. -311 p.

100. Suykens J.A.K., Bersini H. Neural control theory: an overview //Journal A. -1996. Vol. 37, No. 3.-P. 4-10.

101. Svarer C. Neural networks for signal processing: Ph.D. thesis, CONNECT. -Lyngby: Electronics Institute, Technical University of Danmark, 1994. 186 p.

102. Thimm G., Fiesler E. Neural network initialization // From Natural to Artificial Neural Computation. Malaga: IWANN, 1995. - P. 533 - 542.

103. Thimm G., Fiesler E. Pruning of neural networks: IDIAP Research Report, Dalle Molle institute for perceptive artificial Intelligence, Valais (Switzerland) 1997.-97-03.- 18 p.

104. Vapnik V.N., Chervonenkis A. On the uniform convergence of relative frequencies of events to their probabilities // Theory of Probability and its Applications. -1971. Vol. 16. - P. 264 - 280.

105. White. D.A., Sofge D.A. Handbook of intelligent control. -New York: Van Nostrand Reinhold, 1992. 559 p.