Методы идентификации стохастических систем на основе линеаризованных представлений входо-выходных моделей тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат физико-математических наук Чернышев, Кирилл Романович

• Чернышев, Кирилл Романович
• кандидат физико-математических наук
• 1998

Оглавление диссертации кандидат физико-математических наук Чернышев, Кирилл Романович

Оглавление

Введение 4 Глава 1 Анализ методов идентификации нелинейных динамических

стохастических систем

1.1. Общие представления нелинейных систем

1.2. Идентификация моделей с блочной структурой

1.3. Идентификация полулинейных систем с параметрами, 22 зависящими от переменных

1.4. Идентификация линейных по параметрам нелинейных 24 динамических систем

1.5. Выводы и постановка задачи 40 Глава 2 Непараметрическая идентификация на основе состоятельных

мер зависимости случайных процессов

2.1. Идентификация одномерных систем

2.2. Свойства максимальной корреляционной функции 56 и существование оптимальных операторов

2.3. Специальные классы систем

2.4. Доказательство теоремы 2.1

2.5. Выводы по главе 79 Глава 3 Расширение методов статистической линеаризации

3.1. Представления линеаризованных моделей

3.2. Критерий минимума нормы ошибки линеаризации

3.3. Системы с несколькими входами

3.4. Критерий совпадения норм выходов

3.5. Стационарные системы и оценки дисперсионных функций

3.6. Выводы по главе

Глава 4 Представления и состоятельность рекуррентных алгоритмов 108 параметрической идентификации

4.1. Задача параметрической идентификации

4.2. Выбор алгоритмов идентификации

4.3. Алгоритмы идентификации

4.4. Специальные случаи

4.5. Доказательство некоторых утверждений

4.6. Выводы по главе 141 Выводы по диссертации 142 Литература

Введение диссертации (часть автореферата) на тему «Методы идентификации стохастических систем на основе линеаризованных представлений входо-выходных моделей»

ВВЕДЕНИЕ

Задача идентификации систем играет существенную роль при исследовании объектов управления и протекающих в них процессов. Эта роль заключается, главным образом, в построении математической модели системы по наблюдениям значений ее входных и выходных сигналов. Необходимость повышения эффективности моделирования и создания систем управления вызвали за последние десятилетия значительный прогресс собственно методологии идентификации систем. При этом первоначально методы идентификации и управления системами основывались на применении линейных моделей, в то время как большинство объектов управления, исследование которых диктуется целями практического применения, являются в той или иной степени нелинейными. Данное обстоятельство, естественно, не исключает принципиальной возможности линейного описания таких систем при условии, что их поведение на некотором суженном классе протекающих в этих системах процессов может моделироваться в рамках линейного подхода. Однако, только нелинейные модели могут достаточно адекватно отражать процессы, протекающие в нелинейных системах, на всей области их изменения.

Поскольку поведение различных нелинейных систем имеет существенные различия, вызванные сложностью и многообразием протекающих в них процессов, одной из главных трудностей в этой области является создание наиболее общего математического подхода к решению задачи идентификации нелинейных систем. В числе первых при этом возникает проблема выбора класса моделируемых систем, особенно в условиях ограниченного объема адекватной априорной информации. Правильность выбора модели играет существенную роль в решении вопросов дальнейшего применения математической модели, например в задачах прогнозирования и управления.

В настоящее время можно выделить два главных направления в развитии методов идентификации нелинейных систем. Первое из них заключается в выделении некоторых специальных классов моделей. Второе направление связано с применением общего описания моделируемых процессов. В свою очередь, в рамках первого направления существует множество различных подходов, наиболее развитые из которых опираются на применение: моделей с блочной структурой, получаемых с помощью комбинации нелинейного статического и линейного динамического звеньев. Примерами такого описания являются хорошо известные модели классов Гаммерштейна, Винера, Винера-Гаммерштейна; полулинейных моделей, описание входо-выходных отображений в которых осуществляется с помощью соотношений, линейных по параметрам, которые в свою очередь, зависят от переменных модели; моделей, описываемых нелинейными дифференциальными (разностными) уравнениями, линейными по параметрам. Такие модели используются при наличии достаточного объема априорной информации о внутренней структуре объекта.

Методы построения моделей, используемых в рамках второго направления решения задачи идентификации нелинейных объектов, основаны либо на применении функциональных рядов Вольтерра или Винера, либо на применении теоремы Вейерштрасса-Огоуна, согласно которой любая непрерывная на заданном интервале действительная функция является пределом некоторой равномерно сходящейся последовательности многочленов. В этом последнем случае все подходы в рамках данного направления как в задачах с непрерывным, так и в задачах с дискретным временем, предполагают построение полиномиальных моделей, линейных по параметрам.

Главным достоинством моделей специальных классов является относительное удобство их применения для идентификации нелинейных систем. Однако подобные подходы имеют и определенные общие для всех классов моделей недостатки. Первый из них заключается в том, что модели специального

класса имеют соответствующий каждому такому классу достаточно узкий круг нелинейных объектов, описываемых ими. Второй недостаток состоит в том, что при использовании данных методов внутренняя структура входо-выходного отображения систем предполагается хорошо известной.

Однако во многих случаях, когда объем подобного рода априорной информации об объекте мал, либо такая информация отсутствует, целесообразно ослабить зависимость результата решения задачи идентификации от ограничений, накладываемых априорными предположениями. При этом выбор модели объекта должен диктоваться ее гибкостью, то есть способностью модели описывать достаточно широкий класс нелинейных систем. По этим причинам для широкого класса нелинейных объектов возникает проблема создания возможно более общего и, соответственно, унифицированного подхода к их идентификации и моделированию.

Цель работы

Цель данной диссертационной работы состоит в разработке методов решения задач непараметрической и параметрической идентификации моделей нелинейных динамических стохастических систем в условиях, когда объем знаний об исследуемой системе может изменяться в широких пределах -от отсутствия информации о структуре системы в целом до неопределенностей значений параметров модели системы.

Актуальность работы

Актуальность настоящей диссертационной работы определяется результатом приведенного анализа значения разработки методов идентификации нелинейных систем и состояния данной проблемы:

Успех решения задач идентификации и управления нелинейными системами самым существенным образом зависит от выбора модели, которая

используется для представления системы в процессе ее исследования. Для решения этой задачи предложены разнообразные подходы. При этом в большинстве разработанных методов предполагается, что так называемая истинная структура системы принадлежит какому-либо определенному классу структур, из которого надлежит выбрать модель исследуемой системы. Однако с практической точки зрения подобные априорные предположения представляются трудно применимыми, что обусловливает необходимость выбора такой модели, или структуры системы, которая дает удовлетворительную в определенном смысле аппроксимацию характеристик системы, представляющих интерес в каждой конкретной постановке задачи.

Научная новизна работы

Научная новизна данной диссертационной работы состоит:

• в разработке нового метода непараметрической идентификации моделей не линейных динамических систем на основе состоятельных мер зависимости случайных процессов, построения общих условий идентифицируемости нелинейных систем при помощи данного метода. При этом предлагаемый в настоящей работе метод идентификации является естественным развитием линейного метода Винера-Хопфа на случай идентификации нелинейных систем;

• в развитии методов статистической линеаризации на основе подхода, использующего методы теории функциональных пространств. При этом преодолевается тот известный недостаток корреляционного подхода к статистической линеаризации, который связан с применением взаимных корреляционных функций в качестве мер стохастической зависимости входных и выходных процессов системы;

• в разработке сильно состоятельных рекуррентных алгоритмов адаптивной идентификации линейных по параметрам динамических систем при широких предположениях относительно внешних аддитивных возмущений.

Алгоритмы, получаемые таким образом, не используют обращения матрицы Гессе критерия идентификации и устойчивы как изменению ее степени обусловленности, так и степени автокоррелированности возмущений.

Настоящая работа состоит из четырех глав. Для нумерации формул принята трехпозиционная нумерация: первая позиция - номер главы, вторая -номер параграфа в данной главе, третья - порядковый номер формулы в данном параграфе. При ссылке на формулу внутри одного параграфа указывается только номер этой формулы; при ссылке на формулу из другого параграфа той же главы указываются только номер параграфа и номер формулы; при ссылке на формулу из другой главы указывается полная нумерация.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Чернышев, Кирилл Романович

ВЫВОДЫ ПО ДИССЕРТАЦИИ

1. На основе использования максимальной корреляционной функции, как состоятельной меры зависимости случайных процессов, получены соотношения, которым должны удовлетворять операторы, определяющие вид входо-выходного отображения нелинейных стохастических систем. Получены общие условия идентифицируемости нелинейных систем при помощи данного метода.

2. Показано, что предложенный метод нелинейной идентификации является естественным расширением линейного метода Винера-Хопфа на случай идентификации нелинейных систем.

1. Построены уточненные характеристики нелинейности исследуемых систем.

2. Разработан унифицированный подход к статистической линеаризации на основе методов теории гильбертовых пространств, включающий известные направления как частные случаи.

3. Получен сильно состоятельный алгоритм оценивания дисперсионной К-функции четырех случайных, позволяющий получить оценки всех остальных видов дисперсионных функций.

4. Построены сильно состоятельные рекуррентные алгоритмы параметрической идентификации при широких предположениях относительно внешних аддитивных возмущений. Алгоритмы, получаемые таким образом, не используют обращения матрицы Гессе критерия идентификации и устойчивы как изменению ее степени обусловленности, так и степени автокоррелированности возмущений.

Список литературы диссертационного исследования кандидат физико-математических наук Чернышев, Кирилл Романович, 1998 год

ЛИТЕРАТУРА

1. Варлаки П., Сейдл J1. Об оценке дисперсионных функций эргодических случайных процессов // Автоматика и телемеханика. 1983. N 6. С. 62-65.

2. Винер В. Нелинейные задачи в теории случайных процессов. М.: ИЛ, 1961. 159 с.

3. Дургарян И.С., Пащенко Ф.Ф. Дисперсионный критерий статистической оптимизации систем // Автоматика и телемеханика. 1974. N 12. С. 46-52.

4. Дургарян И.С., Пащенко Ф.Ф. (1980) Идентификация нелинейных объектов по сложным критериям//Автоматика и телемеханика. 1980. N 7. С. 61-71.

5. Казаков И.Е. Приближенный метод статистического исследования нелинейных систем // Тр. ВВИА им. Н.Е. Жуковского. М.: Изд-во ВВИА им. Н.Е. Жуковского, 1954. Вып. 394.

6. Казьмин A.B., Позняк A.C. (1992) Рекуррентное оценивание параметров ARX-моделейс помехами, описываемыми ARMA-процессами // Автоматика и телемеханика. 1992. N 10. С. 80-88.

7. Каминскас В.А. Оценивание параметров дискретных систем класса Гаммерштейна // Автоматика и телемеханика. 1975. N 7. С. 63-69.

8. Каминскас В.А., Яницкене Д.Ю. Идентификация нелинейных объектов класса Гаммерштейна // Автоматика и телемеханика. 1985. N 9. С. 69-77.

9. Корнфельд И.П., Штейнберг Ш.Е. Оценивание параметров линейных и нелинейных стохастических систем методом осредненных невязок // Автоматика и телемеханика. 1985. N 8. С. 51-60.

10. Льюнг Л. (1991) Идентификация систем. Теория для пользователя. М.: Наука, 1991. 432 с.

11. Надарая Э.А. Об оценке регрессии // Теория вероятностей и ее применения. 1964. Т. 9, Вып. 1. С. 157-159.

12. Пащенко Ф.Ф. Метод индентификации нелинейных систем // IX Всесоюзноое Совещание по проблемам управления, Ереван, Ноябрь 1983. Тезисы докладов. М., 1983. С. 130-131.

13. Пащенко Ф.Ф., Дургарян И.С. Об одном методе линеаризации стохастических систем // Техническая кибернетика. 1975. N 6. С. 31-37.

14. Пащенко Ф.Ф., Дургарян И.С., Фессл Я. Метод дисперсионной линеаризации при разработке систем управления с идентификатором // Моделирование и идентификация производственных систем. М.: Институт проблем управления, 1988. С. 41-49.

15. Пащенко Ф.Ф., Чернышев K.P. Применение метода функциональных преобразований в идентификации нелинейных систем // Автоматика и телемеханика. 1992. N 4. С. 77-85.

16. Пащенко Ф.Ф., Чернышев K.P. Алгоритмы рекуррентной идентификации нелинейных моделей в задачах диагностики динамических систем // Идентификация и моделирование производств повышенного риска. М.: Институт проблем управления, 1993. С. 35- 50.

17. Пащенко Ф.Ф., Чернышев K.P. Расширение методов статистической линеаризации // Идентификация и моделирование производств повышенного риска. М.: Институт проблем управления, 1993. С. 1426.

18. Пащенко Ф.Ф., Чернышев K.P. Методы построения систем управления на основе знаний // Приборы и системы управления. 1996. N 8.

19. Пащенко Ф.Ф., Чернышев K.P. Идентификация моделей слабо формализованных процессов (систем) на основе состоятельных мер зависимости // Приборы и системы управления. 1997. N 2.

20. Пащенко Ф.Ф., Чернышев K.P. Конструирование рекуррентных алгоритмов расширенного метода инструментальных переменных // Автоматика и телемеханика. 1997. N 11.

21. Пащенко Ф.Ф., Чернышев K.P. Качественный анализ новых алгоритмов типа стохастической аппроксимации // Приборы и системы управления. 1998. №6.

22. Дисперсионная идентифиакация / Под ред. Н.С.Райбмана. М.: Наука, 1981. 320 с.

23. Райбман Н.С. Методы нелинейной и минимаксной идентификации // Современные методы идентификации систем. М.: Мир, 1983. С. 177-277.

24. Сарманов О.В. Максимальный коэффициент корреляции (симметричный случай)//Доклады АН СССР. 1958. Т. 120, N 4. С. 715-718.

25. Сарманов О.В. (1958) Максимальный коэффициент корреляции (несимметричный случай) // Доклады АН СССР. 1958. Т. 121, N 1. С. 5255.

26. Сарманов О.В. Собственные корреляционные функциии и их применение в теории стационарных марковских процессов // Доклады АН СССР. 1960. Т. 132, N4. С. 769-772.

27. Сарманов О.В., Братоева З.Н. Вероятностные свойства билинейных разложений по полиномам Эрмита // Теория вероятностей и ее применения. 1967. Т. XII, Вып. 3. С. 520-531.

28. Сарманов О.В., Захаров Е.К. Меры зависимости между случайными величинами и спектры стохастических ядер и матриц // Математический сборник. 1960. Т. 52(94), N 4. С. 953-990.

29. Синицын И.Н. Методы статистической линеаризации (обзор) // Автоматика и телемеханика. 1974. N 5. С. 82-94.

30. Цыпкин Я.3. Основы информационной теории идентификации. М.: Наука, 1984. 320 с.

31. Цыпкин Я.З. Информационня теория идентификации. М.: Наука, 1995. 320 с.

32. Цыпкин Я.З., Позняк A.C. Обобщенный метод инструментальных переменных в задачах идентификации линейных объектов // Доклады АН СССР. 1989. Т. 306, N 5. С. 1068-1072.

33. Цыпкин Я.З., Позняк А.С., Тихонов С.Н. Оптимальные методы адаптивной идентификации //Итоги науки и техники. Сер. Техническая кибернетика. М.: ВИНИТИ, 1990. Т. 29. С. 3-44.

34. Шетсен М. Моделирование нелинейных систем на основе теории Винера // ТИИЭР. 1981. Т. 69, N 12. С. 44-62.

35. Штейнберг Ш.Е. Идентификация в системах управления. М.: Энергоатомиздат, 1987. 80 с.

36. Alper P. A consideration of the discrete Volterra series // IEEE Trans. Automat. Control. 1965. Vol. AC-8, N 3. P. 321-327.

37. Astrom K.J., Hagander P., Sterby J. Zeros of sampled systems // Automatica. 1984. Vol. 20, N1. P. 31-38.

38. Bartos J., Sun H.H. Characterization of abrupt nonlinearity byVolterra-Fourier method // J. Franklin Inst. 1988. Vol. 325. P. 465-484.

39. Baumgartner S.L., Rugh W.S. Complete identification of a class of nonlinear systems from steady-state frequency response // IEEE Trans. Circuits and Systems. 1975. Vol. CAS-22, N 9. P. 753-758.

40. Beaman J.J. Accuracy of statistical linearization // New approaches to Nonlinear Problems in Dynamics / Ed. by P.J. Holmes. Philadelpfia, Pa: Society for Industrial and Applied Mathematics, 1980. P. 195-207.

41. Beaman J.J., Hendrick J.K. Improved statistical linearization for analysis and control of nonlinear stochastic systems. Part I: An extended statistical linearization technique // Trans. Amer. Soc. Mechanical Engineers. Ser. G., J. Dynamic Systems, Measurement and Conrol. 1981. Vol. 103, N 1. P. 14-21.

42. Beaman J.J., Hendrick J.K. Improved statistical linearization for analysis and control of nonlinear stochastic systems. Part II: Application to control system design // Trans. Amer. Soc. Mechanical Engineers. Ser. G., J. Dynamic Systems, Measurement and Conrol. 1981. Vol. 103, N 1. P. 22-27.

43. Bierens H.T. Uniform consistency of kernel estimators of regression function under generalized conditions // J. Amer. Statist. Assoc. 1983. Vol. 78, N 383. P. 699-707.

44. Billings S.A. Identification of nonlinear systems - a survey // Proc. IEE. Part D. 1980. Vol. 127, N 6. P. 272-285.

45. Billings S.A., Chen S. Extended model set, global data and threshold model identification of severely nonlinear systems // Int. J. Control. 1989. Vol. 50. P. 1897-1923.

46. Billings S.A., Chen S. Identification of non-linear rational systems using a prediction error estimation algorithm // Int. J. Systems Sci. 1989. Vol. 20, N 3. P. 467-494.

47. Billings S.A., Chen S., Korenberg M.J. Identification of MIMO non-linear systems using a forward-regression orthogonal estimator // Int. J. Control. 1989. Vol. 49, N6. P. 2157-2189.

48. Billings S.A., Fadzil M.B., Sulley J., Johnson P.M. Identification of a non-linear difference equation model of an industrial diesel generator // Mechanical Systems and Signal Processing. 1988. Vol. 2, N 1. P. 59-76.

49. Billings S.A., Fakhouri S.Y. Identification of a class of nonlinear systems using correlation analysis //Proc. IEE. Part D. 1978. Vol. 125. P. 691-697.

50. Billings S.A., Fakhouri S.Y. Theory of separable processes with application to identification of nonlinear systems // Proc. IEE. Part D. Vol. 1978. P. 1051-1078.

51. Billings S.A., Fakhouri S.Y. Identification of nonlinear systems using the Wiener model // Electronics Letters. 1978. Vol. 13. P. 502-504.

52. Billings S.A., Fakhouri S.Y. Nonlinear system identification using the Hammerstein model // Int. J. Systems Sci. 1979. Vol. 10, N 5. P. 567-578.

53. Billings S.A., Fakhouri S.Y. Identification of systems containing linear dynamic and static nonlinear elements // Automatica. 1982. Vol. 18, N 1. P. 15-26.

54. Billings S.A., Jones G.N. Orthogonal least-squares parameter estimation algorithms for non-linear stochastic systems // Int. J. Systens Sci. 1992. Vol. 23, N7. P. 1019-1032.

55. Billings S.A., Korenberg M.J., Chen S. Identification of non-linear output-affine systems using an orthogonal least-squares algorithm // Int. J. Systems Sci. 1988. Vol. 19, N8. P. 1559-1568.

56. Billings S.A., Voon W.S.F. Structure identification and model validity tests in the identification of nonlinear systems // Proc. IEEE. Part D. 1983. P. 193-199.

57. Billings S.A., Voon W.S.F. Least squares parameter estimation algorithms for nonlinear systems // Int. J. Systems Sci. 1984. Vol. 15. P. 601-615.

58. Billings S.A., Voon W.S.F. Correlation based model validation test for nonlinear models // Int. J. Control. 1986. Vol. 44. P. 235-244.

59. Billings S.A., Zhu Q.M. Rational model identification using an extended least squares algorithm // Int. J. Control. 1991. Vol. 54. P. 529-546.

60. Billings S.A., Zhu Q.M. Structure detection algorithm for nonlinear rational models // Int. J. Control. 1993. Vol. 58.

61. Booton R.C. (1954) Nonlinear control systems with random inputs // Trans. IRE Profes. Group on Circuit Theory. 1954. Vol. CT1, N 1. P. 9-18.

62. Boyd S., Chua L.O. Fading memory and the problem of approximating nonlinear operators with Voltterra series // IEEE Trans. Circuits Syst. 1985. Vol. CAS-32, N 11.P. 1150-1161.

63. Breiman L., Friedman J.H. Estimating optimal transformations for multiple regression and correlation // J. Amer. Statist. Assoc. 1985. Vol. 80, N 391. P. 590-598.

64. Chang F.U.I., Luus R. A noniterative method for identification using the Hammerstein model // IEEE Trans. Automat. Control. 1971. Vol. AC-16, N 5. P. 464-468.

65. Chen S., Billings S.A. Recursive maximum likelihood identification of a nonlinear output-affine model // Int. J. Control. 1988. Vol. 48, N 4. P. 1605-1629.

66. Chen S., Billings S.A. Recursive prediction error parameter estimator for nonlinear models // Int. J. Control. 1989. Vol. 49, N 2. P. 569-594.

67. Chen S., Billings S.A. Representation of non-linear systems: the NARMAX model //Int. J. Control. 1989. Vol. 49, N 3. P. 1013-1032.

68. Chen S., Billings S.A., Luo W. Orthogonal least squres methods and their application to nonlinear system identification // Int. J. Control. 1989. Vol. 50. P. 1873-1896.

69. Chernyshov K.R., Pashchenko F.F. An Expert Opinion Approach to Tune Analytical Models of Nonlinear Systems // Proceedings of the International Conference on Robotics and Automation, 16-20 May 1998, Leuven Catholic University, Leuven, Belgium. 1998. Vol. 3. P. 2383-2388.

70. Chesson P.L. The canonical decomposition of bivariate distributions // J. Multivariate Analysis. 1976. Vol.6. P. 526-537.

71. Chung H., Sun Y. Analysis and parameter estimation of nonlinear systems with Hammerstein model using Taylor series approach // IEEE Trans. Circuits and Syst. 1988. Vol. CS-35, N 12. P. 1539-1541.

72. Collomb G., Hardle W. Strong uniform convergence rates in robust nonparametric time series analysis and prediction: Kernel regression estimation from dependent observations // Stochastic Processes Appl. 1986. Vol. 23, N 1. P. 77-89.

73. De Boer E. Cross-correlation function of a bandbass nonlinear network // Proc. IEEE. 1976. Vol. 64, N 9. P. 1443-1446.

74. De Gooijer J. G., Stoica P. Min-max optimal instrumental variable estimation method for multivariate linear time-series systems//Int. J. Control. 1989. Vol. 50, N3. P. 955-976.

75. De Koning W.L. Optimal estimation for linear discrete-time systems with stochastic parameters // Automática. 1984. Vol. 20, N 1. P. 113-115.

76. den Brinker A.C. A comparison of results from parameter estimations of impulse responses of the transient visual system//Biol. Cybern. 1989. Vol. 61. P. 139151.

77. Devroye L., Krzyzak A. An equivalence theorem for LI convergence of the kernel regression estimate // J. Statist. Planning and Inference. 1989. Vol. 23, N l.P. 71-82.

78. Devroye L., Wagner T.J. On the LI convergence of the kernel estimators of regression function with applications in discrimination // Z. Wahrscheinlichkeitstherie ver. Gebiete. 1980. Vol. 51. P. 18-25.

79. Durgary an I.S., Pashchenko F.F. Non-parametric identification of non-linear systems // Proc. of the 7th IFAC/IFORS Symposium on Identification and System Parameters Estimation. New York, 1985. Vol. 1. P. 433-437.

80. Durgaryan I.S., Pashchenko F.F. Correlation methods for nonlinear identification // Second IFAC Symposium on Stochastic Control. Preprints / Moscow, 1986. Part l.P. 105-109.

81. Falkner A.H. Identification of the system compressing a dynamic linear element embedded between static nonlinear elements // Systems Science. 1985. Vol. 11, N l.P. 5-12.

82. Falkner A.H. Pulse-response evaluatuion of a non-linear system // Int. J. Control. 1986. Vol. 43, N 5. P. 1487-1495.

83. Falkner A.H. Iterative technique in the identification of a non-linear system // Int. J. Control. 1988. Vol. 48, N 1. P. 385-396.

84. Finigan B.M., Rowe I.H. Strongly consistent parameter estimamation by the introduction of strongly instrumental variables // IEEE Trans. Autom. Control. 1974. Vol. AC-19.P. 825-831.

85. Friedlander B. The overdetermined recursive instrumental variable estimation method // IEEE Trans. Autom. Control. 1984. V. AC-29. N 4. P. 353-356

86. Gallman P.G. An iterative method for the identification of nonlinear systems using a Hammerstein model // IEEE Trans. Automat. Control. 1975. Vol. AC-20, N6. P. 771-775.

87. Gallman P.G. A comparison of two Hammerstein model identification algorithms // IEEE Trans. Automat. Control. 1976. Vol. AC-21, N 1. P. 124-126.

88. Gardiner A.B. Identification of processes containing single-valued nonlinearities //Int. J. Control. 1973. Vol. 17,N5. P. 1029-1039.

89. Gebelein H. Das statistiche problem der korrelation als variations und eigenwertproblem und sein Zusammenhang mit der ausgleichungsrechnung. Z. Angew. Math. Mech. 1941. Vol. 21. P. 364-379.

90. Georgiev A. Nonparametric system identification by kernel methods // IEEE Trans. Automat. Control. 1984. Vol. AC-29, N 4. P. 356-358.

91. Goodwin G.C., Salgado M.E. A stochastic embedding approach for quantifying uncertainty in the estimation of restricted complexity models // Int. J. Adaptive Control and Signal Processing. 1989. Vol. 3. P. 333-356.

92. Goodwin G.C., Gevers M., Ninnes B. (1992) Quantifying the error in estimated transfer functions with applications to model order selection // IEEE Trans. Automat. Control. 1992. Vol. AC-37. P. 913-928.

93. Greblicky W. Non-parametric orthogonal series identification of Hammerstein systems // Int. J. Systems Sci. 1989. Vol. 20, N 9. P. 2355-2367.

94. Greblicki W. Nonparametric identification of Wiener systems // IEEE Trans. Inform. Theory. 1992. Vol. IT-38, P. 1487-1493.

95. Greblicky W., Krzyzak A. Non-parametric identification of a memoryless system with cascade structure // Int. J. Systems Sci. 1979. Vol. 10, P. 1301-1310.

96. Greblicky W., Krzyzak A. Asymptotic properties of kernel estimate of a regression function // J. Statist. Planning and Inference. 1980. Vol. 4, N l.P. 8190.

97. Greblicki W., Krzyzak A., Pawlak M. Distribution-free pointwise consistency of kernel regression estimate //Ann. Statist. 1984. Vol. 12, N 4. P. 1570-1575.

98. Greblicki W., Pawlak M. Fourier and Hermite series estimates of regression function//Ann. Inst. Statist. Math. 1985. Vol. 37. P. 443-459.

99. Greblicki W., Pawlak M. Identification of discrete Hammerstein systems using kernel regression estimates // IEEE Trans. Automat. Control. 1986. Vol. AC-31, N l.P. 74-77.

100. Greblicki W., Pawlak M. Necessary and sufficient conditions for a recursive kernel classification rules // IEEE Trans. Inform. Theory. 1987. Vol. IT-33, N 2. P. 408-412.

101. Greblicki W., Pawlak M. Hammerstein system identification by nonparametric regression estimation // Int. J. Control. 1987. Vol. 45. P. 343-354.

102. Greblicki W., Pawlak M. Nonparametric identification of Hammerstein systems //IEEE Trans. Inform. Theory. 1989. Vol. IT-35, N 2. P. 409-418.

103. Greblicki W., Pawlak M. Recursive nonparametric identification of Hammerstein systems // J. Franklin Institute. 1989. Vol. 326, N 4. P. 461-481.

104. Greblicki W., Pawlak M. Nonparametric identification of a cascade nonlinear time series systems // Signal Processing. 1991. Vol. 22, N 1. P. 61-75.

105. Greblicki W., Pawlak M. Nonparametric identification of a particular nonlinear time series system // IEEE Trans. Signal Processing. 1992. Vol. SP-40. P. 985989.

106. Greblicki W., Pawlak M. Dynamic system identification with order statistics // IEEE Trans. Inform. Theory. 1994. Vol IT-40.

107. Gyorfy L., Hardle W., Sarda P., Vieu P. Nonparametric curve estimation from time series. Lecture Notes in Statistics. N.Y.: Springer, 1989. Vol. 60.

108. Haber R., Keviczky L. Identification of linear systems having signal depending parameters // Int. J. Systems Sci. 1985. Vol. 16. P. 869-884.

109. Haber R., Unbehauen H. Structure identification of nonlinear systems - a survey on input-output approaches // Automatica. 1990. Vol. 26. N 4. P. 651-677.

110. Haddad A.H., Thomas J.B. On optimal and suboptimal nonlinear filters for for discrete inputs // IEEE Trans. Inform. Theory. 1968. Vol IT-14, N 1. P. 16-21.

111. Hadidi M.T., Schwartz S.C. Linear recursive state estimator under uncertain observations // IEEE Trans. Autom. Control. 1979. Vol. AC-24, N 11. P. 944948.

112. Haist N.D., Chang F.U.I., Luus R. Nonlinear identification in the presence of a correlated noise using a Hammerstein model // IEEE Trans. Automat. Control. 1973. Vol. AC-18, N 5. P. 525-555.

113. Hall C.F., Hall E.E. A nonlinear model for the spatial characteristics of the human visual system // IEEE Trans. Syst. Man Cybern. 1977. Vol. SMC-7. P. 161-170.

114. Hongxin Li, Cangpu Wu New algorithm for parameter identification based on the RLS algorithm // SYSID'94 (ed M. Blanke and T. Soderstrom), Preprints of the 10th IF AC Symposium on System Identification, Copenhagen, Denmark, 1994. Tekst og Tryk A/S, Copenhagen, 1994. Vol. 3. P. 435-440.

115. Hung G., Stark. L. The kernel identification method (1910-1977): Review of theory, calculation, application, and interpretation // Math. Biosci. 1977. Vol. 37. P. 135-190.

116. Hunter I.W., Korenberg M.J. The identification of nonlinear biological systems: Wiener and Hammerstein cascade models // Biol. Cybern. 1986. Vol. 55. P. 135144.

117. Hwang Chyi, Shyn Kuo-Kai Series expansion approach to the analysis and identification of discrete Hammerstein systems // Int. J. Control. 1988. Vol. 57, N 6. P. 1961-1972.

118. Jiang Z.H. Block pulse function approach for the identification of Hammerstein model non-linear systems // Int. J. Systems Sci. 1988. Vol. 19, N 12. P. 24272439.

119. Jacobs O.L.R. Recursive estimation for nonlinear Wiener systems by online implementation of Bayes rool // Trans. Inst. Meas. Contr. 1985. Vol. 7. P. 245250.

120. Jacobs O.L.R. Gaussian approximation in recursive estimation of multiple states of nonlinear Wiener systems // Automatica. 1988. Vol. 24. P. 243-247.

121. Jacobs O.L.R., Badran W.A., Proudfoot C.G., While C. On controlling pH // Proc. IEE. PartD. 1987. Vol. 134. P. 196-200.

122. Jacobs O.L.R., Bullingham R.E.S., Lannor P., Mcquay H.J., O'Sallivan G., Reasbeck M.P. Modelling, estimation and control in the relief of post-operative pain // Automatica. 1985. Vol. 21, N 2. P. 349-360

123. Johansen T.A., Foss B.A. A NARMAX model representation for adaptive control based on local models // Modell., Ident. Control. 1992. Vol. 13, N 1. P. 25-40.

124. Johansen T.A., Foss B.A. Constructing NARMAX models using ARMAX models // Int. J. Control. 1993. Vol. 58. P. 1125-1153.

125. Johansen T.A., Foss B.A. Identification of non-linear system structure and parameters using regime decomposition // 10th IF AC Symposium on System Identification. 4-6 July 1994. Preprints, 1994. Vol. 1. P. 131-136.

126. Kimeldorf G., Sampson A. Monotone dependence // The Annals of Statistics. 1978. Vol. 6, N4. P. 895-903.

127. Korenberg M. Cross-correlation analysis of neural cascades // Proc. 10th Ann. Rocky Mountains Bioeng. Symp. (edited by D. Dick), 1977. P. 47-52.

128. Korenberg M.J. Identifying nonlinear difference equation and functional expansion representation: The fast orthogonal algorithm // Ann. Biomed. Eng. 1988. Vol. 16. P. 123-142 (Special issue on nonlinear modeling of physiological systems).

129. Korenberg M.J., Billings S.A., Liu Y.P., Mcllroy P.J. Orthogonal parameter estimation algorithm for non-linear stochastic systems // Int. J. Control. 1988. Vol. 48, N l.P. 193-210.

130. Korenberg M.J., Bruder S.R., Mcllroy P.J. Exact orthogonal kernel estimation from ginite data records: Extending Wiener's identification of nonlinear system // Ann. Biomed. Eng. 1988. Vol. 16. P. 201-214 (Special issue on nonlinear modeling of physiological systems).

131. Korenberg M.J., Hunter I.W. The identification od nonlinear biological systems: LNL cascade models // Biol. Cybern. 1986. Vol. 55. P. 125-134.

132. Kortmann M., Unbehauen H. Structure detection in the identification of nonlinear systems // APII. 1986. Vol. 20, N 5. P. 433-543.

133. Kosut R.L., Lau M.K., Boyd S.P. Set membership identification of systems with parametric and nonparametric uncertainty // IEEE Trans. Automat. Control. 1992. Vol AC-37. P. 929-941.

134. Krzyzak A. The rates of convergence of kernel regression estimate and classification rools // IEEE Trans. Inform. Theory. 1986. Vol. IT-32, N 5. P. 662679.

135. Krzyzak A. Identintification of discrete Hammerstein systems by the Fourier series regression estimate // Int. J. Systems Sci. 1989. Vol. 20, N 9. P. 17291744.

136. Krzyzak A. On estimation of a class of nonlinear systems by the kernel regression estimate // IEEE Trans. Inform. Theory. 1990. Vol. IT-36. N 1. P. 141-152.

137. Krzyzak A. Global convergence of the recursive kernel regression estimates with applications in classification and nonlinear system estimation // IEEE Trans. Inform. Theory. 1992. Vol. IT-38. N 1. P. 1323-1338.

138. Krzyzak A. Identification of nonlinear block-oriented systems by the recursive kernel estimate // J. Franklin Institute. 1993. Vol. 330, N 3. P. 605-627.

139. Krzyzak A. Identification of nonlinear systems by recursive kernel regression estimates // Int. J. Systems Sci. 1993. Vol. 24.

140. Krzyzak A., Pawlak M. Distribution-free consistency of a nonparametric kernel regression estimate and classification // IEEE Trans. Inform. Theory. 1984. Vol. IT-30,N l.P. 78-81.

141. Kung M.C., Womack B.F. Discrete time adaptive control of linear dynamic systems with a two-segment piecewise-linear asymmetric nonlinearity // IEEE Trans. Automat. Control. 1984. Vol. AC-29, N 2. P. 170-173.

142. Kung M.C., Shih D.H. Analysis and identification of Hammerstein and nonlinear delay systems using block-pulse function expansions // Int. I. Control. 1986. Vol. 43, N l.P. 139-147.

143. Lee Y.W., Schetzen M. Measurement of the Wiener kernels of a nonlinear system by cross-correlation // Int. J. Control. 1965. Vol. 2, N 1. P. 237-254.

144. Leithead W.E. A systematic approach to linear approximation of non-linear systems. Part 1: Asymptotic expansions // Int. J. Control. 1990. Vol. 51, N 1. P. 71-91.

145. Leithead W.E. A systematic approach to linear approximation of non-linear systems. Part 2: A filtering hypthesis // Int. J. Control. 1990. Vol. 51, N 1. P. 91117.

146. Leontaritis I.J., Billings S.A. Input-output parametric models for non-linear systems. Part I: Deterministic non-linear systems // Int. J. Control. 1985. Vol. 41, N. 2. P. 303.

147. Leontaritis I.J., Billings S.A. Input-output parametric models for non-linear systems. Part II: Stochastic non-linear systems // Int. J. Control. 1985. Vol. 41, N. 2. P. 344.

148. Leontaritis I.J., Billings S.A. Model selection and validation methods for nonlinear systems //Int. J. Control. 1987. Vol. 45. P. 311-341.

149. Leontaritis I.J, Billings S.A. Prediction error estimator for non-linear stochastic systems // Int. J. System Sci. 1988. Vol. 19, N 4. P. 514-536.

150. Ljung L. On positive real transfer functions and the convergence of some recursive schemes // IEEE Trans. Automat.Control. 1977. Vol AC-22, N 4. P. 539-550.

151. Ljung L. Analysis of recursive stochastic algorithms // IEEE Trans. Automat. Control. 1977. Vol AC-22, N4. P. 551-575.

152. Ljung L. Asymptotic variance expressions for identified black-box transfer function models // IEEE Trans. Automat. Control. 1985. Vol AC-30. P. 834-844.

153. Ljung L., Soderstrom T. Theory and Practice of Recursive Identification. Cambridge, MA: M.I.T. Press, 1983.

154. Martinez A.B., Swaszek P.F., Thomas J.B. Locally optimal detection in multivariate non-Gaussian noise // IEEE Trans. Inform. Theory. 1984. Vol. IT-30. P. 815-822.

155. Manzhirov A.V., Polyanin A.D. Handbook of integral equations. CRC Press LLC, 1998.

156. McCannon T.E., Gallagher W.C. On a class of random processes exhibiting optimal nonlinear one-step predictors // IEEE Trans. Inform. Theory. 1981. Vol. IT-27, N 3. P. 652-654.

157. McCannon T.E., Gallagher N.C., Minoo-Hamedani D., Wise G.L. // IEEE Trans. Inform. Theory. 1982. Vol IT-28, N 2. P. 366-371.

158. Miller J.U., Thomas J.B. Detectors for discrete-time signals in non-Gaussian noise // IEEE Trans. Inform. Theory. 1972. Vol IT-18, N 2. P. 241-250.

159. Monzingo R.A. Discrete optimal linear smoothing for systems with uncertain observations // IEEE Trans. Inform. Theory. 1975. Vol. IT-27, N 3. P. 247-250.

160. Narendra K.S., Gallman An iterative method for the identification of nonlinear systems using the Hammerstein model//IEEE Trans. Automat. Control. 1966. Vol. AC-11, N 7. P. 546-550.

161. Niedzwiecki M. On a method of identification of nonlinear static characteristic of a Hammerstein system // Arch. Automat. Telemech. 1980. Vol. 25, N 1. P. 5162.

162. Pajunen G.A. Application of a model reference adaptive technique to the identification and control of a Wiener type nonlinear process. Acta Polytechnica Scandinavica. Electrical Engineering Series. N 52. Helsinki, 1984.

163. Pajunen G.A. Adaptive control of Wiener type nonlinear systems // Automatica. 1992. Vol. 28, N4. P. 781-785.

164. Pashchenko F.F., Chernyshov K.R., Il'yukov V.D. Recurrent estimation algorithms in power reactor diagnostics // Proc. of COMADEM 91: The Third International Congress on Condition Monitoring and Diagnostic Engineering Management held at Southampton Institute, 2-4 July 1991. Bristol: Adam Hilger, 1991. P. 360-364.

165. Pashchenko F.F., Chernyshov K.R. Deriving recursive identification algotithms for model-based fault detection and isolation approaches // Proc. of COMADEM 93: The Fifth International Congress on Condition Monitoring and Diagnostic Engineering Management held at University of West England, 21-23 July 1993. Bristol: Adam Hilger, 1993. P. 7-12.

166. Pawlak M. On series expansion approach to the identification of Hammerstein systems // IEEE Trans. Automat. Control. 1991. Vol. 36, N 6. P. 763-767.

167. Pawlak M., Greblicki W. Nonlinear system identification with the help of order statistics // 10th IF AC Symposium on System Identification. 4-6 July 1994. Preprints, 1994. Vol. l.P. 157-161.

168. Pheiffer R.R. A model for two-tone inhibition of single Cochlear-nerve fibres // J. Acoust. Soc. Am. 1970. Vol.48. P. 1373-1378.

169. Robinson P.M. Robust nonparametric regression // Robust and nonlinear time series analysis (J.R. Franke, ed.), Lecture Notes in Statistics. N.Y.: Springer, 1984. Vol. 26.

170. Robinson P.M. On the consistency and finite-sample properties of nonparametric kernel time-series regression, auto-regression and density estimators // Ann. Inst. Statist. Math. Part A. 1986. Vol. 38. P. 539-549.

171. Reardon D., Leithead W.E. Statistical linearization: a comparative study // Int. J. Control. 1990. Vol. 52, N 5. P. 1083-1105.

172. Renyi A. New version of the probabilistic generalization of the large sieve // Acta Math. Hung. 1959. Vol. 10, N 1-2. P. 217-226.

173. Renyi A. On measures of dependence // Acta Math. Hung. 1959. Vol. 10, N 3-4. P. 441-451.

174. Sandberg I.W. Series expansions for nonlinear systems // Circuits, Syst. Signal Processing. 1983. Vol. 2, N 1. P. 77-87.

175. Sandberg I.W. Approximation theorems for discrete-time systems // IEEE Trans. Circuits and Systems. 1991. Vol. CAS-38. P. 564-566.

176. Sawchuk A.A., Strand T.C. (1982) Fourier optics in nonlinear image processing // Applications of Optical Fourier Transforms / H. Stark, Ed. New York: Academic, 1982. P. 371-429.

177. Schetzen M. Measurements of the kernels of a nonlinear system of finite order // Int. J. Control. 1965. Vol. 2, N 1. P. 251-263.

178. Seidel D.K., Davies P. Modelling nonlinear systems by using nonlinear autoregressive moving average models // ICASSP'90.: Int. Conf. Acoust., Speech, and Signal Proc., Albuquerque, N.M., Apr. 3-6, 1990. Vol. 5. New York (N.Y.), 1990. P. 2539-2562.

179. Soderstrom T. Ergodicity results for sample covariances // Problems of Control and Informion Theory. 1975. Vol. 4, N 2. P. 131-138.

180. Soderstrom T., Stoica P.G. Instrumental variable methods for system identification. New York: Springer-Verlag, 1983. 243 p.

181. Soderstrom T., Stoica P. On the generic consistency of instrumental variable estimates // Proceedings of the Ninth Triennial World Congress of IF AC. Budapest, Hungary, 2-6 July 1984. Oxford: Pergamon Press, 1985. Vol. 2. P. 603-607.

182. Soderstrom T., Stoica P. System Identification. Hemel Hempstead, U.K.: Prentice-Hall International, 1989.

183. Soderstrom T., Stoica P., Trulsson E. Instrumental variable methods for closed loop systems // 10th IF AC World Congress on Automatic Control. Munich, FRG, July 27-31, 1987. Preprints, 1987. Vol. 10. P. 364-369.

184. Stapleton J.C., Bass S.C. Adaptive noise cancellation for a class of nonlinear dynamic reference channales // IEEE Trans. Circuits Systems. 1985. Vol. CAS-32, N 2. P. 143-150.

185. Stone C. Optimal rates of convergence for nonparametric estimators // Ann. Statist. 1980. Vol. 8. P. 1348-1360.

186. Stone C. Optimal global rates of convergence for nonparametric regressions // Ann. Statist. 1982. Vol. 10. P. 1040-1053.

187. Stoica P. On the convergence of an iterative algorithm used for Hammerstein system identification // IEEE Trans. Autom. Control. 1981. Vol. AC-26. P. 967969.

188. Stoica P., Nehorai A. Non-iterative optimal min-max instrumental variable method for system identification // Int. J. Control. 1988. Vol. 47, N 6. P. 17591769.

189. Stoica P., Soderstrom T. Instrumental variable for identification of Hammerstein systems // Int. J. Control. 1982. Vol. 35. P. 458-476.

190. Stoica P., Soderstrom T. Optimal instrumental variable estimation and approximate implementations // IEEE Trans. Autom. Control. 1983. Vol. AC-28, N7. P. 757-772.

191. Stoica P., Soderstrom T. Optimal instrumental variable methods for identification of multivariable linear systems // Automatica. 1983. Vol. 19, N 4. P. 425-429.

192. Thatachar M.A.L., Ramaswamy S. Identification of a class of nonlinear systems //Int. J. Control. 1973. Vol. 18. P. 741-752.

193. Unbehauen H., Rao G.P. Identification of continuous systems. Amsterdam: North-Holland, 1987. North-Holland Systems and Control Series. Vol. 10. 378 p.

194. Wahlberg В., Ljung L. Design variables for bias distribution in transfer function estimation // IEEE Trans. Automat. Control. 1986. Vol AC-31, N 1. P. 131-144.

195. Wahlberg В., Ljung L. Hard frequency-domain model error bounds from least-squres like identification techniques // IEEE Trans. Automat. Control. 1992. Vol AC-37. P. 900-912.

196. Watson G.S. Smooth regression analysis // Sankhya. Ser. A. 1964. Vol. 26. P. 355-372.

197. Wigren T. Recursive identification based on nonlinear Wiener model. Uppsala. Acta Univ. Ups., Uppsala Dissertations from the Faculty of Science, 1990. Vol. 31.243 p.

198. Wigren T. Recursive prediction errror identification using the nonlinear Wiener model//Automatica. 1993. Vol. 29, N 4. P. 1011-1025.

199. Yakowitz S. Nonparametric density estimation, prediction and regression for Markov sequences // J. Amer. Statist. Assoc. 1985. Vol. 80, N 389. P. 215-221.

200. Yasui S. Stochastic functional Fourier series, Volterra series, and nonlinear systems analysis // IEEE Trans. Automat. Control. 1979. Vol. AC-24, N 4. P. 230-242.

201. Yeng-Min Chen, Yung-Chun Wu Modified recursive least-squares algorithm for parameter identification//Int. J. Systems Sci. 1992. Vol 23. P. 187-205.

202. Yuen W.L. Pseudorandom signals as separable processes // Int. J. Control. 1973. Vol. 17. P. 1211-1216.

203. Zhu Q.M., Billings S.A. Recursive parameter estimation for nonlinear rational models // Journal of System Engineering. 1991. Vol. 1, N 1. P. 63-67.

204. Zhu Q.M., Billings S.A. Parameter estimation for stochastic nonlinear rational models // Int. J. Control. 1993. Vol. 57, N 2. P. 309-333.

205. Zhu Q.M., Billings S.A. Identification of polynomial and rational NARMAX models // 10th FAC Symposium on System Identification. 4-6 July 1994. Preprints, 1994. Vol. 1. P. 295-300.