Асимптотические свойства оценок параметров стохастических дискретных динамических систем тема диссертации и автореферата по ВАК РФ 05.13.02, кандидат физико-математических наук Лепский, Олег Витальевич

• Лепский, Олег Витальевич
• кандидат физико-математических наук
• 1984

Оглавление диссертации кандидат физико-математических наук Лепский, Олег Витальевич

Введение

1. Дискретные динамические модели

1.1. Асимптотические свойства оценок параметров в моделях авторегрессии-скользящего среднего

1.2. Особенности представления временных рядов обобщенными схемами авторегрессии и постановки задач .II

1.3. Существование и измеримость оценок

2. Оценивание параметров в обобщенных авторегрессионных схемах

2.1. Устойчивый случай

2.2. Неустойчивый случай (состоятельность)

2.3. Неустойчивый случай (предельное распределение)

2.4. Доказательство вспомогательных утверждений

3. Асимптотическая эффективность оценок и прогноз при нормальных шумах

3.1. Асимптотическая эффективность оценок

3.2. Асимптотическая эффективность прогноза

3.3. Доказательство вспомогательных утверждений

4. Оценивание параметров в нелинейной авторегрессии

4.1. Неустойчивый случай

4.2. Устойчивый случай

4.3. Доказательство вспомогательных утверждений

Введение диссертации (часть автореферата) на тему «Асимптотические свойства оценок параметров стохастических дискретных динамических систем»

Актуальность проблемы. Параметрические модели находят широкое применение при решении различных задач, связанных в временными рядами, главным образом, для прогнозирования и автоматического регулирования, Как отмечалось в [4,5] , примерами таких задач могут быть оценивание передаточной функции линейного фильтра, выработка стратегии оптимального управления, проектирование простых схем управления с прямой и обратной связью.

Одними из наиболее часто используемых для анализа временных рядов параметрическими моделями являются модели авторегрессии-сколь-зящего среднего (AFCC), т.е. линейные разностные уравнения с постоянными коэффициентами и случайной правой частью (шумом). Однако применение этих моделей ограничено следующими обстоятельствами. Во-первых, на всем интервале наблюдения реальная система описывается одной и той же моделью. Во-вторых, наблюдения проведены в равноотстоящие моменты времени. В-третьих, параметры разностного уравнения не связаны с параметрами шума.

На многие модели, в том числе и на модели АРСС, можно смотреть как на дискретные динамические системы, подвергающиеся случайным воздействиям (шумам). В[задачах, возникающих, например, в эконометрике, естественно предполагать, что на разных интервалах наблюдения эти динамические системы различны, а их параметры связаны с параметрами шума. К таким моделям приводят, например, наблюдения над объектами, описываемыми стохастическими дифференциальными уравнениями в дискретные моменты времени, модели авторегрессионного типа при пропущенных и неравноотстоящих наблюдениях.

Модели, о которых шла речь выше - линейные. В практических задачах часто приходится сталкиваться с временными рядами, описываемыми нелинейными моделями. Общего математического аппарата для решения подобных задач в настоящее время не существует. При изучении этих моделей вид нелинейности предполагается известным £21,36,39] • С другой стороны бывает естественным предположение о малости, в том или ином смысле, случайных возмущений. Задача изучения малых случайных возмущений динамических систем ставилась в работах [3,15] • Эффективность использования параметрических моделей для описания динамических систем в значительной мере зависит от уровня разработанности методов оценивания и исследования статистических свойств оценок их параметров.

Б связи с вышесказанным, актуальными являются рассматриваемые в настоящей работе проблемы.

1. Обоснование и описание нового, более широкого по отношению к моделям АРСС, класса линейных параметрических моделей.

2. Исследование асимптотических свойств оценок параметров этих моделей, а именно, состоятельности, предельного распределения, асимптотической эффективности.

3. Прогнозирование временного ряда, порожденного введенным классом моделей.

4. Получение и исследование статистических свойств оценок параметров нелинейных динамических систем, подвергающихся малым случайным воздействиям.

Предмет исследования - оценивание параметров и прогноз при зависимых наблюдениях авторегрессионного типа.

Цель исследования состоит в развитиии раздела теории статистического оценивания в дискретных динамических системах, подвергающихся случайным воздействиям.

Теоретической и методологической основой работы служат:

- анализ временных рядов,

- асимптотические методы математической статистики.

Научная новизна. Рассмотрен новый класс линейных параметрических моделей для анализа временных рядов. Для оценивания параметров этих моделей предложено использовать широко распространенные методы: метод наименьших квадратов (МНК) и гауссовы оценки [38,52] . Доказана состоятельность этих оценок и найдено предельное распределение.

Доказано, что предложенные оценки являются асимптотически наилучшими (эффективными) среди всех оценок и найдена нижняя граница для предельного риска при условии, что вектор наблюдений распределен нормально.

Рассмотрен вопрос о прогнозировании временного ряда, порожденного введенным классом моделей. Доказано, что предложенный в работе прогноз является асимптотически наилучшим среди всех прогнозов при условии, что вектор наблюдений распределен нормально.

Для нелинейных стохастичнских разностных уравнений предложена оценка их параметров и доказана её состоятельность в предположении малости шума.

Апробация работы. Результаты работы докладывались на научных семинарах БНИИСИ ГКНТ и АН СССР, на Советско-французском симпозиуме по прикладной математической статистике / г. Сочи, 1982 г./, на 7-ой Всесоюзной конференции по планированию эксперимента в научных исследованиях / г.Москва, 1883 г./, на 5-ой конференции молодых ученых БНИИСИ / г; Москва, 1982 г./, на семинаре "Многомерный статистический анализ и моделирование реальных процессов" в ЦЭМИ АН СССР, на семинаре "Планирование эксперимента и анализ данных", проводимом совместно МГУ им. М.В.Ломоносова и Научным советом по комплексной проблеме "Кибернетика" АН СССР.

Апробация диссертации в целом проводилась на семинаре направления "Математические методы в системных исследованиях" ЕНИИСИ ГКНТ и Ш СССР. По материалам диссертации опубликованы 3 научные работы [11,12 ДЗ] .

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения и библиографического списка, включающего 61 наименование. Текст изложен на 92 страницах машинописного текста. В первой главе работы приведен обзор публикаций, близких к теме диссертации, предложен новый класс параметрических моделей - обобщенных авторегрессионных схем - для анализа временных рядов, введены понятия устойчивости и неустойчивости этих моделей и сформулированы постановки задач диссертации.

Заключение диссертации по теме «Теория систем, теория автоматического регулирования и управления, системный анализ», Лепский, Олег Витальевич

ЗАКЛЮЧЕНИЕ

1. Предложен новый класс линейных параметрических моделей -обобщенных авторегрессионных схем - для анализа временных рядов. Введены понятия устойчивости и неустойчивости этих моделей. Для оценивания параметров устойчивых обобщенных авторегрессионных схем предложено использовать гауссовы оценки; доказана их слабая состоятельность. Для оценивания параметров неустойчивых обобщенных авто-регрессионныз схем предложено использовать оценки метода наименьших квадратов; доказана их сильная состоятельность и найдено предельное распределение нормированного отклонения этих оценок от истинного значения.

2. Получены асимптотически минимаксные границы рисков произвольных оценок параметров неустойчивых обобщенных авторегрессионных схем и доказана асимптотическая эффективность оценки максимального правдоподобия при условии, что вектор наблюдений распределен нормально.

3. Рассмотрен вопрос о прогнозировании временного ряда, порожденного неустойчивой обобщенной авторегрессионной схемой, в ситуации, когда истинные значения параметров неизвестны. Получены асимптотически минимаксные границы рисков для произвольных прогнозов и доказана асимптотическая эффективность предложенного прогноза при условии, что вектор наблюдений распределен нормально.

4. Для нелинейных стохастических разностных уравнений предложена оценка их параметров и доказана её состоятельность в предположении малости случайных возмущений.

Список литературы диссертационного исследования кандидат физико-математических наук Лепский, Олег Витальевич, 1984 год

1. Альтшулер С.В, Методы оценки параметров процессов авторегрессии-скользящего среднего.- Автоматика и телемеханика, 1982,8, с. 5-18.

2. Андерсон Т. Статистический анализ временных рядов.- М.: Мир, 1976.- 760 с.

3. Благовещенский Ю.Н., Фрейдлин М.И. Некоторые свойства диффузионных процессов, зависящих от параметра.- ДАЙ СССР, 1961, 138 , 3, с. 508-511.

4. Бокс Дж., Дженкинс Г. Анализ временных рядов.- М.: Мир, 1974.200 с.

5. Бокс Дк., Дженкинс Г. Анализ временных рядов. Прогноз и управление.- М.: Мир, 1974.- 480 с.

6. Вентцель А.Д., Фрейдлин М.И. Флуктуации в динамических системах под действием малых случайных возмущений.- М.: Наука, 1979.424 с.

7. Воеводин В.В. Вычислительные основы линейной алгебры.- М.: Наука, 1977.- 303 с.

8. Гантмахер Ф.Р. Теория матриц.- М.: Наука, 1966.- 576 с.

9. Гельфонд А.О. Исчисление конечных разностей.- М.: Наука, 1967.376 с.

10. Ибрагимов И.А., Хасьминский Р.З. Асимптотическая теория оценивания.- М.: Наука, 1979.- 528 с.

11. Лепский О.В. Оценивание параметра в обобщенной схеме авторегрессии.- В сб.: Методы исследования сложных систем. Труды конференции молодых ученых.- М.: БНИИСИ, 1983, с. 24-29.

12. Лепский О.В. Асимптотические свойства оценок параметров обобщенной авторегрессионной схемы в неустойчивом случае.- В сб.: Проблемы устойчивости стохастических моделей.Труды семинара.-М.:1. ВНИИСИ, 1983, с. 61-71.

13. Лепский О.В., Федоров В.В. Оценивание параметра в нелинейной авторегрессии при малых шумах.- В кн.: Тезисы докладов 7-ой Всесоюзной конференции по планированию эксперимента в научных исследованиях.- М.: МЭИ, 1983, с. 54-55.

14. Острем К. Введение в стохастическую теорию управления.- М.: Мир, 1973.- 324 с.

15. Понтрягин Л.С., Андронов А.А., Витт А.А. О статистическом рассмотрении динамических систем.- ЖЭТФ, 1933, 3, №3, с. 165-180.

16. Слуцкий Е.Е. Сложение случайных величин, как источник циклических процессов.- Вопросы конъюнктуры, 1927, 3, ЖЕ, с. 34-64.

17. Хеннан Э. Многомерные временные ряды.- ГЛ.: Мир,' 1974.- 576 с.

18. Хеннекен П.Л., Тортра А. Теория вероятностей и некоторые её приложения.- М.: Наука, 1974.- 472 с.

19. Феллер В. Введение в теорию вероятностей и её приложения.- М.: Мир, 1967, т. 2,- 752 с.

20. Эйкхофф П. Основы идентификации систем управления.- М.: Мир, 1975.- 688 с.

21. Aase К.К. Recursive estimation in nonlinear time series models of autoregressive type.- J.R.Statist.Soc., 1982, B44.

22. Anderson T.W. On asymptotic distribution of estimate of parameter of stochastic difference equation.- Ann.Math.Statist., 1959, 30, pp. 676-687.

23. Anderson T.W. The integral of symmetric unimodal function.-Proc.Amer.Math.Soc., 1955, 6, pp. 170-176.

24. Aoki M., Yue P.O. On certain convergence questions in system identification.- SIAM J. Control, 1970, 2, 8, pp. 239- 256.

25. Dickey D.A., Puller V/.A. Distribution of the estimators forautoregressive time series with unit roots.- Ann.Statist., 1979, 5, pp. 428-441.

26. Durbin J. Efficient estimation of parameters in moving-average models.- Biometrica, 1959, 46, pp. 306-316.

27. Durbin J. Estimation of parameters in the time series regression models.- J.R.Stat.Soc., 1960, 22, pp. 139-153.

28. Dunsmuir W., Hannan E.J. Vector linear time series models.-Adv. of App. Prob., 1976, 8, pp. 339-364.

29. Dunsmuir W., Robinson P.M. Parametric estimation for stationary time series with missing observations.- Adv. of App. Prob., 13, 1, 1981, pp. 128-146.

30. Pu-Wu C. Asymptotic theory of nonlinear least squares estimation.- Ann. Stat. , 1981, 9, 3, pp. 501-513.

31. Hajek J. Local asymptotic minimax and admissibility in estimation.- In: Proc. Sixth Bercley Symp. on Math. Statist, and Prob., 1972, 1, pp. 175-194.

32. Jennrich R.I. Non-linear least square estimators.- Ann. Math. Stat., 1969, 10, pp. 633-643.

33. Kailath I. Some alternative in recursive estimation.- Internat. J.Control, 1980, 32, pp. 311-329.

34. Kavashima H. Parameter estimation of autoregressive integrated processes by least squares.- Ann.Stat., 1980, 8, pp. 921-930.

35. Kohn R. Asymptotic estimation and hypothesis testing results for vector linear time series models.- Econometrica, 1979»47, pp. 1005-1030.

36. Kushner H.J. Convergence of recursive adaptive and identification procedure via weak convergence theory.- IEEE Trans. Automatic Control, 1977, AC-22, pp. 921-930.

37. Lai Т.Ъ., Wei C.Z. Asymptotic properties of general autoregre-sive models and strong consistency of least-squares estimate of their parameters.- Jour, of Mult. Analis., 1983, 13, pp. 1-23.

38. Igung L. On positive real transfer function and the convergence of some recursive sceme.- IEEE Trans Automatic Control, 1977, AC-22, pp. 539-551.

39. Ljung L. Consistency of the least-squares identification method. IEEE Trans. Automatic Control, 1976, October, pp. 779-781.

40. Mann H.B., ?/ald A. On the statistical treatment of linear stochastic difference equations.- Econometrica, 1943, 11, РР* 173220.

41. Mayer-Kress G., Haken H. The influence of noise on logistic model.- J.Statist.Phys., 1981, 26, pp. 149-171.

42. McGiffin P.В., Murtty D.H. Parameter estimation for autoregressive system with missing observations.- Int.J.Syst.Ski., 1980,11, pt. 1, pp. 1021-1034.

43. McGiffin P.В., Murtty D.H. Parameter estimation for autoregressive system with missing observations.- Int.J.Syst.Ski,, 198O, pt. 2, pp. 657-663.

44. Moore J.B. On strong consistency of least squares identification algorithms.- Automatica, 1978, 14, PP. 505-509.

45. Muench T.J. Consistency of least squares estimates of coefficients of stohastic difference equations.- University of Minnesota, Economic Dept., Tech. Report.- 51 pp.

46. Posnyak A.S. Estimating the parameters of autoregression process by the method of least squares.- Int.J.Syst.Ski., 1980, 11, pp. 577-588.

47. Rao M.M. Consistency and limit distribution of estimators of the parameters in the explosive stochastic difference equations. Ann.Hath.Stat., 1961, 32, pp. 195-218.

48. Rao M.M. Covariance analisis of nonstationary time series.- In: Development and Statistic, Academic Press, New York, 1978, 1, pp. 171-225.

49. Rissanen J., Caines P.E. The strong consistency of maxsimum likelyhood estimators for ARM processes.- Ann.Stat., 1979, 7, pp. 297-315.

50. Robinson P.M. Estimation of a time series model from unequally spased data.- Stochastic Processes and Their Applications, 1977, 6, pp. 9-24.

51. Rubin H. Consistency of maxsimum likelyhood estimates in the explosive case.- In: Statistical Inference in Dynamic Economic Models, Wiley, New York, 1950, pp. 356-364.

52. Stigum R.P. Asymptotic properties of dynamic stochastic parameter estimates.- J.Mult.Analis., 1974, 4, pp. 351-381.

53. Tiao G.C., Tsay R.S. Consistency properties of least squares estimates of autoregressive parameters in ARMA models.- Ann. Stat., 1983, 11, 3, pp. 856-871.

54. Walker A.M. On the periodictly in series of related term.- Proc.

55. Roy.Soc. of London, 1931, A131, pp. 518-532.

56. Walker A.M. Large-sample estimation of parameters for autoregressive processes with moving average residuals,-Biometrica, 1962, 49, PP. 117-131.

57. White J.S. The limiting distribution of serai correlation coefficient in the explosive case.- Ann. Math. S t a-c., 1958, 29, pp. 11tt8-119Y.

58. Wold H.A. A study in the analisis of a stationary time series. Stockholm, Aimqrist and Wiksell, 1953.- 489 pp.

59. Yull G.U. On the method of investigation penodecties in disturbed series with special reference to Wolx'er^s sunsport numbers.- Philosophical Transaction, 1930, A226, pp. 267-298.