Адаптивное оптимальное прогнозирование многомерных процессов авторегрессионного типа с дискретным временем тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат наук Кусаинов Марат Ислямбекович

• Кусаинов Марат Ислямбекович
• кандидат наук
• 2015

Оглавление диссертации кандидат наук Кусаинов Марат Ислямбекович

Введение

1 Адаптивное оптимальное прогнозирование процесса УЛЯ(1)

с дискретным временем

1.1 Введение

1.2 Постановка задачи

1.3 Случай известной дисперсии шума

1.4 Случай неизвестной дисперсии шума

1.5 Выводы

2 Адаптивное оптимальное прогнозирование процесса УЯОЛ(1)

с дискретным временем

2.1 Введение

2.2 Постановка задачи

2.3 Основной результат

2.4 Выводы

3 Адаптивное оптимальное прогнозирование процесса УЛКМЛ(1,1)

с дискретным временем

3.1 Введение

3.2 Постановка задачи

3.3 Случай известных дисперсии шума и параметра скользящего среднего

3.4 Случай неизвестной дисперсии шума и известного параметра скользящего среднего

3.5 Случай известной ковариационной матрицы шума и неизвестного параметра скользящего среднего

3.6 Случай неизвестных ковариационной матрицы шума и параметра скользящего среднего

3.7 Выводы

4 Численное моделирование

4.1 Моделирование процедуры прогнозирования для процесса УЛЯ(1)

4.2 Моделирование процедуры прогнозирования для процесса УЯОЛ(1)

4.3 Моделирование процедуры прогнозирования для процесса УЛИМЛ(1,1)

4.4 Пример работы процедуры прогнозирования на реальных данных

4.5 Выводы

Заключение

Список обозначений

Список литературы

Приложение

Введение

Синтез и анализ моделей стохастических динамических систем - широко востребованная задача современной математики. Она возникает во многих отраслях, таких как экономика, социология, биология и многие другие естественные науки, где изучению подлежат объекты случайной природы. При этом одной из основных является задача идентификации и построения по имеющимся данным математической модели.

Данные зачастую представляются в виде временного ряда, когда наблюдения исследуемого случайного процесса доступны только в отдельные моменты времени. В число наиболее используемых линейных параметрических моделей, представляющих временной ряд как случайный процесс с дискретным временем, входят модель авторегрессии (AR), модель скользящего среднего и смешанная модель авторегрессии-скользящего среднего (ARMA). Такие модели своей структурой подразумевают зависимость наблюдений между собой - требование, естественное для реальных динамических систем.

Существуют различные подходы к оцениванию качества математической модели. Одним из основных является подход, предложенный Л. Льюн-гом в работах [75], [76], согласно которому модель считается хорошей, если позволяет строить качественные прогнозы.

Пусть, например, рассматривается следующая параметрическая модель

= А(в,п — 1,Yп—1) + £„,

где (£п)п>1 - независимые одинаково распределенные (н.о.р.) случайные величины с нулевым средним, (^п)п>1 - случайные функции, согласованные с некоторой фильтрацией Тп, п > 1 и, возможно, зависящие от значений хп, А - Тп—1 -измеримая функция. Согласно [75], [76], полной вероятностной моделью процесса хп называется пара (x,fe), где х = {хп(п — 1)}п>1

- последовательность одношаговых прогнозов для х, а /е = {fn(z)}n>i -последовательность условных относительно прошлого процесса (хп) плотностей распределения ошибок предсказания е п(9) = Хп X п (п — 1). Таким образом, акцент в проблеме построения математической модели делается на ее способность прогнозировать будущие значения процесса. Этим же определяется ее качество: модель считается хорошей, если она позволяет давать точные прогнозы.

В качестве критерия Льюнг предложил функцию потерь вида

1 N

^ (°) = n^L(6 п(°)),

п=

где L(z) - некоторая положительная скалярная функция z. Такой методологический подход определил дальнейшее развитие области идентификации систем. Заметим, что, минимизируя Vn по параметру в во множестве его возможных значений Dq , можно получить его оценку

ÖN = arg min Vn (0).

OeDe

Примером такой оценки является оценка по классическому методу наименьших квадратов (МНК), для которой L(z) = z2.

Предположим, что в качестве модели рассматривается скалярный процесс авторегрессии первого порядка, задаваемый уравнением

Хп = ХХп—1 + ^п, п > 1, (0.1)

где шумы ^п являются н.о.р. случайными величинами с нулевым средним. Хорошо известно [33], [75], что оптимальным в среднеквадратическом смысле одношаговым прогнозом является условное математическое ожидание значения хп относительно всего «прошлого», т. е. величина Ел(хп|^*п-1) =

= Ххп—1, где Ед(ж) - математическое ожидание случайного вектора х по распределению P\, соответствующему истинному значению параметра Л. Если параметр Л предполагается неизвестным, естественно заменить его некоторой оценкой Хп—1, получив одношаговые адаптивные прогнозы вида хп = Xп—1хп—1, п > 1. Очевидно, что качество прогноза явным образом зависит от качества оценки Хп.

Одним из методов оценивания параметров стохастических динамических систем является МНК. В предположении о гауссовости помехи £п оценки, получаемые по МНК, совпадают с оценками по методу максимального правдоподобия (ММП). Среди первых результатов применения этих методов в проблеме идентификации выделяется работа [79], где с помощью ММП были найдены оценки параметра динамики устойчивого процесса AR, показана их состоятельность и асимптотическая нормальность для случая гауссовых шумов. Далее аналогичный результат был получен для оценок МНК в случае негауссовских шумов, имеющих конечные моменты любого порядка. Известно также, что оценки ММП обладают свойством асимптотической эффективности [90], то есть их дисперсия достигает нижней границы в неравенстве Крамера-Рао. В [95], в частности, показана оптимальность оценок МНК параметра динамики процесса AR(1).

Впоследствии условия на моменты распределения шумов модели были ослаблены, также были рассмотрены и более сложные модели. В работе [36] доказана сильная состоятельность оценок МНК параметра динамики векторного процесса авторегрессии при ограничениях на его собственные числа и асимптотические свойства выборочной информационной матрицы Фишера. Позже свойство сильной состоятельности оценок МНК было установлено в случае, когда шумы не являются н.о.р. случайными величинами, а представляют собой мартингал-разность. Рассматривалась и модель ARMA, преимуществом которой по сравнению с AR для адекватного описания реальных процессов является меньшее количество параметров при сравнимом

качестве модели. Решению задачи идентификации для моделей AR и ARMA посвящены работы [31], [32], [40], [57], [60], [81], [82], [100], [101] и др.

Кроме того изучался процесс авторегрессии со случайными параметрами динамики (RCA) [5], [14], [27], [51], [67], [77], [83], [84]. Эта модель описывает случай, когда неизвестный параметр подвержен случайным флукту-ациям, вследствие чего его значения дрейфуют, а среднее может оставаться постоянным. В приведенных работах оценивалось математическое ожидание параметров и характеристики шума, которому они подвержены, найдены условия стационарности и эргодичности процесса. Также для случая гаус-совских шумов была установлена эквивалентность модели RCA и модели AR/GARCH того же порядка [28], [86].

В числе методов решения задачи оценивания параметров моделей динамических систем, кроме МНК [33], [36], [87] и ММП [30], [33], [35], можно выделить группу корреляционных методов типа Юла-Уокера [39], [57], [59], методы стохастической аппроксимации [91], алгоритмы линейной и нелинейной фильтрации [4], [35], [47], [61]. Тот или иной метод может выбираться в соответствии с уровнем априорной информации о модели. Например, асимптотически эффективный во многих случаях ММП не позволяет получить рекуррентные, легко реализуемые оценки, если неизвестно точное распределение шумов и значения его параметров. В таком случае предпочтительны корреляционные методы или методы стохастической аппроксимации.

Общей чертой перечисленных методов является то, что свойства оценок, полученных с их помощью, могут быть изучены только в предположении о неограниченном росте числа наблюдений. Однако современная математическая статистика преимущественно развивает методы обработки данных, представленных зависимыми наблюдениями при конечных объемах выборок. Существуют различные подходы, позволяющие учесть это принципиальное условие. Например, в работах [46], [103] были построены доверительные эллипсоиды для оценок МНК параметров некоторых линейных систем.

Другие результаты в неасимптотических параметрических и непараметрических задачах представлены в работах [80], [92], [93], [95]. В целом же исследование классических методов в задачах с неасимптотической постановкой сопряжено с чрезвычайными техническими трудностями.

Альтернативой к асимптотическому является подход к проблеме оценивания параметров динамических систем с позиции последовательного анализа. Идея, предложенная А. Вальдом в работах [2], [99], заключается в том, что гарантированное качество оценивания обеспечивается выбором специального момента остановки в качестве длительности процедуры. Наблюдения прекращаются, когда значение некоторого функционала от наблюдений превосходит заданную величину. Позднее метод последовательного анализа был применен для оценивания параметров в схеме с зависимыми наблюдениями для динамических систем с дискретным и непрерывным временем [1], [4], [11], [13], [17], [18], [23], [47], [56], [63], [68], [72], [94] и др. Полученные оценки обладают заданным качеством (как правило, в среднеквадратическом смысле) на выборках конечного объема. Кроме того для последовательных планов оценивания параметров динамических систем удалось доказать свойства сильной состоятельности, асимптотической нормальности, в некоторых работах были получены и несмещенные оценки, чего классические асимптотические методы обеспечить не могут в принципе.

Последовательный подход также успешно применялся в задачах непараметрического оценивания, например для оценивания регрессии, авторегрессии и функции плотности по зависимым наблюдениям [4], [37], [50], [88], [89] и др. В настоящее время наблюдается повышение интереса к последовательному подходу в статистических исследованиях в таких областях как, например, биоинформатика, где существует необходимость по возможности уменьшить число пациентов, необходимое для надежной классификации диагнозов [55].

Наряду с очевидными преимуществами, метод последовательного оце-

нивания обладает также и некоторыми недостатками. Например, для получения оценок произвольно высокой точности необходимо использовать выборку случайного и неограниченного размера [17], [65]. В то же время на практике объем выборки, как правило, не только конечен, но и фиксирован.

Ввиду этого В. В. Коневым и С. М. Пергаменщиковым было предложено использовать метод усеченного последовательного оценивания - модификацию последовательного метода оценивания. В работах [49], [53], [66], [67] и др. этот подход был использован для построения оценок параметров динамических систем с гарантированным качеством по выборке фиксированного размера. Идея метода заключается в том, что если построенный по процедуре момент остановки т превосходит максимальное число наблюдений N, то оценка по методу последовательного оценивания Л(т) отвергается, в противном случае усеченная последовательная оценка Л^ (т) с ней совпадает, т. е.

Лм(т) = Л(т)х(т < ю.

Было доказано, что определенная таким образом оценка обладает заданным среднеквадратическим качеством, достигаемым на выборках случайного, но ограниченного размера. Установлена ее равномерная по оцениваемому параметру асимптотическая нормальность, также асимптотическая нормальность доказана и для момента остановки.

Задача непараметрического усеченного оценивания функции регрессии по зависимым наблюдениям решалась в работах [88], [89]. Полученные оценки основываются на оценке Надарая-Ватсона и имеют известное сред-неквадратическое отклонение.

Иной подход, названный методом усеченного оценивания, был предложен В. А. Васильевым в работе [98]. Покажем идею метода на примере устойчивого процесса ЛЯ(1), задаваемого уравнением (0.1). Оценка МНК

неизвестного параметра Л имеет вид

Ё Хк-\Хк

Ап = ^-, п > 1. (0.2)

Е 4-х к=!

Тогда усеченной оценкой Л является величина

(= 5 >") •

Ап = Хп • у— > Я], п > 1, (0.3)

где Н > 0 - параметр, выбираемый специальным образом. Эта процедура позволяет, не используя идеи последовательного анализа, тем не менее сохранить заданное качество оценок на конечных выборках.

При некоторых условиях на шумы £п в [98] было установлено следующее свойство усеченной оценки (0.3)

ел(А„ - А)2'" < С, т =1,2,..., (0.4)

Тъ

где а2 = б£2, а С(т,Х,а2) - постоянные, которые могут быть найдены в точности и в некоторых случаях зависят от параметров модели. Также была показана равномерная асимптотическая нормальность и асимптотическая оптимальность в минимаксном смысле оценки параметра авторегрессии.

Контроль за качеством оценки, обеспечиваемый свойством (0.4), позволяет использовать ее в различных задачах адаптации. Примером является востребованная многими отраслями задача адаптивного прогнозирования [38], [43], [54], [73], [85], [102]. Учитывая, что посредством выбора размера выборки можно контролировать моменты уклонения усеченной оценки, имеет смысл рассмотреть функцию потерь для адаптивных прогнозов, построенных с помощью этой оценки, которая отражала бы одновременно качество прогнозирования и длительность процедуры, требуемую для достижения

этого качества.

Подобную формулировку предложил Т. Н. Шрирам в работе [96]. Для скалярного устойчивого процесса авторегрессии первого порядка (хп), задаваемого (0.1), была рассмотрена функция потерь вида

А п А п

ьп = А ^ (хг - х-РУ + п = А^х2-! • (Лп - Л)2 + п, (0.5)

п А—' 4 ' п

1=1 ¡=1

где х°рг = Е\(хГ11^1-1) = Лхг-1 - оптимальный одношаговый прогноз,

XI = Апх1-1, г = 1,п - адаптивный одношаговый прогноз, Лп - оценка МНК, определенная в (0.2), А - параметр процедуры, который можно трактовать как цену ошибки прогноза.

Согласно [96], для соответствующей функции риска справедливо

А(Г

Яп = Е\аЬп =--+п + о(п-1), п ^ ж.

п

Минимизация главной части дает оптимальный размер выборки пА = А1/2а, который, однако, невозможно использовать при отсутствии априорной информации о параметре (2. Заменяя его некоторой оценкой а2п, можно определить момент остановки

ТА = \п > А1/2дЛ ,

П>ПА I J

где па - так называемая «задержка» процедуры. В [96] доказана асимптотическая эквивалентность Та и п0А при А ^ ж в смысле сходимости в среднем и почти наверное, а также асимптотическая «риск-эффективность» Та в смысле сходимости ^ 1 при А ^ ж. Посредством методов нели-

п°А

нейной теории восстановления установлена асимптотическая нормальность и равномерная интегрируемость центрированного нормированного момента

ТА - п°А

остановки —

/п°

■А

Следует отметить, что величины хг в (0.5) формально не являются адаптивными прогнозоми, поскольку оценка параметра динамики Хп вычисляется в момент времени (г — 1) с использованием будущих значений процесса хг, . . . , хп. Уместнее в данном случае говорить об интерполяции в интервале г = 1, п. Тем не менее, полученные результаты могут быть полезны при построении моделей динамических систем по реальным данным.

Результаты Шрирама были дополнены и уточнены в работах [64], [97], подобная постановка рассматривалась в [52].

Как показано в настоящей работе, использование оценок неизвестных параметров динамических систем по методу усеченного оценивания (0.3) позволяет решить подобную задачу для прогнозов хг = Хг—ххг—х, которые строятся в реальном времени.

Кроме задачи адаптивного прогнозирования метод усеченного оценивания параметров динамических систем с дискретным и непрерывным временем может быть эффективно применен, например, в адаптивных процедурах фильтрации, управления и интерполяции.

Актуальность проблемы

Актуальность построения и исследования свойств адаптивных прогнозов динамических систем в реальном времени объясняется необходимостью развития теории адаптивного оптимального прогнозирования и применения ее при построении математических моделей стохастических динамических систем с дискретным временем, а также решения других статистических задач по неполной информации. Задача адаптивного оптимального прогнозирования также характеризуется применимостью на практике в широком классе отраслей.

В существующих работах по проблеме адаптивного прогнозирования в основном изучаются асимптотические свойства прогнозов, полученных с помощью использования оценок неизвестных параметров либо классическими асимптотическими методами (такими как МНК, ММП), либо методом

последовательного анализа. В недавнее время в работе [98] был предложен метод усеченного оценивания параметров и функционалов типа отношений, позволяющий получить оценки с гарантированным качеством при фиксированном объеме наблюдений. Использование таких оценок в процедурах адаптивного прогнозирования позволяет исследовать качество прогнозов с использованием практически значимых критериев для многомерных систем. При этом получаемые процедуры отличаются достаточной простотой реализации на практике.

Введение диссертации (часть автореферата) на тему «Адаптивное оптимальное прогнозирование многомерных процессов авторегрессионного типа с дискретным временем»

Цель работы

Цель диссертационного исследования состоит в построении процедуры адаптивного оптимального одношагового прогнозирования многомерных устойчивых процессов авторегрессионного типа с дискретным временем и неизвестными параметрами, а также в подтверждении работоспособности и свойств полученной процедуры с помощью имитационного моделирования.

Для достижения этой цели сформулированы и решены следующие задачи:

• построение усеченных оценок матричных параметров многомерного процесса ЛЯ(1) (далее УЛЯ(1)), многомерного процесса ЯОЛ(1) (далее УЯОЛ(1)) и многомерного процесса ЛИМЛ(1,1) (далее УЛЯМЛ(1,1)) и исследование их статистических свойств;

• построение для перечисленных моделей одношаговых прогнозов значений процесса на основе полученных усеченных оценок неизвестных параметров и оптимизация процедуры прогнозирования в смысле заданной функции потерь;

• проведение экспериментов с помощью численного моделирования процедур прогнозирования для подтверждения результатов, сформулированных в ходе решения первых двух задач.

Методы исследования

Результаты получены с использованием методов теории вероятностей, теории случайных процессов, анализа временных рядов, линейной алгебры, математического анализа, статистической обработки информации и имитационного моделирования.

Научная новизна и результаты, выносимые на защиту

Впервые при решении задачи прогнозирования в моделях стохастических динамических систем использовались оценки матричных параметров моделей по методу усеченного оценивания, имеющие гарантированную точность на выборках фиксированного объема и обладающие свойством сильной состоятельности. Это позволило построить и изучить свойства одношаговых прогнозов для многомерных устойчивых процессов авторегрессионного типа с дискретным временем при неизвестном распределении шумов.

По мнению автора, основные результаты диссертационного исследования обладают научной новизной. Эти результаты можно сформулировать в виде следующих положений, выносимых на защиту:

• Предложена процедура адаптивного одношагового прогнозирования, оптимальная в смысле заданной функции потерь, для перечисленных ниже многомерных устойчивый процессов

— УЛЯ(1) для случаев известной и неизвестной дисперсии шумов;

— УЯОЛ(1) для случая неизвестной дисперсии шумов процесса;

— УЛЯМЛ(1,1) для случаев известных дисперсии шума и параметра скользящего среднего, неизвестной дисперсии шума и известного параметра скользящего среднего, известной ковариационной матрицы шума и неизвестного параметра скользящего среднего, неизвестных ковариационной матрицы шума и параметра скользящего среднего.

• Для процесса УЯОЛ(1) построена усеченная оценка среднего значения случайного параметра динамики, имеющая гарантированное качество

в смысле Ь2т -нормы на выборках фиксированного объема, установлены условия на матричный параметр динамики и моменты распределения шумов, при которых эта оценка сильно состоятельна.

• Для процесса УЛЯМЛ(1,1) построены усеченные оценки параметра динамики и дисперсии шума, а также усеченная оценка параметра скользящего среднего в случае известной ковариационной матрицы шума, все оценки имеют гарантированное качество в смысле Ь2т -нормы на выборках фиксированного объема, найдены условия на моменты распределения шумов, при которых они сильно состоятельны.

Достоверность

Установленные результаты сформулированы в виде лемм и теорем, имеющих строгое математическое доказательство. Произведено численное моделирование, его результаты подтверждают теоретические выводы.

Практическая ценность работы

Построенная в результате работы процедура прогнозирования может применяться в прикладных задачах, использующих в качестве математических моделей стохастические динамические системы в условиях, когда увеличение числа наблюдений состояний системы невозможно или затратно. Среди отраслей науки и техники, допускающих применение результатов данной диссертации: генетика, биомедицина, финансовая математика, социология и др.

Процедуры адаптивного прогнозирования и усеченные оценки параметров многомерных процессов авторегрессионного типа, предложенные в диссертации, используются в курсе лекций «Эконометрическое моделирование и стохастические процессы» (раздел «Стохастические процессы»), читаемом на старших курсах факультета прикладной математики и кибернетики Томского государственного университета.

Апробация работы

Основные результаты диссертации опубликованы в работах [9], [21], [22], [69], [70], [71].

Результаты исследований по теме диссертации обсуждались на следующих конференциях:

1. XII Всероссийское совещание по проблемам управления (ВСПУ-2014), Москва, 16-19 июня 2014.

2. Международная научно-техническая конференция «Интеллектуальные системы, управление и мехатроника - 2015», Севастополь, 13-15 мая 2015.

3. III Всероссийская молодежная научная конференция с международным участием «Математическое и программное обеспечение информационных, технических и экономических систем», Томск, 22-23 мая 2015.

4. Международная научная конференция «Робастная статистика и финансовая математика», Томск, 01-02 июля 2015.

5. XXXII Международная научно-практическая конференция «Естественные и математические науки в современном мире», Новосибирск, 01 июля 2015.

Структура работы

Диссертация состоит из введения, четырех глав основного текста, заключения, списка использованной литературы (103 наименования). Общий объем диссертации составляет 123 страницы.

1 Адаптивное оптимальное прогнозирование процесса УЛИ,(1) с дискретным временем

1.1 Введение

В данной главе рассматривается устойчивый процесс векторной авторегрессии УЛЯ(1) с дискретным временем и постоянным матричным параметром динамики. Распределение шумов модели предполагается неизвестным.

Основная задача состоит в построении адаптивных одношаговых прогнозов значений процесса и последующей минимизации риска, основанного на функции потерь, оптимизирующей одновременно среднеквадратическое качество прогнозов и длительность процедуры. Задача решается в случаях известной и неизвестной дисперсии шума а2 = е||<^(1)||2.

Прогнозы строятся с помощью усеченной оценки неизвестного параметра динамики процесса. Установлены неасимптотические свойства этих оценок.

Результаты этой главы опубликованы в работах [9], [71].

1.2 Постановка задачи

Рассмотрим -мерный векторный процесс авторегрессии, задаваемый уравнением

х(к) = Лх(к - 1)+£(к), к> 1, (1.1)

где Л - неизвестная р х р матрица, собственные значения которой лежат в круге единичного радиуса с центром в начале координат (далее будем называть матрицы, отвечающие этому условию, устойчивыми), а ^(к) для к > 1 - н.о.р. случайные векторы с нулевым средним, ковариационной матрицей 2 = е<^(1)!;'(1) и конечной дисперсией а2 = е||<^(1)||2 = Кроме того, выполняется е||х(0)||2 < ж.

Обозначим область устойчивости матрицы динамики процесса Л0 С вектор параметров модели в = ( Лц,Л12, ...,Лрр,а2). Определим

множество в = {0 : Л Е Л0, 0 < а2 < то}. Выбор параметров модели (1.1) из множества в обеспечивает устойчивость процесса х(к) (см., например, [33]).

Замечание 1.1. Частным случаем процесса, описываемого уравнением (1.1), является скалярный процесс ЛЯ(р). В этом случае

х(к) =

хк Л1 . . . ... Лр-1 Лр к

хк-1 1 ... . . . 0 0 , £№) = 0

, Л =

хк-р+1 0 ... . . . 1 0 0

Известно, что оптимальный в среднеквадратическом смысле одноша-говый прогноз имеет вид

х°р\к) = Ев(х(к)\х(к - 1)) = Лх(к - 1), к> 1.

Естественно было бы заменить неизвестный параметр Л некоторой оценкой Л¡г-1 (определенной в (1.5) ниже), получив адаптивные одношаговые прогнозы вида

х(к) = Лк-1х(к - 1), к > 1 (1.2)

и соответствующие ошибки одношаговых прогнозов

е(к) = х(к) - х(к) = (Л - Лк_1 )х(к - 1) + £(к).

Обозначим е2(п) выборочное среднее квадратов норм ошибок предсказания

1 п

е2(п) = П £ 1№')112-

к=1

Определим функцию потерь следующим образом

г А 0/\ ьп = — е (п) + п. п

Здесь А(> 0) - произвольно выбираемый параметр, который можно трактовать как цену ошибки прогноза, либо как обратную величину к стоимости одного наблюдения [96]. Такая функция потерь формулирует проблему выбора между средним по выборке качеством прогнозирования и затратами на увеличение объема наблюдений.

Соответствующая функция риска имеет вид

А

Яп = ЕвЬп = - Е е2(п) + п. (1.3)

п

Основной задачей является минимизация риска Яп по аргументу длительности наблюдений п. В данной главе она рассматривается в предположениях об известной и неизвестной дисперсии шума а2.

В качестве оценки неизвестного параметра Л будем пользоваться методом усеченного оценивания, предложенным в работе [98]. Согласно ей, усеченная оценка матричного параметра динамики авторегрессии основывается на оценке МНК

Л = едД к> р; Л = 0, 3=0,р - 1, (1.4)

где

1 к 1 к

Ск = ^х(г)х'(г - 1), ^ = - 1)х'^ - 1),

^ к . 1

г=1 г=1

и определяется следующим образом

Л = АкХ (Ак >Нк) , к > 1. (1.5)

Здесь ) - индикатор события 3, величины Дк = det(Fк) являются строго положительными для к > р в силу невырожденности выборочной информационной матрицы при этих значениях к (см. также (1.22) ниже), и

Нк = \и-1/2(к + 1). (1.6)

Отметим, что, согласно [98], в качестве Нк может быть выбрана любая положительная медленно меняющаяся функция, убывающая до нуля при к ^ то.

1.3 Случай известной дисперсии шума

Если известна дисперсия шумов а2, то можно использовать априорную информацию об устойчивости процесса х(к) и заменить оценку Лк в (1.2) проекцией этой оценки на замкнутый шар В Е хр, такой что Л0 С В

Л* = Р^в Л к,

обеспечивая тем самым выполнение свойства

ЦЛк - Л\\<(1в, (1.7)

где ¿в - диаметр шара В. Это позволяет несколько ослабить требования на моменты шума £(к) при известной дисперсии а2 по сравнению со случаем неизвестной а2.

Таким образом, адаптивный прогноз и функция риск примут вид

х*(к) = Л*к-1х(к - 1), к> 1, (1.8)

е *(к) = х(к) - х*(к) = (Л - Лк_ 1)х(к - 1) + ((к),

1 А

4(n) = -22 \\e*(k)\\2, L*n = -el(n) + n,

n k=i -

А

Rn = e,Ln = - Eq ei(n)+n. (1.9)

r—

Перепишем функцию риска R*n, выделив в ней главную часть

А

ЯП = А (а2 + Dn)+n, (1.10)

n

где

n n

Dn = n Y, ее\\ж*(k) - х°*(к)\\2 = n Y, ее\\^k_i - Л)х(к - 1)\\2. n n

k=l k=l

Исходя из вида (1.10), в структуре функции риска можно выделить составляющую, связанную с неустранимой ошибкой прогноза - n' и составляющую, определяемую качеством прогноза - n-1ADn. Для оценивания Dn будем пользоваться свойствами оценок Л k, сформулированными в Лемме 1.1 ниже.

Определим номер к0 = max jр, е л j , где [а\ - целая часть числа а, и А = lim Ak pß-п.н. Существование предела А > 0 следует из формулы (1.22) с учетом положительной определенности матрицы Е.

Здесь и далее С обозначает положительные постоянные, точные значения которых непринципиальны в контексте решения задачи, и которые необязательно равны между собой даже в рамках одной формулы.

Лемма 1.1. Пусть в модели (1.1) для некоторого целого т > 1 выполняется

е\\Ш)\\4тр < ж, е\\ж(0) \\4тр < ж. (1.11)

Тогда для усеченных оценок Лk справедливо

(i) для 1 < к < k0

Ее|Л - Ц2т <С; (1.12)

(ii) для к > к0

~ С 1ит к

Ев||Лt - Л!2- . (1.13)

Доказательство. Заметим, что для Л Е Л0 из условий (1.11) следует

supев||ж(к)ЦАтр < С, supевА2кт < С. (1.14)

к>0 к>0

Определим для дальнейшего использования величины

_ 1 к ____

^ = -1), F+ = AkF-1, к>p.

i=1

Из свойств шума ^(к) вытекает, что процесс ((к)к>Р образует мартингал, нормированный величиной к. Используя неравенство Буркхольдера (см. [42], [74]) и первое неравенство в (1.14), для моментов ||(к|| получим оценку

1 / Р / к \2\ 2тр

е°|с*г* = ^Е(Еб-^(i-1))) <

" (1.15)

С Р / к N 2тр С

< е (г)х<2(г -^) < -¡^. j,l=1 V i=1 J

Исходя из вида F + , можно показать, что для моментов величины

||F +|| справедливо неравенство sup ев||F +Ц2т < С, если выполняются усло-

к>р

вия е||(1)Ц4т(Р-1 < ж, е||ж(0)Ц4т(Р-1) < ж для некоторого целого т > 0. Пользуясь определением (1.5) усеченных оценок , запишем их от-

клонение в виде

Л к - л = (А, - Л) • X (А >Нк) - Л • X (А, < Нк) . (1.16)

Для отклонения оценки МНК, исходя из (1.4), можно записать

Лк - Л = (кР+, к> р, А к

а следовательно

1|Лк - Л||2т = ^т\\СкР+к\\2т • х(Ак > Нк) + ||Л||2т • х(Ак < Нк). А к

Отсюда для любого к>р получим

Ев\\Лк - Л 11 2т < е^ЦСк^+Ц2- + ||Л||2тр,(Ак < Нк). (1.17)

Нк

Пользуясь неравенством Гельдера, а также (1.6), (1.14) и (1.15), для первого слагаемого в (1.17) при к > р найдем оценку сверху

— Ев\\+ ||2т < 1птк • (Е,|\Ск\|2т)1 • (Ев||Р +\^

р-1 р

• ей К ^ * <

—2т "'^к^ к II — ш 111 V ^ 11Ь ^ М ) ^ ^11 к II } к

С 1птк

<—-. (1.18)

Первое утверждение (1.12) Леммы 1.1 следует из (1.17) и (1.18).

Рассмотрим второе слагаемое в (1.17). По неравенству Чебышева для к > к0 справедливо

| | Л 11 2тР, (Ак < Нк) < С Р, (|Ак - А| > А -Нк) < С Е (Ак - Г. (1.19)

(А - Нк)2т

Заметим, что при к > к0 разность А - Нк > 0, поскольку, согласно определению к0, имеет место Нко > 1п-1/2 еА 2 = А.

Для оценивания величины Ев(Ак - А)2т выпишем разницу (Рк — Г) в явном виде. Из уравнения (1.1) имеем

х(г)х'(I) = Лх(г - 1)х'(г - 1)Л' + ^(г)х'(г - 1)Л' + Лх(г - 1)£'(г) + £(г)£'(г), откуда, применяя оператор усреднения по времени, получим

Гк = ЛЁк Л + Я + Бк, (1.20)

где остаток Зк имеет вид

Як = ^(х(к)х'(к) - х(0)х'(0)) + т\,к + т2,к + т'2^,

-1 к „.к т\,к = 1 - Я), т2,к = 1 £&)х'(г - 1)Л.

%=1 %=1

Разность в первом слагаемом Бк ограничена в силу (1.14), а величины т1:к и т2^к являются нормированными мартингалами, к которым применима оценка, аналогичная (1.15). Таким образом, справедлива оценка

Ев\\2т <С •к-т. (1.21)

По аналогии с Леммой 5.5.5 работы [33] можно показать, что решением уравнения (1.20) является Гк = ^ Лп(Я + Бк)(Л')п, и имеет место

п>0

сходимость

^ Ра

п ^ Г = У^ЛпЯ(Л>)п, (1.22)

к—>оо ^—'

п>0

ряд сходится в силу устойчивости Л. Тогда разность (Гк - Г) имеет вид

П -Г = ^ЛпЭк(Л')п.

п>0

Отсюда, учитывая (1.14) и (1.21), получим

2 т

Ее| | Fk - F|\2т < E,( ^ ИЛП|И№1И|Л|\п) <

п>0 (1.23)

(Е| | Лп 11 Н | sk 11 Н | Л 11 п)

п>0

< £( Е.Л112)2" < С

п0

Сходимость ряда Y1 ||Лп||2 гарантируют разложение Лп = U.JnU , где J -

п>0

жорданова форма Л, U - некоторая невырожденная матрица, и следующая

из него оценка ||Лп|| < С max 1\еАп, где Xе: - собственные значения матрицы

i<j<p

Л [65].

Второе утверждение (1.13) Леммы 1.1 следует из (1.17)-(1.19) и (1.23). Лемма 1.1 доказана.

Замечание 1.2. В скалярном случае р = 1 параметр Нк в определении усеченной оценки (1.5) может быть определен числом Нк = Н из интервала (0,а2). В этом случае для Лк выполняется

евл - Л)2т . к >1,

см. [98], Теорема 2.

Воспользуемся Леммой 1.1 для оценивания Ип. В случае выполнения условий е||<^(1)||4р < то, е||ж(0)||4р < то, применяя неравенство Коши-Буняковского, (1.7) и (1.13), получим

п п ,-

ЕеНСЛк-! - Л)х(к - 1)||2 < CdB ^ у/Ее||(Лk-i - Л)||2 <

п

уев ||(Лк-1

k=i k=i

<С£ ^ <С(ninn)1/2.

к1/2 k=i

Таким образом, использование Лk при построении одношаговых прогнозов

гарантирует выполнение неравенства

Dn <Сп~1/2 \nl/2n = о(1) при п (1.24)

где ()(•) обозначает порядок малости.

С учетом (1.10), аналогично [96], поставленная задача сводится к минимизации главной части функции риска

т~>* А 2 ,

Rn tt —а + п —> min .

n п n

Поскольку параметр а2 предполагается известным, произведя минимизацию, определим оптимальный объем наблюдений

0 = А1/2а. (1.25)

пА

Здесь а = л/а2. Строго говоря, п°° должен отражать целочисленную величину, но эта деталь опущена для простоты записи.

Принимая во внимание (1.24), запишем соответствующее п° минимальное значение риска

В:по = 2А1/2а + 0(А1/4 Ы1'2 А) при А ^ ж. (1.26)

Следствие 1.1. Пусть выполняется е||£(1)||4р < ж, е||х(0)||4р < ж, и дисперсия а2 известна. Тогда величина п°, определенная в (1.25), минимизирует главную часть функции риска Я* (1.9), и справедлива асимптотическая формула (1.26) для Я^.

Если к тому же е||<^(1)||8р < ж, е||х(0)||8р < ж, то п°°, минимизирует главную часть функции риска Яп (1.3) при использовании усеченных оценок

Лk , и имеет место

RnoA = 2А1/2а + 0(ln2 А) при А — ж. (1.27)

Замечание 1.3. Используя оценки Л k с Hk из Замечания 1.2 в определении (1.8), можно показать, что в скалярном случае р = 1 утверждение Следствия 1.1 справедливо для уточненного значения риска (1.26)

Rn0 = 2А1/2<г + 0(А1/4) при А — ж. (1.28)

Кроме того, схожий результат для р = 1 может быть получен при замене условия конечности четвертого момента 1 более слабыми условиями

p(n £(й - а2) > S) = 0(—-1), Е^2х(^ > фп) = O(an), при n — ж, k=1 J

где аП и ФП - неотрицательные числовые последовательности, удовлетворяющие условиям

ФП

lim аП = 0, lim ФП = ж, lim — = 0,

n—n—n—n

см. [9], Лемма 1. При этом место слагаемого 0(А1/4) в (1.28) занимает слагаемое (А1/2).

1.4 Случай неизвестной дисперсии шума

В этом случае, аналогично работам [64], [96], [97], введем момент остановки Т° в качестве оценки величины заменив а2 в ее выражении

2

некоторой оценкой аП

Т° = inf {— > А1/2а,Л , (1.29)

П>Пл L J

где п° - начальный размер выборки («задержка» процедуры), зависящий от А и определенный в Теореме 1.1 ниже,

1 п

а2 = — > ИхлЮ - апх(& -п к=1

^ ||х(к) - Лпх(к - Щ2. (1.30)

В этом разделе будем пользоваться прогнозами процесса х(к), использующими вместо Л^, т. е. справедливы формулы (1.2), (1.3).

Докажем асимптотическую эквивалентность Т° и п°° в смысле схо-димостей почти наверное и в среднем (см. (1.32), (1.33)) и оптимальность процедуры адаптивного прогнозирования в смысле асимптотической эквивалентности очевидным образом модифицированной функции риска

Я° = евЬТА = Аев ^ е2(ТА) + ееТ° (1.31)

ТА

и Япо, см. (1.34).

Теорема 1.1. Пусть для процесса (1.1) размерности р справедливо е||^(1)||8р+4 < ж, е||х(0) Ц8^4 < ж, и функция п° в (1.29) такая, что

пА = 0(А1/2) при А ^ ж, пА > тах{к0, Аг 1п2А}, ге [2/5, 1/2).

Пусть прогнозы а (к) определяются формулой (1.2), а функции риска ЯпоА и Я а - формулами (1.27), (1.31) соответственно. Тогда для любого в е в

ТА --► 1 ?в-п.н, (1.32)

п°° А^ж

1, (1.33)

п°А А^ж

ЯГ 1 (1.34)

Япо А^ж

Замечание 1.4. Третье утверждение Теоремы 1.1 верно и для прогноза (1.8).

Доказательство Теоремы 1.1. Докажем свойства (1.32), (1.33) момента остановки Та.

Из условий Теоремы 1.1 на моменты шума для Л Е Л0 следует

sup ЕвЫЩ8^4 < С. (1.35)

k>0

В дальнейшем будем пользоваться следующим вспомогательным равенством

п п

££'(к)(Лп - Л)х(к - 1) = £ ||(Лп - Л)х(к - 1)||2, n > р. (1.36) k=i k=i

Для его доказательства рассмотрим разность

п п

2

£Ш(Лп - Л)х(к - 1) - £ ||(Лп - Л)х(к - 1)|

к=1 к=1

п п

= ££(к)(Лп - Л)х(к - 1) - £ X(к - 1)(Лп - Л)'(Лп - Л)х(к - 1) = к=1 к=1

п I

= £ (£№) - (Лп - Л)х(к -1)) (Лп - Л)х(к -1). к=1

По определению (1.4) оценки Лп имеем

п / п \ — 1

Лп - Л = £С(к)х'( к - 1)( ^х(к - 1)х(& - 1м , п > р. (1.37) к=1 ^ к=1 '

Воспользуемся тем, что а'Ь = ^(аЬ') для любых двух векторов а и Ь одинаковой размерности, а также представлением (1.37)

£ ({(к) - (Лп - Л)х(к - 1)] (Лп - Л)х(к - 1) = =1

п

= ^

£ Ык) - Л - Л)х(к - (к - 1)(Лп - Л)' = =1

(п п \

^ ^(к)х'(к - 1) - (Ап - Л) ^ х(к - 1)х'(к - 1)) (Ап - Л)' = 0,

I—1 I—1 /

= 2_^^(к)х (к - 1) - (Лп - Л) х(к - 1)х'(к -к=1 к=1

откуда непосредственно следует (1.36).

Перепишем формулу Ъ2п (1.30), используя уравнение х(к) (1.1)

п п

= п£ !х(к) - Лпх(к - 1)Ц2 = п£ ||а.к) - (Лп - Л)х(к -п п

к=1 к=1

1 п

||аш2 -Яп, (1.38)

где

п =1

2 п ~ 1 п ~ >п = - Vе(к)(Ап - Л)х(к - 1) - "V ИЛ - Л)х(к 112

п п

к=1 к=1

Перепишем Зп, приведя ее вид к виду аналогичного слагаемого в [96]. Из представления (1.16) следует

^ = (пЕ?(к)Л-Л)х(к-1)-п^Т ||(Лп-Л)х(к- 1)||2)х(ап > нЛ -^ к=1 к=1 / \ /

- (п £?(к)Лх(к - 1) + п ¿ ЦЛх(к - 1)Ц2)х(Ап < нЛ.

^ к=1 к=1 ' ^ '

Из (1.16) также следует

(Ап - Л) •х А > нп) = Л - Л) •х (Ап > нп) , (1.39)

(К - Л) •х (Ап < Нп) = -Л •х (Ап < Нп) . (1.40)

Используя (1.1), (1.36) и (1.39), (1.40), для п >р получим

1 п /2 п Зп = ||(Лп - Л)х(к - 1)||2х (Ап > Нп) - - (к)Лх(к - 1)-

п п к=1 =1

1 п \ 1 п

^.........° ^п <Нп) = -У^ ||(Лп - Л)х(к - 1)||2X

п п

£ \\Лх(к - 1)||2 )х (Ап < Нп) = - £ ||(Лп - Л)х(к - 1)1 к=1 ' к=1 2 п ~

хх (Ап > Нп) + (к)(Лп - Л)х(к - 1)х (Ап < Н„) +

к=1

1 п ~ — +- £ ||(Лп - Л)х(Л - 1)||2 • X (Ап < Нп) . 'п

к=1

Введем обозначения

1 п ~ 2 п ~ Жп = ||(Лп-Л)х(А;-1)|2, ^ = (к)(Лп-Л)х(к-1)х (Ап < Н„)

п &—' -

к=1 к=1

Таким образом, из вида Бп и (1.38) следует

1 п 21

£\\((Щ2 -Жп - 1Уп. (1.41)

ап / ,N4 (;г;Л| г у п "п

-

=1

Отметим, что структура полученной формулы для отличается от аналогичной в работе Шрирама (см. формулы (2.1), (2.2) в [96]) одним дополнительным слагаемым п. Особенностью этого слагаемого является его знакопеременность. Это не позволяет использовать очевидную в случае от-

1 п

сутствия уп (в силу Жп > 0) оценку а^ < ^^^ ||£,(к)Ц2 при исследовании

к=1

асимптотических свойств момента остановки Та (см. [96], Лемма 3). Покажем, что справедливо предельное соотношение

<-> а2 Рв-п.н. (1.42)

п—

Рассмотрим Жп. Из определения (1.5), предельного равенства (1.22) и

п

п

Нп-> 0, следует, что

X (Ап > Нп) -► 1 р0-п.н., (1.43)

п

и усеченная оценка Лп асимптотически эквивалентна оценке МНК (1.4). Поскольку оценка (1.4) обладает свойством сильной состоятельности, то Лп - Л -~П—> 0. Вместе с (1.22) это гарантирует

п—то

Жп-> 0 ргп.н. (1.44)

п—то

В отношении п, по аналогии, можно установить

1 п

V х(к - 1)х'(к)-^ РЛ' Рв-п.н.,

п

к=1

п

Ех'(к)(Ап - Л)х(к - 1) -> 0 -п.н.,

,ь п—)-00

к=1

что вместе с (1.43) обеспечивает свойство

Уп-> 0 ргп.н. (1.45)

п

п

Тогда справедливость (1.42) следует из представления (1.41), усиленного закона больших чисел (УЗБЧ) Колмогорова, (1.44) и (1.45).

Из определения (1.29) случайного момента Та следует, что с Р$ -вероятностью единица Та-> то. С учетом (1.42) получим -> а2 Рд-п.н.,

А—то А А—то

а следовательно

Та 1 п

> 1 р д-п.н.

А1/2а А—то

Утверждение (1.32) доказано.

Для установления предельного соотношения (1.33) получим оценку Та

сверху, используя (1.41),

Т° < т£ [п2А-1 > 1V ||^(Щ2 - и\. (1.46)

п>па\ п ^ I

к к=1 }

Введем для любого А > 0 вспомогательную последовательность

ЧАп = п2А-1—^, п > 1, (1.47)

1А,п 2\пА > ' v 7

а также обозначим

1 п

Вис ( ад2 - )■

п к=1

- нормированный величиной п мартингал. Тогда, пользуясь (1.46) и вытекающим из определения (1.29) представлением

ТА = пА + £ х(п< А1/2ап) ,

п>пА

можно записать

евТа <Па + £ рв(п2А-1 < п ^ ||£(к)\\2 - vn\ <

п>па к=1

<ПА + £ (ро(П2А-1 < п ¿ ||йк)Ц2 + -fAn) + п>па к=1

(IVnl > 1А,п)\ <ПА + £ (p0 (п2А-1 <а2 + 2-уА,п) +

П>ПА

(\Уп\ > 7А,п) + pe(\rnnl > 7А,п)). Заметим, учитывая вид определенной в (1.47) последовательности 7а,п, что

пА-1

ПА + £ pe (п2А-1 <а2 + 2^А,п) =ПА + £ 1=п*А,

п>па п>пА

(1.48)

где —А имеет точное значение в силу отсутствия случайных компонент

-а = 1п£ {п2А-1 >а2 + 27дп} =

п>пА

А1/2а ( 1 +

1

1п А — 1

1/2

Отсюда

пА + Е Рв (п2А-1 < а2 + 27дп)

п>пА

А1/2

а

А

1.

+ 1. (1.49)

(1.50)

Далее покажем, что остальные слагаемые в правой части (1.48) стремятся к 0 при А ^ ж, будучи нормированы величиной А-1/2.

Рассмотрим вероятность (|и„\ > гУа,п). Согласно (1.35), неравенствам Чебышева и Коши-Буняковского, для п > па получим

/2 п

Ре(|г/п| > 1Ап) = Р^ п ^у(к)(Ап - Л)х(к - 1)х(Дп < Н»)

п

4 к=1

< — и

е„||ж(к)||2||ж( к - 1)||2 ■ е«||Лп - Л

О

1/2

<

> ^Ап) <

(1.51)

Ско С 1п1/2п С 1п1/2 п . 1п1/2п <-- + ^-< ^-< С А 1п А-

п7А„

п5/2

Здесь использовано неравенство Чебышева с первой степенью, поскольку сомножитель ^~ап в итоговой оценке оказывается неограниченно растущим при п > —а иА ^ ж в силу условий на па и приводит к расходимости, если, например, использовать неравенство Чебышева с квадратом, хотя условия на моменты позволяли бы это сделать. С другой стороны, соответственно скорректировать структуру ^/а,п не позволяет вид —А (и —А*, определенной ниже в (1.56)) - в случае коррекции не выполнялось бы предельное равенство (1.50).

Из (1.51) следует

А-1/2 £ р(Ы > 1Ап) < СА1/21п А £ ^ <

п>пА п>пл (1.52)

< СА1/21п3/2 А ■ п-3/2 < СА-^ 1п-3/2 А-► 0.

А А^ж

Здесь г определена условиями теоремы на функцию —а.

Что касается вероятности (|тп| > 7А,п), для тп по аналогии с (1.15) можно показать е^тп < Сп-1. Тогда, применяя неравенство Чебы-шева, получим

р^(|тп| > 7л,п) < С^-пЕвтп < С7А,2п—-1 = 4СА21п2 А • п-5. И, согласно условиям на пА,

А-1/2 £ р (|тп| > Уа,п) < СА3/21п2 А £ п-5 <

п>пА п>п^

(1.53)

< СА3/21п2 А ■ п-4 < СА-8-31п-6 А-> 0.

А А

Из формул (1.48)-(1.53) непосредственно следует

е0 Та

11ш < 1. (1.54)

А^ж А1/2а

С другой стороны, для е в Та справедлива оценка снизу е0Та = —а + £ рл—2а-1 <— £ ||^(к)||2 -Wп - >

п>пА \ к=1 /

> —А + £ р^ (п2А-1 < а2 - Wп - |ип\ - |тп|) > (1.55)

п>пА

>—А + £ X (п2А-1 < а2 - 7А,п) ■ р^(Wп + |!/п| + |тп| < 7А,п).

п>пА

Здесь, повторяя рассуждения для первых двух слагаемых правой части

(1.48), имеем

1, пА <п < п° ,

х [п2А 1 < а2 - 7°,п)

' П - > п°

0, п п *

где

, , , 1/2

** пА =

1 - ьпА+г)

+ 1. (1.56)

Тогда из (1.55) следует

па-1

еТ° >па +^2(1 - р+ \1У„\ + \тп\ > 1А,п)) >

п>па

>п°А - £ р+ \"п\ + \тп\ > 1А,п).

п>пА

(1.57)

Неравенства Чебышева, Коши-Буняковского и свойство (1.13) гарантируют

рв( 1у„ > 7а,„) = ро е«ил - л)х(к - 1)||2 > п~и,п \ <

< пл,п)-1(Ев ||Л „ - Л|4)1/2 ый-1)||4)1/2 <

к=1

^ _ ,, Лпп

< С(пг)А,п) \пп = сА\пА-

п3

откуда

А-1/2 Е Р № > 1А,„) < СА1/2 \пА Е ^ <

П>ПА П>ПА (1.58)

< СА1/2 \п2 А •п-2 < С А-^ \п-2 А-> 0.

А А

Неравенства (1.52), (1.53), (1.57), (1.58) обеспечивают выполнение

г ЕвТА . л

А^ж А1/2а

и следовательно, принимая во внимание (1.54), утверждение (1.33) справедливо.

Для доказательства последнего предельного равенства (1.34), перепишем его левую часть, пользуясь (1.27) и (1.31)

ЯА Ае* Т~а е2(Тг) + е* Та

Впь°А 2А1/2а + 0(1п2 А)

Из этого представления и (1.33) следует, что для доказательства (1.34) достаточно показать справедливость предельного соотношения

А1/2ео^(Та) -—1. (1.59)

Введем дополнительные обозначения

N' = [(а - е)А1/2], N" = [(а + е)А1/2] +1, 0 < е < а. (1.60)

Установим свойства хвостов вероятностного распределения момента Та. Докажем, что выполняются свойства

ре(Та < N') = 0(А-Г), ре(Та > = 0(А-11п2А). (1.61)

Обозначим (^1 = а2 — (а — е)2. Используя определения Та и , можно получить оценку сверху левого хвоста

Р*(Та < N') < рв(Та < (а - е)А1/2) = = ро^ап < А-1—2, для некоторого пА <п < (а — е)А1/2^ <

^^ Цх(к) - апх(к - 1)||2 < (а - е)2, для нек. п > пА )

п

Р^ (п (а2 - ||^Ш2) + № + Уп > для нек. п >пЛ < п

п

к=1

< Е р > + Е р Ы«+>5-).

П>ПА П>ПА

Для первого слагаемого, используя неравенство Чебышева, получим

£ Р* (\тп\ > <с £ ЕвтАп < С8ир(п2Е,тАп) £ п-2 <

п>па п>пА > п>пА

<С^2п-2 < Сп-1 < С А- \п-2А. (1.63)

П>ПА

Также по неравенству Чебышева

1 2

£ р*(\жп + ип\ > <С £ Ев\№п + ип\2 <

п>па п>пА

< С вир Ее(п \п-1п • + ип\)2 • п-2 \п2 п.

п>1

— п>пА

(1.64)

Покажем, что вир Еб>(п \п 1п • \№п + ип\)2 конечен. Очевидно, что

п>1

ев(п\п-1п • \\¥п + ип\)2 < 2ее\п\п-1п • №п\2 + 2ев\п\п-1 п • ип\2. (1.65)

Оценим первое слагаемое. Пользуясь Леммой 1.1, (1.35) и неравенством Гель-дера, получим

(п \ 2 п

£ ИЛ - Л)х( к - 1)||2] <п £ ев ИЛ* - ЛЦ4Их(к - 1)||4 <

к=1 ' к=1

2р П 1

< (е0 ЦЛ п - Л|| •п ^(ев Цх(к - ^Ц8^4) 5р+т <С \п2п. (1.66)

=1

Аналогично для второго слагаемого, применяя (1.1) и (1.40), можно записать

Ев\п ип\2 = Е6

(к)(Лп - Л)х(к - 1)Х А < Нп k=i ^ '

<

< 2ев

< 2

tr^х(к - 1)£'(^)(Ап - Л)

к=1

2

2 / П Y

+ 2еЛ £У(Лп - Л)Ж(Л - 1)||2) <

=1

\

ей

- m w

к=1

• Е0 ||Лп - Л||4 + С 1п2п < С In2 п. (1.67)

Из (1.66), (1.67) следует sup Eq(п ln п • \W„, + ип\)2 < ж, а также,

учитывая (1.64),

п 1

£ Р^(IWn + ^п| > ^/2) <С^п-21п2п <Сп—11п2 А <СА-Г. (1.68)

Первое свойство в (1.61) вытекает из (1.62), (1.63) и (1.68).

Докажем второе свойство (1.61). Обозначим 62 = ( а + е)2 — а2. Тогда по определению (1.29) момента Та и (1.41)

р* (тА > n") < ?в ^N7 ^ у am2 - Wn» - vN„ > a-i(N")2^ <

< p^ Е У^)У2 + \Wn'' + VN"\ > (о + е)2^

< р^ | > ^ + р0 + т-1 > ^ .

Аналогично, соответственно, (1.15) и (1.66), (1.67), нетрудно установить, что

P, (\mN-\ > 52/2) <С(N")~aEq

N "

Е("« ( fc'"2 -о2)

k=i

< С(N'')-2 = 0(А-1),

1

Рв + | > Ь2/2) < С(^')-21п2 N" = 0(А-11п2 А).

Из двух этих соотношений следует второе свойство в (1.61).

Для доказательства (1.59) установим следующие предельные равен-

12

2

4

4

ства

А1/2е, е2(Тл)х(Тл < М') 0, (1.69)

Т л А^ж

А1/2е0 Т-е2(Тл)х(Тл > М'') -- 0, (1.70)

Список литературы диссертационного исследования кандидат наук Кусаинов Марат Ислямбекович, 2015 год

Список литературы

1. Борисов В.З., Конев В.В. О последовательном оценивании параметров дискретных процессов // Автомат. и телемех. — 1977.— № 10.— С. 58-64.

2. Вальд А. Статистические решающие функции // В кн.: Позиционные игры. — М. : Наука. — 1967. — С. 301-522.

3. Васильев В.А. Об идентификации динамических систем авторегрессионного типа // Автомат. и телемех. — 1997. — № 12. — С. 107-119.

4. Васильев В.А., Добровидов А.В., Кошкин Г.М. Непараметрическое оценивание функционалов от распределений стационарных последовательностей. — М. : Наука. — 2004. — 508 с.

5. Васильев В.А., Конев В.В. Об оценивании дрейфа параметров динами ческих систем по зашумленным наблюдениям //В кн.: Математическая статистика и ее приложения. — Томск : Изд-во Том. ун-та. — 1987. — С. 13-23.

6. Васильев В.А., Конев В.В. Последовательное оценивание параметров динамических систем при неполном наблюдении // Изв. АН СССР, Техн. кибернет. — 1982. — № 6. — С. 145-154.

7. Васильев В.А., Конев В.В. Последовательное оценивание параметров динамических систем при наличии мультипликативной и аддитивной помех в наблюдениях // Автомат. и телемех. — 1985. — № 6. — С. 33-43.

8. Васильев В.А., Конев В.В. Об оценивании дисперсий шумов в линейных стохастических системах // Статистический анализ экспериментальных данных. — 1987. — НЭТИ, межвузовский сборник научных трудов. — С. 109-118.

9. Васильев В.А., Кусаинов М.И. Асимптотическая риск-эффективность одношаговых прогнозов устойчивого процесса АР(1) [Электронный ресурс] // XII Всерос. совещ. по проблемам управления ВСПУ-2014: Труды. — Москва, Россия, 16-19 июня 2014. — С. 2619-2627. — URL: http://vspu2014.ipu.ru/proceedings/vspu2014.zip, свободный. — Загл. с экрана (дата обращения: 01.09.2015).

10. Воробейчиков С.Э., Конев В.В. Последовательное оценивание параметров динамических систем при неполном наблюдении // Изв. АН СССР, Техн. кибернет. — 1982. — № 6. — С. 145-154.

11. Воробейчиков С.Э., Конев В.В. О построении последовательных оценок параметров процессов рекуррентного типа // Мат. стат. и ее при-лож. — 1980. — № 6. — С. 72-81.

12. Гринвуд П.Е., Ширяев А.Н. О равномерной слабой сходимости се-мимартингалов с применениями к оцениванию параметра в авторегрессионной модели первого порядка // Статистика и управ. случ. проц. — М. : Наука. — 1989. — С. 40-48.

13. Ибрагимов И.А., Хасьминский Р.З. О последовательном оценивании // Теор. вероятн. и ее примен. — 1974. — Т. 19, № 2. — С. 245-255.

14. Кашковский Д.В., Конев В.В. О последовательных оценках параметров авторегрессии со случайными коэффициентами // Автометрия. — 2008. — Т. 44, № 1. — С. 70-81.

15. Конев В.В. Последовательные оценки параметров стохастических динамических систем. — Томск : Изд-во Том. ун-та. — 1985 — 267 с.

16. Конев В.В., Пергаменщиков С.М. Последовательные планы идентификации динамических систем // Автомат. и телемех. — 1981. — № 7. — С. 84-92.

17. Конев В.В., Пергаменщиков С.М. Об оценивании числа наблюдений при последовательной идентификации параметров динамических систем // Автомат. и телемех. — 1984. — № 12. — С. 56-62.

18. Конев В.В., Пергаменщиков С.М. О последовательном оценивании параметров случайных процессов диффузионного типа // Пробл. перед. инф. — 1985. — Т. 21, № 1. — С. 48-61.

19. Конев В.В., Пергаменщиков С.М. Последовательное оценивание параметров линейных неустойчивых стохастических систем с гарантированной среднеквадратической точностью // Пробл. перед. инф. — 1992. — Т. 28, № 4. — С. 35-48.

20. Конев В.В., Пергаменщиков С.М. Гарантированное оценивание параметров авторегрессии на основе обобщенного метода наименьших квадратов // Теор. вероятн. и ее примен. — 1996. — Т. 41, № 4. — С. 765-784.

21. Кусаинов М.И. Адаптивное пргнозирование процесса АРСС [Электронный ресурс] // Материалы междунар. науч.-тех. конф. «Интеллектуальные системы, управление и мехатроника - 2015».— Севастополь, Россия, 13-15 мая 2015.— С. 57-62.— 1 электрон. опт. диск (CD-R).

22. Кусаинов М.И. Адаптивное прогнозирование для процесса авторегрессии со случайным параметром // Сб. ст. по материалам XXXII междунар. науч.-практ. конф. «Естественные и математические науки в современном мире». Новосибирск : СибАК. — 2015. — № 7(31). — С. 21-29.

23. Маляренко А. Оценивание параметров модели AR(p)/ARCH(p) при неизвестных распределениях шумов // Автомат. и телемех. — 2010. — № 2. — С. 128-140.

24. Морозов В.А. Метод идентификации авторегрессионных уравнений, использующий априорную информацию // Автомат. и телемех. — 1982. — № 4. — С. 64-71.

25. Новиков А.А. Последовательное оценивание параметров диффузионных процессов. // Теор. вероятн. и ее примен. — 1971.— Т. 16, № 2.— С. 394-396.

26. Пергаменщиков С.М. Асимптотические свойства последовательного плана оценивании параметра авторегрессии первого порядка // Теор. вероятн. и ее примен. — 1991. — Т. 36., № 1. — С. 42-53.

27. Пергаменщиков С.М., Ширяев А.Н. О последовательном оценивании параметра стохастического разностного уравнения со случайными коэффициентами // Теор. вероятн. и ее примен. — 1992. — Т. 37, № 3. — С. 482-501.

28. Ширяев А.Н. Основы стохастической финансовой математики. — М. : ФАЗИС. — 2004. — 1056 с.

29. Эйкхофф П. Основы идентификации систем управления. — М. : Наука. — 1975. — 683 с.

30. Abraham B. The exact likelihood function for a space time model // Metrika. — 1983. — Vol. 30, no. 1. — P. 239-243.

31. Anderson T.W. An introduction to multivariate statistical analysis.— New York : Wiley. — 1958. — 374 p.

32. Anderson T.W. On asymptotic distributions of estimates of parameters of stochastic difference equations // Ann. Math. Stat.— 1959.— Vol. 30, no. 3. — P. 676-687.

33. Anderson T.W. The statistical analysis of time series. — New York : Wiley. — 1971. — 704 p.

34. Anderson T.W. Estimation for autoregressive moving average models in the time frequence domains // Ann. Stat.— 1977.— Vol. 5, no. 5.— P. 842-865.

35. Anderson T.W., Kleindoefer G.V., Kleindoefer P.R., Woodroof M.B. Consistent estimates of of the parameters of a linear system // Ann. Math. Stat. — 1969. — Vol. 40, no. 6. — P. 2064-2075.

36. Anderson T.W., Taylor J.B. Strong consistency of least squares estimates in dynamic models // Ann. Stat.— 1979.— Vol. 7, no. 3. — P. 484-489.

37. Arkoun O., Pergamenschicov S.M. Nonparametric estimation for an autoregressive models // TSU J. Math. Mech.— 2008.— Vol. 2, no. 3. — P. 20-30.

38. Baillie R.T. Asymptotic prediction mean squared error for vector autoregressive models // Biometrika. — 1979. — Vol. 66, no. 3. — P. 675-678.

39. Bibi A., Aknouche A. Yule-Walker type estimators in periodic bilinear models: strong consistency and asymptotic normality // Stat. Methods and Appl. — 2010. — Vol. 19, no. 1. — P. 1-30.

40. Box G., Jenkins G.M., Reinsel G. Time series analysis: forecasting and control. — Hoboken : Wiley. — 2008. — 784 p.

41. Brockwell P.J., Davis R.A. Time series: theory and methods.— New York : Springer-Verlag. — 1991. — 577 p.

42. Burkholder D.L. Distribution function inequalities for martingales // Ann. Prob. — 1973. — Vol. 1, no. 1. — P. 19-42.

43. Chang P.R., Hu J.T. Optimal nonlinear adaptive prediction and modeling of MPEG video in ATM networks using pipelined recurrent neural networks // IEEE J. Sel. Areas in Comm.— 1997.— Vol. 15, no. 6.— P. 1087-1100.

44. Chow Y.S., Robbins H., Siegmund D. Great expectations: the theory of optimal stopping. — Boston : Houghton Mifflin. — 1971. — 139 p.

45. Chow Y.S., Yu K.F. The performance of a sequential procedure for the estimation of the mean // Ann. Stat. — 1981. — Vol. 9, no. 1. — P. 184-189.

46. Csaji B.C., Campi M.C., Weyer E. Non-asymptotic confidence regions for the least-squares estimate // Proc. 16-th IFAC SYSID. Brussels, Belgium. — 2012, July 11-13. — P. 227-232.

47. Dobrovidov A.V., Koshkin G.M., Vasiliev V.A. Non-parametric state space models. — Heber City, UT, USA : Kendrick Press. — 2012. — 501 p.

48. Dmitrienko A.A., Konev V.V. On guaranteed parameter estimation of autoregressive process with unknown variance of the noise // Automat. Rem. Contr. — 1994. — Vol. 55, no. 2. — P. 87-99.

49. Dogadova T.V., Vasiliev V.A. Guaranteed parameter estimation of stochastic linear regression by sample of fixed size // TSU J. Contr. Comp. Science — 2014. — Vol. 26, no. 1. — P. 39-52.

50. Efromovich S. Sequential design and estimation in heteroscedastic nonparametric regression // Seq. Anal. — 2007. — Vol. 26, no. 1. — P. 3-25.

51. Feigin P.D., Tweedie R.L. Random coefficient autoregressive processes: a Markov chain analysis of stationarity and finiteness of moments // J. Time Ser. Anal. — 1985. — Vol. 6, no. 1. — P. 1-14.

52. Finster M. A frequentistic approach to sequential estimation in the general linear model //J. Am. Stat. Assoc.— 1983.— Vol. 78, no. 382.— P. 403-407.

53. Fourdrinier D., Konev V.V., Pergamenschicov S.M. Truncated sequential estimation of the parameter of a first order autoregressive process with dependent noises // Math. Meth. Stat.— 2009.— Vol. 18, no. 1.— P. 43-58.

54. Fuller W.A, Hasza D.P. Properties of predictors for autoregressive time series // J. Am. Stat. Assoc. — 1972. —Vol. 76, no. 373. — P. 155-161.

55. Fu W., Dougherty E., Mallick B., Carroll R.J. How many samples are needed to build a classifier: a general sequential approach // Bioinformatics. — 2005. — Vol. 21, no. 1. — P. 63-70.

56. Galtchouk L.I., Konev V.V. On sequential estimation of parameters in semimartingale regression models with continuous time parameter // Ann. Stat. — 2001. — Vol. 29, no. 5. — P. 1508-1536.

57. Gersch W. Estimation of the autoregressive parameters of a mixed autoregressive moving-average time-series // IEEE Trans. Automat. Control. — 1970. — Vol. 15, no. 5. — P. 583-588.

58. Gikhman I.I., Skorokhod A.V. Introduction to the theory of random processes. — Philadelphia : Saunders. — 1967. — 544 p.

59. Gopal G., Suresh Chandra K. On the estimation of coefficients of a simultaneous linear explosive model of higher orders with moving average errors generating a pair of time series // Stat. Papers. — 1991.— Vol. 32, no. 1.— P. 195-222.

60. Hannan E.J. Recursive estimation based on ARMA models // Ann. Stat. — 1980. — Vol. 8, no. 4. — P. 762-777.

61. Kalman R.E. A new approach to linear filtering and prediction problems // Trans. ASME J. Basic Eng. — 1960. — Vol. 82, no. 1. — P. 44-45.

62. Klein A., Melard G., Spreij P. On the resultant property of the Fisher information matrix of a vector ARMA process // Linear Algebra Appl. — 2005. — Vol. 403. — P. 291-313.

63. Konev V.V., Le Breton A. Guaranteed parameter estimation in a firstorder autoregressive process with infinite variance // Seq. Anal. — 2000. — Vol. 19, no. 1. — P. 25-43.

64. Konev V.V., Lai T.L. Estimators with prescribed precision in stochastic regression models // Seq. Anal. — 1995. — Vol. 14, no. 3.— P. 179-192.

65. Konev V.V., Pergamenschicov S.M. On the duration of sequential estimation of parameters of stochastic processes in discrete time // Stochastics. — 1986. — Vol. 18, no. 2. — P. 133-154.

66. Konev V.V., Pergamenschicov S.M. Truncated sequential estimation of the parameters in random regression // Seq. Anal. — 1990.— Vol. 9, no. 1.— P. 19-41.

67. Konev V.V., Pergamenschicov S.M. On truncated sequential estimation of the drifting parameter mean in the first order autoregressive model // Seq. Anal. — 1990. — Vol. 9, no. 2. — P. 193-216.

68. Kiichler U., Vasiliev V.A. On guaranteed parameter estimation of a multiparameter linear regression process // Automatica. — 2010.— Vol. 46, no. 4. — P. 637-646.

69. Kusainov M.I. On optimal adaptive prediction of multivariate ARMA(1,1) process // TSU J. Contr. Comp. Science — 2015.— no. 1(30).— P. 44-57.

70. Kusainov M.I. Risk efficiency of adaptive one-step prediction of autoregression with parameter drift // TSU J. Contr. Comp. Science — 2015. — no. 3(32). —P. 33-43.

71. Kusainov M.I., Vasiliev V.A. On optimal adaptive prediction of multivariate autoregression // Seq. Anal.— 2015.— Vol. 34, no. 2.— P. 211-234.

72. Lai T.L., Siegmund D. Fixed accuracy estimation of autoregressive parameter // Ann. of Stat. — 1983. — Vol. 11, no. 2. — P. 478-485.

73. Lewis R., Reinsel G.C. Prediction of multivariate time series by autoregressive model fitting //J. Multi. Anal.— 1985.— Vol. 16, no. 3.— P. 393-411.

74. Liptzer R.S., Shiryaev A.N. Theory of martingales.— Dordrecht : Kluwer. — 1989. — 792 p.

75. Ljung L. System identification theory for user. — Englewood Cliffs : Prentice-Hall. — 1987. — 519 p.

76. Ljung L., Söderström T. Theory and practice of recursive identification. — Massachusets : The MIT Press. — 1983. — 530 p.

77. Malyarenko A.A., Vasiliev V.A. On sequential parameter estimation problem of nonlinear discrete-time stochastic systems // Proc. 3rd Int. Conf. Innovative Comp., Inf. and Control, ICICIC-2008. Dalian, China. — 2008, June 18-20. — P. 544-547.

78. Malyarenko A.A., Vasiliev V.A. On parameter estimation of partly observed bilinear discrete-time stochastic systems // Metrika. — 2012. — Vol. 75, no. 3. — P. 403-424.

79. Mann H.B., Wald A. On the statistical treatment of linear stochastic difference equation // Econometrica. — 1943. — Vol. 11, no. 3.— P. 173-220.

80. Mikulski P.W., Monsour M.J. Optimality of the maximum likelihood estimator in first-order autoregressive processes //J. Time Ser. Anal. — 1991. — Vol. 12, no. 3. — P. 237-253.

81. Nicholls D.F. The efficient estimation of vector linear time series model // Biometrika. — 1976. — Vol. 63, no. 2. — P. 381-390.

82. Nicholls D.F. A comparison of estimation methods for vector linear time series model // Biometrika. — 1977. — Vol. 64, no. 1. — P. 423-426.

83. Nicholls D.F., Quinn B.G. The estimation of random coefficient autoregressive models // I.J.Time Ser. Anal.— 1980.— Vol. 1, no. 1.— P. 37-46.

84. Nicholls D.F., Quinn B.G. The estimation of multivariate random coefficient autoregressive models //J. Multi. Anal. — 1981. —Vol. 11, no. 4.— P. 544-555.

85. Papakyriazis A., Papakyriazis P. Adaptive prediction: a sequential approach to forecasting and estimation of nonstationary environmental systems // Kybernetes. — 1999. — Vol. 28, no. 2. — P. 204-210.

86. Pergamenschicov S.M., Kliippelberg C. The tail of stationary distribution of a random coefficient AR(q) model // Ann. Appl. Probab. — 2004. — Vol. 14, no. 3. — P. 971-1005.

87. Pierce D.A. Least squares estimation in the regression model with autoregressive-moving average errors // Biometrika. — 1971. — Vol. 58, no. 2. — P. 299-312.

88. Politis D.N., Vasiliev V.A. Sequential kernel estimation of a multivariate regression function // Proc. IX Int. Conf. «System identification and control problems», SICPRO-2012. Moscow, Russia. — 2012, January 30 -February 2. — P. 996-1009.

89. Politis D.N., Vasiliev V.A. Non-parametric sequential estimation of a regression function based on dependent observations // Seq. Anal. — 2013. — Vol. 32, no. 3. — P. 243-266.

90. Rao C.R. Asymptotic efficiency and limiting information // Proc. Fourth Berkeley Symp. on Math. Statist. and Prob. — 1961.— Vol. 1.— P. 531-545.

91. Robbins H., Monro S. A stochastic approximation method // Ann. Math. Stat. — 1951. — Vol. 22, no. 3. — P. 400-407.

92. Roll J., Nazin A., Ljung L. A non-asymptotic approach to local modelling // Proc. 41st IEEE CDC Volume 1. Las Vegas, NV, USA. — 2002, December 10-13. — P. 638-643.

93. Roll J., Nazin A., Ljung L. Nonlinear system identification via direct weight optimization // Automatica. — 2005. — Vol. 41, no. 3. — P. 475-490.

94. Shiryaev A.N., Spokoiny V.G. On a sequential estimation of an autoregressive parameter // Stochastics. — 1997.— Vol. 60, no. 3. — P. 219-240.

95. Shiryaev A.N., Spokoiny V.G. Statistical experiments and decisions. Asymptotic Theory. — Singapore, New Jersey, London, Hong Kong : World Scientific. — 2000. — 300 p.

96. Sriram T.N. Sequential estimation of the autoregressive parameter in a first order autoregressive process // Seq. Anal.— 1988.— Vol. 7, no. 1.— P. 53-74.

97. Sriram T.N., Ross Iaci. Sequential estimation for time series models // Seq. Anal. — 2014. — Vol. 33, no. 2. — P. 136-157.

98. Vasiliev V.A. A truncated estimation method with guaranteed accuracy // Ann. Inst. Stat. Math. — 2014. — Vol. 66, no. 1. — P. 141-163.

99. Wald A. Sequential analysis. — New York : Wiley. — 1947. — 212 p.

100. Walker A. Large-sample estimation of parameters for moving-average models // Biometrika. — 1961. — Vol. 48, no. 3. — P. 343-357.

101. Walker A. Large-sample estimation of parameters for autoregressive process with moving-average residuals // Biometrika. —1962.— Vol. 49, no. 1. — P. 117-131.

102. Wei C.Z. Adaptive prediction by least squares predictors in stochastic regression models with applications to time series // Ann. Stat. —1987. — Vol. 15, no. 4. — P. 1667-1682.

103. Weyer E., Campi M.C. Non-asymptotic confidence ellipsoids for the least-squares estimate // Automatica. — 2002. — Vol. 38, no. 9. — P. 1539-1547.

Приложение

Копия акта о внедрении результатов диссертации

-у ТВ Е Р Ж Д А ГО" И.о. проректора по учебной рабегге ТГУ

Е. Ю, Брвль

2015 г.

АКТ

о внедрении результатов кандидатской диссертации Куса и нова М.И.

в учебный процесс ТГУ

Настоящим подтверждается, что результаты диссертации Кусай нова М.И. "Адаптивное оптимальное прогнозирование многомерных придесшн авторегресс-ионного типа с дискретным временем", представленной на соискание ученой степени кандидата физитсо-матсматическик наук по специальности 05.13.01 - Системный анализ, управление и обработка информации (в отраслях информатики, вычислительной техники и автоматизации), используются в учебном процессе на факультете прикладной математики и кибернетики Томского государственного университета при подготовке курса лекций "Экотюмстрическое моделирование и стохастические процессы".

Декан факультета прикладной математики и кибернетики ТГУ, д,т.н., профессор (^у*

А.М. Горцев

Зав. кафедрой высшей математики и математического моделирования ФПМК ТГУ, д.ф.-м.н., профессор

В. В. Конев