Эмпирические и последовательные эмпирические процессы в статистическом анализе ARMA модели тема диссертации и автореферата по ВАК РФ 01.01.05, кандидат физико-математических наук Эрлих, Иван Генрихович

• Эрлих, Иван Генрихович
• кандидат физико-математических наук
• 2010

Оглавление диссертации кандидат физико-математических наук Эрлих, Иван Генрихович

1 Введение

2 "Дрейф"параметров в ARMA модели

2.1 Постановка задачи и результаты для ARMA(p,q) модели

2.2 Доказательства результатов для ARMA(p,q) модели

2.3 Получение равномерного линейного разложения последовательного процесса.

3 Метод минимального расстояния в AR

3.1 Постановка задачи и формулировка основных результатов.

3.2 Об устойчивости к грубым выбросам оценки минимального расстояния для AR(1).

3.3 Равномерное линейное разложение и равномерная оценка для эмпирического процесса в AR(1).

4 Метод минимального расстояния в ARMA

4.1 Описание модели.

4.2 Равномерное линейное разложение эмпирического процесса для ARMA(p,q) модели.

4.3 Двухшаговые оценки типа минимального расстояния для параметров ARMA(p,q) модели.

4.4 Проверка линейных гипотез в ARMA(p,q) методом типа минимального расстояния.

Оглавление

4.5 Сравнение тестов типа минимального расстояния с СМтестами и знаковыми тестами.

Список обозначений.

Введение диссертации (часть автореферата) на тему «Эмпирические и последовательные эмпирические процессы в статистическом анализе ARMA модели»

В данной работе предлагаются и исследуются новые непараметрические оценки типа минимального расстояния для параметров ARMA модели. Рассмотрены соответствующие тесты для проверки линейных гипотез. Кроме того, решается задача о проверке постоянства коэффициентов ARMA модели. Альтернативой выступает предположение о том, что они меняются ("дрейфуют") во времени.

Все рассмотренные задачи объединены единым подходом. Для их решения используются остаточные эмпирические процессы и последовательные остаточные эмпирические процессы.

Эмпирические процессы используются для статистического анализа стохастических разностных уравнений очень давно. Решались задачи проверки гипотез, оценки параметров и проверки адекватности моделей. Началом послужили работы о проверке гипотез относительно распределения инноваций в линейных моделях временных рядов критериями типа Колмогорова и ш2 . Для примера обратимся к работе Болдина [7], в которой данная задача решалась для модели авторегрессии.

Итак, пусть наблюдаются величины У0,Уи . ,уп , являющиеся выборкой из стационарного решения уравнения авторегрессии yt = Pvt- 1 + е*, teZ, |/3|<1. (1.1)

Здесь {ê^} - независимые одинаково распределенные (н.о.р.) случайные величины (с.в.), Е^ = 0, Ее^ < оо 7 £1 имеет функцию распределения (ф.р.) Р(х) и плотность по мере Лебега /(ж).

Поскольку £1 не доступны для наблюдения, находятся величины £¿(0) := уг — Оуг-г > О Это остатки в модели (1.1). Величины при 9 ф ¡3 зависимы между собой, £¿(/5) = Et. Определим функцию п

Это остаточная эмпирическая функция распределения (э.ф.р.). Очевидно, Рп(х,/3) совпадает с обычной эмпирической ф.р. Рп[х), построенной (гипотетически) по е\,.,еп .

Функция Ёп(х, 9) может быть использована при построении тестов для проверки гипотезы Щ : Е = ^о в модели (1.1). В [7] исследовалось поведение статистики типа Колмогорова для проверки такой гипотезы. Тестовая статистика имеет вид

БИр п

1/2

Рп(х,рп) - Р0(х)

1.2) где ¡Зп - любая у^п-состоятельная оценка /3, например, оценка наименьших квадратов. При некоторых предположениях относительно /(х) было показано, что вир п1'2 (Рп(х, Р + п-^т) - | = ор(1), п оо, (1.3) для любого 0 ^ В < оо.

Далее все предельные переходы при п —оо ; если не оговорено иное. Из (1.3) следует, что вир хек п1'2 (А(®,Ао-зд)| = ор(1)

Следовательно, предельные распределения тестовых статистик типа Колмогорова-Смирнова (например, (1.2)) будут такими же, как если л л бы вместо Рп(ж,/Зп) стояла Рп{х). Эти распределения найдены явно в классический работах Колмогорова [52] и Смирнова [74], и табулированы, например, в [11]. Предельное распределение статистики ш2 (точнее, его характеристическая функция) найдено Смирновым в [24]. Таблица квантилей этого распределения приведена, например, в [11],[20]. Отметим, что результат Колмогорова о сходимости sup хеЕ п1'2 [Fn(x) - F0(x)] (1.4) является следствием общих теорем о слабой сходимости процессов. Действительно, введем процесс G [0,1], такой, что

ВДНп1/2 [ад-ад].

Траектории vn(^) принадлежат D[0,1] — пространству действительнозначных функций на [0,1] с разрывами лишь первого рода и метрикой Скорохода (см. подробности в [16], гл. IX, § 5). Тогда vn(^) сходится слабо в D[0,1] к броуновскому мосту (гаусовскому процессу на [0,1] с нулевым средним и ковариационной функцией г (Л, ¡i) = Л Л ц — А/л), а значит (1.4) сходится по распределению к sup |v(z/)|. Распределение

0,1] последней случайной величины и есть распределение Колмогорова.

Описанный для авторегрессии подход был обобщен многими авторами на другие линейные модели. В частности, Коулом и Левинталем (Koul, Levental, [58]) была рассмотрена модель взрывной авторегрессии (модель (1.1) с \ß\ > 1); в [6] Болдин рассмотрел модель скользящего среднего; Крайсом (Kreiss, [61]) была рассмотрена ARMA модель.

Отметим еще раз факт о том, что предельное распределение статистик типа Колмогорова-Смирнова в модели (1-1) с нулевым среднем не зависит от того, строим мы эмпирическую функцию распределения по независимым величинам et или по оцененным остаткам £t{ßn) •

Этот факт, верный для упомянутых выше линейных моделей с нулевым среднем, перестает быть верным, если рассмотреть линейные модели с ненулевым средним или нелинейные модели. Так, например, в работе [37] рассматривалась нелинейная ARCH модель, определяемая уравнением а0£ = 1, 2,., 20 = 0. (1.5)

В (1.5) а0,аг > 0 и а0 + аг < 1. Пусть сг2(г, в) = 0Х + в2г2, 0 = ($1) $2)Т ^ • Остатки в модели (1.5) определяются как в), если в) > 0, еь{в) := <

I 0, если сг2(^1, в) ^ 0.

Показано, что если ап — у/п-состоятельная оценка для векторного параметра модели а = (а1,а2)т, Ее2 = 1, то при дополнительных условия на /(ж) верно sup жек п1'2 (рп{х,кп) - Fn{x) - ^xf(x)(an - а)тЕе^ оР( 1), т где е = (<j~2(zi, а), (^)2сг2(^, а)) , {¿f} - стационарный предел для ы

Таким образом, предельное распределение тестовой статистики (1.2) для ARCH модели отлично от распределения Колмогорова. Аналогичный результат получен Вязиловым в [14] для GARCH(1,1).

Следующий естественный шаг состоит в попытке распространить описанный подход на проверку сложной гипотезы: F(x) £ {F(x, 9)}вео ■ Мы снова опишем результаты в этой области на примере модели авторегрессии первого порядка (1.1). Для простоты рассмотрим случай © С Ж. Итак, исследуется асимптотическое поведение статистики ,1/2 sup xeR п

Fn(x:(3n)-F{x,en) , (1.6) где, как и раньше, (Зп есть л/п-состоятельная оценка параметра [3 модели (1.1), 0п - оценка для истинного значения параметра В силу

1.3) предельное распределение (1.6) совпадает с предельным распределением sup хек п

1/2

Fn(x)-F(x,6n)

1.7) где, как и раньше, Fn(x) — эмпирическая ф.р., построенная по

Поведение с.в. (1.7) исследовалось, например, в работе Дурбина (Durbin, [44]), а так же целом ряде работ других авторов. В [44] вводился процесс ип(Х): А Е [0,1], такой что un(F(x, еп)) = п1'2 [Fn{x) - F{x, §п)

Тогда, при дополнительных условиях гладкости на F(x, 9) и дополнительных условиях на 6п , при гипотезе процесс ип{А) сходится слабо в Z)[0,1] к гауссовскому процессу «(А), Л G [0,1], с распределением, зал висящем от гипотетического семейства и оценки 6п . А значит и процесс vn(X), А £ [0,1], такой, что vn{F(x, 9п)) = n1/2 [Рп{х, fin) - F(x, §п) сходится слабо в D[0,1] к и(Л).

Для примера рассмотрим гипотезу о нормальности инноваций с нулевым средним в схеме (1.1), т.е. F(x) Е {Ф(ж/сг),0 < a < оо}, где

Ф(ж) - функция Лапласа. Тогда, если в качестве оценки для a2 расп смотреть оценку s2 := п, то vn(X) сходится слабо в D[0,1] t=i к гауссовскому процессу со средним ноль и ковариацией

R(А, ц) = А А у. - Xfi - ^Ф-1(А)</? (Ф-1(А)) Ф-1 (ц)<р (Ф-ХМ), где <р{и) = Ф'^) (подробности смотри в [4]). Для проверки гипотезы о нормальности можно использовать критерий ш2, т.к. соответствующее предельное распределение табулировано в [19], [20].

Упомянутые результаты относились к случаю, когда наблюдаемые величины зависимы и образуют выборку из строго стационарной последовательности. Замечательно, что удается решать похожие задачи и для разнораспределенных наблюдений. Так в работе Муганцевой [21] с помощью остаточных эмпирических процессов решалась задача проверки нормальности ошибок в схеме линейной регрессии. Позже Шо-рак (Shorack , Wellner, [73] (раздел 4.6)) обобщил результаты Муганцевой для схемы линейной регрессии в случае, когда в качестве оценок для неизвестных параметров регрессии берутся произвольные у/п-состоятельные оценки. Миллер (Miller, [69]) распространил результаты Муганцевой на модели регрессии с "ошибками в переменных". В работе Лойнеса (Loynes, [67]) исследовалось поведение процесса, аналогичного г?п(А), для модели обобщенной регрессии с произвольными оценками для неизвестных параметров.

Отметим, что и в современной литературе существует множество работ, в которых эмпирические процессы используются для проверки гипотез о виде распределения ошибок (шума, инноваций) в той или иной модели. Так, например, в работе Коула и Линга (Koul , Ling, [59]) рассматривался класс гетероскедастических моделей, в который входит, например, GARCH и ARMA-GARCH модели; в работе Ли и Вей (Lee, Wei, [64]) рассмотрен класс стохастических регрессионных моделей, в которых входит, например, стационарная AR{оо) модель; в работе Ли и Танигучи (Lee, Taniguchi, [63]) рассмотрена ARCH-SM модель; в работе Чана и Линга (Chan, Ling, [41]) рассмотрены временные ряды с короткой и длинной памятью.

Критерии согласия типа Колмогорова и ш2 вовсе не единственное и даже не основное применение эмпирических процессов во временных рядах. Главное применение — для оценивания параметров моделей в семипараметрической ситуации (когда распределение инноваций неизвестно) и для исследования тестов для проверки гипотез об этих параметрах. Эти задачи требуют рассмотрения иных остаточных эмпирических процессов — взвешенных и случайно взвешенных. Мы рассмотрим два типа оценок, которые будут использованы в диссертации, — оценки минимального расстояния (далее MD-оценки) и обобщенные М-оценки (далее GM-оценки). Однако начнем с истории развития метода минимального расстояния, поскольку большая часть диссертации посвящена этому вопросу.

Метод минимального расстояния оформился в 50-х годах 20-го века в работах Вольфовитса (Wolfowitz, [76], [77], [78]). Для схемы повторной выборки его идея выглядит следующим образом. Пусть £i,., еп -н.о.р.с.в. с ф.р. Fq{x) , где в Е в. Рассмотрим следующий функционал от э.ф.р. Fn(x), построенной по наблюдениям {et} :

Кп(в) = sup п1'2 [Fn{х) - Fe{x)] . (1.8)

Тогда MD-оценка 9u^md определяется как такая измеримая функция

ОТ £1 ЧТО 0n:MD 60 и

Кп(9п,мп) < - + infKn(0).

П 060

Фактически в качестве оценки выбирается такое 0 6 0, что Fg(x) ближе других к э.ф.р. в смысле равномерной метрики.

В [76]-[78] на основе этого приема строятся MD-оценки для параметров схемы повторной выборки, схем одномерной авторегрессии и скользящего среднего. Доказана состоятельность оценок.

В работе Коула (Koul, [53]) для определения MD-оценки параметра одномерной линейной регрессии используется взвешенный остаточный эмпирический процесс п wn(x, в) := п1'2 dtn [I {et(6) ^х}- F(x)], t=1 где {dtn} равномерно ограниченный набор чисел, £t{@) — остатки, определяемые аналогично остаткам модели авторегрессии.

Оценка 0niMD определятся как точка минимума функционала от эмпирического процесса оо

6n,MD := Argmiii0eiA/Cn(0), где К,п(0) = J w*(x,0)dG(x). (1.9) оо

Здесь Л = М. (далее, при определении MD-оценок в других моделях, Л может быть иным), G{x) - априорно выбираемая монотонная ограниченная функция. (Далее, если интегрирование проводится по всей прямой, пределы интегрирования будут опускаться.) Доказана асимптотическая гауссовость On,MD •

Задача оценивания параметра одномерной регрессии в случае, когда неизвестно распределение инноваций, была решена в работе Коула (Koul [54]) для случая, когда инновации имеют симметричное распределение. Оценка определяется аналогично (1.9), только эмпирический процесс wn(x,9) заменен на п шп(х,в) := и'1'2 ]Г dtn |1{е*(0) ^®} + I{et(0) ^ -х} - 1]. t=1

Оценка при таком подходе оказывается асимптотически гауссовской с тем же предельным распределением, что и в параметрической задаче.

Далее в работе Коула (Koul [55]) при построении оценки параметра одномерной авторегрессии (1.1) было показано, что подход, разработанный для модели линейной регрессии, работает также и для авторегрессии. Оценка определяется аналогично (1.9), только эмпирический процесс wn{x,0) заменен на

71 wn(x,0) - п"1/2 ]Г %;!) pr{et(0) t=i h(-) - априорно выбираемая функция. Процесс wn(x,0) называется случайно взвешенным остаточным эмпирическим процессом.

Доказана асимптотическая нормальность построенной оценки. Непараметрическая задача оценивания решена по аналогии с линейной регрессией в случае, когда выполнено условие симметрии распределения инноваций.

Доказательство асимптотической нормальности оценок, предложенных Коулом, основывается на доказательстве равномерной асимптотической линейности соответствующего эмпирического процесса. Для примера рассмотрим процесс wn(x, 9). Положим w„(®, 9) := w„(®, ß) + nl'2(0 - ß)E [h(y0)y0] f(x).

Процесс wn(x,0) имеет смысл равномерного асимптотического линейного приближения для wп(х,6). Равномерная асимптотическая линейность (AUL) означает, что для любого 0 ^ В < оо имеет место разложение sup |w„(®,0) - wn(s,0)l = оР{ 1), Лп{В) = h : \0-ß\^ п-^в) xeR ,etAn(B) 1 J

1.10)

Для модели (1.1) при некоторых условиях на распределения инноваций и функцию h(-) соотношение (1.10) доказано в [55].

Покажем, как при помощи AUL устанавливается асимптотическая нормальность MD-оценки. Из (1.10) получаем, что для любого 0 ^ В < оо выполнено sup \Кп(0)-Кп{О)\=оР(1), (1.11) веЛп(В) где Кп{9) подсчитана по wn(x,9) как в (1.9), а Кп(9) - по -wn{x,Q). Тогда

Кп{9) = Kn{ß) + 2n1/2Sn(9 -ß} + nD(9 - ß)2, n Г г E [%оЫ X) Kvt-1) J P fe < - ^ W] f(x)dG(x) t=l

D = [Е%0Ь]2 / f(x)dG(x).

Обозначим Рп - точку минимума Кп{0). Поскольку Кп{9) является квадратным трехчленом, то ¡Зп имеет вид: ¡Зп = (3 — п-1/2!)-1^. В силу ЦПТ для Sn получаем, что п1//2(/Зп — ¡3) сходится по распределению к нормальной случайной величине. Для доказательства асимп

Л „ А тотической нормальности /?п,мг> остается показать, что (Зп — fin,MD — ор(п-1/2). Это следует из (1.11) в предположении у/п-состоятельности Pn,MD ( у/п-состоятельность ¡Зп уже доказана).

Доказательство у/п-состоятельности ¡3n,MD основывается на монотонности процесса wn(x,6). Действительно, при h(y)y ^ 0 или h(y)y ^ 0 процесс п wn{x, 9) = п1'2 Y, Kvt-1) Р < х + yt-i(9 - /3)} -t=î является монотонным по 9 в силу монотонности индикатора. Подробности этой части доказательства нас в дальнейшем интересовать не будут, поэтому здесь мы их опустим.

Гауссовость построенной MD-оценки для параметра стационарной авторегрессии была доказана еще в 80-х года ХХ-го века и было бы естественным обобщить эти результаты на ARMA модель. Но даже на модель скользящего среднего эти результаты перенесены не были. И причина как в технических, так и в идейных затруднениях.

Пусть, например, щ,. ,ип - выборка из решения уравнения скользящего среднего первого порядка

Щ = £t + OLSt-ъ '|ск| < 1, i G (1-12)

Остатки в модели (1.12) естественно определить рекуррентным соотношением et{9)=ut-9et-1{9), е0{9) = 0. i-1

Т.е. £t(9) = • Мы видим, что остатки в модели (1.12) з=о имеют вид многочленов, что делает работу с ними куда более трудоемкой, чем с остатками в модели авторегресси (1.1), которые имеют вид

0) — Уь — вуь-1- В частности, это объясняет, почему результат (1.3), доказанный в [7] в 1982 году, был распространен на модель скользящего среднего в [6] лишь через 7 лет, хотя идеи доказательств одни и те же.

Кроме того, случайно взвешенный остаточный эмпирический процесс для модели (1.12) имеет вид

Отметим, что в качестве "весовой"функции к можно взять любую (с некоторыми моментными ограничениями) функцию, зависящую от "прошлого" (т.е. щ, щ,. ,щ), и построенная по ней оценка будет асимптотически гауссовской. Однако целесообразно выбрать весовую функцию как в (1.13), поскольку частным случаем оценки, определяемой с помощью эмпирического процесса (1.13), является оценка, асимптотически эквивалентная оценке максимального правдоподобия.

Нетрудно видеть, что уп(х,6) не является монотонной функцией по в, в отличие от процесса -жп(х:9). Тем самым, схема доказательства л/п-состоятельности оценки, разработанная Коулом в его работах, для МЭ-оценки параметра скользящего среднего не работает.

Кроме того, все МЮ-оценки, предложенные Коулом, либо используют при построении функцию распределения инноваций (это параметрическая ситуация), либо требуют симметрию распределения инноваций.

В некоторых случаях от предположения о симметрии распределения можно отказаться. Так в [75] рассматривалась выборка ., хп из А11СН(1) модели

Оценка ап,М£> для а определяется, как точка минимума функционала (1.9) от эмпирического процесса уп(Х, в) := «-^¿й (М) р{е,(в) < *} - *■(»)]. (1.13)

1.14) П ъ(х1в) = п-112^Къ-1,0) 1{еь{в)^х}-Рп{х,в) здесь, как и раньше, Fn(x:9) - остаточная э.ф.р., т.е. неизвестная ф.р. F{x) заменена на остаточную э.ф.р. Показано, что при некоторых дополнительных условиях регулярности, так определенная оценка существует и является асимптотически гауссовской.

Интересной задачей, в особенности для приложений, является перенос результатов Коула на ARMA модель. Проблемы, которые возникают при таком обобщении (мы о них сказали выше), можно попытаться решить с помощью подхода из [75].

Отметим, что одно из важных свойств MD-оценок, делающих их привлекательными для применения, есть свойство робастности. Существует несколько определений робастности оценки. Мы будем понимать ро-бастность как конечную чувствительность функционала влияния оценки. Подобную характеризацию робастности предложили Мартин и Йо-хаи (Martin, Yohai, [68]).

Известно, как вычислить функционал влияния оценки, определяемой как решение уравнения, см. в [68]. Сложнее посчитать функционал влияния оценки, определяемой экстремальной задачей. К такому типу оценок относится MD-оценка. Отметим две работы, в которых в явном виде подсчитан функционал влияния MD-оценок и выписаны условия, при которых чувствительность конечна. В работе Дхара (Dhar, [42]) рассмотрена непараметрическая MD-оценка для параметра модели авторегрессии; в работе Сорокина [75] — MD-оценка для параметра ARCH модели.

AUL остаточного эмпирического процесса так же позволяет доказывать асимптотическую гауссовость GM-оценок. Обратимся опять к модели (1.1). Пусть в дополнение к h фиксирована функция ф : Ж. —> Ж. GM-оценка ßn,GM в модели (1.1) определяется как корень уравнения п

Zn(9) := n-w Y, Куь-1)ФЫв)) = 0. 1

Для доказательства существования у/п— состоятельного решения и его гауссовости необходимо получить равномерное линейное разложение гладкая, то это можно сделать с помощью формулы Тейлора, однако она не применима, если функция ф не является дифференцируемой. Но такие случаи крайне важны, например, ф(х) = signж .

Предположим, что ф(х) непрерывна, имеет ограниченную вариацию и Жф^ег) — 0. (В некоторых случаях от условия непрерывности можно отказаться, но тогда надо иначе определять оценку, для примера см. п. 5.5.1 из [3]). Тогда Zn{9) можно тождественно переписать в виде где Л Е [/1(2/0)2/0] / 1(х)с№(х). Из (1.15) можно получить, что с вероятностью, стремящейся к 1, существует (Зщсм > Для которого

Из последнего равенства и ЦПТ для Zn(ß) следует асимптотическая нормальность ßn,GM •

Обозначенный подход применялся в монографии Коула (Koul, [57]) для линейной регрессии и авторегрессии, в работе Болдина [33] для ARCH модели, в работе Вязилова [13] для GARCH модели.

Класс решаемых при помощи остаточного эмпирического процесса задач не ограничивается перечисленными выше. Например, AUL указывает путь к исследованию различных ранговых статистик, построенных по остаткам. Действительно, если ., .йп(0) - ранги

Zn(9) в 0{п х/2) окрестности истинного значения параметра. Если ф в<=Ап(В)

Zn{ßn,GM) = 0, ßn,GM =ß~ n-WjZntf) + Opin-1'2). ei(0),.,e„(0), то

Rt(e) = nFn(Et(9),9) и тогда равномерное линейное разложение для остаточного эмпирического процесса позволит находить разложение для ранговых статистик.

Ранговые статистики широко используются для построения оценок. Так в работе Юресковой (Jureskova, [51]) строятся ранговые оценки для параметров линейной регрессии, у Коула и Осиандера (Koul, Ossiander, [60]) и у Болдина [35] - для параметров стационарной авторегрессии, у Коула (Koul, [56]) - для параметров нелинейных моделей с аддитивными шумами.

Основные результаты рангового анализа во временных рядах, впрочем, связаны не с задачами оценивания, а с задачами проверки гипотез. Так в работах Халлина и др. (Hallin, [45] и [46]) с помощью линейных и квадратичных ранговых статистик проверяется гипотеза о том, что наблюдается "белый шум", против альтернативы, что наблюдения порождаются стационарной ARMA моделью; в статье Халлина и др. (Hallin, [47]) проверяется одна ARMA модель против другой; в работе Крайса (Kreiss, [62]) с помощью ранговых тестовых статистик проверяются линейные гипотезы в авторегрессии; у Халлина и др. (Hallin, [48]) для проверки одной ARMA модели против другой ARMA используются знаково-ранговые статистики (результаты суммированы в обзоре Халлина и др. (Hallin, [49])). В работе Халлина и др. (Hallin, [50]) проверяются линейные гипотезы в схеме линейной регрессии с ошибками, порожденными ARMA моделью. Знаковые оценки и тесты для проверки линейных гипотез исследовались в монографии Болдина и др. [3] и работе [9].

Перейдем теперь к классу задач о "дрейфе11 параметров разностных уравнений. Эти задачи решаются с помощью последовательных остаточных эмпирических процессов. Рассмотрим такую задачу на примере модели авторегрессии. Цитируем [34].

Итак, проверяется гипотеза H о том, что наблюдения г/о? Уъ ■ ■ • ? Уп суть выборка из строго стационарного решения модели (1.1). В качестве альтернативы рассматривается Ап о том, что наблюдения уо, yi,. ,уп порождаются моделью

Уь = PtnVt-i + ей t С Z+, уо = 0. (1.16)

Ры = Р + n~1/2btn, sup |6in| < oo, (1.17) i,n btn} неизвестны, и для некоторой функции b(y) G D[0,1] sup i/6[0,l]

1 X>n -bм n t<ni/

-> 0. (1.18)

Предположение (1-18) выполняется, например, когда последовательность {&гп} , £ = 1,., п, изменяется только в моменты времени Ь = [пр^ [п^],., [ш^], 0 < щ < . < щ. Тогда Ъ(р) кусочно линейна, непрерывна и имеет "изломы" в точках ., Рь

Тестовая статистика строится на основе последовательного остаточного эмпирического процесса уп{у,в) := п-1/2 ^ зщпу^^пе^в), р в [0, 1], в е Ж.

Щпи

Л Л

Чтобы предельное распределение процесса уп(^, /Зп) (/Зп — состоятельная оценка (3) было свободно от параметров модели при Н, в качестве ¡Зп выбирается оценка, для которой верно разложение

1 п п1/2фп - /з) = 2/(0)Е|у1| ^ + С1-19)

Ь—1

При некоторых естественных условиях регулярности медиана массива {^/^¿-х} , £ = 1,. ,п удовлетворяет (1.19) (см. подробности в [34])

Тощ При Ап

Тогда при Я vn(^, 0п) v(t/), где v(v) — броуновский мост.

А») ^ VM + 2/(0)Е\У1\ (6(1/) - ^(1)).

Тестовые статистики для проверки Н против Ап, например,

Dn = sup i п(^Дг) и ¿и2 = /у/Зп)(11/. Предельные распределения V о при Н таких статистик суть распределения Колмогорова и и1.

Отметим еще раз, что главная идея [34] состоит в согласовании оценки и последовательного остаточного эмпирического процесса (другой пример для схемы повторной выборки см., например, в [23]). Однако обычно согласование оценки и процесса не требуется. Для примера рассмотрим задачу типа пchange-pointмдля модели авторегрессии. Используемый для ее решения последовательный процесс позволяет строить асимптотически свободные тесты без всякого согласования способа оценивания параметров и структуры процессов.

Пусть в модели (1.1) с.в. {е^} до неизвестного момента [пи], 0 < и < 1, имеют функцию распределения ^(ж), а после этого момента - ^(ж), ф ^2, неизвестны. Гипотеза Н состоит в том, что ^(ж) = (ж). Опишем кратко тест и его распределение при Н.

Пусть е^О) - остатки модели (1.1), ¡Зп есть у/п-состоятельная оценка параметра /3. Пусть Рщ1/{х) и Рпдг/(ж), и £ [0,1], будут э.ф.р., по/ч л л л строенные по £1 (¡Зп),., е[„„](/У и €[П1/]+1(Рп),£п(рп) соответственно. Статистика типа Колмогорова-Смирнова для проверки Н имеет вид Dn = sup x.v

Bn{x,v) где

Bn{x, v) = -^ -n ^ {Fn,v(x) - Fntl-v(x)) .

Обозначим D2 метрическое пространство функций на квадрате [0,1]2, имеющих пределы снизу и непрерывных сверху с метрикой, Скорохода. Пусть B{v,ß) непрерывный гауссовский процесс на [0,1]2 с нулевым средним и ковариацией

Cov(ß(z/i,Aii), B(u2,fJ,2)) = (yi Л I/2 - VlV2){ßl А/^2

Пусть Вп(х, v) строится по самим е\,.,еп. В силу работы Бикела и Вичуры (Bickel, Wichura, [32])при гипотезе выполнено

Bn(F 1(i/),/x) Тогда (при естественных условиях регулярности) при H sup Bn{x,v) - Bn(x,v) =оР( 1), Ên(F-1(^),/i) ^ х,и так что Dn A sup \В(у^ ц)\. Распределение последней статистики табулировано в работе Пикарда (Pikard, [72]). Статистика Dn распределена асимптотически свободно, но никакого согласования ¡Зп и Èn(x,v) здесь нет.

Подобные результаты давно описаны в литературе: для стационарной ARMA модели в работе Баи (Bai, [31]), для нестационарной авторегрессии у Линга (Ling, [66]), для нелинейных моделей с аддитивными "шумами" у Коула (Koul, [56]), для ARCH модели у Болдина в [5]. Отметим так же работу Карлштейна (Carlstein, [40]), в которой была предложена оценка момента разладки v в схеме повторной выборки.

Завершая обзор литературы отметим, что некоторые задачи из рассмотренных выше до сих пор не решены для ARMA модели. Так, например, актуальной с прикладной и математической точки зрения задачей является обобщение результатов по MD-оцениванию на ARMA модель. Это до сих пор не было сделано, хотя результаты для AR модели получены еще в 80-х годах прошлого века. Так же интересной, в особенности для приложений, задачей является задача проверки гипотезы о постоянстве коэффициентов ARMA модели, против альтернативы об их "дрейфе". Проблемы, возникающие при обобщении результатов на ARMA модель,связаны как с техническими затруднениями (например, решение задачи о "дрейфе"параметров), так и с принципиальными (мы отмечали, что метод доказательства ^/п-состоятельность MD-оценки, разработанный Коулом, не работает для модели скользящего среднего). В данной диссертации пытаемся справиться с этими затруднениями. Сейчас кратко опишем полученные результаты по главам.

Будем рассматривать АГША(р^) модель, задаваемую уравнением р я щ ~ + + Ъ^-у (1.20) г=1 ]=1

Вторая глава посвящена проверке гипотезы Н о том, что параметры с = . ,ар,Ь\,., Ьд)т модели (1.20) постоянны , т.е. с = Со, и неизвестны, против альтернативы Ап о том, что они "дрейфуют" во времени. Тогда щ-р,., ип является выборкой из решения уравнения р а

Щ = (а* + ^-г + ^ + Х^ (ь,- + 61-3, * = 1, 2, • - •, г=1 з=1

1.21) с нулевыми начальными условиями.

На последовательность с^ = (а^,., а™р, Ь"1}., накладывается условие равномерной ограниченности. Кроме того, для некоторой функции с (и) из 1] выполнено вЩ^ер),!]

->> 0.

Тестовая статистика для проверки Н против Ап строится на основе последовательного эмпирического процесса

1/) := тГ1/* ^ Ь (е£х(0)) (1-22) где £¿(0) - остатки модели (1.20), := —дедд^ , Ъ. и ф - априорно выбираемые функции.

Чтобы предельное распределение тестовой статистики, основанной на v7г(cn,z/), не зависело от параметров модели, в качестве сп необходимо выбрать оценку согласованную с процессом. Т.е. оценку, для которой при Н верно разложение п1'2 (сп - с) = З-1 • п1'2 £ Це^фЫ . (У /(*)#(*)) 1 + ор{ 1).

1.23)

Здесь — стационарный предел для е^1(с), Л = ЕИ(ео)ед .

Вопрос о выборе оценки, для которой верно разложение (1.23), решается рассмотрением ОМ-оценки , которая определяется как корень системы уравнений тг

1.24) г=1

Показано (Утверждение 2.1.1), что при некоторых дополнительных условиях на функцию ф данная система уравнений с вероятностью, стремящейся к 1, имеет у/п-состоятельное решение сп&м, для которого верно разложение (1.23).

Таким образом, если сп - л/п-состоятельное решение (1.24), то (Теорема 2.1.1) при гипотезе Н у„(с„, V) [Ч!Ы]1,!.Е[Ь(е1)Ьг(е1)]"!уМ1 где v(z/) вектор-процесс, компоненты которого суть независимые броуновские мосты. При альтернативе сп,*/) [Е^2(£1)]1/2 -Е [Ь(е1)Ьт(е1)]1/2уМ + д{у\ где д{у) - некоторый неслучайный сдвиг. Доказательству этого результата (Теоремы 2.1.1) посвящен второй параграф главы.

Если ~¥п и суть состоятельные при Ап оценки матрицы Е [Ь(в1)Ьт(е1)] и константы Е^2^), то слабый предел

П) р) при Н свободен от параметров модели, что позволит использовать Для построения тестовой статистики. Таковой берется статистика типа омега-квадрат.

Поскольку построенные тесты зависят от априорно выбираемых функций Ъ. и ф, то возникает вопрос об оптимальном выборе этих функций. Поскольку предельные распределения тестовых статистик не гауссовские и не хи-квадрат, то воспользоваться классическим определением асимптотической относительной эффективностью по Питмену для нахождения оптимального теста мы не можем. Однако, в случае, когда h(x) = х, удается определить естественную асимптотическую относительную эффективность, которая помогает определить оптимальный тест. В Теореме 2.1.2 показано, что так определенная АОЭ существует, единственна и приведен ее явный вид.

Наконец, третий параграф главы посвящен получению равномерного линейного разложения последовательного эмпирического процесса (Теорема 2.2.1) v„ (с + п-^т, Z/) =v„(i/)+J-[c(i/)-i/r] J f(x)dif>(x) + op( 1), (1.25) равномерно по (||т|| ^ в, v е [0,1]). На основе этого разложения построено доказательство основной Теоремы 2.1.1.

Третья глава посвящена модернизации оценок наименьшего расстояния Коула для стационарной авторегрессии в случае, когда распределение инноваций неизвестно и нет условия симметрии этого распределения.

Мы определяем MD-оценку для параметра одномерной авторегрессии (1.1) как решение экстремальной задачи (1.9), где Л = {9 : \9\ < 1}, а Кп(6) построен по процессу п wn(x,d) := n-W^Kyt-i) t=i

По описанной выше схеме доказательства асимптотической нормальности MD-оценок (см. стр. 12) достаточно доказать у/п-состоятельность оценки и AUL эмпирического процесса в 0(п1/2) окрестности истинного значения параметра. Понятно, что у/п-состоятельность в этой схеме нужна для того, чтобы мы могли утверждать, что с вероятностью, стремящейся к 1, точка минимума Кп(9) попадает в окрестность, в которой верно AUL эмпирического процесса.

I{et(0) ^x}-Fn{x,9)

1.26)

Поскольку автору не удалось доказать у/^~с0ст0ятель110сть предложенной оценки, была модернизирована стандартная схема доказательства. Доказывается п1/2-5 -состоятельность оценки (8 > 0) и доказывается AUL процесса в 0{п~1^2+6) окрестности истинного значения параметра. С одной стороны при таком подходе мы выигрываем (доказательство п1!2~5 -состоятельность тем проще, чем больше 8), с другой стороны мы вынуждены обосновывать AUL процесса в нестандартной окрестности. Даже при маленьких 8 мы не можем воспользоваться общими теоремами о разложении остаточного эмпирического процесса, и приходится уточнять доказательства этих теорем.

По описанной схеме в первом параграфе доказывается асимптотическая нормальность предложенной оценки (Теорема 3.1.1) с предельной дисперсией Е Щу0) Е ф%{е1) [Е уоЦуо)}2 [S pdG(x)f где Цу0) := %0) - Е%0), М») ■= f(x)dG{x).

Отметим, что данная дисперсия всегда не больше дисперсий MD-оценок, предложенных Коулом для параметра авторегрессии (у Коула в числители первой дроби Kh2(yo)). Таким образом, предлагаемая модернизированная оценка не требует знания распределения инноваций, не требует симметрии распределения и при этом всегда не хуже (с точки зрения асимптотической относительной эффективности) оценок Коула.

Равенство (1.27) и предельной дисперсии оценки Коула достигается при Е^(уо) = 0. Последнее верно в наиболее интересном случае h{x) = х.

Доказательство Теоремы 3.1.1 основывается на AUL о.э.п. (Лемма 3.1.1) в 0(п-3/7) окрестности (т.е. 8 — 1/14) и п3/7-состоятельности оценки. Доказательство Леммы 3.1.1 вынесено в третий параграф. Доказательство п3/7-состоятельности оценки основано на равномерной оценке для эмпирического процесса (Лемма 3.1.2), доказательство которой вынесено в третий параграф.

В втором параграфе исследуется робастные свойства построенной MD-оценки с точки зрения конечной чувствительности функционала влияния. Доказано (Теорема 3.2.1), что функционал влияния MD-оценки равномерно ограничен для выбросов с конечным вторым моментом.

Четвертая глава посвящена построению оценок и тестов минимального расстояния для ARMA модели. Предлагается новый двухша-говый метод оценивания, отличающийся от описанного в третьей главе для параметра одномерной авторегрессии. Данный метод применялся в § 6.6.3 [3] при построении знаковой оценки параметра одномерной авторегрессии. Отметим, что к общей ARMA модели метод минимального расстояния для задач оценивания и проверки гипотез применяется впервые.

MD-оценка, как и раньше, определяется как решение экстремальной задачи (1.9), где Кп(в) построен по эмпирическому процессу п t=1

Но минимизация проходит не по всем возможным в, а лишь по в из окрестности радиуса n-1//2logn с центром в некоторой предварительной у/п -состоятельной оценки сп. Т.е. в (1-9) А= {в : п1'2 \\0 - сп\\ <logn}.

При таком подходе для доказательства асимптотической нормальности построенной оценки (в соответствии со стандартной схемой доказательства, см. стр. 12) не надо доказывать л/n-состоятельность оценки, но при этом необходимо доказать AUL соответствующего случайно взвешенного о.э.п. в 0(n-1/2 log п) окрестности истинного значения параметра. Таким образом, для доказательства AUL мы опять не можем воспользоваться общей теоремой о разложении о.э.п. в l{st(e)^x}-Fn(x,6) . окрестности точки из [33] и нам необходимо модернизировать ее для новой окрестности.

В конце главы построенные оценки используются для построения тестов для проверки линейных гипотез. Для подсчета асимптотической мощности необходимо знать распределение тестовых статистик при альтернативах вида Н\п : с = сп := со + та-1/2d -f- о{п~1/2). Вот почему во втором параграфе доказывается AUL процесса wn(x, в) в 0{n~1l2\ogn) окрестности истинного значения параметра при Н\п (Теорема 4.2.1). Случай, когда коэффициенты модели постоянны, является частным случаем этой теоремы при d = 0. Итак, показано, что при Ны sup

Wn(x,cn + n 1/2т) - Jt/(îc) - w°(œ) = oP(log 1n), где w°(®) := n-V2£h(et-i)[I{et^x}-F(x)]Met-ï) := h(eÉi) - ЕЦе^).

С помощью AUL процесса wn(x, 9), доказывается основной результат четвертой главы — асимптотическая гауссовость MD-оценки параметра ARMA модели (Теорема 4.3.1 в случае, когда коэффициенты постоянны, Теорема 4.4.2 при Н\п). Предельная матрица ковариации имеет вид

ЕMD = [h(e0)hr(e0)] (J"1)^^/, G), где

G) := ЕфЦеу) [j f2dG{x)) , фс(у) := J [I {v К x}- F(x)} f(x)dG(x).

Отметим, что при q = 0 и р = 1 ковариация Ещ? совпадает с сг2 из (1.27). И это не удивительно, ведь при определении этих двух оценок использовался один и тот же процесс.

В четвертом параграфе на основе построенных оценок стандартным образом строятся тестовые статистики для проверки линейных гипотез об ARMA модели. Предельное распределение тестовых статистик суть центральное и нецентральное хи-квадрат распределение при гипотезе и при альтернативе соответственно (Теорема 4.4.1). Параметр нецентральности выписывается в явном виде. Это позволяет сравнить данный MD-тест с другими тестами (найти асимптотическую относительную эффективность). В частности, в пятом параграфе MD-тесты сравниваются с тестами наименьших квадратов и знаковыми тестами, предложенными в работе [9].

Глава 2

Проверка гипотезы о "дрейфе" параметров в А11МА(р,д) модели

В данной главе будут построены тесты для проверки гипотезы о "дрей-фе"параметров в А11МА(р,д) модели. Закон изменения параметров ("дрейф") аналогичен тому, что рассмотрен в (1.16)-(1.18) для авторегрессии. Тестовые статистики строятся на основе последовательных процессов, согласованных со способом оценивания неизвестных параметров модели.

В параграфе 2.1 будет поставлена задача и сформулированы основные результаты.

В параграфе 2.2 дано доказательство этих результатов, которое основывается на равномерном линейном разложении последовательного процесса. Доказательство этого разложения вынесено в параграф 2.3.

Результаты данной главы содержаться в публикациях автора [27], [10] и [38].

Список литературы диссертационного исследования кандидат физико-математических наук Эрлих, Иван Генрихович, 2010 год

1. Андерсон Т.Статистический анализ временных рядов. М.: Мир. 1976. 756с.

2. Биллингсли П. Сходимость вероятностных мер. М.: Наука. 1977. 352с.

3. Болдин М.В. Симонова Г.И. Тюрин Ю.Н. Знаковый статистический анализ линейных моделей. М.: Наука. 1997. 288с.

4. Болдин М.В. Проверка гипотез в схемах авторегрессии критериями Колмогорова и омега-квадрат.// ДАН СССР. 1983. Т. 273. №1, С. 19-22.

5. Болдин М.В. О последовательных остаточных эмпирических процессах в АКСН-модели // Успехи мат. наук. 2002. Т.57. №2. С.185-186.

6. Болдин М.В. О проверке гипотез в схеме скользящего среднего критериями Колмогорова-Смирнова и омега-квадрат.// Теор. вероятностей. и ее применен. 1989. Т. 34. №4. С. 758-764.

7. Болдин М.В. Оценка распределения возмущений в схеме авторегрессии. // Теор. вероятностей, и ее применен. 1982 Т. 27. №4. С. 805-810.

8. Болдин М.В. Последовательные процессы и тесты типа Колмогорова для авторегрессионных гетероскедастических моделей // Колмогоров и современная математика, тезисы доклодов. 2003 С. 400401.

9. Болдин М.В., Штуте В. О знаковых тестах в ARMA модели с возможно бесконечной дисперсией ошибок // Теор. вероятностей и ее применен. 2004. Т. 49. №З.С. 436-460.

10. Болдин М.В., Эрлих И.Г. Проверка гипотезы о "дрей-фе"параметров в ARMA и ARCH моделях// Труды VI Кол-могоровских чтений. Ярославль. Издательство ЯГПУ. 2008. С. 94-102.

11. Болыпев Л.Н., Смирнов Н.В. Таблицы математической статисти-ки.М.: Наука. 1983. 416с.

12. Боровков A.A. Математическая статистика. М.:Наука. 1984. 472с.

13. Вязилов А.Е. Эмпирические процессы в GARCH(l,l)-мoдeли и ро-бастное оценивание параметров // Успехи мат. наук. 2001. Т.56. №5. С.179-180.

14. Вязилов А.Е. Остаточная эмпирическая функция распределения в G ARCH (1,1) и ее применение при проверке гипотез / / Успехи мат. наук. 1999. Т.54. №4. С. 163-164.

15. Гаек Я., Шидак 3. Теория ранговых критериев. М.:Наука. 1971. 352с.

16. Гихман И.И., Скороход A.B. Теория случайных процессов. М.:Наука. 1977. 568с.

17. Кеидалл М., Стьюарт А. Статистические выводы и связи. М.: Наука. 1973. 899с.

18. Мартынов Г.В. Вычисление предельного распределения статистик критерия нормальности типа омега-квадрат // Теор. вероятностейи ее применен. 1973. Т. 18. №3. С. 671-673.

19. Мартынов Г.В. Вычисление предельных распределений статистик критериев нормальности типа омега-квадрат // Теор. вероятностей и ее применен. 1976. Т. 21. №1. С.3-15.

20. Мартынов Г.В. Критерии омега-квадрат. М.: Наука. 1978. 80с.

21. Муганцева Л. А. Проверка нормальности в схемах одномерной и многомерной регрессии // Теор. вероятностей и ее применен. 1977. Т. 22. №3. С. 603-614.

22. Надарая Э.А. О непараметрических оценках плотности вероятности и регрессии // Теор. вероятностей и ее применен. 1965 Т.10. №1. С.199-203.

23. Парджанадзе А.М. Функциональные предельные теоремы в задаче апостериорного обнаружения разладки // Теор. вероятностей и ее применен. 1986. Т. 31. №2 С. 408-411.

24. Смирнов Н.В. О распределении о;2-критерия Мизеса // Матем. сб. 1937. Т.2(44). №5. С.973-993.

25. Ширяев А.Н. Вероятность-1. М.: Московский центр непрерывного математического образования. 2004. 520с.

26. Ширяев А.Н. Вероятность-2. М.:Московский центр непрерывного математического образования. 2004. 408с.

27. Эрлих И.Г. Проверка гипотезы о "дрейфе"параметров в модели скользящего среднего // Вестник МГУ. Математика. Механика. 2009. №1. С. 8-11.

28. Эрлих И.Г. Двухшаговые оценки типа минимального расстояния для параметров модели ARMA(1,1) // Вестник МГУ. Математика. Механика. 2010. №6. С. 52-54.

29. Эрлих И.Г. Тесты минимального расстояния для проверки линейных гипотез в ARM А модели / / Обозр. прикл. pi промышл. матем., 2010, Т. 17, вып. 3, С. 374-375.

30. Bai J. Weak convergence of the sequential empirical processes of residuals in ARMA models// Ann. Statist. 1994.V. 22. P.2051-2061.

31. Bickel P.J., Wichura M.J. Convergence for multipa rameter stochastic processes and some applications // Ann. Statist. 1971. V. 42. P.1656-1670.

32. Boldin M.V. On empirical processes in heteroscedastic time series and their use for hypothesis testing and estimation // Math. Methods Statist. 2000. V. 9. №1. P.65-89.

33. Boldin M.V. On median estimates and tests in autoregressive models // Math. Mathods Statist. 1994.V.3 .P. 114-129.

34. Boldin M.V. On residual empirical distribution function and rank estimators in autoregression // Math. Methods Statist. 1997.V. 6. №1. P. 70-91.

35. Boldin M.V. On sequential residual empirical processes in heteroscedastic time series // Math. Methods Statist. 2002. V.U. P.453-464.

36. Boldin M.V. On residual empirical distribution functions in ARCH models with applications to testing and estimationMitt. Math. Sem. Glessen. 1998. V.235. P.49-66.

37. Boldin M.V., Erlikh I.G. Testing Hypotheeses on the "Drift" of Parameters in ARM A and ARCH Models // Math. Methods Statist. 2009. V.18. m. P. 1-19.

38. Brockwell P.J., Davis R.A. Time Series: Theory and Methods. New York. Springer-Verlag. 1987. 519 p.

39. Carlstein E. Nonparametric change point estimation // Ann. Statist. 1988. V. 16. P. 188-197.

40. Chan N.H., Ling S. Residual empirical processes for long and short memory time series // Ann. Statist. 2008. V. 36. №5. P.2453-2470,

41. Dhar S.K. Minimum distance estimation in an additive effects outliers model // Ann. Statist. 1991. V.19. №1. P.205-228.

42. Doukhan P. Mixing: Properties and Examples Lecture Notes in Statistics, V.85. New York. Springer-Verlag. 1994. 142p.

43. Durbin J. Weak convergence of the sample distribution function when parameters are estimate,// Ann. Statist. 1973. V.l. №2. P.279-290.

44. Hallin M., Ingenbleek J.-F., Puri M.L. Linear serial rank tests for randomness against ARM A alternatives // Ann. Statist. 1985. V.13. №3. P.1156-1181.

45. Hallin M., Ingenbleek J.-F., Puri M.L. Linear and quadratic rank tests for randomness against serial dependence// J. Time Ser. Anal. 1987. V.8. №4. P.409-424.

46. Hallin M., Puri M.L. Optimal rank-based procedures for time series analysis: testing an ARMA model against other ARMA models // Ann. Statist. 1988. V.16, №1. P.402-432.

47. Hallin M., Puri M.L. Time series analysis via rank order theory: signed-rank tests for ARMA models // J. Multivariate Ahalysis. 1991. V.39. m. P. 1-29.

48. Hallin M., Puri M.L. Rank tests for time-series analysis: a survey. New Directions in Time Series Analysis, Part I. Ed. by D. Brillinger, E. Parzen, and M. Rosenblatt. 1992. New York. Springer-Verlag. 11-153.

49. Hallin M., Puri M.L. Aligned rank tests for linear models with autocorrelated error terms // Multivariate Analysis. 1994. V.50. №2. P. 175-237.

50. Jureskova J. Nonparametric estimation of regression coefficients // Ann. Math. Statist. 1971. V.42. №4. P.1328-1338.

51. Kolmogorov A.N. Sulla determinazione empirica di une legge di distribuzione // Giorn. Ist.Ital. Attuari, 1933. V.4. P.83-91,

52. Koul H.L. Minimum distance estimation in a linear regression // Ann. Statist. 1983. V.ll. P.921-932.

53. Koul H.L. Minimum distance estimation in a linear regression with anknown error distribution // Statist, and Probab. Letters. 1985. V.3. P.l-8.

54. Koul H.L. Minimum distance estimation and goodness-of-fit tests in first order autoregression // Ann. Statist. 1986. V.14. P.1194-1213.

55. Koul H.L. Asymptotics of some estimators and sequential residual empiricals in nonlinear time series // Ann. Statist. 1996. V.24. №1. P.380-404.

56. Koul H.L. Weighted Empiricals and Linear Models. IMS. Hayward. CA. 1992.

57. Koul H.L., Levental S. Weak convergence of residual empirical process in explosive autoregression // Ann. Statist. 1989. V.17. P.1784-1794.

58. Koul H.L., Ling S. Fitting an error distribution in some heteroscedastic time series models // Ann. Statist. 2006. V.34. №2. P.994-1012.

59. Koul H.L. , Ossiander M. Weak convergence of randomly weighted dependent residual empiricals with applications to autoregression // Ann. Statist. 1994. V.22. P.540-562.

60. Kreiss J.P. Estimation of the distribution function of noise in stationary processes // Metrica. 1991. V.38. P.285-297.

61. Kreiss J.P. Testing linear hypotheses in autoregressions // Ann. Statist. 1990. V.18. №3. P. 1470-1482.

62. Lee S., Taniguchi M. Asymptotic theory for ARCH-SM models: LAN and residual empirical processes // Statistica Sinica. 2005. V.15. 215234.

63. Lee S., Wei C. Z. On residual empirical processes of stochastic regression models with applications to time series // Ann. Statist. 1999. V.27. P.237-261.

64. Lilliefors H.W. On the Kolmogorow-Smirnow test for normality with mean and variance unknown //J. Amer. Statist. Ass. 1967. V.62. 399402.

65. Ling S. Weak convergence of the sequential empirical processes of residuals in nonstationary autoregressive models // Ann. Statist. 1998. V.26. P.741-754.

66. Loynes R.M. The empirical distribution function of residuals from generalized regression // Ann. Statist. 1980. V.8. P.285-298.

67. Martin R.D., Yohai V.J. Influence functionals for time series // Ann. Statist. 1986. V.14. P.781-818.

68. Miller S.M. Empirical processes based upon residuals from errors-in-variables regressions // Ann.Statist. 1989. V.17. P.282-292.

69. Milnor J.W. Topology from the Differentiate Viewpoint, Princeton University Press, NJ, 1965. 64p.

70. Mokkadem A. Mixing properties of ARMA processes // Stochastic Processes Applications. 1988. V.29. P.309-315.

71. Pikard D. Testing and estimating change-point in time series // Adv. in Appl. Probab. 1985. V.7. P.841-867.

72. Shorack G.R., Wellner J.A. Empirical processes with applications to statistics. New York. Wiley. 1986.

73. Smirnov N. Sur les ecarts de la courbe de distribution empirique // Ree. Math. (Mat. Sbornik) (NS), 1939. V.6. P.3-26.

74. Sorokin A.A. On The Minimum Distance Estimates in ARCH Model // Math. Methods of Stat. 2004. V.13. №3. P.329-355.

75. Wolfowitz J. Estimation by minimum distance method // Ann. Inst. Stat. Math. 1953. V.5. P.9-23.

76. Wolfowitz J. Estimation by the Minimum Distance Method in Nonparametric Stochastic Difference Equations // Ann. Math. Statist. 1954. V.25. №2. P.203-217.

77. Wolfowitz J. Minimum distance estimation method // Ann. Math. Stat. 1957. V.28. P.75-88.

78. Whittle P. Gaussian estimation in stationary time series // Bull. Int. Stat. 1962. V.39. P. 105-129.