Непараметрическое оценивание плотности и функции регрессии для слабо зависимых случайных полей тема диссертации и автореферата по ВАК РФ 01.01.05, кандидат физико-математических наук Миллионщиков, Николай Владимирович

• Миллионщиков, Николай Владимирович
• кандидат физико-математических наук
• 2005

Оглавление диссертации кандидат физико-математических наук Миллионщиков, Николай Владимирович

Введение

Основные обозначения

1 Асимптотическая нормальность ядерных оценок плотности

1.1 Применение техники секционирования к слабо зависимым случайным полям.

1.2 Скорость нормального приближения ядерных оценок плотности.

2 Асимптотическая нормальность ядерных оценок функции регрессии

2.1 Применение метода Стейна к слабо зависимым случайным полям.

2.2 Скорость нормального приближения ядерных оценок функции регрессии.

3 Состоятельность ядерных оценок плотности

3.1 Экспоненциальные неравенства.

3.2 Неравенства для моментов сумм зависимых случайных величин.

3.3 Сходимость почти наверное ядерных оценок плотности . 64 Список литературы

Введение диссертации (часть автореферата) на тему «Непараметрическое оценивание плотности и функции регрессии для слабо зависимых случайных полей»

Задача оценивания плотности распределения случайных величин является традиционной задачей статистического анализа данных, представляющей не только теоретический интерес, но и допускающей приложения на практике. Напомним, что имеются два основных типа статистических оценок: параметрические и непараметрические. Непараметрическая процедура обычно определяется как процедура, которая справедлива независимо от типа распределения, которому принадлежит выборка. Привлекательность непараметрических стохастических моделей обусловлена весьма общими условиями, в терминах которых они описываются, например, независимость и одинаковая распределенность изучаемых случайных величин. Именно поэтому основное внимание в диссертации уделяется непараметрическому подходу к оцениванию плотностей. При этом акцент делается на получении результатов, справедливых для зависимых наблюдений. Разумеется, параметрические модели также имеют свои достоинства (часто в большей простоте и законченности статистических выводов). Поэтому целесообразным является взаимодополняющее развитие как параметрических, так и непараметрических методов математической статистики. Имеется множество работ, посвященных изучению свойств непараметрических оценок плотностей и функции регрессии (см., например, [2], [14], [23], [40], [75]-[72]).

Значительное внимание специалистов в области математической статистики уделяется введенным Розеблаттом ([70]) ядерным оценкам плотности, основные свойства которых были изучены Парзеном ([68]).

Далее все используемые случайные величины и векторы считаются определенными на некотором вероятностном пространстве (П,^7, Р). Как обычно, Е - усреднение по мере Р, var(Y) - дисперсия случайной величины Y. В качестве расстояния между точками i = (ц,. и j = (ji,. . ,jd) из Zd всегда будет выступать ||г — j\\ = maxi<?<d \iq — jq\.

Пусть Xi,.,Xn - одинаково распределенные случайные векторы со значениями в Rs, имеющие общую плотность распределения /. Ядерная оценка, или оценка Парзена-Розенблатта, плотности / задается формулой sR-.neN. (0.0.1) где К - плотность некоторого вероятностного распределения (ядро), hn}n>i - последовательность положительных чисел, стремящаяся к нулю при п —> оо.

Различные примеры ядер можно найти в работах [48], [68]. Выбор функции К в формуле (0.0.1) играет большое значение. На практике этот выбор может осуществляться по-разному, исходя из конкретных условий. При работе с ядерными оценками используются разнообразные численные методы, например, быстрое преобразование Фурье (см. [78]).

Существует много подходов к выбору последовательности {ftn}n>i в (0.0.1) (см., например, [2], [14], [53], [77]).

Большое количество работ, посвящено исследованию близости /„ к / в различных метриках, например, метриках пространств Lp, С. Изучению свойств непараметрических, в том числе ядерных, оценок плотности как элементов пространства Ь\ посвящена книга [14]. Результаты о равномерной в Rs почти наверное сходимости /п к / были получены, например, в статьях [49], [50].

Ядерные оценки плотности применяются и для процессов с непрерывным временем. Уделяется внимание построению доверительных интервалов и асимптотике дисперсий соответствующих оценок (см., например, [52]).

Наряду с ядерными используются и другие непараметрические оценки плотности, такие как проекционные, гистограммные (см. [14], [23], [26], [81]). Применяются также различные модификации ядерных оценок: адаптивные ядерные оценки, рекуррентные ядерные оценки, преобразованные ядерные оценки и другие (см., например, [14] ). Идеи Парзена и Розенблатта нашли свое применение и при построении семипараметрических оценок, которые в определенных условиях обладают одновременно преимуществами непараметрической и параметрической процедур (см. [32], [58]).

Оценки Парзена-Розенблатта являются классическим примером непараметрических статистических оценок, благодаря их появлению в непараметрической статистике стали активно использоваться многие идеи гармонического анализа и теории аппроксимации функций. При работе с ними широко применяются результаты и методы теории суммирования случайных величин. Их удобство и универсальность привели к появлению и последующему детальному изучению ядерных оценок функций распределения, квантилей (см. [39]), моды (см. [63], [67]), функции регрессии (см. [23])'.

Ядерные оценки функции регрессии были введены в работах Надарая и

Ватсона (см. [22], [82]) и с тех пор использовались и изучались в различных моделях и ситуациях (см., например, [72], [59], [20]).

Имеются две основные постановки задачи оценки функции регрессии. В первой из них рассматривается выборка (Х\, Y\),., (Хп,Уп) из наблюдений (5 + т)-мерного случайного вектора (X, У), где X и У принимают значения в Rs и Rm соответственно, s,m G N; требуется оценить функцию регрессии У по X, то есть п(х),. ,гт{х)) := Е(У\Х = х), х € R'.

Во второй постановке задачи условное распределение У при условии X = х не известно, но точки Х\,. ,Хп, в которых производятся наблюдения Yi,.,yn, задает статистик. Ядерные оценки функции регрессии были предложены Надарая ([22]) в первой постановке задачи, и определяются следующим образом

0.0.2) где, как и в случае ядерных оценок плотности, К - некоторое ядро, {/in}n>1 - последовательность положительных чисел, стремящаяся к нулю при п —> оо. Если знаменатель в (0.0.2) равен нулю, то считаем саму оценку также равной нулю.

Оценки Надарая-Ватсона широко используются во многих исследованиях. В некоторых случаях для учета специфики конкретных моделей их нужным образом модифицируют (см. [83]).

Ряд работ посвящен вопросам оптимальной скорости сходимости оценок функции регрессии в различных метриках, например, метриках пространств LpU С (см. [80], [19], [18]).

Для выборок, состоящих из независимых случайных величин, основные статистические свойства, например, состоятельность и асимптотическая нормальность ядерных оценок как плотности так и функции регрессии хорошо известны (см. [23], [14], [50]).

Имеется большое количество важных стохастических моделей, в которых нужно учитывать зависимость между случайными элементами. Например, модели, в которых рассматриваются марковские процессы и поля (см. [15]), мартингалы (см. [30]), процессы и поля с премешиванием (см. [17], [44]), гиббсовские поля (см. [25]). Е гп1(х),. ,,тпт(х)) := !=1-;-- xeR',n€ N, j=l 4 '

Ряд работ посвящен оцениванию переходных вероятностей для цепей Маркова (см., например, [12], [71]). Во многих статьях изучаются свойства ядерных оценок плотности (см. [40]) и функции регрессии (см. [72], [59]) для процессов и полей, удовлетворяющих тем или иным условиям перемешивания.

Одним из наиболее распространенных способов описания стохастической зависимости является задание ограничений на ковариации некоторых функций от конечных наборов случайных величин. В частности, если рассмотреть покоординатно неубывающие функции и потребовать, чтобы соответствующие ковариации были неотрицательны, то мы придем к определению ассоциированных случайных величин, введенному в работе [46].

Определение 0.1([46]). Семейство X = {Xt,t G Т} случайных величин, где Т-некоторое параметрическое множество, называется ассоциированным, если для любых конечных множеств индексов /, J С Т и ограниченных покоординатно неубывающих функций / : R'JI —> R и д : RlJl —► R справедливо неравенство cov(f(Xs,s е I),g(Xt,t е J)) > 0.

Здесь и далее |/| обозначает число элементов конечного множества I.

В [46] показано, что произвольное семейство взаимно независимых случайных величин ассоциировано. Питт доказал ([69]), что гауссовское случайное поле ассоциировано тогда и только тогда, когда его ковариационная функция всюду неотрицательна. Примеры ассоциированных случайных полей возникают в статистической физике (см. [51], [25]).

В статье [47] Фортуин, Кастелейн и Жинибр использовали условия зависимости случайных полей, задаваемые в виде неравенств для определенных мер на решетках (FKG-неравенства). Эти неравенства влекут ассоциированность и применяются в статистической физике, квантовой механике, теории гиббсовских полей, теории перколяции (см. [25], [47], [65]).

Имеется следующее обобщение определения 0.1 на многомерный случай.

Определение 0.2([38], [46]). Семейство X = {Xt,t G Т} случайных векторов со значениями в R5, называется слабо ассоциированным (или положительно ассоциированным), если для любых конечных непересекающихся множеств индексов I, J С Т и ограниченных покоординатно неубывающих функций / : R^' —* R и д : RS'J' —> R справедливо неравенство cov(f(Xs,s е I),g{Yute J)) > 0.

Йаг-Дев и Прошан ввели понятие отрицательно ассоциированных случайных векторов.

Определение 0.3([57]). Семейство X = {Xut G Т} случайных векторов со значениями в Rs, называется отрицательно ассоциированным, если для любых конечных непересекающихся множеств индексов /, J с Т и ограниченных покоординатно неубывающих функций / : —» R и д : R^"7' —» R справедливо неравенство cov(f(X3,s е I),g(Yt,te J)) < 0.

Со свойствами и примерами отрицательно ассоциированных случайных величин можно ознакомится в работе [57]. Приведем некоторые из них.

Независимые случайные величины удовлетворяют определению 0.3. Отрицательно коррелированные гауссовские случайные величины являются отрицательно ассоциированными. Примеры' отрицательно ассоциированных случайных величин возникают в математической статистике. Многие известные распределения обладают свойством отрицательной ассоциированности, например, мультиномиальное, многомерное гипергеометрическое и другие.

Случайные процессы и поля, удовлетворяющие условиям зависимости 0.1-0.3, являются предметом активного изучения многих исследователей. В течение нескольких последних десятилетий были доказаны различные варианты центральной предельной теоремы, принципы инвариантности, законы повторного логарифма, законы больших чисел, экспоненциальные неравенства и другие результаты для сумм положительно и отрицательно ассоциированных случайных величин. При этом предполагалось, что зависимость между случайными величинами, выражаемая в терминах ковариаций, убывает с определенной скоростью, когда расстояния между индексами этих величин растут (см., например, [64], [33], [34], [5], [66], [28]).

Много работ посвящено изучению свойств непараметрических оценок плотности, функции регрессии и их производных, построенных по выборкам, образующим положительно или отрицательно ассоциированные процессы и поля. Для этих оценок доказана асимптотическая нормальность слабая и сильная состоятельность (см. [74], [61], [60], [54]), получены оценки скорости нормального приближения (см. [10], [37], [20]). При доказательстве этих результатов, активно используются методы теории суммирования случайных величин.

Для формулировки некоторых определений и результатов, которые нам потребуются в дальнейшем, введем ряд понятий и обозначений.

Рассмотрим метрические пространства S и М соответственно с метриками S и т. Функция / : S —> М называется липшицевой, если йр(/)= sup t

Класс ограниченных липшицевых функций / : Sm —> R, где m, G N, обозначим BL(Sm); в пространстве Sm используется метрика 5т(х, у) = ЕГ=15(хк,Ук), для х = (rci,., хт) G Sm и у = (?/ь.,ут) G 5Ш, а в R берется евклидово расстояние.

Для положительно и отрицательно ассоциированных случайных величин справедливы некоторые неравенства, которые связывают ковариацию функций от наборов случайных величин с суммой ковариаций самих величин (см. [65], [33], [35]). Выполнения этих неравенств часто бывает достаточно для доказательства предельных теорем, неравенств и других результатов. В связи с этим появились новые определения, обобщающие свойства положительной и отрицательной ассоциированности.

Определение 0.4([35]). Семейство X = {Xt,t € Т} случайных величин, имеющих конечный второй момент, называется квазиассоциир-ованным, если для любых непересекающихся конечных множеств I, J С Т и любых / G BL(RW),g € BL{RlJl) cov(f(Xi, i G I\g{Xhj G J))| < Lip(f)Lip(g) £ £ \саи(ХиХ^\. ieijzJ

0.0.3)

В [35] использовались липшицевы функции, для которых учитывалась возможность разной скорости роста по различным аргументам, что несущественно видоизменяло (0.0.3). В статье [9] показано, что соотношение (0.0.3) выполнено и для положительно и для отрицательно ассоциированных случайных величин с конечными вторыми моментами. Любое семейство гауссовских случайных величин удовлетворяет неравенству (0.0.3) (см. [43]). Определение 0.4 несложно обобщить для случайных векторов со значениями в Rs.

Определение 0.5([6]). Семейство X = {Xt, t еТ} случайных векторов со значениями в Rs, имеющих конечный второй момент, называется квазиассоциированным, если для любых непересекающихся конечных множеств I, J С Т и любых / G BL(RSW), д G BL(RSW) covifiXi.iellgiXjJ G J))| < Lip(f)Lip(g) £ ± \cov(Xik,Xjv)\. i€l,j&J k,v=1

0.0.4)

А.П.Шашкин ([27]) показал, что любая гауссовская система случайных векторов, принимающих значения в Rs, обладает свойством квазиассоциированности.

Аналог неравенства (0.0.3) для гладких функций / и д был впервые доказан в работе [33], примеры использования ковариационных неравенств можно найти в статье [43].

В данной диссертации наряду с понятием квазиассоциированности используются более общие подходы к описанию стохастической зависимости, которые применялись в работах П.Дукана, С.Луиши, А.В.Булинского, Ш.Сюке, Г.Ланга, А.П.Шашкина, Н.В.Миллионщикова (см. [43], [45], [35], [И], [37], [7], [20], [21]).

Пусть Т - метрическое пространство с метрикой р, и пусть в = {0r}r>i - такая числовая последовательность, что вг —* 0 при г —► оо.

Определение 0.6([35]). Случайное поле X — {Xt,t G Т}, принимающее при каждом t значения в метрическом пространстве S, называется (ВЬ,в) - зависимым, если для любого s G Т и произвольного непустого конечного множества J С Т такого, что i £ J, cav(f(Xilg(yJtj G J))| < 6rLip(f)Lip(g) (0.0.5) при всех / G BL(S),g G BL{S^), где r = inf{p(i,j) : j G J}.

Для описания зависимости поля X широко используется коэффициент Кокса-Гримметта ([41])

0r* = sup Y, I cov(Xj,Xg)\, re N. (0.0.6) ieZ* qZZ*:\\q-j\\>r ж|| = maxi<i<d\xi\ для x = (xi,.,xd) G Rd). Легко видеть, что квазиассоциированное поле X = {Xj,j G Zd} является (ВЬ,в) -зависимым, если в{ < оо и 6* —> 0 при г —> оо, причем можно положить 0Г = в*.

В диссертации [29] построены новые примеры случайных полей скользящего среднего, гауссовских и марковских, являющихся (BL,0)-зависимыми.

В течение последних десяти лет для описания зависимости между элементами случайных полей активно используется следующая схема, которая охватывает определение 0.6. Пусть L - некоторый класс действительнозначных функций конечного числа аргументов, а неотрицательный функционал и : С х С х 2Т х 2Т —> Е. Условие зависимости поля {Xt, t G Т} задается в виде неравенства cov(f(Xi,i G I),g(Xj)j G J))| < u{f,g,I,J), (0.0.7) справедливого для всех f,g G С и множеств 7, J С Т определенного вида (например, состоящих из одного элемента). Требуется подобрать подходящим образом класс С, вид множеств 7, J и функцию и, чтобы неравенство (0.0.7) обеспечивало решение поставленной задачи, например, получения оценки скорости сходимости в центральной предельной теореме или законе больших чисел. В разных задачах и моделях этот выбор может осуществляться по-разному. Если в качестве £ взять класс BL(S) и потребовать выполнения (0.0.7) с u(f,g,I,J) = 9rLip(f)Lip(g) для всех непустых /, J, таких что |/| = 1, | J\ < оо и I П J = 0, то получим определение {BL, ^-зависимости. Естественно считать, что функция и учитывает расстояние между множествами I и J, а также мощности этих множеств. "Увеличение расстояния" приводит к уменьшению зависимости, а "рост" хотя бы одного из множеств, вообще говоря, может увеличить зависимость между f(Xi,i G /) и g(Xj,j G J).

В работах [45], [37] использовались неравенства (0.0.7), в которых u(f,g,I,J) = ф(1,д,\1Ш)вг, где ф : С2 х N2 R, а г = dist(I,J) = min{||i -j\\ : г G IJ G J}.

Чаще всего применяются два типа функционалов ф:

Ш <7, И. И) = тВД, |J|)Lip(/)Lipfo), (0.0.8)

1Л, И) = 1ЛЬФ(/)1Ы1оо + Н^ЫИ/lloo- (0-0.9)

В качестве класса С "пробных функций" кроме ограниченных липшицевых функций берутся и другие классы функций. Например, в работе [1] для получения оценок абсолютных моментов частичных сумм мультииндексированных зависимых случайных величин использовались функции степенного типа. Рассматриваются также ковариационные неравенства для линейных функций, функций с ограниченной вариацией; в контексте коэффициентов перемешивания возникают индикаторные функции (см. [44]).

Заметим, что в работах [37], [45] для описания удаленности множеств I и J использовалось расстояние dist(I, J). Это не давало простой возможности учитывать разную скорость убывания зависимости поля {Xt,t G } по различным направлениям. В данной работе будет использоваться модификация определения 0.6.

Пусть заданы некоторый класс С функций конечного числа действительных аргументов со значениями в R, неотрицательный функционал ф :Xx£xNxN-»R,h массив в = {0r}r6nd> состоящий из неотрицательных чисел, причем 9Г —> 0, когда все компоненты гг-, г = 1,. ,d, мультииндекса г стремятся к бесконечности. Определим для I С г G множество Н(1,г) С Rd следующим образом: d

H{I,r) :={JY[(ik-rk,ik + rk). i&Ik=l

Определение 0.7 Случайное поле X = {Xj,j G U}, U С Zd, d G N со значениями в Rs, s G N, называется (£, ф, 0)-зависимым, если для любых непустых непересекающихся конечных множеств I,J С U таких, что #(/,г) П J = 0, и всех функций / : Rs|/| -> R и д : RSIJI -* R, принадлежащих классу справедливо неравенство lawc/cx,,» е € J))| < |/|,|j|)0r.

В данной работе, как правило, С = BL, а ф = Vi> то есть рассматриваются (5Ь,'0ь^)-зависимые случайные поля, и под "слабой зависимостью" будет пониматься (BL, ^-зависимость.

В отличие от семейств независимых случайных величин, для зависимых случайных полей большое значение имеет расположение индексов элементов поля в пространстве, так как оно существенным образом учитывается большинством условий зависимости. В многомерном случае (т.е. при изучении случайных полей, заданных на подмножествах где d > 1) уже не существует понятий "прошлое" и "будущее", традиционно используемых в анализе случайных процессов. Кроме того, суммирование, взятие максимума и другие действия с элементами поля могут производиться по множествам более сложной структуры, чем для случайных процессов. В результате методы, применяемые для случайных процессов, удовлетворяющих тем же условиям зависимости, и тем более независимых, требуют изменений. Эти изменения часто приводят к появлению различных ограничений на множества индексов случайных элементов. Например рассматривают только кубы или параллелепипеды, используют последовательности конечных множеств, стремящихся к бесконечности в смысле Ван Хова (см. [8], [36]).

Для выборок, образованных случайными полями {Xi,i 6 Un}, {{Xi,Yj),i G Un} аналогами (0.0.1) и (0.0.2) служат формулы tttW К С^ТГ^О ' (°-0-10) rnl{x). ,r„m(aO) —-т—r, ®6R>6N. (0.0.11) i£Un \ n У

Как уже было отмечено, на асимптотические свойства оценок (0.0.10) и (0.0.11) существенным образом влияют характер зависимости изучаемого семейства величин Xj, поведение ядра К, скорость стремления к нулю последовательности {hn}n>1, вид множеств Un. В случае Uni являющихся "регулярно растущими целочисленными прямоугольниками", состоятельность и скорость нормального приближения оценок (0.0.10), (0.0.11) получены в работах [10], [40], [37], [59]. В этих работах использовались условия сильного перемешивания и (BL, 0)-зависимости. Отметим, что в статье [20] при доказательстве асимптотической нормальности оценок (0.0.11) рассматривались множества Un произвольной конфигурации.

Асимптотическая нормальность оценок (0.0.1) для положительно и отрицательно ассоциированных выборок была доказана в работе [74]. А именно, для положительно или отрицательно ассоциированного строго стационарного случайного процесса X = {Xi,i € N} при х G R таких, что /(х) > 0 и / непрерывна в х, установлено соотношение

Vnh~n(fn{x) ~ f(x))/cr(x) N(0,1) при п оо, где а2(х) = f(x)fRK2(x)dx, " —> " обозначает сходимость по распределению, iV(0,1) - стандартный нормальный закон. При этом предполагается выполнение следующих условий.

Пусть ЕХ? оо и X^i \cov{XuXi+l)\ < оо. Производная /' существует и ограничена на R. Для любых i > 0 существует совместная плотность /ifi величин ХъХ{+1 и \fiti(u,v) — f(u)f(v)\ < С при всех u,v G R и некоторой константе С > 0. Ядро К является ограниченной плотностью вероятностного распределения, имеет ограниченную производную и fR\u\K(u)du < оо. Кроме того, lirn^ooпЛ^ = 0, lim^oon/in = оо. Существуют последовательности натуральных чисел {Рп}пещ, {gn}n6N такие, что lim^oo рпкп/п = 1, Итп^РпК = 0, lim^^ pi/nhn = О, limn^h-b^jlqJcoviXuXi+i)} = 0, где кп = [п/(рп + qn)} (здесь [•] обозначает целую часть числа).

В первой главе данной диссертационной работы получен аналог этого результата для слабо зависимых случайных полей, при этом множества [/„, фигурирующие в формуле (0.0.10), представляют собой "регулярно растущие целочисленные прямоугольники". Доказательство этого результата основано на применении следующей теоремы, установленной в работе [35].

Теорема 0.1. Пусть X = {Xt,t G Zd} есть (ВL, 9)-зависимое случайное поле такое, что ЕXj = 0 и ЕXj < оо для каждого j Е Zd. Тогда для любого конечного U С для которого В2 := YLjeu > 0, всех х ЕШ и произвольных положительных £, 7 верна оценка в~1 £ Xj > х ] - P(Z > х) jeu

Р(х-'У< Z < х + 7)+

0.0.12) (2 + 2) (f + (4 + £ + 2е~1)Се + ЦЩВ-Чг) , здесь Се = В~2 EXjl{\Xj\>£B} ~ функция Линдеберга, Z ~ N(0,1).

Заметим, что для независимых слагаемых Q\ = 0, и тем самым оценка (0.0.12) упрощается. В частности, получается справедливость классической теоремы Линдеберга. Для зависимых слагаемых оценка скорости нормального приближения, как правило, хуже, чем для сумм независимых случайных величин. Достаточно напомнить эталонные оценки Берри-Эссеена (см., например, [24] стр. 154), а также неклассические варианты этих оценок (см., например, [16], [31], [34]).

Теорема 0.1 получена в [35] с помощью метода Стейна. Напомним, что идея метода Стейна (см. [79]) состоит в следующем. Рассматривается дифференциальное уравнение f(x)-xf(x)=g(x)-Eg(Z), iGl, (0.0.13) где g - заданная ограниченная непрерывная функция, a Z - стандартная нормальная величина. Данное уравнение имеет единственное ограниченное решение, которое определяется формулой X f(x) = е*2'2 J e-t2'2{g{t) - Еg(Z))dt, zeR.

00

Заменив х в (0.0.13) на случайную величину W и взяв математическое ожидание от каждой части этого уравнения, получим

Таким образом, чтобы оценить близость распределения W к нормальному, выражаемому величиной Eg(W)—Eg(Z), достаточно оценить левую часть уравнения (0.0.14). Заметим, что такая оценка, вообще говоря, не является тривиальной.

Для выборок, состоящих из независимых случайных векторов (Xi,Yi), г = 1 хорошо известен следующий результат (см. [23] стр. 124).

Пусть в (0.0.11) 5 = 1, К — ограниченная симметричная функция такая, что lim^i^oo \х\К(х) = 0, функция х2К(х) принадлежит пространству Li(R). Функция V(х) = JRy2f(x,y)dy непрерывна. Кроме того, плотность / распределения величины X и функция ср(х) — fRyf(x,y)dy имеют ограниченные производные первого порядка, |У| < С п.н., lim^oo nhn = оо, limn400 nhn = 0. Тогда

Возникает вопрос, при каких условиях ядерные оценки функции регрессии обладают свойством асимптотической нормальности (точнее говоря, величина \/nhn(rn(x) — r(x))/cr(x) распределена асимптотически нормально), если поле {(JKi,Yi),i G Un} является (BL, 0)-зависимым, a Un с Ъл. Можно ли в качестве множеств Un брать не только "целочисленные прямоугольники", а множества более общей структуры? Во второй главе данной работы даны условия, в частности, на скорость убывания величин вг, достаточные для получения оценки скорости нормального приближения совместного распределения ядерных оценок функции регрессии (0.0.11), вычисленных в конечном числе точек х G Rs. При этом никаких ограничений на форму множеств Un не налагается. Для доказательства этого результата используется предложенный в работе [37]

ЕДИ0 - EWf(W) = Eg(W) - Еg(Z).

0.0.14) nhn(fn(x) — r(x))/a(x) N(0,1) при n —» oo, где модифицированный метод Стейна, позволяющий оценивать приближение к нормальному закону случайных векторов.

Сильная состоятельность ядерных оценок плотности для положительно и отрицательно ассоциированных выборок изучалась в недавних работах Масри и Оливейра, см. [61], [54].

Пусть {Xj}ieN - строго стационарная последовательность положительно (отрицательно) ассоциированных случайных величин. В статье [61] изучаются ядерные оценки плотности распределения случайных векторов Xj = (Xj+i,. ,Xj+m), mG N, а также оценки ее производных. Предполагается, что плотность / случайных величин X,- ограничена. Кроме того, для всех j > 0 существует совместная плотность fj векторов Хо и Xj (для j < т плотность распределения вектора (Xq,.,Xj)), причем fj ограничены равномерно по j. Также предполагается, что ядро К имеет ограниченные частные производные; В этой работе, в частности, доказано, что если в* = S|j|>r cov(Xq, Xj) < Саг для некоторых С > О, а € (0,1), то sup | fn(x) - Efn(x)\ = 0{(nh™y/2) п.н. при п -> оо xeQ для любого компакта Q С Rm и всех 7 > 0.

При доказательстве этого результата использовались моментные неравенства для сумм положительно и отрицательно ассоциированных случайных величин из статьи [76].

В [54] для получения оценки скорости сходимости почти наверное к нулю величин |fn(x) — Efn(x)\ использовались экспоненциальные неравенства для сумм ассоциированных случайных величин. При этом требовалась экспоненциальная скорость убывания коэффициента Кокса-Гримметта в* = Иф-|>гcov(X0,Xj), когда г, стремится к бесконечности. Полученная скорость сходимости имеет вид 0((lnn/n^1-7^n)1/'2) для некоторого 7 G (0,1).

Состоятельность ядерных оценок плотности изучалась и для случайных полей. Так в работе [40] рассматривались оценки Парзена-Розенблатта плотности, построенные по наблюдениям, образующим векторное случайное поле, удовлетворяющее условию сильного перемешивания. При этом в качестве множеств Un для построения оценок (0.0.10) брались "регулярно растущие целочисленные прямоугольники".

В третьей главе диссертации с помощью новых экспоненциальных и моментных неравенств для сумм элементов (BL, ^-зависимых случайных полей доказывается сильная Состоятельность ядерных оценок плотности. При этом никаких ограничений на форму множеств Un не налагается. Используемое здесь определение 0.7, позволяет учитывать различный характер зависимости поля по разным направлениям. Это важно для некоторых моделей, применяемых, например в геостатистике, где для описания зависимости гауссовского случайного поля {Z,-, г G Zd} используют вариограмму (см., например, [42])

7(r) = ivar{Z0 - Zr), г е Zd.

Рассматривают различные модельные вариограммы: экспоненциальная, сферическая, гауссовская. При этом вариограмма может изменяться с разной скоростью вдоль различных осей, что соответствует анизотропному изменению зависимости между элементами случайного поля.

Из определения 0.4 видно, что, как и в случае гауссовского поля, зависимость стационарного квазиассоциированного случайного поля определяется его ковариационной функцией. Поэтому естественно возникает возможность учета анизотропии в близком к квазиассоциированности понятии ^-зависимости.

Сделаем несколько замечаний. Далее буква С будет обозначать, вообще говоря, различные для разных формул положительные множители, не зависящие от п, а в некоторых случаях и от других параметров, что будет оговариваться отдельно. Поскольку все оценки в главах 1 и 2 доказываются с точностью до множителей, которые могут зависеть от размерности рассматриваемых конечномерных пространств, то выбор нормы в рассматриваемом пространстве не играет роли.

Структура работы

Работа, объемом 82 страницы, состоит из введения, трех глав и списка литературы, насчитывающего 83 наименования.

Первая глава содержит два параграфа. В §1.1 представлена техника секционирования Бернштейна для слабо зависимых случайных полей и доказаны некоторые вспомогательные утверждения, которые используются в §1.2. Основной результат содержит теорема 1.2.2, дающая оценку скорости сходимости функций распределения центрированных и нормированных ядерных оценок плотности к функции распределения стандартной нормальной величины в равномерной метрике.

Вторая глава также состоит из двух параграфов и посвящена изучению асимптотики совместных распределений ядерных оценок функции регрессии для слабо зависимых случайных полей. В §2.1 излагается метод

Стейна и доказываются результаты, которые играют ключевую роль в §2.2 при получении оценки скорости нормального приближения ядерных оценок функции регрессии (теоремы 2.2.2 и 2.2.3).

Третья глава содержит три параграфа. В первом параграфе устанавливается новое экспоненциальное неравенство (лемма 3.1.1) для сумм элементов (BL, -01,0)-зависимого случайного поля, во втором доказано неравенство для моментов сумм элементов (ВЬ, фi, 0)-зависимого случайного поля (лемма 3.2.1), а в §3.3.3 на основе результатов §3.3.1 и §3.3.2 получены оценки скорости сходимости почти наверное ядерных оценок плотности (см. теоремы 3.3.2 и 3.3.3).

Основные результаты диссертации опубликованы в работах автора [10], [20], [62], [21]. В работе [10] А.В.Булинскому принадлежит постановка задачи и разработка подхода, основанного на использовании ковариационных неравенств, Н.В.Миллионщикову принадлежит асимптотический анализ вспомогательных функций и оптимизация используемых параметров. Все остальные результаты получены Н.В.Миллионщиковым самостоятельно. Результаты диссертации докладывались на международной конференции "Колмогоров и современная математика" (Москва, 2003), в 2005 году на Большом семинаре кафедры теории вероятностей механико-математического факультета МГУ (руков. чл.-корр. РАН, проф. А.Н.Ширяев), а также в 2004 и 2005 годах на семинаре "Асимптотический анализ случайных процессов и полей" (мех-мат МГУ, руков. проф. А.В.Булинский и проф. В.И.Питербарг). Автор благодарен своему научному руководителю профессору А.В.Булинскому за постановку задач, постоянное внимание к работе и ценные советы.

Основные обозначения - "положить по определению",

N - множество натуральных чисел,

Ъ - множество целых чисел,

Z+ - множество целых неотрицательных чисел,

R - множество действительных чисел,

R+ - множество неотрицательных действительных чисел, ж|| = шах для х = (Х\,. ,Хд) G Rs, s G N,

1 <i<s a V b = max{a, &}, a A b — min{a, b}, для a, b G R, [a] = max{n G Z : n < a}, {a} = a — [a], для a G R, Id, d > 1 - единичная матрица порядка d, к) — ki.kd для к = (кг, .,kd) G Zd,

Iм ~ индикатор множества M, dM - граница множества М в метрическом пространстве, N(a, В) - (многомерное) нормальное распределение с математическим ожиданием а и ковариационной матрицей В, (Q, Р) - вероятностное пространство, Е - усреднение по мере Р, var{X) - дисперсия случайной величины X, cov(X, Y) - ковариация случайных величин X и У, Все прочие обозначения будут поясняться при их введении. В каждом параграфе теоремы, леммы, предложения, следствия и замечания нумеруются подряд (например, лемма 3.2.1 - первая лемма второго параграфа главы 3).

Список литературы диссертационного исследования кандидат физико-математических наук Миллионщиков, Николай Владимирович, 2005 год

1. Ю.Ю.Бахтин, А.В.Булинский. Моментные неравенства для сумм зависимых мультииндексированных величин. Фунд. и прикл. матем. 1997. №3. С.1101-1108.

2. А.А.Боровков. Математическая статистика. М., Наука, 1984.

3. А.В.Булинский. Предельные теоремы в условиях слабой зависимости. М., МГУ, 1989.

4. А.В.Булинский. Неравенства для моментов сумм ассоциированных мультииндексированных величин. Теория вероятностей и ее применения. 1993. Т.38. Вып. 2. С. 417-425.

5. А.В.Булинский. Функциональный закон повторного логарифма для ассоциированных случайных полей. Фунд. и прикл. матем. 1995. №1. С.623-639.

6. А.В.Булинский. Асимптотическая гауссовость квазиассоциированных векторных случайных полей. Обозрение прикладной и промышленной математики. 2000. Т.7. Вып. 2. С.482-483.

7. А.В.Булинский. Статистический вариант центральной предельной теоремы для векторных случайных полей. Мат. Заметки. 2004. Т.76. т. С.490-501.

8. А.В.Булинский, И.Г.Журбенко. Центральная предельная теорема для аддитивных случайных полей. Теория вероятностей и ее применения. 1976. Т.21. Вып.4. С.707-717.

9. А.В.Булинский, Э.Шабанович. Асимптотическое поведение некоторых функционалов от положительно и отрицательно зависимых случайных полей. Фунд. и прикл. матем. 1998. №4. С.479-492.

10. А.В.Булинский, Н.В.Миллионщиков. Скорость нормального приближения для ядерных оценок плотности квазиассоциированногослучайного поля. Теория вероятностей и математическая статистика. 2002. Вып.66. С.34-45.

11. А.В.Булинский, А.П.Шашкин. Нормальное приближение для векторного (BL, 0)-зависимого случайного поля. Обозрение прикладной и промышленной математики. 2002. Том 9. Вып.З. С.593-594.

12. А.Ю.Веретенников. Параметрическое и непараметрическое оценивание для цепей Маркова, М., МГУ, 2000.

13. М.А.Вронский. Скорость сходимости в усиленном законе больших чисел для ассоциированных последовательностей и полей. Теория вероятностей и ее применения. 1998. Т.43. Вып. 3. С.439-455.

14. Л.Деврой, Л.Дьерфи. Непараметрическое оценивание плотности. L\ -подход. М., Мир, 1988.

15. Е.Б.Дынкин. Марковские процессы. М.,Физматгиз, 1963.

16. В.М.Золотарев. Современная теория суммирования независимых случайных величин. М.,Наука. Физматлит, 1986.

17. И.А.Ибрагимов, Ю.В.Линник. Независимые и стационарно связанные величины. М., Наука, 1965.

18. И.А.Ибрагимов. Об одной задаче оценивания функции регрессии. ДАН. 2001. Т.381. №6. С.738-741.

19. И.А.Ибрагимов, Р.З.Хасьминский. О границах качества непараметрического оценивания регрессии. Теория вероятностей и ее применения. 1982. Т.27. С.81-94.

20. Н.В.Миллионщиков. Асимптотическая нормальность оценок регрессии для слабозависимых случайных полей. Вестник МГУ. Серия 1. "Матемтаика. Механика". 2005. №2. С.3-8.

21. Н.В.Миллионщиков. Сходимость почти наверное ядерных оценок плотности для слабо зависимых случайных полей. Успехи математических наук. 2006. Ж. С. 181-182.

22. Э.А.Надарая. Об оценке регрессии. Теория вероятностей и ее применения. 1964. Т. 10. С.157-159.

23. Э.А.Надарая. Непараметрическое оценивание плотности вероятности и кривой регрессии. Тбилиси: Изд-во Тбилисского гос. ун-та, 1983.

24. В.В.Петров. Предельные теоремы для сумм независимых случайных величин. М., Наука, 1987.

25. К.Престон. Гиббсовские состояния на счетных множествах. М., Мир, 1977.

26. Н.Н.Ченцов. Оценка неизвестной плотности распределения по наблюдениям. ДАН СССР. 1962. №147, I, С.45-48.

27. А.П.Шашкин. Квазиассоциированность гауссовской системы случайных векторов. Успехи мат. наук. 2002. Т.57. Вып.6. С.199-200.

28. А.П.Шашкин. Принцип инвариантности для одного класса слабозависимых случайных полей. Вестник МГУ. Серия 1, "Математика. Механика". 2004. №4. С.24-30.

29. А.П.Шашкин. Некоторые предельные теоремы для слабо зависимых случайных полей. Дисс. канд. физ.-мат. наук. М., МГУ, 2005.

30. А.Н.Ширяев. Вероятность-1, Вероятность-2. 3-е изд., перераб. и доп. М., МЦНМО, 2004.

31. С.Я.Шоргин. Неклассические оценки скорости сходимости в центральной предельной теореме, учитывающие большие уклонения. Теория вероятностей и ее применения. 1982. Т.27. №2. С.308-318.

32. T.Alberts, R.J. Karunamuni. A semiparametric method of boundary correction for kernel density estimation. Statist. Probab. Lett. 2003. V.61. Р.287-298.

33. T.Birkel. On the convergence rate in the central limit theorem for associated processes. Ann. Probab. 1988. V.16. P.335-367.

34. A.V.Bulinski. On the convergence rates in the central limit theorem for positively and negatively dependent random fields. In: Probab. Theory and Math. Statist. (I.A.Ibragimov and A.Yu.Zaitsev eds.), Gordon and Breach, 1996. P. 3-14.

35. A.Bulinski, Ch.Suquet. Normal approximation for quasi-associated random fields. Statist. Probab. Lett. 2001. V.54. P.215-226.ft

36. A.V.Bulinski, A.P.Shashkin. Rates in the central limit theorem for dependent multiindexed random vectors. Journal of Math. Sciences. 2004. V.122. Issue 4. P.3343-3358.

37. R.Burton, A.R.Dabrowski, H.Dehling. An invariance principle for weakly-associated random vectors. Stoch. Proc. Appl. 1986. V.23. №2. P.301-306.

38. Z.Cai, G.G.Roussas. Smooth estimate of quantiles under association. Statist. Probab. Lett. 1997. V.36. P.275-287.

39. M.Carbon, L.T.Tran, B.Wu. Kernel density estimation for random fields (Density estimation for random fields). Statist. Probab. Lett. 1997. V.36. P.115-125.

40. J.T.Cox, G.Grimmett. Central limit theorem for associated random variables and the percolation model. Ann. Probab. 1984. V.12. P.514-528.

41. N.Cressie. Statistics for Spatial Data. New York. John Wiley. 1993.

42. P.Doukhan, S.Louhichi. A new weak dependence condition and applications to moment inequalities. Stoch. Proc. Appl. 1999. V.84. P.313-342.

43. P.Doukhan. Mixing. Properties and Examples. Berlin, Springer, 1994.

44. P.Doukhan, G.Lang. Rates in the empirical central limit theorem for stationary weakly dependent random fields. Statistical Inference for Stochastic Processes. 2002. V.5. №. P.199-228.

45. J.Esary, F.Proschan, D.Walkup. Association of random variables with applications. Ann. Math. Statist. 1967. V.38. P. 1466-1474.

46. C.M.Fortuin, P.W.Kasteleyn, J.Ginibre. Correlation inequalities on some probability ordered sets. Commun. Math. Phys. 1971. V.22. P.89-103.

47. M.G.Genton. Classes of kernel for machine learning: a statistics perspective. 2001. Journal of Machine Learning Research. V.2. P.29-312.

48. E.Gin6, A.Guillou. Rates of strong uniform consistency for multivariate kernel density estimators. En l'honneur de J. Bretagnolle, D. Dacunha-Castelle, I. Ibragimov. Ann. Inst. H. Poincare Probab. Statist. 2002. V.38. №6. P.907-921.

49. E.Gin6, V.Koltchinskii, J.Zinn. Weighted uniform consistency of kernel density estimators. Ann. Probab. 2004. V.32. №3B. P.2570-2605.

50. F.Guerra, L.Rosen, B.Simon. The Р(ф)2 Euclidean quantum field theory as classical statistical mechanics. Ann. Math. 1975. V.101. №1-2. P.lll-259.

51. A.Guillou, F.Merlevede. Estimation of the asymptotic variance of kernel density estimators for continuous time processes. J. Multivar. Anal. 2001. V.79. m. P. 114-137.

52. P.Hall. S.N.Lahiri, Y.K.Truong. On bandwidth choice for density estimation with dependent data. 1995. Ann. Statist. V.23. №6. P.2241-2263.

53. C.Henriques, P.E.Oliveira. Almost optimal convergence rates for kernel density estimation under association. Pre-Publicagoes do Departamento de Matematica Universidade de Coimbra. 2002. Preprint Number 04-06.

54. S.A.Ioannides, G.G.Roussas. Exponential inequality for associated random variables. Statist. Probab. Lett. 1998. V.42. P.423-431.

55. E.H.Isaaks, R.M.Srivastava. An Introduction to Applied Geostatistics. New York. Oxford University Press. 1989.

56. K.Joag-Dev, F.Proschan. Negative association of random variables with applications. Ann. Statist. 1983. V.ll. №1. P.286-299.

57. Y.K.Lee, H.Choi, B.U.Park, K.S.Yu. Local likelihood density estimation on random fields. Statist. Probab. Lett. 2004. V.68. P.347-357.

58. Z.Lu, X.Chen. Spatial kernel regression estimation: weak consistency. Statist. Probab. Lett. 2001. V.68. P.125-136.

59. E.Masry. Local polynomial fitting under association. J. Multivar. Anal. 2003. V.86. P.330-359.

60. E.Masry. Multivariate probability density estimation for associated processes: strong consistency and rates. Statist. Probab. Lett. 2002. V.58. P.205-219.

61. N.V.Millionshchikov. Asymptotic normality of regression estimates for weakly dependent random fields. In: Abstracts of the International conference "Kolmogorov and contemporary mathematics". Moscow, 2003. P. 506-507.

62. A.Mokkadem, M.Pelletier. The law of the iterated logarithm for the multivariate kernel mode estimator. Probability and Statistics. 2003. V.7. P.l-21.

63. C.M.Newman. Asymptotic independence and limit theorems for positively and negatively dependent random variables. In: Inequalities in Statist, and Probab. (Tong Y.L. ed.), Hayward, 1984. P.127-140.

64. C.M.Newman. Normal fluctuations and the FKG inequalities. Commun. Math. Phys. 1980. V.74. №. P. 119-128.

65. P.E.Oliveira. Exponential inequalities for associated variables. Statist. Probab. Lett. 2005. V.73. №2, P. 189-197.

66. E.Parzen. On estimating probability density function and mode. Ann. Math. Statist. 1962. V.33. P.1065-1076.

67. E.Parzen. Remarks on some nonparametric estimates of density function. Ann. Math. Statist. 1962. V.27. P.832-837.

68. L.D.Pitt. Positively correlated normal variables are associated. Ann. Probab. 1982. V.10.№2. P.496-499.

69. M.Rosenblatt. On estimation of a probability density function and mode. Ann. Math. Statist. 1956. V.33. P.1065-1076.

70. G.G.Roussas. Nonparametric estimation of the transition distribution function of a Markov process. 1969. Ann. Math. Statist. V.40. P.1386-1400.

71. G.G.Roussas. Nonparametic regression estimation under mixing conditions. Stoch. Proc. Appl. 1990. V.36. P. 107-116.

72. G.G.Roussas. Kernel estimates under association: strong uniform consistency. Statist Probab. Lett. 1991. V.12. P.393-403.

73. G.G.Roussas. Asymptotic normality of the kernel density estimate of a probability density function under association. Statist. Probab. Lett. 2000. V.50. P. 1-12.

74. G.G.Roussas. An Esseen-type inequality for probability density functions, with an application.- ibid. 2001. V.51. P.397-408 and 449.

75. Q.M.Shao, H.Yu. Weak convergence for weighted empirical processes of dependent sequences. 1996. Ann. Probab. V.24. P.2098-2127.

76. S.J.Sheather, M.C.Jones. A reliable data-based bandwidth selection method for kernel density estimation. Journal of the Royal Statistical Society series B. 1991. V.53. R683-690.

77. B.W.Silverman. Kernel density estimation using the fast Fourier transform (Algorithm AS 176). J. R. Stat. Soc. Ser. C. 1982. V.31, 93-99.

78. C.Stein. Approximate Computation of Expectations. IMS Lecture Notes, V.7. Inst. Math. Statist., Hayward, CA, 1986.

79. Ch.Stone. Optimal global rates of convergence for nonparametric regression. Ann. Statist. 1982. V.10. P.1040-1053.

80. G.S.Watson. Density estimation by orthogonal series. Ann. Math. Statist. 1969. V.40 m. P. 1469-1498.

81. G.S.Watson. Smooth regression analysis. 1964. Sankhya. Ser. A 26. P.359-372.

82. Z.Z.Xiao, O.B.Linton, R.J.Carroll, E.Mammen. More efficient local polynomial estimation in nonparametric regression with autocorrelated errors. J. Amer. Statist. Assoc. 2003. V.98. №464. P.980-992.