Улучшенное оценивание параметров регрессии с импульсными помехами тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат физико-математических наук Пчелинцев, Евгений Анатольевич

• Пчелинцев, Евгений Анатольевич
• кандидат физико-математических наук
• 2012

Оглавление диссертации кандидат физико-математических наук Пчелинцев, Евгений Анатольевич

Список обозначений

Введение

1 Улучшенное оценивание в регрессии с условно-гауссовскими шумами

1.1 Введение. Постановка задач

1.2 Улучшенное оценивание в условно-гауссовской регрессии с дискретным временем

1.3 Улучшенное оценивание в авторегрессии.

1.4 Улучшенное оценивание в негауссовской регрессионной модели с непрерывным временем.

1.4.1 Свойства процедуры оценивания для непрерывной регрессии с шумами Леви.

1.4.2 Свойства процедуры оценивания для непрерывной модели с шумами Орнштейна — Уленбека

1.5 Асимптотическая минимаксность оценок.

1.6 Выводы.

2 Оценивание параметрической регрессии с импульсными шумами по дискретным наблюдениям

2.1 Введение. Постановка задачи.

2.2 Выбор оценки. Основные результаты для модели с семи-мартингальным шумом

2.3 Свойства процедуры оценивания для шумов импульсного типа

2.4 Минимаксная граница для рисков оценок.

2.5 Выводы.

3 Имитационное моделирование

3.1 Результаты моделирования для модели с шумами Леви

3.2 Результаты моделирования. Процесс Орнштейна — Уленбека

3.3 Выводы.

4 Свойства стохастических интегралов Ито по процессам Леви и Орнштейна — Уленбека. Некоторые сведения из теории оценивания

4.1 Семимартингалы. Формула Ито для семимартингалов

4.2 Свойства стохастических интегралов.

4.3 Вспомогательные результаты из теории оценивания

4.4 Локальная асимптотическая нормальность семейства распределений.

Введение диссертации (часть автореферата) на тему «Улучшенное оценивание параметров регрессии с импульсными помехами»

Актуальность темы. В теоретических и прикладных исследованиях, связанных с задачами автоматического управления и регулирования, идентификации и фильтрации, с корреляционным и спектральным анализом временных рядов, большое внимание уделяется проблеме оценивания параметров стохастических систем, описываемых стохастическими разностными и стохастическими дифференциальными уравнениями. Интерес к таким моделям объясняется тем, что они являются достаточно адекватными для широкого круга реальных явлений в технике, экономике, медицине, финансовой математике и т.д. Для описания процессов с дискретным временем широко используются временные ряды, включающие процесс скользящего среднего, авторегрессии, авторегрессии скользящего среднего и другие [3, 4, 43]. Многие модели временных рядов строятся на основе процесса белого шума, представляющего собой последовательность некоррелированных (или независимых) случайных величин с нулевым средним и конечной дисперсией. Решение задач идентификации во многих случаях упрощается при дополнительном требовании гауссовости шума. Для идентификации параметров таких моделей разработаны различные методы: метод максимального правдоподобия, метод наименьших квадратов, метод стохастической аппроксимации и др. Линейные временные ряды могут использоваться для описания эволюции динамической системы, а также для моделирования шумовых воздействий на систему.

Широкий класс моделей с непрерывным временем задается с помощью линейных стохастических уравнений. Этот класс включает гаус-совские процессы с рациональными функциями спектральной плотности, процессы Орнштейна — Уленбека, условно-гауссовские процессы и др. [4, 22, 36]. Возмущающие воздействия в таких моделях наиболее часто описываются белым гауссовским шумом (броуновским движением). При этом уравнения понимаются в смысле Ито или Стра-тоновича. Для идентификации параметров временных рядов с непрерывным временем применяются методы максимального правдоподобия, наименьших квадратов и другие. Исследование свойств оценок параметров стохастических динамических систем с непрерывным временем во многих задачах удается провести только при асимптотических предположениях, т.е. для больших объемов данных. Для решения задач неасимптотической идентификации параметров динамических систем с дискретным и непрерывным временем успешно используются последовательные методы, которые характеризуются тем, что длительность процедуры не фиксируется заранее, а определяется в ходе наблюдений путем накопления достаточной информации о неизвестных параметрах для получения требуемой точности оценивания [8, 17].

Качество решающих процедур идентификации во многих случаях может быть повышено благодаря учету дополнительной информации о действующих помехах.

Эффективное решение задач фильтрации и прогнозирования процессов с непрерывным временем удается получить для ряда условно-гауссовских моделей. Одним из наиболее известных результатов является обобщение задачи Калмана — Бьюси на условно-гауссовские модели, полученное в монографии Р.Ш. Липцера и А.Н. Ширяева [23]. В этой задаче рассматривается случайный процесс = 0 < t < Т с ненаблюдаемой первой компонентой и наблюдаемой второй. Предполагается, что процесс является процессом диффузионного типа, который задается стохастическими уравнениями Ито: ыг, о + ах(£, + № м + О^ЗМ, о + М^ + В(г, 0^2 м, (0.1) где Жх(^) и — независимые процессы броуновского движения.

Ненаблюдаемый процесс ^ входит в эти уравнения линейно, а наблюдаемый процесс — в отличие от классической модели Калмана — Бьюси — может входить в уравнение нелинейно. При этом все коэффициенты в уравнениях являются неупреждающими функциями. Такое требование, как устанавливается в [23], обеспечивает гауссо-вость условного распределения случайной величины вг относительно наблюдений £о = 0 < 5 < т.е. распределение < х|£о} яв~ ляется гауссовским. В результате уравнения для условного среднего тг = Е(^|£о) и условной ковариации ^ = — тпг)2оказываются замкнутыми несмотря на нелинейное вхождение ^ в структурные функции процесса. Это открывает возможности эффективного решения целого ряда задач статистики случайных процессов, связанных с обработкой данных и спектральным анализом.

Задача идентификации параметров динамических систем с непрерывным временем изучается обычно в предположении, что система наблюдается непрерывно. В тех случаях, когда непрерывное наблюдение не может быть реализовано, задача оценивания параметров решается по дискретным данным. Задача идентификации параметров непрерывных динамических систем по измерениям в дискретные моменты времени рассматривалась в ряде работ [8, 47, 56, 61, 63, 75]. В работе В.А. Васильева и В.В. Конева [8] был предложен последовательный метод гарантированной идентификации линейной стохастической динамической системы по зашумленным наблюдениям в дискретные моменты времени.

При изучении свойств различных процедур идентификации приходится учитывать, что на их качество может существенно влиять неточное знание структурных функций в уравнениях, а также неконтролируемые дополнительные помехи, действующие на систему. Неконтролируемые помехи могут возникнуть, например, в результате импульсных воздействий на систему. При этом естественно требовать, чтобы процедура идентификации обладала определенной робастностью, устойчивостью к изменению характеристик шумов, чтобы неполное статистическое описание процессов, действующих на систему, не приводило к существенному снижению качества оценок неизвестных параметров.

Во многих задачах, связанных с обработкой информации широко используются регрессионные модели [1, 4, 7]. Методы идентификации регрессионных моделей можно разделить условно на два класса — параметрические и непараметрические. Наиболее полное исследование регрессионных моделей с непрерывным временем проводилось в предположении, что помеха представляет собой белый гауссовский шум. Однако в последние годы в статистике случайных процессов стали применяться более сложные модели для описания шумов, действующих на систему, которые позволяют, в частности, описать и импульсные помехи. Математическую основу для решения таких задач составляют результаты общей теории случайных процессов, теории мартингалов и семимартингалов, разработанных сравнительно недавно [24, 34]. Для этого потребовалось построить стохастические интегралы относительно семимартингалов, а также доказать для них основную формулу стохастического исчисления Ито.

В данной работе рассматриваются задачи оценивания параметров в регрессионных моделях с дискретным и непрерывным временем, являющихся условно - гауссовскими относительно ненаблюдаемого шумового процесса. Одной из основных моделей является регрессионная модель, описываемая уравнением

Предполагается, что случайное возмущение является процессом импульсного типа, который моделируется семимартингальным процессом. При этом импульсные воздействия происходят в случайные моменты времени и имеют случайную амплитуду. Функции {ф])\<^<(1 образуют ортонормированную систему в пространстве £2[0, 1] и имеют период равный 1. Вектор неизвестных параметров ., 6^) принадлежит некоторому ограниченному множеству 0 С М^.

Семимартингальный процесс (&)4>о позволяет описать широкий класс шумов импульсного типа, включая процессы Леви и Орнштейна — Уленбека.

Основная цель работы — построить оценки неизвестных параметров процессов с дискретным и непрерывным временем для условно-гауссовских моделей, превосходящие по среднеквадратической точности обычные оценки по методу наименьших квадратов (МНК). сі

О < і < п.

0.2)

Остановимся на известных результатах для линейной регрессии у = Хв + е, где у — d-мерный вектор наблюдаемых значений, X — матрица известных коэффициентов размера d х т, в — m-мерный вектор неизвестных параметров, е — d-мерный гауссовский вектор с нулевым средним Ее = 0 и ковариационной матрицей Еее' = о1!. Оценка МНК имеет вид в = (.Х'Х)~1Х'у.

В 1795 году К. Гаусс предложил метод наименьших квадратов, который получил широкое распространение в прикладных задачах. В 1809 году Гаусс доказал оптимальность оценки МНК, считая ошибки случайными с нулевыми средними и конечными вторыми моментами [58]. Вероятностная интерпретация этого результата принадлежит А.А. Маркову (1900) [25]. Сейчас теорема Гаусса — Маркова хорошо известна.

Теорема. Оценка МНК в = (Х'Х)~1Х'у обладает минимальной дисперсией в классе всех несмещенных линейных оценок параметра 9, причем в и у — Хв некоррелированы.

Класс моделей, рассматриваемых в задачах идентификации динамических систем весьма широк. Он охватывает модели с дискретным и непрерывным временем, описываемые соответственно стохастическими разностными и стохастическими дифференциальными уравнениями. В последние годы в связи с развитием общей теории случайных процессов появилась возможность унифицировать методы построения решающих процедур в задачах статистики случайных процессов с дискретным и непрерывным временем. К настоящему времени в теории идентификации получено много интересных результатов, которые не только обогатили теоретическую статистику, но и привели к созданию эффективных решающих процедур обработки статистических данных.

В данной работе рассматриваются задачи идентификации (оценивания) параметров в регрессионных моделях с дискретным и непрерывным временем и условно-гауссовскими помехами. В моделях с непрерывным временем шумовой процесс является условно-гауссовским се-мимартингалом. При наличии импульсной составляющей в шуме траектории процесса наблюдений являются, вообще говоря, разрывными. Действие импульсных помех приходится учитывать в статистике случайных процессов, поскольку они могут неконтролируемым образом изменить качество фильтрации, управления и обработки информации. Иными словами, наличие импульсных воздействий в динамической системе может привести к тому, что методы идентификации ее параметров, разработанные для случая белого шума, могут оказаться недостаточно эффективными и не обладать устойчивостью к таким шумам. Поэтому в случае, когда шумовые воздействия имеют сложную природу, необходимо дополнительное изучение процедур оценивания параметров системы с целью выяснить их зависимость от неучтенных факторов. Чтобы сохранить качество оценивания в условиях действия импульсных помех, необходимо изыскивать дополнительные возможности повышения точности процедур оценивания.

Улучшенное оценивание. Проблема повышения качества решающих процедур является важной в статистике. Во многих прикладных задачах, кроме результатов наблюдений, исследователь обладает определенной информацией о распределении наблюдаемого процесса. Источником такой информации могут служить результаты ранее проведенных исследований, экспертные оценки и т.д. При этом возникает проблема рационального учета имеющихся сведений с целью повышения качества оценок или уменьшения объема данных, требуемых для достижения заданной точности. Можно выделить несколько подходов к построению улучшенных оценок. Одним из подходов является метод параметрической оптимизации, при котором рассматривается класс процедур оценивания, задаваемый с точностью до параметров. Задача оптимизации состоит в выборе наилучшего значения параметра в смысле заданного критерия качества. Так, при использовании ядерных оценок плотности в схеме независимых наблюдений, для повышения скорости сходимости оценок выбирается оптимальное значение коэффициента размытости. Важным ресурсом повышения качества идентификации стохастических систем является учет дополнительной априорной информации с целью построения более адекватной модели для описания данных. Во многих статистических задачах, связанных со схемой независимых наблюдений оказалась плодотворной идея использования ортогонального проектирования для учета априорной информации о моментах, симметрии, квантилях и пр. при оценивании функций распределений. Развитие этого направления улучшенного оценивания связано с работами Ю.Н. Тюрина [31, 32], Б.Я. Левита [19, 20, 21], Ф.П. Тарасенко, Ю.Г. Дмитриева [9, 11, 12, 13], Г.М. Кошкина [10] и других. Интересный подход к построению улучшенных адаптивных оценок был предложен в работе О.В. Лепского [68], основная идея которого заключается в том, чтобы использовать априорную информацию для уточнения структуры модели с целью повышения скорости сходимости оценок к истинным значениям неизвестных параметров.

Учет априорной информации в непараметрической статистике является важным, поскольку непараметрическая точность оценивания обычно очень низка. Однако и в задачах параметрического оценивания использование дополнительной априорной информации о структуре модели может приводить к повышению точности оценок.

В данной работе используется подход к построению улучшенных параметрических оценок, начало которому было положено в работах Стейна [70] и Джеймса и Стейна [64]. Суть этого подхода заключается в использовании специальной процедуры сжатия оценок. Такие оценки принято называть сжимающими (shrinkage estimates). Результаты Стейна впервые были доложены в 1955 г. на симпозиуме по теории вероятностей и математической статистике и оказались неожиданными для многих специалистов по статистике. В своем докладе Стейн задался вопросом, нельзя ли повысить среднеквадратическую точность оценивания, если не ограничиваться рассмотрением только несмещенных оценок. Он дал положительный ответ на этот вопрос, рассмотрев следующую задачу оценивания среднего многомерного нормального распределения. Пусть наблюдения описываются схемой где в — ¿-мерный неизвестный вектор, £ — ¿-мерный гауссовский вектор с нулевым средним и диагональной ковариационной матрицей, т.е. £(£) = Л/"(0,<т2Лг). Для данной модели, согласно теореме Гаусса — Маркова, наилучшей несмещенной оценкой вектора 0 является оценка максимального правдоподобия

0.3) в ML = Y.

0.4)

Стейн стал рассматривать класс оценок вида

Os = g(Y)Y, где g (Y) — неизвестная функция от наблюдений и поставил задачу выбрать функцию g(Y) так, чтобы погрешность оценки §s была меньше, чем оценки максимального правдоподобия вмь■ В 1961 г. Джеймс и Стейн [64] предложили функцию g(Y) = 1 — (d — 2)сг2/||У||2 и доказали, что оценка * для d > 3 превосходит оценку максимального правдоподобия при квад-ратическом риске

R(e, ё) = щ\в-ё\\\ т.е. для всех значений параметра в из пространства M.d выполняется строгое неравенство

Д(М5),< Д(0, Вмь).

Иными словами, они доказали, что оценка максимального правдоподобия вектора среднего многомерного нормального распределения является недопустимой в терминах теории оценивания (см., например, [15]). В 1964 г. Стейн установил недопустимость классической оценки дисперсии при неизвестном среднем [71, 15]. За работой Джеймса и Стейна последовала серия работ, в которых метод Стейна применяется для построения улучшенных оценок в более сложных схемах наблюдений. В 1975 г. М.Е. Воск обобщил оценку Джеймса — Стейна на случай многомерного нормального распределения с произвольной известной ковариационной матрицей [42]. В работах J.O. Berger, G. Casella, L.J. Gleser и др. [37 - 41, 44, 59, 60] предложены улучшенные оценки для вектора среднего многомерного нормального распределения с неизвестной ковариационной матрицей. А. Baranchik [35], W.E. Strawderman [69, 73], Y.Y. Guo и N. Pal [62] предложили ряд модификаций оценки Джеймса — Стейна, которые превосходят ее по среднеквадратической точности. D. Fourdrinier, W.E. Strawderman, S.M. Pergamenshchikov и другие предложили улучшенные оценки параметров регрессионных моделей с дискретным временем и с шумами, имеющими сферически симметричные распределения [45, 46, 51 - 55]. Улучшенные оценки широко применяются в задачах идентификации регрессионных моделей и фильтрации Калмана.

Для рассматриваемой в работе модели с импульсными шумами (0.2) наблюдаемый процесс является условно-гауссовским относительно некоторого ненаблюдаемого шумового процесса. Можно ожидать, что подход Стейна к построению улучшенных оценок для гауссов-ских моделей может быть обобщен и на условно-гауссовские модели. Здесь, по-видимому, можно провести определенную аналогию с решением задач фильтрации, интерполяции и экстраполяции в моделях с непрерывным временем, для которых, как уже отмечалось, в случае условно-гауссовской модели (0.1) получаются замкнутые уравнения фильтрации. Следует, однако, заметить, что между условно-гауссовскими моделями, изучаемыми в теории фильтрации и моделями, рассматриваемыми в данной работе, имеется принципиальное различие: в теории фильтрации условная гауссовость выполняется относительно наблюдаемого процесса, а в изучаемых ниже моделях условная гауссовость выполняется относительно процесса, недоступного прямому наблюдению. Поэтому рассматриваемая в данной работе тематика построения улучшенных оценок в условно-гауссовских моделях является актуальной.

Общая характеристика и основные результаты диссертации

Цели работы. Целями диссертационной работы являются: разработка методов улучшенного оценивания параметров линейных стохастических систем с непрерывным и дискретным временем с помехами импульсного типа, описываемыми семимартингальными процессами; нахождение общих условий на моменты распределения помех, при которых предлагаемые оценки неизвестных параметров превосходят по среднеквадратической точности классические оценки наименьших квадратов; нахождение границ для минимального выигрыша в среднеквадратической точности оценивания при использовании улучшенных оценок вместо оценок МНК; исследование свойств улучшенных оценок параметров регрессионных моделей с шумами Леви, являющимися смесью белого гауссов-ского шума и составного пуассоновского процесса, а также с негаус-совскими шумами, описываемыми процессом Орнштейна — Уленбека, динамика которого задается процессом Леви; доказательство эффективности предлагаемых оценок в смысле ро-бастного риска с увеличением числа периодов наблюдений; экспериментальное исследование свойств предлагаемых процедур оценивания условно-гауссовской регрессии в зависимости от уровня импульсных помех и других мешающих параметров.

Методы исследования. В работе используются методы теории вероятностей, статистики случайных процессов, стохастического анализа, анализа временных рядов, статистического анализа, математического анализа, линейной алгебры, методы обработки информации и численного моделирования.

Научная новизна. В работе впервые построены улучшенные оценки параметров регрессии с непрерывным и дискретным временем с зависимыми условно-гауссовскими шумами с неизвестным распределением, превосходящие по среднеквадратической точности классические оценки МНК. В рассматриваемой модели регрессии с непрерывным временем помеха описывается общим условно-гауссовским семимар-тингалом, что позволяет с единых позиций решать задачу улучшенного оценивания при различных воздействиях импульсного типа. Для периодической регрессии с шумами Леви и негауссовскими шумами Орнштейна — Уленбека получены явные формулы для минимального выигрыша в точности при использовании предлагаемых оценок вместо оценок МНК. Предлагаемый метод оценивания обобщает подход Стей-на на регрессионные модели с условно-гауссовскими шумами, имеющими неизвестное распределение.

Основные результаты диссертационного исследования, полученные автором, являются новыми и определяются следующими положениями, выносимыми на защиту:

• Предложена процедура построения улучшенных оценок параметров модели регрессии с непрерывным временем и с условно-гауссовскими шумами импульсного типа по полным наблюдениям процесса.

• Предложена процедура построения улучшенных оценок параметров модели регрессии с непрерывным временем и с условно-гауссовскими шумами импульсного типа по дискретным наблюдениям процесса.

• Для регрессии с шумами Леви и негауссовскими шумами Орн-штейна — Уленбека с неизвестными параметрами получены явные формулы для минимального выигрыша в точности при использовании улучшенных оценок.

• Установлена асимптотическая минимаксность предлагаемых процедур и оценки МНК в смысле робастного риска для регрессии с негауссовским шумом Орнштейна — Уленбека.

Теоретическая и практическая значимость. Результаты работы могут быть использованы в различных отраслях науки и техники: финансовой математике, радиофизике, медицине, а также в прикладных задачах, связанных с идентификацией систем, прогнозированием, управлением, статистической обработкой данных. Кроме того, полученные теоретические результаты могут быть использованы в научных исследованиях и в спецкурсах для студентов и аспирантов математических факультетов университетов.

Достоверность и обоснованность всех полученных результатов. Все полученные в диссертации результаты имеют строгое математическое обоснование в форме теорем. Качество построенных оценок подтверждено проведенным имитационным моделированием.

Реализация и внедрение результатов работы. Рассмотренные в диссертации модели и методы оценивания их параметров входят в спецкурсы "Многомерный статистический анализ" и "Идентификация" , читаемые на старших курсах механико-математического факультета и факультета прикладной математики и кибернетики Томского государственного университета.

Апробация результатов. Работа частично выполнялась в рамках научно-исследовательской работы по теме "Неасимптотические робастные статистические методы идентификации динамических систем, описываемых стохастическими разностными и стохастическими дифференциальными уравнениями" при финансовой поддержке Министерства образования и науки РФ, государственный контракт № 02.740.11.5026, ФЦП "Научные и научно-педагогические кадры инновационной России на 2009-2013 годы".

Основные результаты диссертации обсуждались на научных семинарах кафедры математического анализа ММФ ТГУ (руководитель профессор И.А. Александров) и кафедры высшей математики и математического моделирования ФПМК ТГУ (руководитель профессор В.В. Конев), на научном семинаре по теории вероятностей и математической статистике в Институте математики им. C.J1. Соболева (руководитель академик A.A. Боровков), на научном семинаре по статистике в Лаборатории математики Руанского университета (руководитель профессор С.М. Пергаменщиков), а также докладывались на научных конференциях:

1. XVIII Всероссийская школа-коллоквиум по стохастическим методам, Казань, 1 - 8 мая 2011.

2. XII Всероссийский симпозиум по прикладной и промышленной математике. Осенняя открытая сессия, Сочи, 1 - 8 октября 2011.

Публикации. Основные результаты, полученные в диссертации, опубликованы в четырех печатных работах, в том числе две статьи в журнале, рекомендованном ВАК.

1. Пчелинцев Е.А. Процедура Джеймса — Стейна для условно-гауссовской регрессии // Вестн. Томск, гос. ун-та. Матем. и мех. 2011. 4(16). С. 6-17.

2.Конев В.В., Пчелинцев Е.А. Оценивание параметрической регрессии с импульсными шумами по дискретным наблюдениям // Вестн. Томск, гос. ун-та. Матем. и мех. 2012. № 1(17). С. 20-35.

3. Пчелинцев Е.А. Улучшенные оценки параметров регрессии с импульсными шумами // Обозрение прикладной и промышленной мате^-матики. 2011. Т. 18, вып. 3. С. 460-461.

4. Пчелинцев Е.А. Модификация процедуры Стейна для регрессии с зависимыми условно-гауссовскими шумами // Обозрение прикладной и промышленной математики. 2011. Т. 18, вып. 3. С. 500-501.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы, списка обозначений и приложения. Работа изложена на 139 страницах, содержит 19 рисунков и 29 таблиц.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Пчелинцев, Евгений Анатольевич

3.3 Выводы

В главе проведено имитационное моделирование построенных во второй главе оценок с целью проверки работоспособности процедур оценивания и исследования их статистических свойств при конечных объемах наблюдений.

Анализ численных результатов показал:

1. Предложенные процедуры улучшенного оценивания позволяют получить оценки, имеющие меньшие среднеквадратические риски и СКО по сравнению с обычными оценками МНК. С увеличением числа периодов наблюдения процесса отмечается повышение точности оценивания. Различия в точности между сжимающими оценками и оценками МНК уменьшаются с ростом числа периодов наблюдения.

2. Проведена оптимизация параметров процедур. При увеличении уровня белого шума д\ наблюдается ухудшение качества оценивания, становится значительным выигрыш при использовании сжимающей оценки вместо оценки МНК. В некоторых случаях точность оценивания предложенных сжимающих оценок оказалась в 2 и более раз выше, чем у МНК.

3. При исследовании влияния импульсных помех замечено, что с ростом интенсивности импульсов Л среднеквадратические риски процедур увеличиваются, также увеличивается преимущество сжимающей оценки перед оценкой МНК. При увеличении уровня импульсной помехи качество оценивания заметно ухудшается. Для сохранения точности необходимо увеличивать объем наблюдений.

4. Экспериментальное исследование процедур проводилось при фиксированных размерностях д, и частотах наблюдений р (в, = 9, р = 100 для процесса Леви и (1 — 19, р = 200 для процесса Орнштейна — Уленбека). Такой выбор объясняется тем, что при меньших значениях численное сравнение предложенной оценки и оценки МНК оказывается невозможным, поскольку их свойства мало отличаются. С практической точки зрения большие размерности базиса позволяют изучать сложно устроенные сигналы.

5. При переходе от регрессионной модели с шумами Леви к регрессионной модели с негауссовскими помехами Орнштейна — Уленбека отмечается снижение качества оценивания. Проведенное моделирование не дало однозначного ответа на вопрос об изменении свойств процедур при изменении коэффициента а процесса Орнштейна — Уленбека.

Полученные результаты моделирования подтверждают установленные аналитически статистические свойства оценок.

Глава 4

Свойства стохастических интегралов Ито по процессам Леви и Орнштейна — Уленбека. Некоторые сведения из теории оценивания

В задачах оценивания регрессии, рассмотренных выше, в качестве модели шума импульсного типа использовался семимартингальный процесс. Такой выбор шумового процесса можно мотивировать тем, что семимартингалы позволяют описать с единых позиций широкий класс шумовых воздействий с непрерывными и скачкообразными изменениями.

Класс семимартингалов весьма широк и включает в себя процессы с дискретным временем, диффузионные процессы, диффузионные процессы со скачками, процессы с независимыми приращениями и многие другие.

В разделе 4.1 приводятся необходимые сведения по семимартинга-лам и стохастическим интегралам Ито по семимартингалам. В разделе 4.2 устанавливаются некоторые свойства стохастических интегралов по процессам Леви и Орнштейна — Уленбека, используемые при анализе свойств процедур улучшенного оценивания, предложенных в главах 1 и 2. В разделе 4.3 излагаются вспомогательные факты из теории оценивания, включающие лемму Андерсона и формулу для плотности распределения Радона — Никодима для диффузионных процессов. В разделе 4.4 даются необходимые понятия и результаты из асимптотической теории оценивания, которые использованы в разделах 1.6 и 2.4 при доказательстве асимптотической эффективности в смысле робастного риска улучшенной оценки в задаче регрессии с шумами Орнштейна — Уленбека.

4.1 Семимартингалы. Формула Ито для семимартин-галов

Введем необходимые определения (см. монографию Р.Ш. Липцера и А.Н. Ширяева [24]).

Пусть (Г2, Т, (^ч)^о, Р) — фильтрованное вероятностное пространство с фильтрацией (^)<><ь удовлетворяющей обычным условиям непрерывности справа и пополненности по мере Р.

Определение. Случайный процесс X = [Хи Ь > 0) называется се-мимартингалом относительно фильтрации если он допускает представление

Хг = Х0 + Мг + Аи где М — локальный мартингал с Мд = 0 и А = (А^, — процесс с траекториями ограниченной вариации (на каждом промежутке (ОД г > 0) с Л0 = 0.

Всякий семимартингал может быть представлен в виде + М{ + М? + Аи (4.1) где М£ — непрерывный локальный мартингал и М£ — чисто разрывный локальный мартингал.

Заметим, что стохастический интеграл

МЛ= о<1<п,

J0

4.2) о для функции / е £2[0, п] по негауссовскому процессу Орнштейна — Уленбека (1.6) является семимартингалом, причем м/) = Мсг + М* + Аи (4.3) где

Щ = 01 [ М* = 02 [ /00<*гв, о

Aí = а / /(в)б^ ./о

Стохастический интеграл для функции / £ £2[О, п] п0 процессу Леви (1.5) является семимартингалом, представимым в виде ад)= [* №йиа = м; + м*. (4.4)

7о

Определение. Непрерывный мартингал Мс в (4.1) называется непрерывной мартингальной составляющей семимартингала X и обозначается Xе := Мс.

В основе стохастического исчисления для семимартингалов лежит следующая фундаментальная формулы замены переменных, или так называемая формула Ито.

Теорема 4.1. Пусть X = {Х1,.,Хй) — мерный случайный процесс, каждая из компонент которого является семимартингалом и ж) = /(#1,. — дважды непрерывно дифференцируемая функция на Тогда /(X) есть семимартингал и справедлива формула Ито Е г<й г

0<з<4 где (Хгс, Х7'0) — взаимная квадратическая характеристика непрерывных локальных мартингалов Xго и Хзс.

Следствие 4.1. Пусть X и У — семимартингалы. Тогда их произведение ХУ также является семимартингалом и для всякого £ > О

ХМ = Х0У0 + ^ Х8-бУ8 + ^ Уа.бХ8 + [X, У],, (4.5)

0,4] (0,4] или в "дифференциальной" форме д.(ХМ) = Х^йУг + Уь.йХг + ¿[X, У],, где [X, У] — квадратическая ковариация семимартингалов X и У.

В монографии Ж. Жакода и А.Н. Ширяева [14] доказывается, что

X, У], = (Xе, Ус) + ^ АХвАУ3. (4.6) 0

Если X = У, то равенства (4.5), (4.6) принимают вид

X2 = Хд + 2 I Х3^Х3 + [X, X],, (4.7)

0,4]

X, X], = (Xе, Xе) + £ (ДХ5)2.

0 <з<£

Определение. Угловой скобкой квадратично интегрируемого мартингала М = (МІ5 называют неубывающий предсказуемый процесс (М, М)ь такой, что процесс является локально квадратично интегрируемым мартингалом.

Определение. Взаимной угловой скобкой мартингалов М и N называют предсказуемый процесс (М, N)t, для которого случайный процесс является локальным мартингалом.

4.2 Свойства стохастических интегралов

Установим свойства стохастических интегралов (4.2) и (4.4), использованные в главах 1 и 2. Для интеграла по процессу Леви справедлив следующий результат.

Предложение 4.1. Пусть fug функции из пространства £2 [0, п] и процесс (It(f))t>о определен в (4.1). Тогда для всех 0 <t<n

Доказательство. Заметим, что процесс /*(/) удовлетворяет стохастическому дифференциальному уравнению

М2 - (М, М)

MtNt - <М, N) dlt(f) = f(t)dut, /0(Л = 0 .

Полагая в (4.5)

Xt = It(f), Yt = It(g), получаем ш)ш = Г мдеш + С 1а~шш) + [1Ш шь- (4.8)

При этом ШЬ = <МС(Л, + ]Г АЩ)АЦд) (Мс(/), + £ ¡(з)д(з)(Аг3)2. о <Й<£

Применяя формулу Ито к интегралу М4С(/) по броуновскому движению, получаем

Ш)> ШЬ = Г + ¿>1 £ о ;>х где 7}, ] = 1,2,. — моменты наступления событий в пуассоновском потоке (М)4>0, т.е.

7} = тф > 0 : ^ =

Используя это равенство в (4.8) и вычислив математическое ожидание, приходим к утверждению предложения 4.1.

Свойства стохастического интеграла по процессу Орнштейна — Уленбека исследованы в [65].

Для формулировки нужного результата нам потребуются некоторые обозначения. Положим е/(г) = а Г еа(*-у) ¡(у) (1 + е2ау) V ,

Уо где / : [0, +оо) —> Ж. — интегрируемая функция на любом конечном интервале. Введем также следующее преобразование квадратично интегрируемых [0, +оо) —> К функций / и д:

Г/М = \ ¡\WsMs) + е1д(8)) где e},g(t) = f(t)eg(t)+ef(t)g(t).

В [65] установлен следующий результат.

Предложение 4.2. Если fug — функции из пространства £2[0, п], то

EJtU)Jt(g) = (Ql + Xgl)Tf^t). (4.9)

4.3 Вспомогательные результаты из теории оценивания

А) При доказательстве Теоремы 2.1 был использован следующий результат.

Лемма 4.1. (Андерсон [3]). Пусть £ — случайная величина со значениями из M.d, плотность распределения f^(x) которой центрально-симметрична, f$(x) = fz(—x), а множество Ки = {х : f^(x) > и} выпукло для любого и, 0 < и < сю.

Тогда для любого вектора у е Rd и любого центрально-симметричного множества А справедливо неравенство У £ А) < Р(£ е А).

Б) При исследовании свойств оценок использовалась плотность Радона — Никодима распределения наблюдаемого процесса (yt)o<t<n относительно распределения броуновского движения.

Пусть процессы Xi, г = 1,2, определяются уравнениями dXi(t) = Si(t)dt + dWt, 0 <t<n, где е £2[0, п]. Обозначим через Р^ распределение процесса Хг на сг-алгебре множеств 05(С), порожденной классом всех открытых множеств в пространстве С = С[0,п].

В монографии [16] доказана следующая теорема.

Теорема 4.2. Вероятностные меры Р^ г = 1,2, на 55(С) абсолютно непрерывны, при этом производная Радона — Никодима определяется формулой ехр (^(ЗД - - \ (М2 - ||й||2)) , где ||5||2 = /0п52(£)^.

4.4 Локальная асимптотическая нормальность семейства распределений

В данном разделе приводятся некоторые определения и факты из теории асимптотического оценивания, которые используются в доказательстве оптимальности в смысле робастного риска (1.29) улучшенных процедур оценивания параметров регрессии в случае, когда помехи описываются процессом Орнштейна — Уленбека и оценки строятся по наблюдениям в дискретные моменты времени. Проверено свойство локальной асимптотической нормальности (ЛАН) для семества распределений процесса (2.30).

При этом будем следовать монографии [16]. Определение. Наблюдением называется случайная величина X со значениями в некотором измеримом пространстве {X, Л). Пространство (Л!, Л) называется выборочным пространством.

Определение. Произвольная тройка 8 = (X, А, {Рб>, 9 е 0}), где {Ре, 9 е 0} — семейство распределений на измеримом пространстве (X, А), называется статистическим экспериментом.

Пусть £п = (Х^п\ Лп\ {Р^п), 9 е 0}), © С п = 1,2,., — семейство статистических экспериментов, а Хп — наблюдение в момент п со значениями во множестве Х^п\

Определение. Семейство распределений {Р^, 9 е ©}, п = 1,2,., на пространстве {Х^п\ Л^) называется локально асимптотически нормальным (ЛАН) в точке 9о е 0 при п —> оо, если для некоторой последовательности невырожденных детерминированных (1 х (¿-матриц /(п) = /(п, 6*о) с нормой ||/(п)|| —> 0 и для любого вектора и е М^ справедливо представление

Р(п) е0+Пп)и{хп) = ехр{и>АпА> Ы*/2 + фп(и,90)}, (4.10) где АП}д0 сходится по распределению к гауссовскому вектору, т.е. £(ДП)0о|Р^) —> Л/"(0,/^) и Для любого и £ случайная величина Фп(и, во) —0 ПО вероятности Р^ при 77, —> ОО.

Проверим теперь свойство ЛАН для семейства распределений {Р^п), 9 ев}, п = 1,2,. процесса (2.30).

Предложение 4.3. Семейство распределений {Р^, 9 е ©}, п = 1,2,. процесса (2.30) обладает свойством ЛАН в каждой точке € © с нормировочной матрицей /(п) = п-1/2/^.

Доказательство. Согласно Теореме 4.2 плотность меры Р^ относительно Р^ для любого и е © имеет вид арв1\ ч Г /А 1НП

--(у) = ехр и Ап - ^ , 122 где An = (Ai,n, • • •, Ad,n)', случайные величины А;> = n 1/2 JQn (f>j(t)dwt имеют стандартное гауссовское распределение. Отсюда с учетом (4.11) получаем утверждение предложения.

При доказательстве асимптотической оптимальности улучшенной оценки в смысле робастного риска применяется теорема Я. Гаека из работы [16]. Для ее формулировки потребуется следующее определение.

Определение. Функция w : —> Ш+ называется функцией потерь, если она удовлетворяет условиям: 1) w(-) > 0, ги(0) = 0;

3) w(u) симметрична, т.е. w(u) = w{—u),

4) множества {и : w(u) < с} выпуклы при всех с > 0,

5) w(u) растет медленнее любой из функций exp(e||w||2), е > 0 при w(u) ехр(е\\и\\2)

Теорема 4.3. ([16]). Пусть семейство в G ©}, п = 1,2,., удовлетворяет условию J1AH в точке в = во с нормировочной матрицей F{n), причем trF(n)F' (п) —> 0 при п —» оо. Тогда для любого семейства оценок Тп, любой функции потерь w и любого г > 0 справедливо неравенство liminfinf sup Е^]w{F-l{n){Tn - в)) > Ew(rf), (4.11) г—>сх> тп ||б)0о||<е где C{rj) = М{0, Id). г/|| оо, т.е. . lim = 0. и Ноо

Заключение

В диссертационной работе разработаны методы улучшенного оценивания параметров линейной стохастической регрессии с непрерывным и дискретным временем. В случае непрерывного времени рассматривается модель периодической регрессии с семимартингальными шумами. Семимартингальные шумы включают различные типы помех с импульсными составляющими. Импульсная помеха моделируется составным процессом Пуассона, который характеризуется тем, что импульсы случайной амплитуды происходят в случайные моменты времени, образующие пуассоновский процесс. В качестве основных моделей для шумов используется процесс Леви, представляющий собой смесь броуновского движения и составного пуассоновского процесса, а также негауссовский процесс Орнштейна — Уленбека. Предполагается, что значения мешающих параметров шумов, определяющих вклад различных составляющих шума, неизвестны.

При построении улучшенных оценок используется подход Стейна, основная идея которого состоит в использовании специальной процедуры сжатия в методе наименьших квадратов. В отличие от гаус-совских моделей, рассматриваемых в работах Стейна и Джеймса и Стейна, предлагаемая процедура улучшенного оценивания применима к условно-гауссовским моделям наблюдений. Заметим, что при этом (в отличие от теории фильтрации) достаточно, чтобы требование условной гауссовости выполнялось относительно некоторого ненаблюдаемого процесса. В моделях регрессии с непрерывным временем и с шумами Леви и Орнштейна — Уленбека в качестве такого ненаблюдаемого процесса используется однородный пуассоновский процесс с неизвестной интенсивностью.

Одним из условий, обеспечивающих возможность построения улучшенных оценок путем сжатия оценок МНК, является предположение ограниченности параметрической области.

Основными результатами работы являются следующие.

1) Для параметрической регрессии с дискретным временем и условно-гауссовскими помехами в наблюдениях предлагается оценка МНК со специальным сжатием. При общих требованиях на условно-гауссовское распределение доказано, что предлагаемые оценки неизвестных параметров превосходят по среднеквадратической точности классические оценки наименьших квадратов. Найдены нижние границы' для минимального выигрыша в среднеквадратической точности оценивания при использовании вместо оценок МНК улучшенных оценок со специальным сжатием (Теорема 1.1).

2) Решена задача построения улучшенных оценок параметров модели регрессии с непрерывным временем и семимартингальными шумами, являющимися условно-гауссовскими относительно некоторого (возможно, ненаблюдаемого) процесса по полным наблюдениям процесса и наблюдениям в дискретные моменты времени. При общих условиях на функцию условной ковариации шума построена улучшенная оценка неизвестных параметров регрессии. Найдены нижние границы для минимального выигрыша в среднеквадратической точности при использовании улучшенных оценок (Теоремы 1.2 и 2.1).

3) Решена задача построения улучшенных оценок параметров модели регрессии с непрерывным временем и шумами Леви по полным данным. Показано, что при использовании улучшенных оценок выигрыш в среднеквадратической точности может быть получен при размерности базиса (I > 2. Найдена нижняя граница для минимального выигрыша в среднеквадратической точности (Теорема 1.3).

4) Решена задача построения улучшенных оценок параметров модели регрессии с непрерывным временем и шумами Леви по наблюдениям в дискретные моменты времени. Задача оценивания по дискретным данным возникает в случае, когда непрерывные наблюдения процесса не могут быть реализованы. Получены общие условия на размерность базиса (1 и частоту наблюдений р, при которых предлагаемая оценка имеет преимущество по среднеквадратической точности по сравнению с оценками МНК (Теорема 2.2).

5) Предлагается процедура построения улучшенных оценок параметров регрессии с непрерывным временем и помехами импульсного типа, описываемыми негауссовским процессом Орнштейна — Уленбе-ка по полным данным и наблюдениям в дискретные моменты времени. Исследованы свойства оценки (Теоремы 1.4 и 2.3).

6) Доказана асимптотическая минимаксность оценок МНК и предлагаемых процедур в смысле робастного риска для регрессии с шумами импульсного типа, описываемыми негауссовским процессом Орнштейна — Уленбека по полным данным и наблюдениям в дискретные моменты времени (Теоремы 1.5 и 2.4).

7) Проведено экспериментальное исследование работоспособности предложенной улучшенной процедуры оценивания параметров в регрессионной модели с импульсными шумами по наблюдениям в дискретные моменты времени. Смоделированы два типа шумовых процессов: процесс Леви и негауссовский процесс Орнштейна — Уленбека при различных соотношениях непрерывных и скачкообразных компонент. Проведено численное сравнение оценок, предложенных в главе 2, и классических оценок МНК. Изучено влияние уровня импульсной помехи на выборочную среднеквадратическую точность оценок неизвестных параметров регрессионной модели. Полученные результаты моделирования подтверждают установленные аналитически статистические свойства оценок.

Полученные результаты могут применяться для решения задач, связанных со статистической обработкой данных, а именно, для задач прогнозирования, управления технологическими процессами, фильтрации и обработки информации в информационно-телекоммуникационных комплексах. Рассмотренные в работе регрессионные модели с дискретным и непрерывным временем часто используются в эконометрике, финансовой математике, в задачах передачи и обработки сигналов.

Список литературы диссертационного исследования кандидат физико-математических наук Пчелинцев, Евгений Анатольевич, 2012 год

1. Алберт А. Регрессия, псевдоинверсия и рекуррентное оценивание. М: Наука, 1977.

2. Алексеев Е.Р., Чеснокова Е.А., Рудченко Е.А. Scilab: Решение инженерных и математических задач. М.: БИНОМ. Лаборатория знаний. 2008.http://docs.altlinux.org/books/2008/altlibrary-scilab-20090409.pdf

3. Андерсон Т. Статистический анализ временных рядов. М.: Мир, 1976.

4. Арато М. Линейные стохастические системы с постоянными коэффициентами. Статистический подход. М.: Наука, 1989.

5. Беллман Р. Введение в теорию матриц. М.: Наука, 1976.

6. Биллингсли П. Сходимость вероятностных мер. М.: Наука, 1977.

7. Боровков A.A. Математическая статистика. СПб.: Лань, 2010.

8. Васильев В.А., Конев В.В. Последовательное оценивание параметров динамических систем при неполном наблюдении // Изв. АН СССР. Техническая кибернетика. 1982. Вып.6. С. 145-154.

9. Дмитриев Ю.Г. Статистическая обработка данных с использованием априорной информации. Диссертация на соискание ученой степени доктора физ.-мат.наук. Томск, 2000.

10. Дмитриев Ю.Г., Кошкин Г.М. Использование дополнительной информации при непараметрическом оценивании функционалов плотности // Автоматика и телемеханика. 1987. № 10. С. 47-59.

11. Дмитриев Ю.Г., Тарасенко Ф.П. Об использовании априорной информации при оценивании линейных функционалов // Математическая статистика и ее приложения. Томск: Изд-во Том. ун-та. 1976. Вып. 4. С. 52-62.

12. Дмитриев Ю.Г., Тарасенко Ф.П. Применение функционального подхода к оцениванию функционалов с учетом априорной информации // Математическая статистика и ее приложения. Томск: Изд-во Том. ун-та. 1979. Вып. 5. С. 128-141.

13. Дмитриев Ю.Г., Устинов Ю.К. Статистическое оценивание функций распределения с использованием априорной информации // Математическая статистика и ее приложения. Томск: Изд-во Том. ун-та. 1986. Вып. 10. С. 62-76.

14. Жакод Ж., Ширяев А.Н. Предельные теоремы для случайных процессов. М.: Физматлит, 1994.

15. Закс Ш. Теория статистических выводов. М.: Мир, 1975.

16. Ибрагимов И.А, Хасьминский Р.З. Асимптотическая теория оценивания. М.: Наука, 1979.

17. Конев В.В. Последовательные оценки параметров стохастических динамических систем. Томск: изд-во Томск, ун-та, 1985.

18. Конев В.В., Пчелинцев Е.А. Оценивание параметрической регрессии с импульсными шумами по дискретным наблюдениям // Вестн. Томск, гос. ун-та. Матем. и мех. 2012. № 1(17). С. 20-35.

19. Левит Б.Я. Об оценке нелинейных функционалов // Проблемы передачи информации. 1978. Т. 14, вып. 3. С. 65-72.

20. Левит Б.Я. Об эффективности одного класса непараметрических оценок // Теор. вероятн. и ее примен. 1975. Т.20, вып. 4. С. 738754.

21. Левит Б.Я. Условное оценивание линейных функционалов // Проблемы передачи информации. 1975. Т. 11, вып. 4. С. 39-54.

22. Липцер Р.Ш. Условно-гауссовские случайные процессы // Проблемы передачи информации. 1974. Т. 10, вып.2. С. 75-94.

23. Липцер Р.Ш, Ширяев А.Н. Статистика случайных процессов. М.: Наука, 1979.

24. Липцер Р.Ш, Ширяев А.Н. Теория мартингалов. М.: Наука, 1986.

25. Марков А.А. Исчисление вероятностей. СПб.: 1900.

26. Поляк Б. Т., Цыпкин Я.З. Оптимальные методы оценивания коэффициентов авторегрегрессии при неполной информации // Известия АН СССР, Техническая кибернетика. 1983. № 1. С. 118-126.

27. Пчелинцев Е.А. Процедура Джеймса Стейна для условно-гауссовской регрессии // Вестн. Томск, гос. ун-та. Матем. и мех. 2011. № 4(16). С. 6-17.

28. Pchelintsev Е. Improved estimation in a non-Gaussian parametric regression // Stat. Inference Stoch. Process. 2012.

29. Пчелинцев Е.А. Улучшенные оценки параметров регрессии с импульсными шумами // Обозрение прикладной и промышленной математики. 2011. Т. 18, вып. 3. С. 460-461.

30. Пчелинцев Е.А. Модификация процедуры Стейна для регрессии с зависимыми условно-гауссовскими шумами // Обозрение прикладной и промышленной математики. 2011. Т. 18, вып. 3. С. 500-501.

31. Тюрин Ю.Н. Линейная модель в многомерной непараметрической статистике // В сб.: Ученые записки по статистике. 1974. Т.26. С. 7-24.

32. Тюрин Ю.Н. Об оценивании функций распределения // Теор. ве-роятн. и ее примен. 1970. Т. 15, вып. 3. С. 567-568.

33. Ширяев А.Н. Вероятность, М.: Наука, 2004.

34. Эллиот Р. Стохастический анализ и его приложения. М: Мир, 1986.

35. Baranchik A. A family of minimax estimators of the mean of a multivariate normal distribution // Ann. Math. Statist. 1970. № 41. P. 642-645.

36. Barndorff-Nielsen O.E., Shephard N. Non-Gaussian Ornstein-Uhlenbeck-based models and some of their uses in financial mathematics // J. Royal Stat. Soc. 2001. № 63. P. 167-241.

37. Berger J.O. Selecting a minimax estimator of a multivariate normal mean // Ann. Statist. 1982. № 10(1). P. 81-92.

38. Berger J.O., Bock M.E. Combining independent normal mean estimation problems with unknown variances // Ann. Statist. 1976. № 4(3). P. 642-648.

39. Berger J.0., Bock M.E., Brown L.D., Casella G., Gleser L. Minimax estimation of a normal mean vector for arbitrary quadratic loss and unknown covariance matrix // Ann. Statist. 1977. № 5. P. 763-771.

40. Berger J.O., Haff L.R. A class of minimax estimators of a normal mean vector for arbitrary quadratic loss and unknown covariance matrix // Statist. Decisions 1983. № 1. P. 105-129.

41. Berger J.O., Lu K.L. Estimation of normal means: frequentest estimation of loss // Ann. Statist. 1989. № 17(2). P. 890-906.

42. Bock M.E. Minimax estimator of the mean of a multivariate normal distribution // Ann. Statist. 1975. № 3(1). P. 209-218.

43. Brockwell P.J., Davis R.A. Time Series: Theory and Methods, 2nd edn. Springer, New York, 1991.

44. Casella G., Lehmann E.L. Theory of Point Estimation. Springer, New-York, 2nd edition, 1998.

45. Cellier D., Fourdrinier D. Shrinkage estimators under spherical symmetry for the general linear model // J. Multivariate Anal. 1995. № 52(2). P. 338-351.

46. Cellier D., Fourdrinier D., Strawderman W.E. Shrinkage positive rule estimators for spherically symmetric distributions // J. Multivariate Anal. 1995. № 53(2). P. 194-209.

47. Comte F., Genon-Catalot V., Rozenholc Y. Nonparametric estimation for a discretely observed integrated diffusion model 11 Stochastic Processes and their Applications. 2009. № 119. P. 811-834.

48. Cont R., Tankov P. Financial modelling with jump processes. Chapman and Hall/CRC, 2004.

49. Delong L., Kliippelberg C. Optimal investment and consumption in a Black — Scholes market with Levy driven stochastic coefficients // Annals of Applied Probability. 2008. № 18(3). P. 879-908.

50. Efron B., Morris C. Families of minimax estimators of the mean of a multivariate normal distribution // Ann. Statist. 1976. № 4. P. 11-21.

51. Fourdrinier D. Statistique inferentielle. Dunod, 2002.

52. Fourdrinier D., Pergamenshchikov S. Improved selection model method for the regression with dependent noise // Ann. of the Inst, of Statist. Math. 2007. № 59(3). P. 435-464.

53. Fourdrinier D., Strawderman W.E., Wells W.T. Robust shrinkage estimation for elliptically symmetric distribution with unknown co-variance matrix // J. Multivariate Anal. 2003. № 85(1). P. 24-39.

54. Fourdrinier D., Strawderman W.E., Wells W.T. Improved estimation for elliptically symmetric distributions with unknown block diagonal covariance matrix // Statist. Decisions. 2008. № 26. P. 203217.

55. Fourdrinier D., Strawderman W.E., William E. A unified and generalized set of shrinkage bounds on minimax Stein estimates // J. Multivariate Anal. 2008. № 99. P. 2221-2233.

56. Florens-Zmirou D. On estimating the diffusion coefficient from discret observations 11 J. Appl. Probab. 1993. No 30. P. 790-804.

57. Galtchouk L., Pergamenshchikov S. M. Asymptotically efficient estimates for non-parametric regression models // Statistics and Probability Letters. 2006. V. 76, № 8. P. 852-860.

58. Gauss C.F. Theoria combinationis observationu merroribus minimus obnoxiae, 1821.

59. Gleser L.J. Minimax estimation of a normal mean vector when the covariance matrix is unknown // Ann. Statist. 1979. № 7. P. 838846.

60. Gleser L.J. Minimax estimators of a normal mean vector for arbitrary quadratic loss and unknown covariance matrix // Ann. Statist. 1986. № 14. P. 1625-1633.

61. Gobet E., Hoffmann M., ReissM. Nonparametric estimation of scalar diffusions based on low frequency data // The Annals of Statistics. 2004. No 32. P. 2223-2253.

62. Guo Y. Y., Pal N. A sequence of improvements over the James — Stein estimator // J. Multivariate Anal. 1992. № 42(2). P. 302-317.

63. Jacod J. Parametric inference for discretely observed non-ergodic diffusions // Bernoulli. 2006. No 12(3). P. 383-401.

64. James W., Stein C. Estimation with quadratic loss // in: Proceedings of the Fourth Berkeley Symposium on Mathematics Statistics and Probability, University of California Press, Berkeley. 1961. V. 1. P. 361-380.

65. Konev V., Pergamenchtchikov S. Efficient robust nonparametric estimation in a semimartingale regression model, http://hal.archives-ouvertes.fr/hal-00526915/fr/ (2010).

66. Konev V. V., Pergamenshchikov S.M. Sequential estimation of the parameters in a trigonometric regression model with the Gaussian coloured noise // Stat. Inference Stoch. Process. 2003. № 6(3). P. 215-235.

67. Konev V., Pergamenchtchikov S. General model selection of a periodic regression with a Gaussian noise // An. Inst. Stat. Math. 2010. № 62. P. 1083-1111.

68. Lepski O. V. How to improve the accuracy of estimation // Math. Methods of Statistics. 1999. V. 8, № 4. P. 441 486.

69. Shao P.Y.-S., Strawderman W.E. Improving on the James — Stein positive-part estimator // Ann. Math. Statist. 1994. № 22. P. 15171538.

70. Stein C. Inadmissibility of the usual estimate for the variance of a normal distribution with unknown mean // Ann. Inst. Statist. Math. 1964. № 16. P. 155-160.

71. Stein C. Estimation of the mean of a multivariate normal distribution // Ann. Statist. 1981. № 9(6). P. 1135-1151.

72. Strawderman W.E. Proper Bayes minimax estimators of the multivariate normal mean // Ann. Math. Statist. 1971. № 42. P. 385-388.

73. Vasiliev V.A., Konev V. V. On Sequential Parameter Estimation of Continuous Dynamic Systems by Discrete Time Observations // Problems of Control and Information Theory. 1990. V. 19, N 3. P. 197-207.

74. Yoshida N. Estimation for diffusion processes from discrete observations // J. Multivariate Analysis. 1992. No 41. P. 220-242.