Робастные оценки параметров на основе взвешенного метода максимального правдоподобия тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат наук Черепанов Олег Сергеевич

• Черепанов Олег Сергеевич
• кандидат наук
• 2016

Оглавление диссертации кандидат наук Черепанов Олег Сергеевич

ВВЕДЕНИЕ

1 АДАПТИВНЫЕ ОЦЕНКИ ПАРАМЕТРОВ РАСПРЕДЕЛЕНИЙ

1.1 Постановка задачи. Уровни априорной информации

1.2 Робастные методы оценивания параметров распределений

1.3 Адаптивные оценки параметров распределений на основе взвешенного метода максимального правдоподобия

1.3.1 Взвешенный метод максимального правдоподобия

1.3.2 Процедуры адаптации

1.4 Адаптивные полупараметрические оценки параметра сдвига

1.4.1 Постановка задачи. Взвешенный метод максимального правдоподобия

1.4.2 Адаптивные полупараметрические оценки параметра сдвига типовых распределений

1.4.3 Исследование адаптивных полупараметрических оценок параметра сдвига типовых распределений

1.5 Адаптивные полупараметрические оценки параметра масштаба

1.5.1 Постановка задачи. Взвешенный метод максимального правдоподобия

1.5.2 Адаптивные полупараметрические оценки параметра масштаба типовых распределений

1.5.3 Исследование адаптивных полупараметрических оценок параметра масштаба типовых распределений

1.6 Адаптивные непараметрические оценки параметра сдвига

1.7 Выводы

2 АДАПТИВНЫЕ ОЦЕНКИ РЕГРЕССИИ

2.1 Постановка задачи. Уровни априорной информации и их типы

2.2 Робастные методы оценивания функции регрессии

2.3 Адаптивные полупараметрические оценки регрессии

2.3.1 Постановка задачи. Взвешенный метод максимального правдоподобия

2.3.2 Процедуры адаптации

2.3.3 Адаптивные полупараметрические I типа оценки линейной регрессии

2.3.3.1 Адаптивные полупараметрические I типа оценки линейной регрессии для типовых распределений ошибок

2.3.3.2 Исследование адаптивных полупараметрических I типа оценок регрессии

2.3.4 Адаптивные полупараметрические II типа оценки регрессии

2.3.5 Адаптивные полупараметрические III типа оценки регрессии

2.3.6 Адаптивные полупараметрические IV типа оценки регрессии

2.4 Адаптивные полунепараметрические оценки регрессии

2.4.1 Постановка задачи. Локальный взвешенный метод максимального правдоподобия

2.4.2 Процедуры адаптации

2.4.3 Адаптивные полунепараметрические оценки регрессии для типовых распределений ошибок

2.5 Адаптивные непараметрические оценки регрессии

2.6 Выводы

3 ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ ОЦЕНОК

3.1 Исследование адаптивных оценок параметра сдвига на основе взвешенного метода максимального правдоподобия

3.1.1 Постановка задачи. Описание эксперимента

3.1.2 Исследование оценок параметра сдвига для локальных супермоделей Тьюки

3.1.3 Исследование оценок параметра сдвига для глобальных супермоделей

3.1.4 Выводы

3.2 Исследование адаптивных полупараметрических оценок регрессии на основе взвешенного метода максимального правдоподобия

3.2.1 Постановка задачи. Описание эксперимента

3.2.2 Исследование оценок регрессии для локальных супермоделей Тьюки

3.2.3 Исследование оценок регрессии для глобальных супермоделей

3.2.4 Выводы

3.3 Исследование адаптивных полунепараметрических и непараметрических оценок регрессии на основе взвешенного метода максимального правдоподобия

3.3.1 Постановка задачи. Описание эксперимента

3.3.2 Исследование адекватности локальной модели регрессии

3.3.3 Исследование оценок регрессии для локальных супермоделей Тьюки

3.3.4 Исследование оценок регрессии для глобальных супермоделей

3.3.5 Выводы

4 РЕШЕНИЕ ПРИКЛАДНЫХ ЗАДАЧ

4.1 Адаптивная фильтрация изображений на основе взвешенного метода максимального правдоподобия

4.1.1 Введение

4.1.2 Постановка задачи фильтрации изображений

4.1.3 Алгоритмы фильтрации изображений на основе взвешенного метода максимального

правдоподобия

4.1.4 Моделирование

4.1.5 Выводы

4.2 Математические модели пространственно-временной динамики скорости ветра в пограничном слое атмосферы

4.2.1 Введение. Постановка задач

4.2.2 Анализ вида распределений компонент скорости ветра при фиксированном времени и высоте

4.2.3 Математические модели зависимости компонент скорости ветра от высоты при фиксированном времени

4.2.4 Математическая модель зависимости компонент скорости ветра от времени при фиксированной высоте

4.2.5 Выводы

ЗАКЛЮЧЕНИЕ

СПИСОК СОКРАЩЕНИЙ И УСЛОВНЫХ ОБОЗНАЧЕНИЙ

СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ

ПРИЛОЖЕНИЕ А ДОКАЗАТЕЛЬСТВО ТЕОРЕМ РАЗДЕЛА

А.1 Доказательство теорем подраздела

А.2 Доказательство теорем подраздела

ПРИЛОЖЕНИЕ Б ДОКАЗАТЕЛЬСТВО ТЕОРЕМ РАЗДЕЛА

Б. 1 Доказательство теорем подраздела

Б.2 Доказательство теорем подраздела

ПРИЛОЖЕНИЕ В АКТЫ О ВНЕДРЕНИИ РЕЗУЛЬТАТОВ ДИССЕРТАЦИИ

Введение диссертации (часть автореферата) на тему «Робастные оценки параметров на основе взвешенного метода максимального правдоподобия»

ВВЕДЕНИЕ

Актуальность работы. Задача оценки параметров моделей является одной из основных задач математической статистики. Методы нахождения оценок и их эффективность зависят от вида априорной информации при постановке задачи. Традиционно рассматривается класс параметрических задач, когда модели распределений и функций регрессии задаются с точностью до конечного числа неизвестных параметров. При условии совпадения априорных моделей с реальной действительностью оценки максимального правдоподобия (ОМП) являются эффективными оценками. Многочисленные исследования [76, 79] показали, что в ситуациях даже небольших отклонений априорных предположений от реальности, классические оценки максимального правдоподобия могут значительно терять свою эффективность. Во многих практических задачах сложно подобрать параметрическую модель, в частности, при задании многомерных параметрических моделей. Этот факт стимулировал развитие непараметрического направления в математической статистике [11, 14, 73, 78, 91]. В рамках данного подхода при построении математических моделей обычно используются априорные предположения общего типа: непрерывность, симметричность, унимодальность и т.д. При нарушении данных предположений эффективность непараметрических оценок также может существенно снижаться в конкретных ситуациях. Данная проблема стимулировала создание новых подходов к синтезу статистических процедур, как параметрических, так и непараметрических, устойчивых к отклонениям от априорных предположений.

Становление робастной статистики происходило с середины 60-х годов XX века, когда П. Хьюбер предложил использовать минимаксный подход [79] относительно наибольшего смещения или наибольшей дисперсии для синтеза робастных оценок для заданной супермодели. Минимаксный подход был использован и в работах Я. З. Цыпкина и Б. Т. Поляка [86, 87] для задачи синтеза робастных алгоритмов идентификации. В результате было введено понятие «оценка, оптимальная на классе».

Другой подход к формулировке количественных мер робастности на основе функции влияния был сформулирован Ф. Хампелем [76]. Согласно данному подходу устойчивость оценки можно определить на основе следующих характеристик: чувствительность к грубым ошибкам, чувствительность к локальным изменениям наблюдений, пороговые точки, чувствительность к изменению дисперсии оценки.

Л. Д. Мешалкин для оценивания параметров нормального распределения и параметров регрессии предложил использовать экспоненциально взвешенные оценки (эв -оценки) [44], обладающие устойчивостью к асимметричным выбросам. Подход Л. Д. Мешалкина получил

дальнейшее развитие в работах А. М. Шурыгина [93]. Он ввел меру неустойчивости оценки как вариацию среднеквадратического отклонения по плотности вероятности. Это позволило ему синтезировать оценки максимальной устойчивости (ОМУ). В результате оценку можно характеризовать с точки зрения двух критериев: критерия эффективности и критерия устойчивости. Однако эти два критерия оказались противоречивы, поэтому А. М. Шурыгин предложил промежуточные оценки: радикальные оценки (РО), условно-оптимальные оценки и др. Дальнейшее развитие подхода А. М. Шурыгина проводилось в работах Д. В. Лисицина [13, 36-41].

Наличие большого арсенала различных мер робастности приводит к проблеме выбора подхода для синтеза робастных оценок в конкретной ситуации. Как показывают исследования [6, 59, 159], использование минимаксных процедур или критерия устойчивости может приводить к чересчур «пессимистичным» оценкам, то есть обладающим высокой робастностью к наличию выбросов, но невысокой эффективностью. Так, например, для супермодели симметричных распределений по критерию минимизации максимального смещения получаем медианные оценки. Однако рекомендуемая оценка выборочной медианы для распределений с «легкими хвостами», например для обобщенно-нормального распределении 4-ой степени, имеет эффективность порядка 30%. Оптимальные на классе оценки Я. З. Цыпкина, являющиеся эффективными для «наихудшего» распределения супермодели, могут иметь низкую эффективность для других распределений. Поэтому возникает проблема синтеза робастных оценок, эффективных для конкретной ситуации, т.е. адаптивных оценок. С одной стороны, оценка за счет использования подходов робастной статистики должна адаптироваться к локальным отклонениям априорной модели от реальности (локальная адаптация), с другой стороны, за счет использования подходов непараметрической статистики - к виду неизвестного распределения или функции (глобальная адаптация).

Идеи получения адаптивных оценок привлекали внимание с начала зарождения робастной статистики. Для локальной адаптации Р. Джакелем [134, 135] и Р. Хоггом [129, 130] были предложены процедуры получения а-усеченных оценок на основе различных мер асимметрии и тяжести хвостов распределения. В. П. Шулениным предложены адаптивные варианты а-усеченных оценок [89, 92] на основе мер затянутости хвостов распределения. Работы по непараметрическим оценкам плотности вероятности [145, 150, 151] положили начало разработке глобальных адаптивных робастных оценок [100, 137-139, 141, 164].

В. А. Симахин предложил подход синтеза адаптивных оценок на базе взвешенного метода максимального правдоподобия (ВММП) [57, 61, 161]. Данный подход включает в себя оценки Л. Д. Мешалкина и А. М. Шурыгина как частные случаи. Благодаря введению дополнительного параметра радикальности, оценки ВММП способны адаптироваться к

локальным отклонениям априорного распределения от реального, а благодаря использованию непараметрических оценок плотности вероятности - к виду априорного распределения. Эффективность оценок ВММП зависит от параметра радикальности, который содержит информацию о локальных отклонениях от априорных предположений.

Задачи нахождения оценок регрессии на параметрическом уровне априорной информации при условии истинности априорных предположений достаточно хорошо исследованы [2, 27, 52]. Наиболее известный метод наименьших квадратов (МНК) приводит к оценкам регрессии, эффективным для нормального распределения аддитивного шума. Однако исследования [76, 79] показывают, что при наличии выбросов, как по оси у, так и по оси х, оценки МНК могут быть низкоэффективными.

Начиная с середины XX века большое внимание стало уделяться вопросам поиска робастных, непараметрических и робастных непараметрических оценок регрессии. С появлением первых работ по нахождению робастных оценок параметров распределений стали появляться и работы по синтезу робастных оценок параметрической регрессии. П. Хьюбер распространил минимаксный подход получения робастных оценок параметров сдвига и масштаба на синтез робастных оценок линейной регрессии [79]. Однако введенные М-оценки регрессии П. Хьюбера не устойчивы к наличию выбросов по оси х (в факторном пространстве), в связи с чем Ф. Хампелем введены обобщенные М-оценки регрессии [76], исследование свойств которых проводилось на основе функции влияния. Я. З. Цыпкиным для получения робастных алгоритмов идентификации с использованием минимаксного подхода были введены «оптимальные на классе» оценки регрессии [86, 87] для локальных и глобальных супермоделей распределений. Л. Д. Мешалкин для задачи оценки регрессионной зависимости предложил использовать экспоненциально взвешенные оценки [43]. Было показано, что эв-оценки Л. Д. Мешалкина значительно устойчивее, чем оценки на основе МНК и регрессии П. Хьюбера к появлению удаленных выбросов. А. М. Шурыгин на основе критерия неустойчивости синтезировал оценки максимальной устойчивости [93]. По аналогии с задачей оценки параметров распределений А. М. Шурыгин ввел на основе критериев эффективности и неустойчивости ряд промежуточных оценок: радикальные оценки, условно-оптимальные и компромиссные оценки регрессии [93]. Дальнейшее развитие подхода А. М. Шурыгина для полупараметрического уровня априорной информации проводилось Д. В. Лисициным [40].

Проблема выбора адекватной модели функции регрессии, особенно при переходе к многомерным задачам, побудила к созданию непараметрических оценок регрессии. Одними из первых работ в данной области являются работы Э. Я. Надарая [47] и Дж. С. Ватсона [169]. Подход получения непараметрических оценок регрессии связан с рассмотрением функционалов от условных функций распределения: условного среднего, условной медианы, условной моды

[23, 26, 29, 42, 47, 77, 169]. Исследования непараметрической оценки Надарая-Ватсона показали, что она неробастна к наличию выбросов.

Одной из первых работ в области робастной непараметрической регрессии является работа У. Кливленда [111]. Используя метод локальной полиномиальной регрессии, он предложил ввести взвешенную функцию для ее остатков. Одновременно с этим развивались работы по нахождению робастных непараметрических оценок регрессии на основе метода локальных аппроксимаций (МЛА) [26, 83]. А. Б. Цыбаков и В. Хардли предложили робастные оценки непараметрической регрессии [77, 83, 85] в виде М-оценок от условных распределений. Предложенные М-оценки требовали подбора оптимальных значений параметра размытости. А. Б. Цыбаковым, О. В. Лепским и В. Г. Спокойным были предложены адаптивные процедуры подбора параметра размытости в ядерных оценках регрессии [34, 35, 81, 136, 163] на основе согласования выбранной локальной априорной функции регрессии с исходными локальными наблюдениями.

В последнее время большое распространение получило компромиссное направление между параметрической и непараметрической статистиками - полупараметрическая статистика. Полупараметрические задачи включают комбинацию двух типов моделей. Одни из них заданы параметрически, другие - непараметрически. В рамках данного направления были предложены индексные модели [127], частично-линейные модели [118, 127, 128], появились и модели регрессии [167], в которых функция регрессии задается в параметрическом виде, а функция распределения шумов оценивается непараметрически. Дж. Мейс, Р. Ейнспорн Дж. Б. Берч, Т. Дж. Робинсон и П. Сизек предложили робастные полупараметрические модели регрессии [110, 115, 144, 149].

Синтез робастных оценок регрессии в основном опирался на те же идеи, что и при синтезе робастных оценок параметров распределений, поэтому они обладают теми же достоинствами и недостатками. Оценки П. Хьюбера, Я. З. Цыпкина и оценка максимальной устойчивости А. М. Шурыгина приводят к не самым лучшим решениям с точки зрения критерия эффективности при конкретных распределениях. В связи с этим возникает проблема построения робастных оценок регрессии, которые адаптируются как к глобальным, так и к локальным отклонениям от априорных предположений о виде распределений и функций при разной априорной информации.

Целью диссертационной работы является синтез и исследование адаптивных оценок параметров распределений случайных величин и регрессионных моделей в условиях статистической неопределенности на разных уровнях априорной информации. Для достижения цели в диссертационной работе поставлены и решены следующие задачи:

1) построение адаптивных робастных оценок параметров распределений в зависимости от уровня априорной информации;

2) построение адаптивных робастных оценок регрессии в зависимости от уровня априорной информации;

3) теоретическое и экспериментальное исследование полученных адаптивных оценок параметров распределений и регрессии;

4) практическое применение предложенных оценок.

Научная новизна работы состоит в следующем:

1) синтезированы новые робастные оценки параметров сдвига и масштаба на полупараметрических и непараметрических классах распределений;

2) синтезированы новые робастные оценки регрессии на полупараметрических, полунепараметрических и непараметрических классах распределений;

3) предложена процедура адаптации робастных оценок параметров распределения и регрессии к виду распределения выбросов на основе бутстреп-процедур;

4) предложена процедура адаптации робастных оценок к виду априорного распределения супермодели Тьюки на основе непараметрических оценок плотности вероятности;

5) для предложенных робастных адаптивных оценок параметров распределения и регрессии доказаны асимптотические несмещенность, состоятельность и эффективность относительно оценок максимального правдоподобия для супермоделей Тьюки в асимптотике А.М. Шурыгина;

6) по результатам теоретических и экспериментальных исследований показано, что адаптивные полупараметрические оценки параметров распределения и регрессии имеют эффективность близкую к 1.

Теоретическая значимость результатов исследования состоит в том, что предложены и исследованы новые адаптивные робастные оценки параметров распределения и регрессионных моделей, имеющие существенное значения для развития методов обработки данных в условиях статистической неопределенности.

Практическая ценность результатов:

1) разработанное программное обеспечение «WMLEWmd» используется лабораторией распространения оптических сигналов Института оптики атмосферы имени В. Е. Зуева СО РАН для исследования пространственно-временной динамики скорости ветра атмосферного пограничного слоя по результатам мини-содарных измерений;

2) спроектированное и реализованное программное обеспечение «WMLEFilter» используется ООО «НПФ «Экспресс Информ» для эффективной фильтрации растровых

изображений при неизвестном виде распределения шума и наличия аномальных значений цвета пикселей (приложение В);

3) адаптивные робастные непараметрические оценки на основе взвешенного метода максимального правдоподобия применяются ФГБОУ «РНЦ «ВТО» имени академика Г. А. Илизарова» для анализа биомедицинских данных, полученных в ходе экспериментальной и клинической работы клинико-экспериментальной лаборатории осевого скелета и нейрохирургии (приложение В);

4) полученные результаты исследования используются в учебном процессе при проведении лекционных, практических и лабораторных занятий по курсу «Теория вероятностей и математическая статистика» (направление 09.03.04 - «Программная инженерия» и специальность 090303.65 - «Информационная безопасность автоматизированных систем») на технологическом факультете Курганского государственного университета (КГУ) (приложение В).

Методология и методы исследования. Для построения и исследования адаптивных оценок используются методы теории вероятностей и математической статистики, непараметрической и робастной статистики, вычислительной математики, математического анализа, статистических испытаний и бутстрепа.

Достоверность и обоснованность полученных в диссертационном исследовании результатов подтверждается:

1) применением математического аппарата теории вероятностей и математической статистики, математического анализа при теоретическом исследовании и сравнении асимптотических эффективностей полупараметрических оценок для локальных и глобальных супермоделей распределений;

2) результатами статистических испытаний при сравнении эффективностей полупараметрических, полунепараметрических и непараметрических оценок для локальных и глобальных супермоделей распределений.

Основные положения, выносимые на защиту. На защиту выносятся:

1) метод, позволяющий получать оценки параметров распределения и регрессии на полупараметрическом, полунепараметрическом и непараметрическом уровнях априорной информации;

2) непараметрические процедуры адаптации на основе бутстрепа и непараметрических оценок плотности, позволяющие подстраивать оценки параметров к виду априорного распределения супермодели Тьюки;

3) адаптивные робастные оценки параметров сдвига, масштаба и регрессии, обладающие более высокой эффективностью на локальных и глобальных супермоделях

распределений, чем традиционные робастные оценки: радикальные оценки, оценки максимальной устойчивости, медианные оценки;

4) адаптивные алгоритмы фильтрации изображений на основе оценок регрессии взвешенного метода максимального правдоподобия, имеющие более высокую эффективность по критерию среднеквадратической ошибки, чем алгоритмы медианной фильтрации и скользящего среднего;

5) непараметрические адаптивные алгоритмы анализа пространственно-временной динамики скорости ветра в пограничном атмосферном слое, обладающие большей эффективностью, чем традиционные алгоритмы обработки данных на основе параметрических моделей и метода наименьших квадратов.

Апробация результатов. Основные результаты диссертационного исследования докладывались на следующих конференциях и симпозиумах:

1) XIX Международный симпозиум «Оптика атмосферы и океана. Физика атмосферы», Барнаул, 1-6 июля 2013 г.;

2) Second Conference of the International Society Of NonParametric Statistics, Cadiz, Span, 12-16 June 2014;

3) XX Международный симпозиум «Оптика атмосферы и океана. Физика атмосферы», Новосибирск, 23-24 июня 2014 г.;

4) XIII Международная научно-практическая конференция имени А. Ф. Терпугова «Информационные технологии и математическое моделирование», Анжеро-Судженск, 20-22 ноября 2014 г.;

5) Applied Methods of Statistical Analysis. Nonparametric Approach, Belokurikha, 14-19 September 2015;

6) XIV Международная научно-практическая конференция имени А. Ф. Терпугова «Информационные технологии и математическое моделирование», Анжеро-Судженск, 18-22 ноября 2015 г.

Диссертация обсуждалась на научном семинаре кафедры теоретической кибернетики Томского государственного университета и научном семинаре кафедры теоретической и прикладной информатики Новосибирского государственного технического университета.

Результаты диссертационного исследования опубликованы в 13 печатных работах, в том числе 2 [6, 56] в журналах, включенных в Перечень российских рецензируемых научных журналов, в которых должны быть опубликованы основные научные результаты диссертаций на соискание ученых степеней доктора и кандидата наук, 3 статьи [59, 88, 159] в других научных журналах, 2 публикации [160, 162] в сборниках материалов международных

конференций, индексируемых Web Of Science, и 6 публикаций [55, 63, 64, 66, 156, 158] в сборниках материалов международных и всероссийских конференций.

Личный вклад автора. Задачи диссертационного исследования были определены совместно с научным руководителем, доктором химических наук, профессором Бухтояровым Олегом Ивановичем с участием профессора кафедры «Программное обеспечение автоматизированных систем» Курганского государственного университета, кандидата физико -математических наук, доцента В.А. Симахина, впоследствии назначенного научным руководителем по диссертации, а задача применения адаптивных непараметрических оценок для исследования скорости ветра в пограничном слое атмосферы - совместно со старшим научным сотрудником лаборатории распространения оптических сигналов Института оптики атмосферы им. В.Е. Зуева СО РАН (г. Томск), кандидатом физико-математических наук Л. Г. Шаманаевой при сотрудничестве в рамках научной работы.

Синтез робастных адаптивных оценок параметров распределения и регрессии на разных уровнях априорной информации, теоретическое и экспериментальное их исследование проведены автором самостоятельно.

Автором самостоятельно спроектировано и реализовано следующее программное обеспечение:

1) программная библиотека предложенных в диссертации адаптивных оценок параметра сдвига, масштаба, совместных оценок сдвига и масштаба, адаптивных оценок регрессии и программных средств для их исследования методом статистических испытаний;

2) программное обеспечение для адаптивной фильтрации изображений на основе взвешенного метода максимального правдоподобия;

3) программный комплекс для анализа пространственно-временной динамики скорости ветра в пограничном слое атмосферы по результатам измерений доплеровским мини-содаром.

Структура и объем диссертации. Диссертация состоит из введения, 4 разделов, заключения, списка литературы из 169 наименований, трех приложений. Общий объем диссертации составляет 199 страниц машинописного текста, содержащий 40 теорем, 25 рисунков, 42 таблицы.

1 АДАПТИВНЫЕ ОЦЕНКИ ПАРАМЕТРОВ РАСПРЕДЕЛЕНИЙ

В настоящем разделе синтезированы адаптивные полупараметрические и непараметрические оценки параметров распределений на основе взвешенного метода максимального правдоподобия, доказаны теоремы об асимптотических свойствах полупараметрических оценок, проведено исследование эффективностей адаптивных полупараметрических оценок для локальных и глобальных супермоделей распределений.

1.1 Постановка задачи. Уровни априорной информации

Пусть имеется случайная величина Х с функцией распределения ¥(х,в) и плотностью вероятности/(х,в) в виде смеси распределений (супермодель Тьюки [76, 79, 92]):

¥(х,0) = (1 - р)О(х,0) + рН(х), (1.1.1)

где G(х,0) - априорная (идеальная) функция распределения с плотностью вероятности g(х,0), Н(х) - функция распределения выбросов с плотностью вероятности к(х) , р - доля выбросов.

Требуется по выборке независимых и одинаково распределенных (н.о.р.) случайных величин XN = (х1,...,хN) с функцией распределения ¥(х,в) оценить неизвестный параметр в.

Методы, алгоритмы и эффективность оценок неизвестных параметров зависят от вида априорной информации о распределениях, участвующих в задаче. Традиционно рассматривается класс параметрических задач [1, 3, 8, 90], когда вид функции распределения ¥(х,в) известен с точностью до конечного числа неизвестных параметров, и класс непараметрических задач [23, 73, 91], когда вид функции распределения ¥(х,в) неизвестен. Априорная информация может включать, например, параметрический класс распределений, непараметрический класс симметричных распределений или класс распределений с известными числовыми характеристиками [18-22, 74] и т.д. На практике априорные предположения о виде функции распределения 0(х,в), как правило, не совпадают с реальной функцией распределения ¥(х,в). Многочисленные исследования [72, 76, 79, 96] показали, что в таких ситуациях классические оценки максимального правдоподобия, основанные на 0(х,в), могут значительно терять свою эффективность. Это потребовало создания новых подходов к синтезу статистических процедур, устойчивых к отклонениям от априорных предположений, как в параметрической, так и в непараметрической постановке задачи.

Рассмотрим уровни априорной информации, на основе которых синтезируются оценки:

1) Параметрический уровень. Пусть F(x,ff) принадлежит к параметрическому классу распределений, вид распределения в котором известен с точностью до конечного числа неизвестных параметров. Данное направление в математической статистике получило название параметрической статистики. В случае, когда p=0, получаем классическое направление параметрической статистики [3, 8, 90], в случае, когда p Ф 0, - направление параметрической робастной статистики.

2) Непараметрический уровень. Пусть F(x,6) и G(x,0) принадлежат к непараметрическим классам распределений, вид функции распределений в которых неизвестен, известны только некоторые общие свойства, например, непрерывность, дискретность, симметричность, унимодальность, моменты и т.д. Закон распределения в этом случае определяется бесконечным числом неизвестных параметров. Данное направление в математической статистике получило название непараметрической статистики. В случае, когда p=0, получаем классическое направление непараметрической статистики [11, 14, 73, 78, 91], в случае, когдаp Ф 0, - направление непараметрической робастной статистики [56, 61, 65, 100, 138, 155, 159, 161, 164].

3) Полупараметрический уровень. Полупараметрические задачи характерны тем, что в априорной информации участвуют два типа моделей: параметрические и непараметрические. Данное направление в математической статистике получило название полупараметрической статистики [31, 105, 108, 127, 131]. Далее будем рассматривать полупараметрические задачи [6, 59, 61, 63, 69, 76, 79, 86, 87, 89, 92, 93, 123-126, 133, 142, 143, 161], в которых функция распределения G(x,0) принадлежит к параметрическому классу функций распределений, определенных с точностью до конечного числа неизвестных параметров в, а функция распределения H(x) принадлежит к непараметрическому классу распределений.

1.2 Робастные методы оценивания параметров распределений

Одной из первых значимых работ в робастной статистике принадлежит П. Хьюберу [79], который предложил использовать для получения робастных оценок минимаксный подход относительно наибольшего смещения или наибольшей дисперсии на классе «возмущенной» модели распределения. Я. З. Цыпкин и Б. Т. Поляк [86, 87] использовали минимаксный подход для получения робастных оценок на основе информационных критериев. Ф. Хампель [76] ввел меры робастности на основе функций влияния на наибольшее смещение и наибольшую дисперсию при попадании в выборку единичного наблюдения. В результате введено еще два

критерия робастности: 5-робастность по смещению и К-робастность по дисперсии. Данный подход получил широкое распространение благодаря тому, что функция влияния имеет тесную связь с подходом Р. Мизеса [75, 92] для исследования функционалов от эмпирической функции распределения. В рамках данных подходов при использовании предложенных критериев робастности для разных супермоделей получен ряд робастных оценок [76, 79, 86, 87, 92]. В результате даже введено понятие «оценка, оптимальная на классе» [87]. Исследования показывали, что такие оценки могут иметь низкую эффективность для отдельных распределений из данного класса. Так, например, показано, что медианные оценки, В-робастные на классе симметричных распределений, имеют низкую эффективность для симметричных распределений с «легкими» хвостами.

Список литературы диссертационного исследования кандидат наук Черепанов Олег Сергеевич, 2016 год

СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ

1. Айвазян С. А. Прикладная статистика и основы эконометрики: учебник для вузов: в 2 т. / С. А. Айвазян, В. С. Мхитарян. - 2-е изд. - М.: Юнити, 2001. - 1 т.

2. Айвазян С. А. Прикладная статистика: исследование зависимостей / С. А. Айвазян, И. С. Енюков, Л. Д. Мешалкин; под ред. С. А. Айвазяна. - М.: Финансы и статистика, 1985. - 487 с.

3. Айвазян С. А. Прикладная статистика: основы моделирования и первичная обработка данных / С. А. Айвазян, И. С. Енюков, Л. Д. Мешалкин; под ред. С. А. Айвазяна. - М.: Финансы и статистика, 1983. - 472 с.

4. Астапенко П. Д. Авиационная метеорология / П. Д. Астапенко, А. М. Баранов, И. М. Шварев. - М: Транспорт, 1985. - 262 с.

5. Ахмед Н. Ортогональные преобразования при обработке цифровых сигналов / Н. Ахмед, К. Р. Рао; пер. с англ. под ред. И. Б. Фоменко. - М.: Связь, 1980. - 248 а

6. Батраков П. А. Исследование оценок параметра масштаба взвешенного метода максимального правдоподобия / П. А. Батраков, О. С. Черепанов // Омский научный вестник. -2014. - № 2 (130). - С. 18-22.

7. Бондина Н. Н. Сравнительный анализ алгоритмов фильтрации медицинских изображений / Н. Н. Бондина, А. С. Калмычков, В. Е. Кривенцов // Вестник НТУ «ХПИ». Серия «Информатика и моделирование». - 2012. - № 38 - С. 14-25.

8. Боровков А. А. Математическая статистика. Оценка параметров, проверка гипотез / А. А. Боровков - М.: Наука, 1984. - 472 с.

9. Бусленко Н. П. Метод статистических испытаний (Монте-Карло) и его реализация на цифровых вычислительных машинах // Н. П. Бусленко, Ю. А. Шрейдер. - М.: Государственное издательство физико-математической литературы, 1961. - 226 с.

10. Бызова Н. Л. Турбулентность в пограничном слое атмосферы / Н. Л. Бызова, В. И. Иванов, Е. К. Гаргер. - Ленинград: Гидрометеоиздат, 1989. - 263 с.

11. Васильев В. А. Непараметрическое оценивание функционалов от распределений стационарных последовательностей / В. А. Васильев, А. В. Добровидов, Г. М. Кошкин; отв. ред. Н. А. Кузнецов. - М.: Наука, 2004. - 509 с.

12. Воскобойников Ю. Е. Фильтрации сигналов и изображений: фурье и вейвлет алгоритмы (с примерами в Mathcad) : монография / Ю. Е. Воскобойников, А. В. Гочаков, А. Б. Колкер. - Новосибирск: НГАСУ (Сибстрин), 2010. - 188 с.

13. Гаврилов К. В. Методы устойчивого оценивания параметров моделей по статистическим данным: дис. ... канд. тех. наук : 05.13.17 / Гаврилов Константин Викторович. -Новосибирск, 2005. - 144 с.

14. Гаек Я. Теория ранговых тестов / Я. Гаек, З. Шидак; пер. с англ. Д. М. Чибисова, под ред. Л. Н. Большова. - М.: Наука, 1971. - 375 с.

15. Гонсалес Р. Цифровая обработка изображений / Р. Гонсалес, Р. Вудс; пер. с англ. под ред. П. А. Чочиа. - М.: Техносфера, 2005 - 1072 с.

16. Гусев В. Ю. Методика фильтрации периодических помех цифровых изображений [Электронный ресурс] / В. Ю. Гусев, А. В. Крапивенко // Электронный журнал «Труды МАИ». - №50. - Режим доступа: http://www.mai.ru/upload/iblock/799/79996cf274433e29525c8c8142b8 a44c.pdf

17. Деврой Л. Непараметрическое оценивание плотности Ь-1 подход / Л. Деврой, Л. Дьёрфи; пер. с англ. А. Б. Цыбакова, под ред. М. Б. Малютова. - М.: Мир, 1988. - 407 с.

18. Дмитриев Ю. Г. Использование дополнительной информации при непараметрическом оценивании функционалов плотности / Ю. Г. Дмитриев, Г. М. Кошкин // Автоматика и телемеханика. - 1987. - №10. - С. 47-59.

19. Дмитриев Ю. Г. Непараметрическое оценивание функционалов по стационарным выборкам / Ю. Г. Дмитриев, Г. М. Кошкин, В. А. Симахин, Ф. П. Тарасенко, В. П. Шуленин. -Томск: Изд-во Том. ун-та, 1974. - 92 с.

20. Дмитриев Ю. Г. О свойствах оценок функции распределения и функционалов при дополнительной априорной информации / Ю. Г. Дмитриев // Математическая статистика и ее приложения. - Томск: Изд-во Том. ун-та, 1976. - С. 63-76.

21. Дмитриев Ю. Г. Применение функционального подхода к оцениванию функционалов с учетом априорной информации / Ю. Г. Дмитриев, Ф. П. Тарасенко // Математическая статистика и ее приложения. - Томск: Изд-во Том. ун-та, 1978. - С. 127-141.

22. Дмитриев Ю. Г. Статистическое оценивание распределений вероятностей с использованием дополнительной информации / Ю. Г. Дмитриев, Ю. К. Устинов. - Томск: Изд-во Том. ун-та, 1988. - 194 с.

23. Добровидов А. В. Непараметрическое оценивание сигналов / А. В. Добровидов, Г. М. Кошкин. - М.: Наука, 1997. - 334 с.

24. Ермаков С. М. Метод Монте-Карло и смежные вопросы // С. М. Ермаков. - М.: Наука, 1971. - 328 с.

25. Капегешева О. Ф. Анализ пространственно-временной динамики скорости ветра в пограничном слое атмосферы / О. Ф. Капегешева, Н. П. Красненко, Л. Г. Шаманаева // Оптика

атмосферы и океана. Физика атмосферы : сборник материалов XX Международного симпозиума. Новосибирск, 23-27 июня 2014 г. - Томск, 2014. - С. 118-121.

26. Катковник В. Я. Непараметрическая идентификация и сглаживание данных / В. Я. Катковник. - М.: Наука, 1985. - 335 с.

27. Кендалл М. Статистические выводы и связи: в 3 т. Т. 2 / М. Кендалл А. Стюарт М.; пер. с англ. под. ред. А. Н. Коломгорова. - М: Наука, 1973. - 590 с.

28. Коваль Ю. А. Метод предварительной фильтрации изображений для повышения точности распознавания образов [Электронный ресурс] / Ю. А. Коваль, М. В. Филиппов // Инженерный журнал: наука и инновации. - 2014. - Вып. 12. - Режим доступа: http:// engj ournal. ru/catalog/it/hidden/1307. html.

29. Кошкин Г. М. Об одной оценке условной функции распределения и линии регрессии / Г. М. Кошкин, В. А. Симахин, Ф. П. Тарасенко // материалы IV научной конференции по математике и механике. - Томск, 1974. - Кн. 1. - С. 135-136.

30. Красненко Н. П. Пространственно-временная динамика скорости ветра по результатам мини-содарных измерений / Н. П. Красненко, М. В. Тарасенков, Л. Г. Шаманаева // Известия вузов. Физика. - 2014. - Т. 57. - № 11. - С. 77-83.

31. Кристенсен Д. Полупараметрическое моделирование и оценивание / Д. Кристенсен пер. с англ. О. Еремина и С. Анатольева // Квантиль. - 2009 - №.7. - С. 53-83.

32. Ласьков В. В. Методы Фильтрации изображений в рентгеновской компьютерной томографии / В. В. Ласьков, Е. Н. Симонов // Вестник Южно-Уральского государственного университета. Серия «Компьютерные технологии, управление, радиоэлектроника». - 2014. - Т. 14. - № 3. - С. 29-33.

33. Леман Э. Л. Теория точечного оценивания / Э. Л. Леман; пер. с англ. Ю. В. Прохорова. - М.: Наука, 1991. - 444 с.

34. Лепский О. В. Асимптотически минимаксное адаптивное оценивание. I. Верхние границы. Оптимально-адаптивные оценки / О. В. Лепский // Теория вероятностей и ее применения. - 1991. - Т. 36. - Вып. 4. - С. 645-659.

35. Лепский О. В. Об одной задаче адаптивного оценивания в гауссовском белом шуме / О. В. Лепский // Теория вероятностей и ее применения. - 1990. - Т. 35. - Вып. 3. - С. 459-470.

36. Лисицин Д. В. Исследование стойких оценок параметров распределения минимального значения / Д. В. Лисицин, Д. А. Грюнер // Доклады Академии наук высшей школы Российской Федерации. - 2010. - № 1. - С. 6-17.

37. Лисицин Д. В. Исследование устойчивых оценок параметров распределения минимальных значений / Д. В. Лисицин, Д. А. Грюнер // Научный вестник Новосибирского государственного технического университета. - 2010. - № 2 (39). - С. 21-30.

38. Лисицин Д. В. О некоторых свойствах М-оценок / Д. В. Лисицин, К. В. Гаврилов // Сборник научных трудов НГТУ. - Новосибирск: Издательство НГТУ, 2011. - Вып. 3(65). - С. 67 - 74.

39. Лисицин Д. В. О свойствах условно оптимальных оценок / Д. В. Лисицин, К. В. Гаврилов // Научный вестник Новосибирского государственного технического университета. 2015. - Т. 58. - № 1. - С. 76 - 93.

40. Лисицин Д. В. Планирование эксперимента. Оценивание параметров и выбор структуры при построении моделей многофакторных объектов по неоднородным,

негауссовским, зависимым наблюдениям: дис.....д-ра. тех. наук: 05.13.17 / Лисицин Даниил

Валерьевич. - Новосибирск, 2005. - 505 с.

41. Лисицин Д. В. Условно-оптимальные и обобщенные радикальные оценки параметров распределения минимальных значений / Д. В. Лисицин, Д. А. Грюнер // Сборник научных трудов НГТУ. - 2010. - № 1 (59) - С. 45-52.

42. Медведев А. В. Непараметрические системы адаптации // А. В. Медведев; отв. ред. Ф. П. Тарасенко. - Новосибирск: Наука, 1983. - 174 с.

43. Мешалкин Л. Д. Использование весовой функции при оценке регрессионной зависимости / Л. Д. Мешалкин // Многомерный статистический анализ в социально -экономических исследованиях. - М.: Наука, 1974. - С 25-30.

44. Мешалкин Л. Д. Экспоненциально взвешенные оценки параметров положения и масштаба / Л. Д. Мешалкин // Статистика. Вероятность. Экономика. - М.: Наука, 1985. - С 8790.

45. Мудров В. И. Методы обработки измерений: квазиправдоподобные оценки / В. И. Мудров, В. Л. Кушко. - М.: Советское Радио, 1976. - 192 с.

46. Нагорнов О. В. Вейвлет-анализ в примерах: учебное пособие / О. В. Нагорнов, В. Г. Никитаев, В. М. Простокишин, С. А. Тюфлин, А. Н. Проничев, Т. И. Бухарова, К. С. Чистов, Р. З. Кашафутдинов, В. А. Хоркин. - М.: НИЯУ МИФИ, 2010. - 120 с.

47. Надарая Э. Я. Об оценке регрессии / Э. Я. Надарая // Теория вероятностей и ее применения. - 1964. - Т. 9. - Вып. 1. - С. 157-159.

48. Немировский А. С. Обработка сигналов непараметрическим методом максимума правдоподобия / А. С. Немировский, Б. Т. Поляк, А. Б. Цыбаков // Проблемы передачи информации. - 1984. - № 3. - Т. 20. - С. 29-46.

49. Обидин М. В. Вейвлеты и адаптивный трешолдинг / М. В. Обидин, А. П. Серебровский // Информационные процессы. - 2013. - Т. 13. - № 2. - С. 91-99.

50. Петрович М. Л. Изучение методом статистических испытаний робастных методов оценивания параметров регрессии / М. Л. Петрович, Г. К. Шлег // Заводская лаборатория. -1987. - №3. - С 41-48.

51. Прэтт У. Цифровая обработка изображений: в 2 кн. Кн. 1 / У. Прэтт; пер. с англ. под ред. Д. С. Лебедева. - М.: Мир, 1982. - 312 с.

52. Рао С. Р. Линейные статистические методы и их применения / С. Р. Рао; пер. с англ. А. М. Каган под ред. Ю. В. Линник. - М.: Наука, 1968. - 547 а

53. Себер Дж. Линейный регрессионный анализ / Дж. Себер; пер. с англ. В. П. Носко под ред. М. Б. Малютов. - М.: Мир, 1980. - 456 с.

54. Сергеев В. Л. Идентификация систем с учетом априорной информации / В. Л. Сергеев. - Томск: Изд. НТЛ, 1999. - 148 с.

55. Симахин В. А. Адаптивная фильтрация изображений на основе взвешенного метода максимального правдоподобия/ В. А. Симахин, О. С. Черепанов // Информационные технологии и математическое моделирование : материалы XIV Международной научно-практической конференции имени А. Ф. Терпугова (ИТММ-15). Анжеро-Судженск, 18-22 ноября 2015 г. - Томск, 2015. - С. 67-71.

56. Симахин В. А. Адаптивные оценки параметра сдвига / В. А. Симахин, О. С. Черепанов // Вестник Томского государственного университета. Управление, вычислительная техника и информатика. - 2013. - № 1 (22). - С. 131-137.

57. Симахин В. А. Взвешенный метод максимального правдоподобия / В. А. Симахин // Кибернетика и высокие технологии XXI века: материалы IX международной научно-технической конференции. Воронеж, 13-15 мая 2008 г. - Воронеж, 2008. - Т.2. - С. 661-672.

58. Симахин В. А. Генерация ревыборок в непараметрическом бутстрепе / В. А. Симахин, Е. Р. Терещенко // Применение статистических методов в производстве и управлении: тезисы докладов Всесоюзной конференции. Пермь, 25-27 сентября, 1990 г. - Пермь, 1990. -Т.1. - С. 79-80.

59. Симахин В. А. Исследование оценок взвешенного метода максимального правдоподобия / В. А. Симахин, О. С. Черепанов // Вестник Курганского государственного университета. Серия: Технические науки. - 2011. - № 6. - С. 72-77.

60. Симахин В. А. Непараметрическая статистика. Теория оценок: учебное пособие в 2.ч. / В. А. Симахин. - Курган: Изд-во Курганского гос. ун-та, 2004. - Ч.1. - 216 с.

61. Симахин В. А. Непараметрическая статистика. Теория оценок: учебное пособие в 2.ч. / В. А. Симахин. - Курган: Изд-во Курганского гос. ун-та, 2004. - Ч.2. -163 с.

62. Симахин В. А. О непараметрическом оценивании одного класса функционалов / В. А. Симахин, Ф. П. Тарасенко, В. П. Шуленин // Теория кодирования и передача информации : труды 5 Всесоюзной конференции. - Москва, 1972. - Вып. 1. - С. 112-116.

63. Симахин В. А. Обнаружение и выделение выбросов сигналов / В. А. Симахин, О. С. Черепанов // Оптика атмосферы и океана. Физика атмосферы : сборник материалов XIX Международного симпозиума. Барнаул, 01-06 июля 2013 г. - Томск, 2013. - С. 221-224.

64. Симахин В. А. Робастные алгоритмы идентификации сигналов в задачах лидарного зондирования атмосферы / В. А. Симахин, О. С. Черепанов // Оптика атмосферы и океана. Физика атмосферы : сборник материалов XX Международного симпозиума. Новосибирск, 2327 июня 2014 г. - Томск, 2014. - С. 92.

65. Симахин В. А. Робастные непараметрические оценки линейных функционалов / В. А. Симахин // Вестник Сибирского государственного аэрокосмического университета им. М. Ф. Решетнева. - 2010. - №5. - С. 72-75.

66. Симахин В. А. Робастные полупараметрические оценки регрессии / В. А. Симахин, О. С. Черепанов // Информационные технологии и математическое моделирование (ИТММ-2014) : материалы XIII Международной научно-практической конференции имени А. Ф. Терпугова. Анжеро-Судженск, 20-22 ноября 2014 г. - Томск, 2014. - С. 61-66.

67. Симахин В. А. Устойчивые непараметрические алгоритмы идентификации / В. А. Симахин // Кибернетика и высокие технологии XXI века: материалы IX международной научно-технической конференции. Воронеж, 13-15 мая 2008 г. - Воронеж, 2008. - Т.2. - С. 673684.

68. Смоленцев Н. К. Вейвлет-анализ в МАТЬАБ: учеб. пособие для вузов по направлениям подготовки и специальностям «Математика», «Математика. Прикладная математика» / Н. К. Смоленцев. - 3-е изд., доп. и перераб. - М.: ДМК Пресс, 2010. - 500 с.

69. Смоляк С. А. Устойчивые методы оценивания / С. А. Смоляк, Б. П. Титаренко. - М.: Статистика, 1980. - 208 с.

70. Соболь И. М. Метод Монте-Карло / И. М. Соболь. - М.: Наука, 1968. - 64 с.

71. Стругайло В. В. Обзор методов фильтрации и сегментации цифровых изображений [Электронный ресурс] / В. В. Стругайло // Наука и образование. МГТУ им. Н.Э. Баумана. -2012. - № 5. - Режим доступа: http://technomag.bmstu.ru/file/05322.html?_б=1.

72. Сызранцев В. Н. Расчет прочностной надежности изделий на основе методов непараметрической статистики / В. Н. Сызранцев, Я. П. Невелев, С. Л. Голофаст. -Новосибирск: Наука, 2008. - 216 с.

73. Тарасенко Ф. П. Непараметрическая статистика / Ф. П. Тарасенко. - Томск: Изд-во ТГУ, 1976. - 292с.

74. Тюрин Ю. Н. Об оценивании функции распределения / Ю. Н. Тюрин //Теория вероятностей и ее применения. - 1970. - Т. 15. - № 3. - С. 549-550.

75. Филиппова А. А. Теорема Мизеса о предельном поведении функционалов от эмпирической функции распределения и ее статистические применения / А. А. Филиппова // Теория вероятностей и ее применения. - 1962. - Т. 7. - № 1 . - С. 26-60.

76. Хампель Ф. Робастность в статистике. Подход на основе функции влияния / Ф. Хампель, Э. Рончетти, П. Рауссеу, В. Штаэль; пер. с англ. В. М. Золоторев. - М.: Мир, 1989. -512 с.

77. Хардле В. Прикладная непараметрическая регрессия / В. Хардле; пер. с англ. А. В. Назина под ред. М.Б. Малютова. - М.: Мир, 1993. - 349 с.

78. Хеттманспергер Т. П. Статистические выводы, основанные на рангах / Т. П. Хеттманспергер; пер. с англ. Д. С. Шмерлинг. - М.: Финансы и статистика, 1987. - 334 с.

79. Хьюбер П. Робастность в статистике / П. Хьюбер; пер. с англ. И. Г. Журбенко. - М.: Мир, 1984. - 303 с.

80. Цыбаков А. Б. Непараметрическое оценивание сигнала при неполной информации о распределении шума / А. Б. Цыбаков // Проблемы передачи информации. - 1982. - Т. 18. -Вып. 2. - С 44-60.

81. Цыбаков А. Б. О выборе ширины окна в ядерной непараметрической регрессии / А. Б. Цыбаков // Теория вероятностей и ее применения. - 1987. - Т. 2. - Вып. 1. - С 153-159.

82. Цыбаков А. Б. Оптимальные порядки точности оценивания негладких изображений / А. Б. Цыбаков // Проблемы передачи информации. - 1989. - Т. 25. - Вып. 3. - С. 13-27.

83. Цыбаков А. Б. Робастное восстановление функций методом локальной аппроксимации / А. Б. Цыбаков // Проблемы передачи информации. - 1986. - Т. 22. - Вып. 2. - С 69-84.

84. Цыбаков А. Б. Робастные методы непараметрической идентификации: дис.....д-ра.

физ. - мат. наук: 01.01.11 / Цыбаков Александр Борисович. - Москва, 1991. - 283 с.

85. Цыбаков А. Б. Робастные оценки значений функции / А. Б. Цыбаков // Проблемы передачи информации. - 1982. - Т. 18. - Вып. 3. - С 39-52.

86. Цыпкин Я. З. Огрубленный метод максимального правдоподобия / Я. З. Цыпкин, Б. Т. Поляк // Динамика систем. - 1977. - Вып. 12. - С. 22-46.

87. Цыпкин Я. З. Основы информационной теории идентификации / Я. З. Цыпкин. - М.: Наука, 1972. - 520 с.

88. Черепанов О. С. Свойства адаптивной робастной оценки регрессии / О. С. Черепанов // Вестник Курганского государственного университета. Серия: Технические науки. - 2014. -№ 2 (33). - С 24-28.

89. Шуленин В. П. Введение в робастную статистику / В. П. Шуленин. - Томск: Изд-во Том. ун-та, 1993. - 227с.

90. Шуленин В. П. Математическая статистика: учебник в 3 ч. / В. П. Шуленин. - Томск: Изд-во НТЛ, 2012. - Ч.1. - 539 с.

91. Шуленин В. П. Математическая статистика: учебник в 3 ч. / В. П. Шуленин. - Томск: Изд-во НТЛ, 2012. - Ч.2. - 388 с.

92. Шуленин В. П. Математическая статистика: учебник в 3 ч. / В. П. Шуленин. - Томск: Изд-во НТЛ, 2012. - Ч.3. - 518 с.

93. Шурыгин А. М. Прикладная статистика. Робастность. Оценивание. Прогноз. / А. М. Шурыгин. - М.: Финансы и статистика, 2000. - 223 с.

94. Эфрон Б. Нетрадиционные методы многомерного статистического анализа: Сб. статей / Б. Эфрон; пер. с англ. Ю. П. Адлера, Ю. А. Кошевника. - М.: Финансы и статистика, 1998. - 263 с.

95. Яне Б. Цифровая обработка изображений / Б. Яне; перев. с англ. - М.: Техносфера, 2007. - 584 с.

96. Andrews D. F. Robust Estimates of Location: Survey and Advances / D. F. Andrews, P. J. Bickel, F. R. Hampel, P. J. Huber, W. H. Rogers, J. W. Tukey. - Princeton: Princeton University Press, 1972. - 373 p.

97. Apeksha J. Review on Denoising techniques for the AWGN signal introduced in a stationary image [Electronic Resource] / J. Apeksha, S. G. Kerhalkar, M. Ahmed // International Journal of Engineering Science Invention. - 2014. - Vol. 3. - No. 4. - Access mode: http://www.ijesi.org/papers/Vol%283%294/Version-4/A0344001010.pdf.

98. Basu A. Minimum disparity estimation for continuous models: efficiency, distributions and robustness / A. Basu, B. G. Lindsay // Annals of the Institute of Statistical Mathematics. - 1994. - Vol. 46. - P. 683 - 705.

99. Basu A. Robust and Efficient Estimation by Minimising a Density Power Divergence / A. Basu, I. R. Harris, N. L. Hjort, M. C. Jones // Biometrika. - 1998. - Vol. 85. - No. 3. - P. 549 - 559.

100. Beran R. An efficient and robust adaptive estimator of location models / R. Beran // The Annals of Statistics. - 1978. - Vol. 6. - No. 2. - P. 292-313.

101. Beran R. Bootstrap methods in statistics / R. Beran // Jahresberichte des Deutschen Mathematischen Vereins. - 1984. - Vol. 86. - P. 14-30.

102. Beran R. Jackknife approximations to bootstrap estimates / R. Beran // The Annals of Statistics. - 1984. - Vol. 12. - No. 1. - P. 101-118.

103. Beran R. Minimum Hellinger distance estimates for parametric models / R. Beran // The Annals of Statistics. - 1977. - Vol. 15. - No. 5. - P. 445-463.

104. Beran R. Robust location estimates / R. Beran // The Annals of Statistics. - 1977. - Vol. 15. - No. 5. - P. 431-444.

105. Bickel P. J. Efficient and Adaptive Estimation for Semiparametric Models // P. J. Bickel, C. A. J. Klaassen, Ya. R. Ritov, J. A. Wellner. - New York: Springer, 1998. - 588 p.

106. Bickel P. J. On Adaptive Estimation / P. J. Bickel // The Annals of Statistics. - 1982. -Vol. 10. - No. 3. - P. 647-671.

107. Bickel P. J. Some Asymptotic Theory for the Bootstrap / P. J. Bickel, D. A. Freedman // The Annals of Statistics. - 1981. - Vol. 9. - No. 6. - P. 1196-1217.

108. Bierens H. J. Semi-Nonparametric Modeling and Estimation [Electronic resource] / H. J. Bierens. - Access mode: http://econ.la.psu.edu/~hbierens/SNP_REVIEW.PDF.

109. Buades A. A review of image denoising algorithms, with a new one / A. Buades, B. Coll, J.-M. Morel. / SIAM Journal on Multiscale Modeling and Simulation: A SIAM Interdisciplinary Journal. - 2005. - No.4 (2). - P. 490-530.

110. Cizek P. Semiparametric Robust Estimation of Truncated and Censored Regression Models / P. Cizek // Journal of Econometrics. - 2012. - Vol. 168. - P. 347-366.

111. Cleveland W. Robust locally weighted regression and smoothing scatter plots / W. Cleveland // Journal of the American Statistical Association. - 1979. - Vol. 74. - P. 829-836.

112. Collomb G. Nonparametric regression: An up-to-date bibliography / G. Collomb // Statistics. - 1985. - Vol. 16. - No. 2. - P. 309-324.

113. Coulter R. L. Two decades of progress in sodar technique / R. L. Coulter, M. A. Kallistratova // Meteorology and Atmospheric Physics. - 2004. - Vol. 85. - Nos. 1-2. - P. 3-19.

114. Davison A. C. Bootstrap Methods and Their Application / A. C. Davison, D. V. Hinkley.

- Cambridge: Cambridge University Press, 1997. - 596 p.

115. Einsporn R. Model robust regression: using nonparametric regression to improve parametric regression analyses / R. Einsporn, J. B. Birch - Blacksburg: Virginia Polytechnic Institute and State University Press, 1993. - 28 p.

116. Fan J. Local maximum likelihood estimation and inference / J. Fan, M. Farmen, I. Gijbels // Journal of the Royal Statistical Society. Series B. - 1998. - Vol. 60. - P. 591- 608.

117. Fishman G. S. Monte Carlo. Concepts, Algorithms, and Applications / G. S. Fishman. -New York: Springer-Verlag, 1995. - 718 p.

118. Gao J. T. Asymptotic theory for partly linear models / J. T. Gao // Communications in Statistics, Theory and Methods. - 1995. - Vol. 24. - P. 1985-2010.

119. Gasser T. Kernel estimation of regression function / T. Gasser, H.-G. Muller // Smoothing Techniques for Curve Estimation. Lecture Notes in Mathematics. - Berlin: Springer, 1979.

- P. 23-68.

120. Goyal G. Review Paper on Various Filtering Techniques and Future Scope to Apply These on TEM Images [Electronic resource] / G. Goyal, A. K. Bansal, M. Singhal // International Journal of Scientific and Research Publications. - 2013. - Vol. 3. - No. 1. - Access mode: http://www.ij srp.org/research-paper- 1301/ijsrp-p1313.pdf.

121. Gupta K. Image Denoising Techniques - A Review paper [Electronic resource] / K. Gupta, S. K. Gupta // International Journal of Innovative Technology and Exploring Engineering. -2013. - Vol. 2. - No. 4. - Access mode: http://www.ijitee.org/attachments/File/v2i4/ D0476032413.pdf.

122. Gupta V. A Review on Image Denoising Techniques / V. Gupta, V. Chaurasia, M. Shandilya // International Journal of Emerging Technologies in Computational and Applied Sciences.

- 2013. - No. 5(2). - P. 204-208.

123. Hampel F. R. A general qualitative definition of robustness / F. R. Hampel // The Annals of Statistics. - 1971. - Vol. 42. - No. 6. - P. 1887-1896.

124. Hampel F. R. Robust estimation: A condensed partial survey / F. R. Hampel //Zeitschrift fur Wahrscheinlichkeitstheorie und verwandte Gebiete. - 1973. - Vol. 27. - Issue 2. - P. 87-104.

125. Hampel F. R Robust inference [Electronic resource] / F. R Hampel. - Access mode: ftp://ftp. sam. math. ethz.ch/sfs/Research-Reports/93 .pdf.

126. Hampel F. R. The influence curve and its role in robust estimation. / F. R. Hampel // The Journal of the American Statistical Association. - 1974. - Vol. 69. - P. 383-393.

127. Hardle W. Nonparametric and Semiparametric Models / W. Hardle. - New York: Springer-Verlag, 2004. - 300 p.

128. Hardle W. Partially linear models / W. Hardle, H. LIang, J. Gao. - New York: Physica-Verlag, 2000. - 213 p.

129. Hogg R. V. On adaptive estimation / R. V. Hogg, P. S. Horn, R. V. Lenth // Journal of Statistical Planning and Inference. - 1984. - Vol. 9. - P. 333-1343.

130. Hogg R. V. On adaptive statistical inferences / R. V. Hogg // Communications in Statistics - Theory and Methods. - 1982. - Vol. 11. - P. 2531-2542.

131. Horowitz J. Semiparametric and Nonparametric Methods in Econometrics / J. Horowitz.

- New York: Springer-Verlag, 2009. - 276 p.

132. Hu F. The weighted likelihood / F. Hu, J. V. Zidek // Canadian Journal of Statistics. -2002. - Vol. 30. - P. 347-371.

133. Huber P. J. Robust estimation of a location parameter / P. J. Huber // The Annals of Statistics. - 1964. - Vol. 35. - No. 1. - P. 73-101.

134. Jaeckel L. A. Robust Estimates of Location: Symmetry and Asymmetric Contamination / L. A. Jaeckel // The Annals of Statistics. - 1971. - Vol. 42. - No. 3. - P. 1020-1034.

135. Jaeckel L. A. Some Flexible Estimates of Location / L. A. Jaeckel // The Annals of Statistics. - 1971. - Vol. 42. - No. 3. - P. 1540-1552.

136. Lepski O. Optimal pointwise adaptive methods in nonparametric estimation / O. Lepski, V. Spokoiny // The Annals of Statistics. - 1997. - Vol. 25. - No. 6. - P. 2512-2546.

137. Lindsay B. G. Efficiency Versus Robustness: The Case for Minimum Hellinger Distance and Related Methods / B. G. Lindsay // The Annals of Statistics. - 1994. - Vol. 22. - No. 2.- P. 10811114.

138. Lindsey J. K. Applying Generalized Linear Models / J. K. Lindsey. - New York: Springer, 2000. - 257 p.

139. Lindsey J. K. Introduction to Applied Statistics: a Modelling Approach / J. K. Lindsey. -2nd ed. - Oxford: Oxford University Press, 2004. - 336 p.

140. Lisitsin D. V. Robust estimation of mixed response regression models / D. V. Lisitsin // Applied methods of statistical analysis. Applications in survival analysis, reliability and quality control (AMSA'2013): proceedings of the International Workshop. Novosibirsk, September 25-27, 2013. -Novosibirsk, 2013. - P. 139-144.

141. Markatou M. Weighted likelihood estimating equations with a bootstrap root search / M. Markatou, A. Basu, B. G. Lindsay // Journal of the American Statistical Association. - 1998. - Vol. 57. - P. 740-750.

142. Maronna R. A. Robust M-estimators of location and scatter / R. A. Maronna // The Annals of Statistics. - 1976. - Vol. 4. - No. 1. - P. 51-67.

143. Maronna R. Robust Statistics: Theory and Methods / R. Maronna, D. Martin, V. Yohai. -New York: John Wiley and Sons, 2006. - 417 p.

144. Mays J. An overview of model-robust regression / J. Mays, J. B. Birch, R. Einsporn // Journal of Statistical Computation and Simulation. - 2000. - Vol. 66. - P. 79-100.

145. Parzen E. On estimation of probability density function and mode / E. Parzen // The Annals of Statistics. - 1962. - Vol. 33. - No. 3. - P. 1065-1076.

146. Polzehl J. Adaptive weights smoothing with applications to image segmentation / J. Polzehl, V. Spokoiny // Journal Royal Statistical Society. Serial B. - 2000. - Vol. 62. - P. 335-354.

147. Polzehl J. Image denoising: Pointwise adaptive approach / J. Polzehl ,V. Spokoiny // The Annals of Statistics. - 2003. - Vol. 31. - No. 1. - P. 30-57.

148. Powell J. L. Estimation of Semiparametric Models / J. L. Powell: ed. by R. F. Engle, D. L. McFadden // Handbook of Econometrics. - Los Angeles: Elsevier Science, 1994. - P. 2443-2521.

149. Robinson T. J. Dual model robust regression: robust to model misspecification [Electronic resource] / T. J. Robinson, J. B. Birch - Blacksburg: Virginia Polytechnic Institute and

State University Press, 2002. - Access mode: http://www.stat.vt.edu/research/Technical_Reports/ TechReport05-7.pdf.

150. Rosenblatt M. Density estimates and Markov sequences / M. Rosenblatt // Nonparametric Techniques in Statistical Inference. - Cambridge: Cambridge University Press, 1970. - P. 199-200.

151. Rosenblatt M. Remarks on some nonparametric estimates of a density function / M. Rosenblatt // The Annals of Statistics. - 1956. - Vol. 27. - No. 3. - P. 832-837.

152. Ruppert D. Semiparametric Regression / D. Ruppert, M. P. Wand, R. J. Carroll. - New York: Cambridge University Press, 2003. - 404 p.

153. Ruppert D. Semiparametric regression during 2003-2007 / D. Ruppert, M. P. Wand, R. J. Carroll // Electronic Journal of Statistics. - 2009. - Vol. 3. - 1193-1256.

154. Rymar I. V. Adaptive robust estimates of shift and scale parameters / I. V. Rymar, V.A. Simakhin // Proceedings of SPIE. - 2006. - Vol. 6160. - P. 220-229. doi: 10.1117/12.675244.

155. Rymar I. V. Nonparametric robust estimates of the shift and scale parameters / I. V. Rymar, V. A. Simakhin // Proceedings of SPIE. - 2006. - Vol. 6160. - P. 230-239.

156. Simakhin V. Adaptive Regression Estimates. Semi-nonparametric Models / V. Simakhin, O. Cherepanov // Applied Methods of Statistical Analysis. Nonparametric Approach: proceedings of the International Workshop. Novosibirsk, September 14-19, 2015. - Novosibirsk, 2015. - P. 38-48.

157. Simakhin V. A. Nonparametric robust regression estimate / V. A. Simakhin // Proceedings of SPIE. - 2006. - Vol. 6522. - P. 130-139.

158. Simakhin V. A. Nonparametric robust regression estimates / V. A. Simakhin, O. S. Cherepanov // Second Conference of the International Society of NonParametric Statistics : Book of Abstracts. Cadiz, June 12-16, 2014. - Cadiz, 2014. - P. 34.

159. Simakhin V. A. Properties of Adaptive Estimates of the Location Parameter / V. A. Simakhin, O. S. Cherepanov // Young Scientis USA. Applied Science. - 2014. - P. 149-154.

160. Simakhin V. A. Robust identification algorithms in problems of lidar sensing of the atmosphere / V. A. Simakhin, O. S. Cherepanov // Proceedings of SPIE. - 2014. - V. 9292. - 92923K.

161. Simakhin V. A. Robust Nonparametric Estimates / V. A. Simakhin. - Saarbrucken: LAP Lambert Academic Publishing GmbH & Co. KG, 2011. - 292 p.

162. Simakhin V. A. Robust semiparametric regression estimates / V. A. Simakhin, O. S. Cherepanov // Communications in Computer and Information Science. - 2014. - Vol. 487. - P. 397405.

163. Spokoiny V. Estimation of a function with discontinuities via local polynomial fit with an adaptive window choice / V. Spokoiny // The Annals of Statistics. - 1998. - Vol. 26. - No. 4. - P. 1356-1378.

164. Stone C. J. Adaptive maximum likelihood estimators of a location parameter / C. J. Stone // The Annals of Statistics. - 1976. - Vol. 3. - No. 2. - P. 267-284.

165. Takeda H. Kernel regression for image processing and reconstruction / H. Takeda, S. Farsiu, P. Milanfar // IEEE TIP. - 2007. - Vol. 16. - P. 349-366.

166. Takeda H. Robust kernel regression for restoration and reconstruction of images from sparse, noisy data / H. Takeda, S. Farsiu, P. Milanfar // Proceedings of the International Conference on Image Processing. - Atlanta: GA, 2006. - P. 1257-1260.

167. Yuan A. Semiparametric regression with kernel error model / A. Yuan, J. G. de Gooijer // Scandinavian Journal of Statistics. - 2007. - Vol. 34 (4). - P. 841-869.

168. Wang Z. Image quality assessment: From error visibility to structural similarity / Z. Wang, A. C. Bovik, H. R. Sheikh, E. P. Simoncelli // IEEE Transactions on Image Processing. - 2004. - Vol. 13. - No. 4. - P. 600-612.

169. Watson G. T. Smooth regression analysis / G. T. Watson // The Indian Journal of Statistics. - 1964. - Vol. A26. - P. 359-372.

ПРИЛОЖЕНИЕ A ДОКАЗАТЕЛЬСТВО ТЕОРЕМ РАЗДЕЛА 1 А.1 Доказательство теорем подраздела 1.4

Доказательство теоремы 1.4.2. Возьмем частную производную от логарифма

плотности вероятности g2(x,р,s) (1.4.4) по параметру сдвига р:

1п ё и я) = ^ 82(х и я)—т~—- = - ( ди ди ё2 (X и я) я V я .

Согласно (1.4.2) и (А.1.1) оценочная функция ф^,р) примет вид:

Р(X и) = -1 ё2 (- и я) .

(А.1.1)

Так как s>0, и оценка параметра сдвига ВММП определяется уравнением (1.4.1), то

Р(X и) = (х 2 (X и я) . Подставляя (А.1.2) в (1.4.1), получим (1.4.13).

Возьмем частную производную от оценочной функции ф^,р) (А.1.2) по р:

— Р(Х и) = -ё2 (X U, я) +1 (х - и)ё2 ~1 (Х U, я) — ё2 (X U, я) = дм ди

(А.1.2)

= -ё2 (X U, я) +1 (х - и)ё2 (X и, я) 11 Х~М ) = ё2 (X и, я)

(Г \2 ^

{—и) -1

я V я

(А.1.3)

Подставляя (А.1.2) и (А.1.3) в (1.3.6) и (1.3.7), получим (1.4.14) и (1.4.15) соответственно. □

Доказательство теоремы 1.4.4. Возьмем несобственный интеграл в числителе выражения (1.4.15):

| (- - и) 2 ё2 21 (и, я)й¥(х, и) = (1 - р)|(- - и) 2 ё2 21+1 (и, я)дх +

2 21+1 .

/"1 \ 2

+ р|(х - и)2ё221 (Хи,яЖх - а)дх = —!— -р я—+ р(а - и)2ё221 (аи,я). (А.1 4)

(яу2ж) (2/ +1)

Возьмем интеграл в знаменателе выражения (1.4.15):

| ё 2 (х U, я)

'Г \2 ^

/х-и) -1

(x, и) = (1 - р) | ё 21+1 (x, U, я)

2

/х-и) -1

дх +

+р I ё 2(х и, я)

'г \2 ^

/х-и) -1

8(х -а)дх = -

1-р

(яТГ^у (1+1)

3/2

+

я

я

я

я

+ Р ■ £21 (а, и 5)

\

и1

5

/1^1 -1

(А. 1.5)

Подставляя (А.1.4) и (А.1.5) в (1.4.15), получим выражение для дисперсии

(1 - Р) , „ -/■г2

,3/2

2

К = 5 2 <2/ + 1'

+ р ■ г е

(л / 2 / .

+ р ■ е"22 (1 - / ■ г2 ) (/ +1)3/2 У ;

а -и где г = -

Возьмем несобственный интеграл в числителе выражения (1.4.14):

| (х - и)£21 (X и, (х, и) = р\ (х - и)£21 (X и, 5)8(х - а)Ах =р ■ (а - и)£21 (а, и, 5) =

и <2 11 а-и

_/_ (а

Р ■ (а~и} е ~2 ^ ; . (А.1.6)

Подставляя (А.1.5) и (А.1.6) в (1.4.14), получим выражение для среднего вида:

/ 2

—г

5 ■ р ■ г ■ е 2

Ъ =------. □

/ 2

—г

+ р ■ е "222 (/ ■ г 2 -1) (/ +1)3/2 У ;

Доказательство теоремы 1.4.5. Возьмем несобственный интеграл в числителе выражения (1.4.15):

| (х - и) 2 £2 2/ (х, и, 5)й¥(х, и) =(1 - р)\(х - и) 2 £2 2/+1 (х, и, № +

+ р| (х - и) 2 £22/ (х, и, 5)£2 (х, а, 51 )Ах.

В доказательстве теоремы 1.4.3 показано, что первое слагаемое можно представить в виде:

2

|( х -и)2 £ 22/+1( х)Ах =

(^л/2^)2/ (2/ +1)

Возьмем интеграл второго слагаемого:

■.2 2// ч ^ ч , 1 1

3/2 '

2/( х-и12 _1 { х-ал2

|(х-и) £2 (x,и2(х,а51)Ах = / __Ч2/—7= |(х-и) е 21 5 ; е 1 51 ; А'х =

5

1 1-^2

I (х -и)2

2 2 2 2 -2хи+и х -2ха+а

21-Г ^ +---

дх =

1 1 - ,2

I (х -и)2

х2 (21 • ^+я2)-2х(21 • и +а• .s2)+21м2.sj2+а2я2 ^

22

я ^

дх =

1 1

(а-и)

2

1 2&12+я2

(

Произведем замену г =

-I

е 2Ь12+я2 |(х-и)2е 2 Л2

22 21 • и ч+а • я

2&12+я2

дх.

х -

2 2 ^ 21 • и • + а • я

2 , „2

V

2&1 + я

22

21 •я1 + я , ,

1 тогда ах = , 1 аг и

22 я1 я

^Я^я2 + я 2

2 2

/ Л2 я 2

(х -и)2 =-^-- г 2 +

21я12 + я 2_ ' (21я12 + я 2)3/2

2я1 я3 ч я4

1 (а-и) г +

(21я12 + я 2)2

(а-и) .

1

1

-1

(а-и)

2

1 2Ь 2+я2

1

9 9 2 2 2

е 2&12+я2 |(х-и)2е ^

9 9

21м2+а2

9,2^ 2 2^ + я

-1

(а-и)

ах =—и= е 2&12+X

21

4

(22 О 3

я о 2^1^ я , >2

1 г2 +-, 1 . ... (а-и) г +-;-— (а - и)

V

21я12 + я2 (21я12 + я 2)3/2

(21я12 + я 2)2

1 г2

2 дг х

У

-1

(а-и)

2

■^21я12 + я 2 (ял/Г^)21

21я12 + я 2

(

(21я12 + я 2)3/2

2 я

+

2Ъ2 + я 2

(а-и)2

я1 а - и Пусть ^ = — и t =-, тогда

5 5

и2

I(х-и)2ё221 (х,и,я)ё2(х,а,я1)ах = -—1 г^ге 21^2+1-я

2

(ял/2^)21

(21м>2 +1)3/2

2

2 t V2 +—-—

ч 21^ 2 +1У

I(х - и)2 ё 221 (x, м, (x, и) = —Д1 -р)я

(ял/2жГ (21 +

р • я

1 ^ 2

(21+1)3/2 + (^)2'

21^2+1

(21^ 2 +1)3/2

Г Л Л

2 t +---

ч 2Ы>2 +1У

(А.1.7)

Возьмем интеграл в знаменателе выражения (1.4.15):

я

я

1

2

х

У

\

2

х

X

2

1

X

е

е

х

1

х

| £ 2 (x, и 5)

Г \ 2 Л

И -

V 4 у

(

+ р| £2 (x, и, 5)

й¥(x, и) = (1 - р)\£ 2 + (x, U, 5) 2

2

/ х-и) -1

Ах +

/\х-и \ -1

£ 2( х,а, 51)Ах =-

1 - р