Методы устойчивого оценивания параметров моделей по статистическим данным тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат технических наук Гаврилов, Константин Викторович

• Гаврилов, Константин Викторович
• кандидат технических наук
• 2005

Оглавление диссертации кандидат технических наук Гаврилов, Константин Викторович

ВВЕДЕНИЕ.

ГЛАВА 1. СОСТОЯНИЕ ВОПРОСА И ОБОСНОВАНИЕ ЗАДАЧ I* ИССЛЕДОВАНИЙ.

1.1. Задача построения математической модели явления.

1.2. Линейные модели. Оценивание неизвестных параметров.

1.3. Основные подходы к проблеме робастности.

1.3.1. Задача оценивания параметров распределений.

1.3.2. Обзор методов робастного оценивания.

1.3.3. Принцип оптимальности на классе.

1.4. Краткий исторический обзор.

1.5. Выводы.

ГЛАВА 2. ПОСТРОЕНИЕ И ИССЛЕДОВАНИЕ РОБАСТНЫХ ЛОКАЛЬНО-УСТОЙЧИВЫХ МЕТОДОВ.

2.1. Стратегия робастного подхода.

2.2. Исходные положения задачи. т 2.3. Критерий качества оценки.

2.4. Локально-устойчивые оценки и их свойства.

2.4.1. Конструирование локально-устойчивых оценок.

2.4.2. Максимально устойчивая и условно-оптимальные оценки.

2.4.3. Радикальные оценки.

2.5. Выводы.

ГЛАВА 3. АДАПТИВНЫЙ РОБАСТНЫЙ ПОДХОД.

3.1. Квазиправдоподобные оценки.

3.2. Адаптивный -метод.

3.3. Адаптивные радикальные Ьу-оценки.

3.4. Численная процедура получения робастных Ьу-оценок.

3.5. Выводы.

ГЛАВА 4. АНАЛИЗ ФИНИТНОЙ И ПРИБЛИЖЁННОЙ ФИНИТНОЙ СТАТИСТИЧЕСКИХ МОДЕЛЕЙ.

4.1. Практическое применение.

4.2. Выбор оптимальной на классе функции потерь.

4.3. Оптимальность на классе финитных распределений.

4.4. Исследование финитной модели.

4.4.1. Оценивание параметра сдвига.

4.4.2. Оценивание параметра масштаба.

I* 4.5. Исследование приближённой финитной модели.

4.5.1. Оптимальная модель ошибок.

4.5.2. Оценивание параметра сдвига.

4.5.3. Оценивание параметра формы.

4.5.4. Оценивание параметра масштаба.

4.6. Выводы.

ГЛАВА 5. ЧИСЛЕННЫЕ ИССЛЕДОВАНИЯ.

5.1. Исследование финитной модели.

5.1.1. Влияние асимметричного засорения на различные оценки.

5.1.2. Нарушение финитности (неправильное значение /).

5.2. Исследование приближённой финитной модели.

5.2.1. Исследования с использованием моделирования.

5.2.2. Анализ экспериментальных данных.

5.3. Выводы.

Введение диссертации (часть автореферата) на тему «Методы устойчивого оценивания параметров моделей по статистическим данным»

Актуальность темы исследований. Измерение любой экспериментальной величины всегда осуществляется при воздействии некоторых помех, которые, несмотря на стремление исследователя свести их к минимуму, никогда не могут быть полностью устранены. В силу этого обстоятельства исследователь имеет дело не с детерминированными, а со случайными величинами. Во многих случаях измеряемые величины являются случайными по своей природе. С измерением подобных величин приходится сталкиваться в физических, биологических исследованиях, в некоторых задачах химической кинетики и ряде других отраслей науки.

Необходимость применения аппарата математической статистики при обработке результатов измерений, где случайной составляющей нельзя пренебречь, очевидна, и соответствующие методы успешно развиваются и внедряются в экспериментальную практику.

В настоящее время трудно представить себе область знаний, где бы ни использовались статистические методы обработки наблюдений, ибо на языке статистики удаётся в сжатом виде представить информацию, содержащуюся в серии измерений, наблюдений, экспериментов. Потребность описать наблюдаемое явление приводит к тому, что, наверное, одной из наиболее часто встречающихся задач, стоящих перед исследователем, стала задача оценивания параметров модели по результатам наблюдений.

Статистические выводы, связанные с анализом параметрических моделей, такие как оценивание параметров или построение доверительных интервалов, согласно классической теории, делались, исходя из предположения о каком-либо определённом виде распределения наблюдений. Наиболее известным является гауссовский статистический анализ, основанный на применении центральной предельной теоремы [5, 18, 25]. Теория сосредотачивалась на оптимизации точности получаемых результатов в рамках рассматриваемой модели.

На ограниченность такого подхода, пожалуй, впервые указал А. Н. Колмогоров [20]. Исследователи обнаружили, что реальное распределение наблюдений, как правило, расходится с принятым в модели, в результате чего могут серьёзно пострадать все статистические выводы. Возникла проблема устойчивого оценивания параметров моделей. В связи с этим получили развитие так называемые непараметрические методы [33], т.е. методы, свободные от предположения нормальности, как и любого другого определённого параметрического закона для ошибок. Известны, например, работы Т. П. Хеттманспергера по ранговым методам [36], а также сравнительно недавние работы Ю. Н. Тюрина и др. по знаковому статистическому анализу [4].

Другой известный подход к проблеме устойчивости, активно развивавшийся Б. Т. Поляком и Я. 3. Цыпкиным, называется принципом оптимальности на классе [38] и основан на минимаксном принципе построения оценок для некоторого множества возможных распределений. Его частным случаем является подход П. Хьюбера [37, 43], получивший название робастного и рассматривающий конечную окрестность модельного распределения.

Позже термин «робастность» приобрёл более широкое значение, его стали употреблять для обозначения устойчивости в каком-либо определённом, заранее оговорённом, смысле. Характерно, что и минимаксный, и непараметрический подходы теряют устойчивость при нарушении симметрии возмущения распределения наблюдений.

Локально-устойчивый подход Ф. Хампеля [35], основанный на использовании функции влияния, позволил качественно выделить оценки, обладающие свойством устойчивости к асимметричному засорению. Однако введённое им понятие 5-робастности не приводит к решениям, которые обладают указанным свойством.

Л. Д. Мешалкин [47, 1] предложил семейство оценок всех параметров многомерного нормального распределения, обладающих устойчивостью к асимметричному засорению, но это решение не привлекло заметного внимания статистиков. Возможно, это было связано с недостаточным объяснением природы предложенных оценок. А. М. Шурыгин [40] развивал идеи Мешалки-на, в том числе обобщил его результаты в рамках локально-устойчивого подхода к оцениванию параметров распределений. Однако локально-устойчивый подход, предложенный Шурыгиным, несмотря на очевидную полезность, до настоящего времени не получил должного теоретического обоснования. Исследованиями по проблеме устойчивости занимались также Дж. Тьюки [49], Дж. Пфанзагль [48], Л. Жакель [44], Э. Леман [46], Д. Эндрюс [41], С. А. Смоляк, Б. П. Титаренко [30, 31], А. И. Орлов [27], Ф. П. Тарасенко и многие другие учёные.

Сейчас существует целое направление в теории оценивания [30, 35, 37], которое изучает методы, устойчивые к тем или иным отклонениям от модельных предположений. Собирательное название для таких методов и соответствующих оценок параметров - робастные. Развитие теории робастности связано с дальнейшим совершенствованием применяемых статистических моделей, описывающих реальную ситуацию [38, 40].

В связи с тем, что теория робастности не завершена и находится в стадии активного развития, А. И. Орлов [26] назвал направление, связанное с построением робастных процедур статистического анализа, одной из главных «точек роста» прикладной статистики. Указанные тенденции нашли своё отражение и в данной диссертационной работе. Поднятые в ней вопросы разработки и исследования робастных методов оценивания параметров моделей представляются весьма актуальными.

Цель и задачи исследований. Основной целью диссертационной работы является дальнейшее развитие методов робастного оценивания параметров распределений и линейных регрессионных моделей независимых наблюдений с аддитивной помехой с точки зрения применения методов и моделей для более адекватного описания реальной ситуации. Основными задачами исследований являются построение, исследование и применение робастных подходов.

Методы исследования. Для решения поставленных задач использовался аппарат теории вероятностей, математической статистики, математического анализа, вычислительной математики, статистического моделирования. Обоснованность и достоверность научных положений, рекомендаций и выводов обеспечивается:

- применением аналитического аппарата математического анализа, математической статистики и теории вероятностей для исследования свойств рассматриваемых оценок и методов;

- подтверждением аналитических выводов и рекомендаций результатами испытаний методов с использованием статистического моделирования. Научная новизна и личный творческий вклад автора. Среди приведённого в диссертации материала автором были получены следующие основные результаты: предложен вариант теоретического обоснования робастных методов, построенных по принципу локальной устойчивости к точечному засорению и развиваемых А. М. Шурыгиным [40]; проведены теоретические исследования локально-устойчивых методов оценивания параметров, в том числе введено понятие равнооптимальной оценки, сформулирован и доказан ряд теорем, касающихся свойств локально-устойчивых оценок; предложено комбинирование принципа оптимальности на классе и робастных методов, на основе данного подхода исследованы финитная и приближённая финитная статистические модели, решена задача робастного оценивания параметров данных моделей;

- предложена вычислительная процедура для оценивания параметров линейных регрессионных моделей адаптивным робастным -методом; проведены численные исследования предложенных подходов с использованием метода статистического моделирования;

- с использованием предложенных подходов построены модели процесса струйного электрофоретического осаждения, применяемого для нанесения композиционных покрытий на детали машин.

Практическая ценность результатов:

- разработанные подходы позволяют получать оценки, устойчивые к виду распределения ошибок наблюдений, в том числе к наличию выбросов в массиве данных и к асимметричному засорению;

- созданное программное обеспечение позволяет эффективно производить вычисление оценок линейных регрессионных моделей, применяя разработанные подходы к задаче робастного оценивания;

- результаты исследований используются на ФПМИ НГТУ, разработаны модели реальных технологических процессов для ОАО «Завод дорожных машин».

Положения, выносимые на защиту. На защиту выносятся новые результаты, полученные автором в процессе проведения исследований. Краткое содержание работы.

В первой главе ставятся в математической форме задачи, проводится обзор современного состояния проблемы, краткий исторический обзор и обосновываются задачи исследований.

Во второй главе строятся и исследуются робастные локально-устойчивые методы оценивания параметров, использующие подход Шурыгина [40];

В третей главе рассматривается адаптивный робастный -метод, предлагаются численные методы оценивания параметров регрессионных моделей данным методом.

В четвёртой главе исследуются финитная и приближённая финитная модели ошибок, предлагаются робастные оценки их параметров. Рассматривается адаптивный робастный подход в предположении приближённой финитности.

В пятой главе проводятся численные исследования с целью изучения предложенных робастных методов обработки наблюдений при использовании метода статистического моделирования. Рассматривается применение данных методов для моделирования процесса струйного электрофоретического осаждения, используемого для нанесения композиционных покрытий на детали машин.

В приложении 1 приводится численный алгоритм, разработанный и использующийся для реализации итерационной процедуры оценивания параметров линейных регрессионных моделей.

В приложении 2 представлено описание программной системы для адаптивного робастного оценивания параметров линейных регрессионных моделей в предположении приближённой финитности ошибок наблюдений.

В приложении 3 представлены документы о внедрении результатов исследований.

Структура работы. Диссертация состоит из введения, пяти глав основного содержания, заключения, списка использованных источников из 49 наименований и приложений. Общий объём диссертации составляет 144 страницы, включая 16 таблиц и 32 рисунка

Заключение диссертации по теме «Теоретические основы информатики», Гаврилов, Константин Викторович

5.3. Выводы

В результате анализа выборочных данных второго эксперимента, полученных при проведении струйного электрофоретического осаждения композиционных покрытий на детали машин, выяснилось, что ошибки в экспериментально полученных наблюдениях содержат выбросы, их распределения имеют тяжёлые хвосты. Поэтому необходимо применение робастных методов.

Применение МНК и робастного метода дают, как правило, существенно различные оценки параметров для одной и той же структуры модели. Это говорит часто о непригодности классических методов обработки наблюдений для рассмотренных наборов данных, иногда - о неточных, в какой-то степени, структурах моделей.

При исследовании данных первого эксперимента установлено, что ошибки наблюдений имеют лёгкие хвосты и описываются финитной моделью.

Основные полученные результаты: разработанные методы анализа регрессионных моделей в предположении финитности и приближённой финитности ошибок наблюдений, используемые при проведении численных исследований, реализованы в виде программной системы, которая описана в приложении 2; проведены численные исследования финитной и приближённой финитной моделей ошибок с использованием метода статистических испытаний (Монте-Карло); в процессе исследований показаны основные особенности рассмотренных статистических моделей и робастных методов, построенных на их основе; показана прикладная ценность приближённой финитной статистической модели, применяемой совместно с адаптивными робастными процедурами; предложенные методы применены для исследования процесса струйного электрофоретического осаждения, используемого для нанесения композиционных покрытий на детали машин, выявлены особенности и преимущества рассмотренных робастных методов по сравнению с классическими.

127

ЗАКЛЮЧЕНИЕ

В соответствии с поставленными целями исследований получены следующие основные результаты.

1. Проведён обзор основных подходов теории робастного оценивания параметров, рассмотрена возможность различного комбинирования указанных подходов: минимаксного, адаптивного и робастного локально-устойчивого.

2. Предложен вариант теоретического обоснования робастных локально-устойчивых методов Шурыгина [40]. Проведены теоретические исследования локально-устойчивых методов оценивания параметров, в том числе введено понятие равнооптимальной оценки, сформулирован и доказан ряд теорем о свойствах локально-устойчивых оценок.

3. Предложена вычислительная процедура для оценивания параметров линейных регрессионных моделей адаптивным робастным -методом.

4. Исследованы финитная и приближённая финитная статистические модели, решена задача робастного оценивания всех параметров данных моделей, указаны теоретические предпосылки их практического использования. Методы обработки наблюдений, построенные в предположении приближённой фи-нитности ошибок, предлагается использовать на практике, в том числе, для оценивания параметров регрессионных моделей.

5. Разработана программная система для адаптивного робастного оценивания параметров линейных регрессионных моделей в предположении приближённой финитности ошибок наблюдений. Имеется также модификация данной программной системы для адаптивного робастного -оценивания.

6. Проведены численные исследования предложенных робастных методов обработки наблюдений с использованием метода статистического моделирования (Монте-Карло). Подтверждены следующие качества методов:

- устойчивость к виду распределения ошибок наблюдений, в том числе к наличию выбросов в массиве данных и к асимметричному засорению;

- сравнительно высокая эффективность оценок.

7. Разработанные методы применены для моделирования процесса струйного электрофоретического осаждения, используемого для нанесения композиционных покрытий на детали машин.

Список литературы диссертационного исследования кандидат технических наук Гаврилов, Константин Викторович, 2005 год

1. Айвазян С. А., Енюков И. С., Мешалкнн Л. Д. Прикладная статистика: исследование зависимостей. М.: Финансы и статистика, 1985.

2. Благовещенский Ю. Н., Самсонова В. П., Дмитриев Е. А. Непараметрические методы в почвенных исследованиях. М.: Наука, 1987. - 96 с.

3. Богданович В. А., Вострецов А. Г. Теория устойчивого обнаружения, различения и оценивания сигналов. М.: Физматлит, 2004. - 320 с.

4. Болдин М. В., Симонова Г. И., Тюрин Ю. Н. Знаковый статистический анализ линейных моделей. М.: Наука, 1997. - 208 с.

5. Боровков A.A. Математическая статистика. М.: Наука, 1984. - 472 с.

6. Вапник В. Н. Восстановление зависимостей по эмпирическим данным. -М. Наука, 1979.-447 с.

7. Вощинин А. П. // Заводская лаборатория. 2000. - Т. 66. - № 3. - С. 5165.

8. Гаврилов К. В. Адаптивный метод оценивания параметров в линейных регрессионных моделях. // Сб. науч. тр. НГТУ. Новосибирск: НГТУ, 1999. -Вып. 2(15).-С. 9-20.

9. Гаврилов К. В., Лисицин Д. В. Робастное оценивание параметра локализации финитной модели // Рос. науч.-техн. конф. "Информатика и проблемы телекоммуникаций", Новосибирск, 22-23 апр., 2004.: Материалы конф. Новосибирск, 2004. - Т. 1. - С. 112.

10. Гантмахер Ф. Р. Теория матриц. М.: Наука, 1988. - 552 с.

11. Голицын Г. А., Левич А. П. Вариационные принципы в научном знании. // Философские науки. 2004. -№ 1. - С. 105-136.

12. Грибкова Н. В., Егоров В. А. О робастных оценках параметра сдвига, являющихся линейными комбинациями порядковых статистик // Вестник ЛГУ, 1978. -№ 13.-С. 24-57.

13. Губарев В. В. Вероятностные модели: Справочник. В 2-х ч. / Новосиб. электротехн. ин-т. Новосибирск, 1992.

14. Демиденко Е. 3. Линейная и нелинейная регрессии. М.: Финансы и статистика, 1981. - 302 с.

15. Денисов В. И., Лисицин Д. В., Гаврилов К. В. Планирование эксперимента при оценивании параметров многофакторной модели по неоднородным наблюдениям. // Сиб. журн. индустр. матем. 2002. - Т. V, № 4(12). - С. 14-28.

16. Дэйвид Г. Порядковые статистики. М.: Наука, 1979. - 336 с.

17. Ивченко Г. И., Медведев Ю. И. Математическая статистика.- М.: Высшая школа, 1984. 248 с.

18. Изместьев Д. И., Филимоненко В. Н., Лисицин Д. В. Локализация процесса электрофоретического осаждения и его математическое описание. // Сб. науч. тр. НГТУ. Новосибирск: НГТУ, 1999. - Вып. 2(15). - С. 39-44.

19. Колмогоров А. Н. Несмещённые оценки. // Изв. АН СССР, сер. мат., т. 14, с. 303-326.

20. Лисицин Д. В., Гаврилов К. В. О локально устойчивом оценивании параметров распределений // Сб. науч. тр. НГТУ. Новосибирск: НГТУ, 2004. -Вып. 2(36).-С. 37-46.

21. Лисицин Д. В., Гаврилов К. В. Робастное оценивание приближённой финитной модели. // Сб. науч. тр. НГТУ. Новосибирск: НГТУ, 2005. - Вып. 1(39).-С. 39-48.

22. Лисицин Д. В., Гаврилов К. В. Робастное оценивание финитной модели. // Сб. науч. тр. НГТУ. Новосибирск: НГТУ, 2004. - Вып. 2(36). - С. 47-56.

23. Лисицин Д. В. Конструирование робастных оценок параметров регрессии при неоднородных наблюдениях // Научный вестник НГТУ. 2004. -№3(18).-С. 43-55.

24. Мудров В. И., Кушко В. JI. Методы обработки измерений: квазиправдоподобные оценки. М.: Радио и связь, 1983. - 304 с.

25. Орлов А. И. Современная прикладная статистика. // Заводская лаборатория. 1998. Т. 64. № 3. - С. 52-60.

26. Орлов А. И. Часто ли распределение результатов наблюдений является нормальным? // Заводская лаборатория. 1991. Т. 57. № 7. - С. 64-66.

27. Редько М. Ю. Квазиправдоподобные Lp-оценки для линейной регрессии. / Новосиб. электротехнический институт. Новосибирск, 1988. - 31 с. // Деп. в ВИНИТИ 20.06.1988, № 4821-688.

28. Сархан А. Е., Гринберг Б. Г. Введение в теорию порядковых статистик. М.: Статистика, 1970. - 414 с.

29. Смоляк С. А., Титаренко Б. П. Об устойчивой оценке параметра функции распределения. // Тр. 6-й зимней школы по матем. прогр. и смежным вопросам.-М.: ЦЭМИ АН СССР, 1975.-с. 198-209.

30. Смоляк С. А., Титаренко Б. П. Устойчивые методы оценивания: (Статистическая обработка неоднородных совокупностей). — М.: Статистика, 1980.

31. Сухарев А. Г., Тимохов А. В., Фёдоров В. В. Курс методов оптимизации. М.: Наука, 1986. - 328 с.

32. Тимофеев В. С., Гаврилов К. В. К оцениванию параметров модели линейной регрессии. // Труды IV международной конференции «Актуальные проблемы электронного приборостроения». Новосибирск, 1998. — Т. 3. — с. 83-85.

33. Фёдоров В. В. Теория оптимального эксперимента (планирование регрессионных экспериментов). — М.: Наука, 1971. — 312 с.

34. Хампель Ф., Рончетти Э., Рауссеу П., Штаэль В. Робастность в статистике: подход на основе функций влияния. М.: Мир, 1989. 512 с.

35. Хеттманспергер Т. П. Статистические выводы, основанные на рангах. / Пер. с англ.: Шмерлинг Д. С. М.: Финансы и статистика, 1987. - 333 с.

36. Хьюбер П. Робастность в статистике. М.: Мир, 1984. 303 с.

37. Цыпкин Я. 3. Основы информационной теории идентификации. М.: Наука, 1984. - 320 с.

38. Шокин Ю. И. Интервальный анализ. Новосибирск: Наука, 1981. -281 с.

39. Шурыгин А. М. Прикладная стохастика: робастность, оценивание, прогноз. М.: Финансы и статистика, 2000. - 224 с.

40. Andrews D. F., Bickel P. J., Hampel F. R., Huber P. J., Rodger W. H., Tukey J. W. A robust estimation for location: survey and advances. Princeton. N. Y.: Princeton Univ. Press.

41. ElfVing G. Optimum allocation in linear regression theory. Ann. Math. Stat. 23,255- 1952.

42. Huber P. J. Robust estimation of location parameter. // Ann. Math. Statist., v. 35, no. l,p. 73-101.

43. Jaeckel L. A. Robust estimators of location: symmetry and asymmetric contamination. // Ann. Math. Statist., v. 42, no. 3, p. 1020-1034.

44. Kassam S. A., Thomas J. B. Asymptotically robust detection of a known signal in contaminated non-gaussian noise // IEEE Transactions on Information Theory. 1976. - vol. 22. - P. 22-26.

45. Lehman E. L. Theory of point estimation. N.Y.: John Wiley and sons. (Перевод: Леман Э. Теория точечного оценивания. М.: Наука, 1991, 444 с.)

46. Meshalkin L. D. Some mathematical methods for the study of non-communicable diseases. Proc. 6-th Intern. Meeting of Uses of Epidemiol, in Planning Health Services. Yugoslavia, Primosten, v. 1, p. 250-256.

47. Pfanzagle J. On measurability and consistency of minimum contrast estimates. // Metrica, v. 14, p. 248-278.

48. Tukey J. W. A survey of sampling from contaminated distribution. Contribution to Probability and Statistics. Ed. I. Olkin. Stanford: Stanford Univ. Press, p. 446-486.