Алгоритмы оценивания параметров регрессионных моделей и планирования эксперимента при наличии выбросов и неоднородности распределения ошибок тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат технических наук Хайленко, Екатерина Алексеевна

• Хайленко, Екатерина Алексеевна
• кандидат технических наук
• 2013

Оглавление диссертации кандидат технических наук Хайленко, Екатерина Алексеевна

СОДЕРЖАНИЕ

ВВЕДЕНИЕ

1. ОСНОВНЫЕ МЕТОДЫ ОЦЕНИВАНИЯ ПАРАМЕТРОВ РЕГРЕССИОННЫХ МОДЕЛЕЙ И ПЛАНИРОВАНИЯ ЭКСПЕРИМЕНТА

1.1. Модель черного ящика и постановка задачи

1.2. Классические методы оценивания параметров

1.2.1. Метод наименьших квадратов

1.2.2. Наилучшие линейные оценки

1.2.3. Метод максимального правдоподобия

1.2.4. Метод наименьших модулей

1.3. Устойчивые методы оценивания параметров

1.3.1. Метод наименьшей медианы квадратов (ЬМБ)

1.3.2. Метод наименьших уравновешенных квадратов (ЬТБ)

1.3.3. Оценки Хьюбера

1.3.4. Знаковый метод

1.3.5. Ранговый метод

1.4. Адаптивные методы оценивания параметров

1.4.1. Оценки, минимизирующие вектор остатков в Ьу -метрике

1.4.2. Адаптивные оценки на основе универсальных семейств распределений (кривые Пирсона, ряд Грама-Шарлье, устойчивые распределения)

1.5. Планирование эксперимента

1.5.1. Этапы решения задачи построения планов

1.5.2. Базовые понятия теории планирования эксперимента

1.5.3. Последовательный алгоритм синтеза планов

1.6. Обзор программных систем оценивания параметров регрессионных уравнений и планирования эксперимента

1.7. Анализ существующих методов оценки параметров регрессионных моделей и планирования эксперимента и обоснование

задач диссертационного исследования

1.8. Выводы

2. УСТОЙЧИВОЕ И АДАПТИВНОЕ ОЦЕНИВАНИЕ ПАРАМЕТРОВ РЕГРЕССИОННЫХ МОДЕЛЕЙ

2.1. Влияние выбросов на линию регрессии

2.2. Модификации метода LTS на основе расстояний Махаланобиса, Кука, Велша-Куха и робастного расстояния

2.3. Модификации рангового метода на основе расстояния Махаланобиса

2.4. Метод адаптивного оценивания параметров на основе обобщенного лямбда-распределения

2.5. Результаты вычислительных экспериментов

2.5.1. Зависимость точности оценивания параметров регрессионных моделей от изменения размера оценочного подмножества

2.5.2. Исследование точности нахождения неизвестных параметров уравнения регрессии методами LMS, LTS, ранговым и МНК при различных условиях проведения эксперимента

2.5.3. Исследование времени выполнения алгоритмов метода LTS при различных объемах выборки

2.5.4. Исследование точности оценок неизвестных параметров при ассиметричном распределении ошибок

2.5.5. Идентификация обобщенного лямбда-распределения остатков

2.5.6. Исследование адаптивных оценок неизвестных параметров

при различных распределениях ошибок наблюдений

2.6 Выводы

3. СИНТЕЗ ОПТИМАЛЬНЫХ ПЛАНОВ ПРИ НЕОДНОРОДНОСТИ РАСПРЕДЕЛЕНИЯ ОШИБКИ И ПОСТРОЕНИИ ОЦЕНОЧНЫХ ПОДМНОЖЕСТВ

3.1. Адаптация алгоритмов планирования эксперимента к схеме LTS-оценивания

3.2. Вычисление элементов информационной матрицы Фишера с использованием обобщенного лямбда-распределения

3.3. Применение алгоритма планирования эксперимента для построения оценочных подмножеств в схеме LTS-оценивания

3.4. Построение оптимальных планов с использованием обобщенного алгоритма на основе универсального лямбда-распределения

3.4.1. Планирование эксперимента при нормальном распределении ошибок

3.4.2. Построение планов при отличном от нормального распределении ошибок наблюдений

3.4.3. Синтез планов на двумерной области планирования

3.5. Выводы

4. ПРОГРАММНАЯ СИСТЕМА УСТОЙЧИВОГО И АДАПТИВНОГО ОЦЕНИВАНИЯ ПАРАМЕТРОВ РЕГРЕССИОННЫХ МОДЕЛЕЙ И ПЛАНИРОВАНИЯ ЭКСПЕРИМЕНТА

4.1. Структура программной системы

4.2. Режимы работы программной системы

4.2.1. Режим моделирования

4.2.2. Режим оценивания параметров регрессионных моделей

4.2.3. Режим планирования эксперимента

4.3. Выводы

5. ПРИМЕНЕНИЕ УСТОЙЧИВЫХ МЕТОДОВ ОЦЕНИВАНИЯ, ИХ МОДИФИКАЦИЙ И МЕТОДОВ ПЛАНИРОВАНИЯ ЭКСПЕРИМЕНТА

ПРИ РЕШЕНИИ ПРАКТИЧЕСКИХ ЗАДАЧ

5.1. Применение устойчивых методов оценивания, их модификаций и методов планирования эксперимента при исследовании состояния воздушных линий

5.1.1. Постановка задачи

5.1.2. Устойчивое оценивание уравнений кривых провисания воздушных линий (ВЛ) по данным лазерного сканирования

5.1.2.1.Оценки параметров уравнения кривой провисания ВЛ

5.1.2.2.0ценки параметров с фиксированной точкой

5.1.2.3.Вычисление расстояния Махаланобиса для идентификации

типа выбросов

5.1.2.4.Результаты вычисления расстояний между В Л

5.1.3. Планирование уточняющих наблюдений при исследовании состояний воздушных линий по данным лазерного сканирования

5.1.3.1.Оценивание параметров ОЬ-распределения остатков

5.1.3.2.Результаты планирования уточняющих наблюдений

5.1.3.3.Результаты планирования эксперимента при идентификации распределения остатков на основе несмещенных оценок моментов

5.2. Применение методов планирования эксперимента для прогнозирования покупательского спроса

5.2.1. Постановка задачи

5.2.2. Построение оптимальных планов на основе ОЬ-распределения

5.3. Выводы

ЗАКЛЮЧЕНИЕ

СПИСОК ЛИТЕРАТУРЫ

Приложения

Введение диссертации (часть автореферата) на тему «Алгоритмы оценивания параметров регрессионных моделей и планирования эксперимента при наличии выбросов и неоднородности распределения ошибок»

ВВЕДЕНИЕ

В различных отраслях науки и техники исследователям часто приходится сталкиваться с необходимостью анализа данных и получения достоверной, максимально согласуемой с его природой, информации об исследуемом процессе (явлении). При современном уровне развития науки и техники это приводит к постановке сложных и дорогостоящих экспериментов. При их проведении исследователь пытается извлечь наибольшее количество информации об изучаемых процессах при наименьших затратах. Одним из способов получения такой информации является решение задачи оценивания параметров регрессионных моделей, которое позволяет спрогнозировать поведение наблюдаемого объекта в дальнейшем.

Классическим методом оценивания параметров регрессионных зависимостей является метод максимального правдоподобия (ММП), однако его применение требует наличие априорной информации о виде распределения ошибок наблюдений. Другим популярным методом оценивания параметров является метод наименьших квадратов (МНК), преимущество которого состоит в простоте вычислительной процедуры получения оценок. Однако при появлении в выборке грубых ошибок наблюдений (выбросов) либо при отклонении распределения ошибок от нормального закона оценки, полученные классическими методами, перестают обладать оптимальными свойствами. Для решения проблемы оценивания параметров регрессионного уравнения при появлении выбросов был разработан ряд устойчивых методов оценивания. Исследованиями в данной области занимались Хьюбер П., Хампель Ф., Rousseeuw P.J, К. van Driessen, БолдинМ.В., Тюрин Ю.Н и др. [10,50,74,77,80,88-93]. При негауссовском распределении ошибок наблюдений возможно применение адаптивных методов оценивания параметров регрессионных зависимостей. В данной области можно отметить работы Hogg R.V., Lenth R.V., Денисова В.И., Лисицина Д.В. [22,84,85]. Многообразие возможных распределений случайной ошибки привело к идее применения

ММП на основе универсальных распределений, одним из которых является обобщенное лямбда-распределение (GL-распределение) [86,95], описывающее целый класс распределений, таких как нормальное, экспоненциальное, Вейбулла, Гамма-, Бета- и др. В результате появляется возможность оценивания параметров регрессионных моделей для любых распределений случайных ошибок, пред ставимых в рамках GL-распределения.

Хорошо известно, что качество оценок параметров также зависит от информативности точек, в которых проводились измерения, т.е. можно получить большее количество информации об исследуемом процессе путем использования планов эксперимента. Наиболее известными исследователями в данной области являются Федоров В.В., Адлер Ю.П., Фишер Р., Налимов В.В., Денисов В .И., Попов A.A., Хабаров В.И. и др. [1,21,24,25,42,67,82]. Однако классические алгоритмы построения оптимальных планов эксперимента позволяют учитывать лишь неоднородность дисперсий на области планирования, но в ряде случаев на различных ее участках могут быть разные распределения. Поэтому необходимы алгоритмы синтеза оптимальных планов в условиях неоднородности формы распределения ошибок наблюдений на всей области планирования, построение которых также предлагается провести на основе GL-распределения.

Цель работы состоит в обеспечении возможности устойчивого и адаптивного оценивания параметров регрессионных моделей и синтеза оптимальных планов эксперимента при различных распределениях ошибок наблюдений.

Для достижения данной цели поставлены и решены следующие задачи: о разработка, реализация и исследование модификаций метода наименьших уравновешенных квадратов (LTS), рангового метода и алгоритмов построения оценочных подмножеств, близких к А- и D-оптимальному плану для схемы LTS-оценивания;

о разработка, реализация и исследование адаптивного метода оценивания параметров регрессионного уравнения на основе вЬ-распределения;

о вывод соотношений для вычисления элементов информационной матрицы Фишера на основе ОЬ-распределения и реализация на их основе нового алгоритма построения оптимального плана эксперимента;

о разработка программной системы устойчивого и адаптивного оценивания параметров регрессионных моделей и планирования эксперимента;

о применение разработанных алгоритмов устойчивого, адаптивного оценивания параметров и планирования эксперимента для задачи оценивания кривой провисания троса и прогнозирования покупательского спроса.

Методы исследования. Исследование проводилось с использованием методов регрессионного анализа, теории планирования эксперимента, математического анализа и линейной алгебры, численных методов, методов оптимизации и методов статистического моделирования.

Достоверность и обоснованность научных выводов и рекомендаций подтверждается корректными применением аналитических методов, соответствием выводов хорошо известным теоретическим законам, а также путем подтверждения полученных выводов и работоспособности алгоритмов результатами вычислительных экспериментов.

Научная новизна состоит в следующем: о предложены модификации рангового метода на основе расстояния Махаланобиса и метода ЬТБ на основе расстояний Махаланобиса, Кука, Велша-Куха и робастного расстояния, способ формирования оценочного подмножества исходя из критериев А- и Б-оптимальности, применение предложенных алгоритмов позволяет проводить устойчивое оценивание параметров уравнения регрессионной зависимости по наиболее информативным наблюдениям;

о разработан алгоритм адаптивного метода оценивания параметров на основе ОЬ-распределения, применение которого позволяет получить оценки

максимального правдоподобия параметров регрессионных моделей при различных распределениях ошибок наблюдений на участках области планирования;

о получены соотношения для вычисления элементов информационной матрицы Фишера на основе универсального лямбда-распределения, предложен обобщенный алгоритм планирования эксперимента, который позволяет учитывать форму распределения ошибок;

о разработана программная система устойчивого и адаптивного оценивания параметров регрессии и планирования эксперимента.

Практическая значимость. Разработанные подходы позволяют восстанавливать регрессионные зависимости и планировать эксперимент в условиях отклонения ошибок от нормального закона, что дает возможность применять предложенные алгоритмы для широкого спектра практических задач. Разработанная программная система, позволяющая применить алгоритмы оценивания параметров регрессии и планирования эксперимента на практике, зарегистрирована в виде объекта интеллектуальной собственности как программа ЭВМ (№ гос. per. 2011614692) [19].

Реализация результатов работы. Научные и практические результаты нашли свое применение в ООО «ЗапСибГеоПроект» и в учебном процессе НГТУ, о чем имеются соответствующие акты внедрения.

Основные положения, выносимые на защиту:

• алгоритмы формирования оценочных подмножеств метода LTS на основе расстояний Кука, Велша-Куха, Махаланобиса и робастного расстояния;

• алгоритм построения оценочного подмножества, близкого к оптимальному плану, для схемы LTS-оценивания;

• алгоритм метода адаптивного оценивания параметров регрессионных зависимостей на основе обобщенного лямбда-распределения;

• способ вычисления элементов информационной матрицы Фишера на основе ОЬ-распределения, обобщенный алгоритм синтеза планов с использованием универсального лямбда-распределения.

Апробация работы. Основные результаты работы докладывались и обсуждались на пятой международной научно-практической конференции «Высокие технологии, фундаментальные и прикладные исследования, образование», Санкт-Петербург, 2008г; на всероссийской научной конференции молодых ученых «Наука. Технологии. Инновации», Новосибирск, 2008-20 Югг; на десятой международной научно-технической конференции «Актуальные проблемы электронного приборостроения» АПЭП-2010, Новосибирск, 2010г. Также некоторые результаты проведенных исследований опубликованы в депонированных отчетах по научно-исследовательской работе [54-56].

Работа выполнена при поддержке стипендии Президента Российской Федерации на 2011-2012 учебный год согласно приказу Министерства образования и науки Российской Федерации № 2659 от 11.10.2011 г., ФЦП «Научные и научно-педагогические кадры инновационной России» на 20092013 гг. (проекты № П263, № 14.В37.21.0698), стипендии Правительства Новосибирской области на 2011г., научного студенческого гранта НГТУ 20082009 гг.

Публикации. По результатам исследований опубликовано 15 научных работ, общим объемом 5,49 п.л. (из них авторских 3,03 п.л.), включая: входящие в перечень рецензируемых научных журналов и изданий - 6 [18,43,60,61,64,65], сборники научных трудов - 1 [70], материалы трудов научно-технических конференций - 7 [12,13,62,63,69,71,72], свидетельство о государственной регистрации программы для ЭВМ - 1 [19].

Структура и объем работы. Диссертация состоит из введения, 5 разделов, заключения и списка литературы, состоящего из 95 источников, 3 приложений. Диссертация изложена на 175 страницах основного текста, содержит 46 рисунков и 41 таблицу.

В разделе 1 показаны наиболее известные подходы к поиску вектора неизвестных параметров уравнения регрессии, такие как МНК, ММП, метод наименьших модулей, М-оценки, оценки Хьюбера, знаковый метод, метод ЬТБ, метод ЬМЭ, Ьу -оценки, оценки на основе универсальных распределений и др. Также рассмотрены базовые понятия теории и планирования эксперимента, рассмотрены критерии А-, Э-, Е-оптимальности плана эксперимента и критерий экстраполяции в точку, приведено описание классического алгоритма построения планов эксперимента. В данном разделе проведен обзор существующих программных систем, применимых для оценивания параметров регрессии и построения планов эксперимента.

В разделе 2 показано влияние грубых ошибок наблюдений на линию регрессии, предложены модификации устойчивого метода ЬТЭ для устойчивого оценивания параметров регрессии на основе расстояний Махаланобиса, Кука, Велша-Куха и робастного расстояния, модификация рангового метода на основе расстояния Махаланобиса, алгоритм адаптивного оценивания параметров на основе СЬ-распределения. Показаны результаты исследований этих методов при различных условиях проведения эксперимента.

В разделе 3 предлагаются подходы к построению планов в рамках активного и пассивного эксперимента. Описан способ построения плана, близкого к оптимальному для схемы ЬТБ-оценивания в рамках пассивного эксперимента. В рамках активного эксперимента предложен способ вычисления элементов информационной матрицы Фишера с использованием ОЬ-распределения, который позволил обобщить предложенный В.В. Федоровым алгоритм построения оптимального плана.

В разделе 4 приведено описание разработанной программной системы оценивания параметров регрессионных моделей и планирования эксперимента («DR.ES»), описаны задачи, которые решаются с ее использованием, описаны все ее режимы работы, представлена ее структура, показаны взаимосвязи

между ее режимами работы. Также представлено алгоритмическое наполнение программной системы.

В разделе 5 показано применение методов ЬТБ, его модификаций и ЬМБ для реальной технической задачи оценки параметров кривых провисания троса по результатам измерения провисания в отдельных точках, приведены результаты идентификации распределения остатков с использованием вЬ-распределения, применен алгоритм планирования эксперимента на основе вЬ-распределения для нахождения координат максимально информативных точек, с учетом возможности снятия в этих точках уточняющих наблюдений. Также в применены методы планирования к экономической задачи прогнозирования спроса на взаимозаменяющие товары. Построены Э-оптимальные планы эксперимента, показана их эффективность.

1. ОСНОВНЫЕ МЕТОДЫ ОЦЕНИВАНИЯ ПАРАМЕТРОВ РЕГРЕССИОННЫХ МОДЕЛЕЙ И ПЛАНИРОВАНИЯ ЭКСПЕРИМЕНТА

В этом разделе проанализированы наиболее известные подходы для поиска оценок вектора неизвестных параметров уравнения регрессии. Для решения данной задачи существует достаточно много классических методов, таких как метод наименьших квадратов, метод максимального правдоподобия и другие, устойчивых методов, таких как М-оценки, оценки Хьюбера, метод наименьших уравновешенных квадратов (ЬТБ) и другие и адаптивных методов, например, Ьу -оценки и оценки на основе универсальных распределений. Также в этом разделе показаны базовые понятия теории планирования эксперимента. Рассмотрены критерии А-, Б-, Е-оптимальности плана эксперимента и критерий экстраполяции в точку. Приведено описание классического алгоритма построения планов эксперимента. В данном разделе проведен обзор существующих программных систем, применимых для оценивания параметров регрессии и построения планов эксперимента.

1.1. Модель черного ящика и постановка задачи

В целях исследований часто бывает удобно представить исследуемый объект в виде ящика, имеющего входы и выходы, не рассматривая детально его внутренней структуры. Конечно, преобразования в ящике (на объекте) происходят (сигналы проходят по связям и элементам, меняют свою форму и т.п.), но при таком представлении они происходят скрыто от наблюдателя.

По степени информированности исследователя об объекте существует деление объектов на три типа «ящиков» [24,76]:

• «белый ящик»: об объекте известно все;

• «серый ящик»: известна структура объекта, неизвестны количественные значения параметров;

• «черный ящик»: об объекте неизвестно ничего.

13

Черный ящик условно изображают как на рис. 1.1, где -

входные факторы, к - количество входных факторов, 8^,82,-неконтролируемые воздействия (ошибки наблюдений), у - выходной фактор.

Значения на входах и выходах черного ящика можно наблюдать и измерять. Содержимое ящика неизвестно.

Задача состоит в том, чтобы, зная множество значений на входах и выходах, построить модель, то есть определить функцию ящика, по которой вход преобразуется в выход. Такая задача называется задачей регрессионного анализа. Будем рассматривать случай однооткликовой модели.

Исследователь выбирает вид регрессионной модели, а затем производит оценивание параметров, в соответствии с выбранным методом оценивания.

Методы оценивания параметров регрессионных моделей делятся на классические методы нахождения оценок, такие как метода наименьших квадратов, наилучшие линейные оценки, метод наименьших модулей и другие, на устойчивые методы: оценки Хьюбера, М-оценки, знаковый метод и другие, и адаптивные методы: Ьу -оценки, адаптивные оценки на основе универсальных

распределений.

Рассмотрим регрессионное уравнение вида

у = Х6 + £, (1.1)

где Х =

ЛО^) ••• /т(хИт)

- матрица плана, имеющая полный

/ЧС"-^) "' /т(хтт) столбцовый ранг, т.е. rg{X) -т, т - количество регрессоров, п - количество испытаний, /\{х),...,/т(х) - известные действительные функции, хр -заданные значения входных факторов в п наблюдениях, 1\,...,1т -

номера входных факторов, у = (у п)Т - вектор отклика, в = (в 1,...,вт)Т

т

- вектор неизвестных параметров, подлежащих оцениванию; в = (81,...,в„) -вектор независимых ошибок наблюдений. Имеют место следующие предположения [4,8,26]:

Я(£) = 0, Е(££Т) = ст21, о-2 <оо,^{Х) = т. (1.2)

Кроме того для распределения случайной ошибки существуют и конечны первые четыре момента.

Пусть измерения проводятся в соответствии с нормированным

\х1 Х2 ... хЛ -Д оптимальным планом эксперимента [67] £ = •< к где У,рг- =1,

[Р1 Р2 - Р5) /=1

п,

р1 = —, 5 - количество точек в спектре плана и п1 - число повторных п

наблюдений в каждой точке спектра плана. В случае если измерения проводились по случайным наблюдениям, то 5 = п, /?г- = Цп, г = 1,2,...,и .

Задача регрессионного анализа состоит в том, чтобы по имеющимся исходным данным (значениям отклика и входных факторов) как можно точнее оценить вектор неизвестных параметров регрессии (1.1). Задача планирования в рамках пассивного эксперимента - по имеющимся исходным данным (значениям отклика и входных факторов) сформировать оценочное подмножество так, чтобы, рассматривая его как самостоятельный план эксперимента, оно было наиболее близко к оптимальному плану, и уже по нему как можно точнее оценить вектор параметров уравнения регрессии (1.1).

Задача планирования в рамках активного эксперимента состоит в том, чтобы по имеющимся исходным данным построить оптимальный

значениям наблюдений в точках спектра плана и значениям отклика получить как можно больший объем информации об исследуемом объекте, с учетом которой получить наиболее точные оценки вектора неизвестных параметров уравнения регрессии (1.1).

1.2. Классические методы оценивания параметров

В данном разделе рассматриваются наиболее известные подходы для оценивания вектора неизвестных параметров уравнения регрессии. Для решения данной задачи существует достаточно много классических методов, такие как метод наименьших квадратов, метод максимального правдоподобия, метод наименьших модулей и другие.

1.2.1. Метод наименьших квадратов

Метод наименьших квадратов является классическим методом для получения оценок параметров регрессионных моделей, разработан в 1794 году (по другим данным — в 1795 году) К.Гауссом, который он применил при расчете орбиты астероида Церера — для борьбы с ошибками астрономических наблюдений [44]. Его применение возможно, если для случайной ошибки уравнения регрессии выполнены предположения (1.2).

Метод наименьших квадратов заключается в решении задачи минимизации остаточной суммы квадратов [29,49,68]:

XI

нормированный план эксперимента [67] = \

[Р1 Р2

тт £(#),

в

где

5(0) = {у-Хв)Т (у-Хв) = уТу-2вТХТу + вТХТХв. (1.3) Для нахождения оценок, минимизирующих 5"(в), продифференцируем (1.3) по в, получим:

^ = -2ХТу + 2ХТХв. дв

Решая систему нормальных уравнении ^ = 0 найдем точки минимума:

ХТХв = ХТ у,

в=(ХТХу1ХТу. (1.4)

Основное преимущество метода в том, что существует аналитическое решение (1.4).

В работе [3] предложена несмещенная оценка дисперсии ошибок наблюдений для модели (1.1), которая находится следующим образом:

а2 = —— (у - xq)t (у - хе).

п — m * ' v '

п — т

Кроме того, МНК-оценки неизвестных параметров обладают целым рядом оптимальных свойств, среди которых стоит отметить несмещенность, состоятельность, эффективность (в смысле теоремы Гаусса-Маркова) [49]. В случае, когда случайная ошибка уравнения регрессии имеет нормальное распределение, МНК-оценки совпадают с оценками максимального правдоподобия, а, следовательно, являются наилучшими линейными оценками [29]. Недостатком метода является сильная чувствительность оценок к грубым ошибкам наблюдения (выбросам).

1.2.2. Наилучшие линейные оценки

Для заданной задачи (1.1) регрессионная модель линейна по параметрам, т.е. Е(у\х) = вТ/(х), где f(x) = (f1(x),...,fm(x)f - вектор известных

действительных функций. Предположим также, что в точках были

проведены независимые наблюдения у\,...,уп с дисперсией сг .

Ограничимся рассмотрением только линейных оценок для в, т.е. таких оценок в, которые можно представить в виде:

в=Ту,

где у - вектор отклика , Т - матрица тхп. Можно найти оценки в для в, которые являются состоятельными, несмещенными и обладают наименьшими дисперсиями £>(#) среди всех линейных несмещенных оценок. Такие оценки называют наилучшими линейными оценками (НЛО) [29].

Если совокупность наблюдаемых данных пред ставима в виде (1.1) и имеют место предположения (1.2), то справедлива следующая теорема [49]:

Теорема Гаусса-Маркова. Для модели (1.1) НЛО является оценка (1.4).

1.2.3. Метод максимального правдоподобия

Метод максимального правдоподобия был предложен Р. Фишером в 1937 году [42]. Суть этого метода описана ниже.

Для введенного ранее вектора у с известной функцией плотности для

каждого наблюдения, характеризующейся параметром в, у1,1-\,п -независимые величины. Обозначим функцию плотности отклика через g(y, 0). На основании независимости наблюдений функцию правдоподобия можно

п

записать в виде: Ь{у,в) = ,0), где ё(у(,д) - известная плотность

г=1

распределения у^,г=1,п [3,29,48,49]. При заданном у Ь(у,0) зависит только от в.

Согласно ММП, оценки неизвестных параметров регрессии выбираются так, чтобы максимизировать функцию правдоподобия Ь(у, 9).

ММП оценка в - это такая оценка, для которой выполняется следующее неравенство: Ь(у,в) > Ь(у,0), где в - любая другая оценка [3].

ММП оценка обладает многими положительными свойствами. ММП оценки асимптотически (при п —»со) несмещенные и асимптотически нормальные с дисперсией ошибки, совпадающей при я —»оо с нижней границей неравенства Рао-Крамера [3]. Описанные свойства обусловили широкое применение метода максимального правдоподобия в разнообразных приложениях.

Для получения функции правдоподобия у необходимо знать распределение для случайной ошибки £.

Нормальное распределение ошибок наблюдений. Пусть ошибка

2

распределена по нормальному закону £^N(0,(7 1п). Таким образом, е имеет плотность распределения [49]:

[гпсу1^

Функция правдоподобия наблюдаемых у{ при заданных хг- (или /(*;))

есть

Г Л „ Л

g{e) =-^гехр Хв)Т (У ~ Хв)

V 2 сг

1=1

V

2(7*

Для упрощения возьмем 1п (Ь(у, в)) (непрерывное, монотонное преобразование не меняет экстремальные свойства функции)

Ы(Цу,в)) = -^\п(27г)-^\п(а2)--^(у-Х6)Т(у-Хв) 2 2 2о-2

с неизвестными параметрами 0 и сг2.

Для получения ММП оценок для в необходимо решить систему уравнений:

дЩЦу,в))

\хт(у-хв) = 0.

дв а1

Экспоненциальное распределение ошибок. Пусть ошибка распределена по экспоненциальному закону е~Ехр(Л), Я >0 - интенсивность или обратный

коэффициент масштаба. Таким образом, е имеет плотность распределения [48,57]:

Г У, \

Лп ехр

. 1=1

0, х<0

, х > 0

Логарифм функции правдоподобия наблюдаемых у1 при заданных х,- (или /(*/)) 1п(Ь(у,в)) имеет вид:

п

1п(Цу,в)) = пЫЛ-А^(уг- -Х,-0)

/=1

с неизвестными параметрами в и Л.

Для получения ММП оценок для в и Я необходимо совместно решить уравнения:

дв1 л 2 —2

Оценка дисперсии имеет вид [48]: а =Я .

Обобщенное лямбда-распределение (СЬ-распределение). На практике распределение ошибок наблюдений может отклоняться от нормального закона, поэтому для его описания можно использовать универсальное вЬ-распределение [80,85,94], которое описывает целый класс распределений, таких как нормальное, экспоненциальное, Вейбулла, гамма-, бета- и другие [33,49]. Функция ОЬ-распределения зависит от четырех параметров (Я^Я^Яз^) и определяется в терминах квантилей распределения следующим образом [86]:

{2е = Ях

Яз

и

Я,

(1-м/4

Лл

, 0 < и <1,

(1.5)

х = Qe_{u,Л^,Л2,Л3,Л4), 1=1,...,п.

Соответствующая ей функция плотности имеет вид [86]:

= х, 1 ^-ГТ'0-"-1-

и^ + (1 — Ы)^

В зависимости от значений параметров Л3 и Л4 функция плотности ОЬ-распределения либо не имеет, либо имеет 1 или 2 экстремума [95].

Как известно из [86,95], ОЬ-распределение полностью определяется своими первыми четырьмя моментами, поэтому для вычисления оценок параметров распределения можно использовать метод моментов [34,37,40,49], который состоит в следующем:

•для выборки Х1,Х2,—,Хп вычисляются выборочные моменты [34,40]:

а^хЛ^, а2 = а1=^{х1-Х)2,

п /=1 п г=1

«з =4з ' «4 =4т;

по /=1 ПО 1=1

•значения данных моментов приравниваются к значениям теоретических для

ОЬ-распределения, которые вычисляются по формулам [86]:

А О 1 / 9 \

аг = /л = Л1+ —, а2 = о =-\В-А ,

а3=^-^(с~ЪАВ + 2Аъ\, а4=—^{в~4АС + 6А2В-ЗА4),

А 1 1

. где А

Л3(1 + Л3) Л4( 1 + Л4)

В = -т--+ ---—/3(1 + Л3,1 + Л4)

1 + 2Л3) Я|( 1 + 2 Л4) Л3Л4

С = ——----^---2—Р(1 + 2ЛъМЛ4) + -^—Р{1 + Лъ,1 + 2Л4),

Л§(1 + ЗЛ3) Я|(1 + ЗЯ4) л$л4 л%лъ

/) = —1-+ ——----^—/3{1 + ЪЛ3,1 + Л4) +

Л3(1 + 4Л3) Л4(1 + 4Л4) Л§Л4

21

лРаспределение Вейбулла

^еделенне

6 /?(1 + 2Д3,1 + 2Я4)--^-/?(1 + Я3Д + ЗЯ4);

• оценки параметров вЬ-распределения находятся путем решения

системы уравнений

а/=£/,/ = 1,4. (1.6)

Для того чтобы система уравнений (1.6) имела решение, необходимо, чтобы для распределения существовали и были конечны первые четыре момента [34], что выполняется для распределений, представимых в семействе вЬ-распределения [95].

В зависимости от значений моментов а3, а4 выделяют регионы, по которым можно определить близость фактически реализуемого распределения к хорошо известным в теории вероятности [33]. Такие регионы показаны на рис. 1.2.

Бепш регион

Лог-нормальное распределение

Экспоненциальное распределение

Нормальное распределение

Невыполнимый регион

-Равномерное распределение

Рисунок 1.2. Регионы распределений в зависимости от моментов аъ, аА

Универсальное распределение Пирсона. Другим универсальным семейством распределений является распределение Пирсона. Известно [39], что распределение с плотностью g(x) является распределением Пирсона, если оно удовлетворяет дифференциальному уравнению вида

где а, Ьд, ¿1, ¿2 - некоторые коэффициенты, значения которых определяются на основе первых четырех начальных моментов ) изучаемой

случайной величины.

Далее ММП будет рассматриваться только для случаев, когда ошибка представлена в терминах универсальных распределений. Причиной этого является то, что в реальности, как правило, не известно распределение вектора отклика.

1.2.4. Метод наименьших модулей

Пусть дана модель наблюдений (1.1). Идея метод наименьших модулей заключается в решении задачи минимизации остаточной суммы модулей [41]:

п

Данный метод лучше всего использовать, когда можно предположить, что ошибка измерений имеет распределение Лапласа [см. напр. 57]. Однако это высказывание справедливо только для больших объемов выборок [41].

Этот метод был разработан в 60-х годах XX века [44]. Он дает устойчивые результаты в том случае, когда присутствуют вертикальные выбросы, но он теряет устойчивость в случае, при появлении горизонтальных выбросов [41].

dg(x) ^ (x-a)g(x)

<3х Ъъ+Уих + Ъ^г

¿0 + Ь\Х + Ъ2*

2 '

'Т"> Л —

где е,- = У1 - / (*/)0, г =1,п - остаток г -го наблюдения.

1.3. Устойчивые методы оценивания параметров

Все рассмотренные выше классические методы оценивания являются неустойчивыми к появлению грубых ошибок наблюдений - выбросов. Поэтому во второй половине XX века стали рассматриваться устойчивые методы оценивания параметров, такие как оценка Хьюбера [50], знаковый метод [10,20], метод наименьшей медианы квадратов [50,77,80,90,92] и другие. Как было показано в перечисленных выше работах, эти методы являются устойчивыми к появлению выбросов.

В общем виде устойчивые оценки параметров регрессионной модели (1.1) можно найти с использованием М-оценок вектора неизвестных параметров 9 путем минимизации функции вида [50,74]:

где р(-) - функция потерь, ег- - остаток г -го измерения, А, > 0 - параметр масштаба. Параметр масштаба X для функции распределения Р(х,Х) определяется соотношением Р(х,Х) = Р(х/'к, 1) и в случае нормального распределения совпадает с средним квадратическим отклонением. В зависимости от вида функции потерь р(-) можно получить разные виды оценок,

9 I I

например, при р(-) = ег- получим МНК-оценки, при р(-) = |е/| - оценки метода

наименьших модулей. Также следует отметить, что рассматриваемые ниже устойчивые методы оценивания являются частным случаем М-оценок. Некоторые свойства М-оценок исследовались в работах Денисова В.И. и ЛисицинаД.В. [22].

Необходимые условия минимума функции (1.7) получаются, приравнивая к нулю частные производные по параметрам 0 :

(1.7)

(1.8)

где \|/(х) = р'(-).

В данной постановке задачи параметр масштаба X предполагается известным. Если же это не так, то параметр X приходится оценивать, используя уравнение:

п

1>(е/Л) = 0.

/=1

При этом функции \|/(-) и х(-) не обязаны быть связанными с одной и той же функцией р(-).

Так, на практике часто предпочитают в качестве устойчивой оценки X для нормального распределения использовать медиану абсолютных отклонений (МАО-оценку) [50,74]:

X =---тес1\е;\.

0.67449 1 11

М-оценку в можно рассматривать как оценку по ММП. Пусть ошибки ег-

1

X'

X

имеют функцию плотности — / — . Тогда в предположении независимости и

одинаковой распределенности наблюдений в выборке функция правдоподобия

равна fj^/

Заключение диссертации по теме «Теоретические основы информатики», Хайленко, Екатерина Алексеевна

5.3. Выводы

В данном разделе приведены результаты идентификации кривых провиса ВЛ при учете условий сохранения точности наблюдений, полученных путем лазерного сканирования, на основе МНК и методов устойчивого оценивания регрессионных моделей. Выполнено сопоставление полученных уравнений регрессии с точки зрения качества описания исследуемых зависимостей. На основе анализа остатков уравнений регрессии проведена классификация исходных данных, что позволило определить доли засоряющих наблюдений в выборках. В условиях решаемой задачи установлено, что наилучшие результаты позволяет получать применение метода ЬТБ. Знание уравнений кривых провиса ВЛ позволяет более точно учитывать их расположение при проектировании объектов строительства, располагаемых в непосредственной близости от ВЛ. Кроме того, получены оценки минимальных расстояний между различными проводами ВЛ для проверки соответствия их состояния ПУЭ.

Представленный в работе подход может рассматриваться как методика оценивания кривых ВЛ, в том числе и при фиксации начальных координат ВЛ.

Результаты анализа были использованы при проектировании генерального плана объектов ВОХР южного портала тоннеля №6 и северного портала

163 тоннеля №7 проекта «Строительство второго сплошного пути на участке Сочи-Адлер Северо-Кавказской железной дороги» (улучшение инфраструктуры железнодорожной линии Туапсе-Адлер).

Также выполнена идентификация вЬ-распределения ошибок наблюдений. По результатам идентификации можно отметить, что распределения остатков на обоих отрезках для каждого троса являются несимметричными и попадают в бета-регион, причем лишь для тросов Въ, при хг >0.5 и £>3, при х( <0.5 распределения ошибок можно считать близким к нормальному.

На основе полученных вЬ-распределений ошибок построены оптимальные планы эксперимента с использованием критериев А-, Б-оптимальности и экстраполяции в точку. Получено, что построенные планы являются эффективными и их применение дает выигрыш до 30 раз по сравнению с исходной выборкой. Также показано, что для получения одинакового количества информации для выборок, полученных с использованием построенных оптимальных планов, требуется меньшее число наблюдений, чем для исходной выборки.

Проведена идентификация распределения ошибок наблюдений для тросов вi, в2 и в3, с использованием несмещенных оценок моментов. Получено, что для троса при хг- >0.5 и <0.5 распределение близкое к нормальному. На основе полученных распределений построены А- и Б-оптимальные планы. Получено, что применение данных планов по сравнению с планами, где для вычисления элементов матрицы Фишера идентификация распределения ошибок проводится методом моментов, описанным в [34,37,47], практически не дает выигрыша в эффективности.

Построенные в данной работе оптимальные планы могут быть использованы для снятия уточняющих наблюдений, что позволит более точно оценить провис ВЛ.

Предложено новое применение теории планирования эксперимента для решения экономических задач. Возникающая в деятельности торговых организаций необходимость в оценке спроса их клиентов при изменении ряда параметров маркетинговой политики (в частности, при выборе нового сегмента потребителей) требует построения прогнозов спросов, от точности которых в значительной степени зависят будущие доходы торговой компании. Снижения затрат на проведение исследования спроса и роста доходов за счет увеличения точности прогнозов можно добиться путем построения оптимального плана выборочного обследования на основе метода квот.

Данная проблема решалась на примере отдельной продуктовой категории (хлеба). Неоднородность погрешностей наблюдения, характерная для выборочных обследований домашних хозяйств, учтена путем идентификации распределений остатков после применения адаптивного метода на основе универсального лямбда-распределения. Для этого привлекались данные Российского мониторинга экономического положения и здоровья населения НИУ-ВШЭ (БШУ^-ШЕ) о потреблении хлеба населением крупных городов России. С использованием обобщенного алгоритма синтеза оптимальных планов построен Б-оптимальный план, который может выступать в качестве квот при проведении первичных маркетинговых исследований. Анализ собранной в соответствии с квотами информации позволит оценить модель покупательского спроса, обеспечив наилучшую точность параметров.

В соответствии с поставленной целью в данной работе получены следующие результаты.

• Сформулировано и доказано утверждение о вычислении элементов информационной матрицы Фишера с использованием вЬ-распределения, на его основе предложен обобщенный алгоритм планирования эксперимента.

• Предложены, реализованы и исследованы схемы формирования оценочного подмножества для метода ЬТ8 на основе расстояний Кука, Велша-Куха, Махаланобиса и робастного расстояния и модификация рангового метода на основе расстояния Махаланобиса.

• Разработан и исследован алгоритм адаптивного оценивания неизвестных параметров регрессионного уравнения, основанный на идентификации распределения остатков с использованием универсального вЬ-распределения.

• Предложен, реализован и исследован алгоритм формирования оценочного подмножества на основе критериев А- и Б- оптимальности для схемы ЬТ8-оценивания.

• Разработанные алгоритмы включены в программную систему устойчивого и адаптивного оценивания параметров регрессионных моделей и планирования эксперимента.

• С помощью разработанных алгоритмов решены техническая и экономическая практические задачи.

Список литературы диссертационного исследования кандидат технических наук Хайленко, Екатерина Алексеевна, 2013 год

СПИСОК ЛИТЕРАТУРЫ

1. Адлер Ю.П. Планирование эксперимента: прошлое, настоящее, будущее. / Ю.П. Адлер, Ю.В. Грановский, Е.В. Маркова. - М., Знание, 1982 - 64с.

2. Айвазян С.А. Анализ качества и образа жизни населения: эконометрический подход. / С.А. Айвазян. - М.: Наука, 2012. - 432 с.

3. Айвазян С.А. Прикладная статистика: Основы моделирования и первичная обработка данных. / С.А. Айвазян, И.С. Енюков, Л.Д. Мешалкин. - М.: Финансы и статистика, 1983. - 471 с.

4. Айвазян С.А. Прикладная статистика. / С.А. Айвазян, И.С. Енюков, Л.Д. Мешалкин-М.: Финансы и статистика, 1985.-488с.

5. Айвазян С.А. Прикладная статистика и основы эконометрики. / С.А. Айвазян, B.C. Мхитарян. - М.: ЮНИТИ, 1998. - Т. 1. - 1022 с.

6. Архангельский А.Я. Программирование в C++Builder6. / А.Я. Архангельский, М.А. Тагин. - М. Бином-Пресс, 2010 - 1184 с.

7. Банди Б. Методы оптимизации. Вводный курс: Пер. с англ. / Б. Банди. -М. Радио и связь, 1988. - 128с.

8. Бара Ж.-Р. Основные понятие математической статистики. / Ж.-Р. Бара. -М. Мир, 1974. -275с.

9. Беляев Н.М. Сопротивление материалов. / Н.М. Беляев. - М.: Наука, 1965. -856 с.

Ю.Болдин М.В. Знаковый статистический анализ линейных моделей. / М.В. Болдин, Г.И. Симонова, Ю.Г. Тюрин. - М.: Наука Физматлит, 1997.-208с.

11.Боровков A.A. Математическая статистика. Оценка параметров, проверка гипотез. / A.A. Боровков. - М. Наука, 1984. - 472с

12.Вострецова Е.А. Программная система планирования эксперимента и устойчивого оценивания параметров регрессионных моделей /Е.А. Вострецова // Материалы всерос. научной конф. молодых ученых «Наука. Технологии. Инновации» в 7-ми частях. Новосибирск: НГТУ, 2008. Часть 1. - С.7-9.

13.Вострецова Е.А. Устойчивое оценивание параметров регрессии при использовании оптимальных планов эксперимента / Е.А. Вострецова // Материалы всерос. научной конф. молодых ученых «Наука. Технологии. Инновации» в 7 частях. - Новосибирск: НГТУ, 2007. Часть 1. - С.27-28.

14.Вучков И. Прикладной линейный регрессионный анализ./Пер. с болг. и предисл. Ю.П.Адлер. / И. Вучков, JI. Бояджилова, Е. Солаков. - М. Финансы и статистика, 1987. - 239с.

15.Геолидар [Электронный ресурс]. - Режим доступа: http://geolidar.dev.machaon.ru/ publications/article/electro-info(6)-2004. -Загл. с экрана.

16.Горшков А.Г. Сопротивление материалов: Учеб. Пос. 2-е изд., испр. / А.Г. Горшков, В.Н. Трошин, В.И. Шалашилин. - М.: Физматлит,2005. - 544с.

17.Демиденко Е.З. Линейная и нелинейная регрессии. / Е.З. Демиденко. - М.: Финансы и статистика, 1981, - 302с.

18.Денисов В.И. Планирование уточняющих наблюдений при контроллинге воздушных линий по данным лазерного сканирования / В.И. Денисов, B.C. Тимофеев, Е.А. Хайленко // Сибирский журнал индустриальной математики. - Новосибирск: СО РАН, 2012. - T.XV. - № 2(50). - С.75-85.

19. Свидетельство на программу для ЭВМ 2011614692 Российская Федерация. Программная система устойчивого и адаптивного оценивания параметров регрессионных моделей и планирования эксперимента / В.И. Денисов, В. С. Тимофеев, Е. А. Хайленко; правообладатель Новосиб. гос. техн. ун-т. - 2011613035; заявл. 28.04.11 зарегистрировано 15.06.11.- 1с. - Тип ЭВМ: IBM PC - совместимый с ПК ; язык: С++; ОС: Microsoft Windows 9X/NT/2000/2003/XP; объем: 1,56 Мб.

20.Денисов В.И. Знаковый метод: преимущества, проблемы, алгоритмы / В.И. Денисов, B.C. Тимофеев // Научн. вестн. НГТУ. - Новосибирск: НГТУ, 2001. - Nl(10).-C.21-35.

21. Денисов В.И. Математическое обеспечение системы для ЭВМ-экспериментатор. / В.И. Денисов. - М.: Наука, 1977. - 252 с.

168

22. Денисов В.И. Методы построения многофакторных моделей по неоднородным, негауссовским, зависимым наблюдениям: монография / В.И. Денисов, Д.В. Лисицин. - Новосибирск: НГТУ, 2008.-360с.

23.Денисов В.И. Оценивание параметров регрессионных зависимостей с использованием аппроксимации Грама-Шарлье / В.И. Денисов, B.C. Тимофеев // Автометрия. - Новосибирск: СО РАН, 2008.-Т.44, №6, С.3-12.

24.Денисов В.И. Экспертная система для анализа многофакторных объектов. Дисперсионный анализ. Прецедентный подход. / В.И. Денисов, И.А. Полетаева, В.И. Хабаров. - Новосибирский электротехнический институт, 1992. -128 с.

25.Денисов В.И. Пакет программ оптимального планирования эксперимента. / В.И. Денисов, A.A. Попов. - М.: Финансы и статистика, 1986.-159с.

26.Дрейпер Н. Прикладной регрессионный анализ. / Н. Дрейпер, Н. Смит. -М.: Статистика, 1973. - 392 с.

27.3орич В.А. Математический анализ. / В.А. Зорич. - М.: ФАЗИС, 1997. -4.1.-554с.

28.Ивахненко А.Г. Помехоустойчивость моделирования. / А.Г. Ивахненко, B.C. Степашко. - Киев: Наукова думка, 1985. 216с.

29.Ивченко Г.И. Математическая статистика: Учеб. Пособие для втузов. / Г.И. Ивченко, Ю.И. Медведев - М.: Высш. шк., 1984. - 248 с.

30.Иллюстрированный самоучитель по SPSS [Электронный ресурс]. - Режим доступа: http://www.hr-portal.ru/spss/index.php. - Загл. с экрана.

31.Иллюстрированный самоучитель по SPSS [Электронный ресурс]. - Режим доступа: http://www.learnspss.ru/handbooks.htm - Загл. с экрана.

32.Интер-ГЕО [Электронный ресурс]. - Режим доступа: http://www.intergeo.ru/ catalog.php?id=819. - Загл. с экрана.

33.Кендалл М. Теория распределений. / М.Кендалл, А.Стьюарт. - М.: Наука, 1966.-587 с.

34.Крамер Г. Математические методы статистики. / Г. Крамер. - М.: Мир, 1975 .-648с.

36.Кукушкин Д.К. Применение шкал эквивалентности для измерения уровня жизни / Д.К. Кукушкин// Научные труды: Институт народнохозяйственного прогнозирования РАН, 2003. -Т. 1. - С 430-450.

37.Магнус Я.Р. Эконометрика. Начальный курс. / Я.Р. Магнус, П.К. Катышев, A.A. Пересецкий. - М.: Дело, 2007. — 504 с.

38.Меркин Д.Р. Введение в механику гибкой нити. / Д.Р. Меркин. - М.: Наука, 1980.-240с.

39.Митропольский А.К. Техника статистических вычислений. / А.К. Митропольский - М.Наука, 1971 - 576с.

40.Митропольский А.К. Теория моментов. / А.К. Митропольский. -М.Государственное издательство колхозной и совхозной литературы, 1933.- 224с.

41.Мудров В.И. Метод наименьших модулей. / В.И. Мудров, В.Л. Кушко. -М., Знание, 1971.-61с.

42.Налимов В.В. Логическое основание планирования эксперимента. / В.В. Налимов, Т.И. Голикова. -М. Металлургия, 1981 - 152с.

43. Оценивание уравнений кривых провисания воздушных линий устойчивыми методами / B.C. Тимофеев, В.Ю. Щеколдин, Е.А. Хайленко, Д.В. Харьковский // Прикладная информатика, М.:2012, -№3(39).- С.33-42

44.Плошко Б.Г. История статистики. / Б.Г. Плошко, И.И. Елисеева. - М. Финансы и статистика, 1990 - 295с.

45.Подбельский В.В. Программирование на языке Си: Учеб. пособие. - 2-е доп. / В.В. Подбельский, С.С. Фомин. - М. Финансы и статистика,2003 -600с.

46.Построение оптимальных планов [Электронный ресурс]. - Режим jocTyna:http://www.statsoft.ru/home/textbook/rnodules/stexdes.html#constmcti ond. - Загл. с экрана.

48.Пугачев B.C. Теория вероятностей и математическая статистика. / B.C. Пугачев. - М.: Наука, 1979-496с.

49.Рао С.Р. Линейные статистические методы и их применение. / С.Р. Pao -М., Наука, 1968.-548с.

50.Робастность в статистике. Поход на основе функций влияния: Пер. с англ. / Хампель Ф., Рончетти Э., Рауссеу П., Штаэль В.-М.:Мир, 1989.-512с.

51.Российский мониторинг экономического положения и здоровья населения НИУ ВШЭ: Национальный исследовательский университет «Высшая школа экономики». - Режим доступа: [http://www.hse.ru/rlms/].

52.Самарский А. А. Численные методы: Учеб. пособие для вузов. / A.A. Самарский, A.B. Гулин. - М.: Наука. Гл. ред. физ-мат. лит., 1989. — 432 с.

53.Соболь И.М. Численные методы Монте-Карло. / И.М. Соболь. - М.: Наука, 1973-312с.

54.Совершенствование методов и алгоритмов анализа сложных многофакторных объектов (этап 1) / А.Ю. Колесникова, Е.С. Морозова, В.С.Тимофеев, Е.А. Хайленко // Отчет о НИР / НГТУ. Каф. ТР. -№ГР 02201150649. - Новосибирск, 2009. - 101 с.

55.Совершенствование методов и алгоритмов анализа сложных многофакторных объектов (2 этап) / А.Ю. Колесникова, Е.С. Морозова, В.С.Тимофеев, Е.А. Хайленко // Отчет о НИР / НГТУ. Каф. ТР. -№ГР 2201156798. - Новосибирск, 2010. - 80 с.

5 6. Совершенствование методов и алгоритмов анализа сложных многофакторных объектов (3 этап)/ А.Ю. Колесникова, Е.С. Морозова, В.С.Тимофеев, Е.А. Хайленко // Отчет о НИР / НГТУ. Каф. ТР. -№ГР 02201162204. - Новосибирск, 2011. - 100 с.

57.Справочник по теории вероятностей и математической статистике / B.C. Королюк, Н.И. Портенко, A.B. Скороходов, А.Ф. Турбин. - М.: Наука, 1985. -640 с.

58.Тимофеев B.C. Оценивание параметров регрессионных зависимостей с использованием кривых Пирсона. 4.1 / B.C. Тимофеев //Науч. вестн. НГТУ. - Новосибирск: НГТУ, 2009. - N4(37). -С.57-66.

59.Тимофеев В. С. Оценивание параметров регрессионных зависимостей с использованием кривых Пирсона. 4.2 / B.C. Тимофеев // Науч. вестн. НГТУ. - Новосибирск: НГТУ, 2010. - № 1(38). С. 57-62.

60.Тимофеев B.C. Адаптивное оценивание параметров регрессионных моделей с использованием обобщенного лямбда - распределения / B.C. Тимофеев, Е.А. Хайленко // Доклады академии наук высшей школы РФ - Новосибирск: НГТУ, 2010. -N2(15).-C.25-36.

61.Тимофеев B.C. Оптимальное планирование эксперимента для регрессионных моделей с обобщенным лямбда-распределением ошибок / B.C. Тимофеев, Е.А. Хайленко // Науч. вестн. НГТУ. - Новосибирск: НГТУ,2011.-N1 (42). - С. 27-37.

62.Тимофеев В. С. Программная система устойчивого и адаптивного оценивания параметров регрессии и планирования эксперимента / B.C. Тимофеев, Е.А. Хайленко // Актуальные проблемы электронного приборостроения АПЭП-2010: Материалы X междунар. конф., Новосибирск, 22-24 сент. 2010г.- Новосибирск: НГТУ, 2010.-Т.6.- С.73-79.

63.Тимофеев B.C. Адаптация алгоритмов метода наименьших взвешенных квадратов к использованию на оптимальных планах эксперимента / B.C. Тимофеев, Е.А. Вострецова // Высокие технологии, фундаментальные и прикладные исследования, образование. Сб. трудов пятой междунар. научн.-практич. Конф. СПб., 28-30 апр. 2008г. - СПб.: Изд-во Политехи. Ун-та, 2008. -Т.12.-С.120-121.

64.Тимофеев B.C. Использование алгоритмов планирования эксперимента в схеме LTS-оценивания / B.C. Тимофеев, Е.А. Вострецова // Научн. вестн. НГТУ. - Новосибирск: НГТУ, 2009. -N1(34). - С.95-105.

65.Тимофеев B.C. Устойчивое оценивание параметров регрессионных моделей с использованием идей метода наименьших квадратов / B.C.

172

66.Учебник по программе STATISTIC А [Электронный ресурс]. - Режим доступа: http://vvww.hr-portal.ru/stalislica/index.php. - Загл. с экрана.

67.Федоров В.В. Теория оптимального планирования эксперимента. / В.В. Федоров. -М. Наука, 1971.-312с.

68.Фишер Р.А. Статистические методы для исследователей. / Р.А. Фишер. -М. Госстатиздат, 1958 - 268с.

69.Хайленко Е.А. Исследование распределений остатков при устойчивом оценивании с использованием обобщенного лямбда-распределения / Е.А. Хайленко // Материалы всерос. научной конф. молодых ученых «Наука. Технологии. Инновации» в 6-ти частях. - Новосибирск: НГТУ, 2009. -Часть 1.-С.55-56.

70.Хайленко Е.А. Модификации метода LTS для устойчивого оценивания параметров регрессионных моделей / Е.А. Хайленко // Сборник научных трудов НГТУ. - Новосибирск: НГТУ, 201 l.-Nl(63).-C.75-82.

71.Хайленко Е.А. Модификации рангового метода для устойчивого оценивания параметров регрессионных моделей / Е.А. Хайленко // Материалы всерос. научной конф. молодых ученых «Наука. Технологии. Инновации» в 6-ти частях.-Новосибирск: НГТУ,2011.-Часть 1.-С. 133-134.

72.Хайленко Е.А. Построение информационной матрицы для регрессионных моделей с использованием обобщенного лямбда-распределения / Е.А. Хайленко // Материалы всерос. научной конф. молодых ученых «Наука. Технологии. Инновации» в 6-ти частях. - Новосибирск: НГТУ, 2010. -Часть 1.-С.39-40.

73.Хеттманспергер Статистические выводы, основанные на рангах / Пер. с англ. Шмерлинга Д.С. / Хеттманспергер, П. Томас. - М.: Финансы и статистика, 1987. - 333с.

74.Хьюбер П. Робастность в статистике. / П. Хьюбер. - М.: Мир,1984 - 303 с.

76.Эшби У.Р. Введение в кибернетику. / У.Р. Эшби. - М.: Издательство иностранной литературы, 1952. - 432 с.

77.A. Leroy. Computing robust regression estimators with 'PROGRES' and some simulation results. / A. Leroy, P.J. Rousseeuw // Statistics & Decisions, Supplrment Issue, 1985. - №2. - 321-325p.

78.Borland С++ Builder 6. Руководство разработчика / Д. Холингворт, Б. Сворт, М. Кэшмэн, П. Густавсон. - М.:Вильямс, 2004 - 976 с.

79.Chatterjee S., Hadi A.S. Influential observations, high leverage points, and outliers in linear regression. / S. Chatterjee, A.S. Hadi //Statistical Science, 1986-Vol.1. - №3 - 379-416p.

80.Dallal G.E. LMSMVE: a program for least median of squares regression and robust distances / G.E. Dallal, PJ. Rousseeuw // Computers and biomedical research, 25,1992 - 384-391p.

81.Dean B. Versatile regression: simple regression with a non-normal error distribution. / B. Dean, A.R. King Robert // Third Annual ASEARC Conference, Newcastle, Australia, December 7-9, 2009/

82.Fisher R.A. The design of experiments / R.A. Fisher // Oliver and Boyd, Edinburgh, 1935.

83.G. Willems Fast and robust bootstrap for LTS / G. Willems, S. van Aelst // Dept. Mathematics, University of Antwerp, 2004.-15p

84.Hogg R.V., Lenth R.V. A review of some adaptive statistical techniques / R.V. Hogg, R.V. Lenth // Communications in Statistics - Theory and methods, 1984. -Vol. 13.-P. 1551-1579.

85.Hogg R.V. Adaptive robust procedures: a partial review and some suggestions for future applications and theory / R.V. Hogg // Journal of the American Statistical Association, 1974. - Vol. 69. - P. 909-923.

86.Lakhany A. Estimation the parameters of the Generalized Lambda Distribution. /А. Lakhany, H. Mausser//ALGO research quarterly, 2000-Vol.3.-N3- P.27-58

174

87.Rao C. Radhakrishna, Helge Toutenburg. Linear models: least squares and alternative second edition. - New York, Springer-Verlag, 1999 - 428p.

88.Rousseeuw P.J. Computing LTS Regression for Large Data Sets. Mimeo / P J. Rousseeuw, K. van Driessen. // Dept. Mathematics, University of Antwerp, 1999.-21p.

89.Rousseeuw P.J. Introduction to positive break-down methods / P.J. Rousseeuw // Handbook of Statistics, Vol. 15 - P.101-121.

90.Rousseeuw P.J. Least median of squares regression / P.J. Rousseeuw //Journal of American Statistical Association, 1984. - №388. - P.871-880.

91.Rousseeuw P.J. Robust regression, positive breakdown / P.J. Rousseeuw // Encyclopedia of statistical sciences: update vol.1. New York: John Wiley, 1997. - P.481-495

92.Rousseeuw P.J. Robust regression and outlier detection / P.J. Rousseeuw, A.M. Leroy// John Wiley & Sons, inc, 1987 - 334p.

93.Rousseeuw P.J. Tutorial to robust statistics / P.J. Rousseeuw // Journal of chemometrics. 1991. - 20p.

94.Welling M. Robust higher order statistics. / M. Welling // AISTATS, 2005. -№3. - P.7-15.

95. Z. A. Karian. Fitting statistical distributions: the Generalized Lambda Distribution and Generalized Bootstrap methods. / Z.A. Karian, E.J. Dudewicz. // New York, CRC Press LLC, 2000 - 435p.

Фактически реализуемые уровни значимости для тросов Въ В3, А, £>2, £>з, Т

Без фиксированной точки

Метод LTS LMS LTS на основе расстояния Махал анобиса LTS на основе робастного расстояния LTS на основе расстояния Кука LTS на основе расстояния Велша-Куха

tKp(^,N-m) 2.256 1.680 2.261 2.191 2.111 2.238

а -100% 2.421 9.316 2.390 2.860 3.493 2.536

С фиксированной точкой

Метод LTS LMS LTS на основе расстояния Махал анобиса LTS на основе робастного расстояния LTS на основе расстояния Кука LTS на основе расстояния Велша-Куха

tKp(f,N-m) 2.254 1.740 2.261 2.194 2.111 2.235

а-100% 2.433 8.205 2.390 2.838 3.493 2.556

Таблица П. 1.2

Фактически реализуемые уровни значимости для троса Въ

Без фиксированной точки

Метод LTS LMS LTS на основе расстояния Махал анобиса LTS на основе робастного расстояния LTS на основе расстояния Кука LTS на основе расстояния Велша-Куха

tKp{^,N-m) 2.064 1.398 2.055 1.650 1.945 2.026

а-100% 3.940 16.260 4.029 9.943 5.221 4.318

С фиксированной точкой

Метод LTS LMS LTS на основе расстояния Махал анобиса LTS на основе робастного расстояния LTS на основе расстояния Кука LTS на основе расстояния Велша-Куха

tKp(f,N-m) 2.571 1.506 2.050 2.135 2.288 2.459

а-100% 1.036 13.256 4.077 3.314 2.246 1.419

Без фиксированной точки

Метод иге ЬМБ ЬТ8 на основе расстояния Махал анобиса иге на основе робастного расстояния ЬТБ на основе расстояния Кука ЬТ8 на основе расстояния Велша-Куха

2.214 1.631 2.038 1.085 2.043 2.168

а -100% 2.696 10.308 4.171 27.808 4.121 3.030

С фиксированной точкой

Метод иге ЬМЭ ЬТ8 на основе расстояния Махал анобиса иге на основе робастного расстояния иге на основе расстояния Кука иге на основе расстояния Велша-Куха

2.213 1.550 2.023 1.088 2.043 2.176

а-100% 2.703 12.133 4.323 27.675 4.121 2.969

Таблица П. 1.4

Фактически реализуемые уровни значимости для троса £>2

Без фиксированной точки

Метод иге ЬМБ ЬТ8 на основе расстояния Махал анобиса иге на основе робастного расстояния ЬТБ на основе расстояния Кука иге на основе расстояния Велша-Куха

2.254 1.545 2.142 0.89 2.135 2.234

а-100% 2.433 12.255 3.235 37.36029 3.292 2.562

С фиксированной точкой

Метод ЬТБ ЬМБ 1/ге на основе расстояния Махал анобиса иге на основе робастного расстояния иге на основе расстояния Кука иге на основе расстояния Велша-Куха

Мт'^-™) 3.339 1.545 2.725 0.88 3.066 3.327

а-100% 1.564 12.255 3.441 37.899 2.206 1.587

Без фиксированной точки

Метод иге ЬМБ ЬТ8 на основе расстояния Махал анобиса ЬТЭ на основе робастного расстояния ЬТ8 на основе расстояния Кука иге на основе расстояния Велша-Куха

2.230 1.348 2.143 1.647 2.099 2.201

а -100% 2.591 17.789 3.229 9.979 3.600 2.791

С фиксированной точкой

Метод ЬТБ ЬМБ ЬТ8 на основе расстояния Махал анобиса Ж на основе робастного расстояния иге на основе расстояния Кука иге на основе расстояния Велша-Куха

2.259 0.748 2.117 1.651 2.081 2.205

«•100% 2.404 45.459 3.444 9.897 3.762 2.762

Таблица П. 1.6

Фактически реализуемые уровни значимости для троса Т

Без фиксированной точки

Метод иге ЬМБ иге на основе расстояния Махал анобиса иге на основе робастного расстояния ЬТ8 на основе расстояния Кука иге на основе расстояния Велша-Куха

2.430 1.923 2.331 0.341 2.330 2.414

а-100% 1.527 5.476 1.995 37.236 2.000 1.595

С фиксированной точкой

Метод иге ЬМБ 1/ге на основе расстояния Махал анобиса иге на основе робастного расстояния иге на основе расстояния Кука иге на основе расстояния Велша-Куха

3.686 1.943 2.426 0.351 2.286 2.265

а -100% 1.026 5.229 1.544 36.879 2.246 2.372

Результаты идентификации вЬ-распределения остатков и построения А- и Б-оптимальных планов для тросов , , £>3

вл ¿3 Л

х, <0.5 xi > 0.5 х, < 0.5 х, > 0.5 X,. <0.5 х, > 0.5 х,. < 0.5 х, > 0.5

А 1,687Е-03 1,022Е-03 62,479 215,349 -0,127 0,177 5,058 0,148

А -1,964Е-02 -1,955Е-03 59,865 85,699 -0,097 1,174 0,549 -0,087

А -9Д04Е-02 -1.413Е-03 267,073 61,755 1,000 0,140 -0,069 0,190

-"I-1-1-1-1-1 I I-о

О 2

2 4 6 8 10 12 14

Рисунок П.2.1. Идентификация распределений в пространстве моментов

О ♦

■

▲

х

Гамма распределение Распределение Вейбулла Лог-нормальное распределение Нормальное распределение Б1,х<0.5 Ж Б3,х<0.5 Б1,х>0.5 о Б3,х>0.5 Б2,х<0.5 + В1,х<0.5 Т)2, х>0.5 □ В1, х>0.5 В2,х<0.5 . ВЗ, х<0.5 В2, х>0.5 д ВЗ. х>0.5

Таблица П.2.2

Исследование эффективности построенных оптимальных планов

Критерий Э-оптимальности А-оптимальности

вл v № <р лИ

А 1,027 - 0,779 1000

А 0,545 875 1,091 -

А 0,224 300 0,670 400

для тросов 1\, £>2 и £)3

вл А и2 А

План хсО' х с Г2 Р хсО' х с: Г2 Р 1сО' х <= Г2 Р

Оч 0 59718,35 0,334 0 59720,09 0,333 0 59715,39 0,333

и н к о 1 59849,80 0,333 1 59851,59 0,334 1 59843,95 0,334

& 1 а 0,25 59751,21 0,333 0,75 59818,71 0,333 0,25 59747,53 0,333

« к 0 59720,09 0,252 0 59720,09 0,724 0 59715,39 0,257

а, а> н 1 59851,59 0,298 1 59851,59 0,110 1 59843,95 0,444

К & 1 < 0,75 59812,16 0,450 0,75 59818,71 0,166 0,25 59747,53 0,299

Акты о внедрении

УТВЕРЖДАЮ

Проректор Новосибирского государственного технического университета

АКТ

о внедрении в учебный процесс Новосибирского государственного технического университета результатов диссертационной работы ЕА. Хайленко

Настоящим удостоверяется, что разработанная в рамках диссертационной работы Хайленко Екатерины Алексеевны «Алгоритмы оценивания параметров регрессионных моделей и планирования эксперимента при наличии выбросов и неоднородности распределения ошибок» программная система устойчивого и адаптивного оценивания параметров регрессионных моделей и планирования эксперимента («Б11Е8») используются в учебном процессе факультета прикладной математики и информатики

НГТУ.

Декан факультета ПМИ, д.т.н., профессор

ПН

А

Общество с ограниченной ответственностью

630102 г. Новосибирск ул. Нижегородская, 18, оф. 75

«ЗапСибГеоПроект»

«

»

9 [phone], е-таП: Оа5Ышоу@геосиб.рф ЬПр//геосиб.рф ОКПО 68343065, ОГРН 1105476079587» ИНН 5405423525. КПП 540501001

АКТ

о внедрении результатов научных исследований

Настоящим подтверждается, что 000«ЗапСибГеоПроект» использует

£

для прогнозирования максимального ур'рвня провиса воздушных линий результаты научных исследований, а, именно алгоритмы устойчивого и адаптивного оценивания регрессионных зависимостей, разработанные аспирантом кафедры «Теория рынка» Новосибирского государственного технического университета Хайленко Екатериной Алексеевной при выполнении диссертационной работы.

Применение разработанных методов позволило обеспечить требуемую точность оценок провиса воздушных линий, что имеет существенное значение для проектирования, реконструкции и контроллинге состояния воздушных линий, а также при проектировании объектов, проведении строительных работ вблизи их прохождения.

Зам. директора 000«ЗапСибГеоПроект> Гашимов В.И.

01.02.2011г.