Обнаружение и использование закономерностей в исходных данных при построении регрессионных моделей и планировании эксперимента тема диссертации и автореферата по ВАК РФ 05.13.17, доктор технических наук Тимофеев, Владимир Семенович

• Тимофеев, Владимир Семенович
• доктор технических наук
• 2011

Оглавление диссертации доктор технических наук Тимофеев, Владимир Семенович

Введение.

1. ЛОГИКА И ОСНОВНЫЕ ПРОБЛЕМЫ ПРИКЛАДНОГО СТАТИСТИЧЕСКОГО АНАЛИЗА МНОГОФАКТОРНЫХ ОБЪЕКТОВ.

1.1. Генеральная совокупность, выборка и основные определения.

1.2. Оценивание основных статистических характеристик случайных величин.

1.2.1. Оценивание математического ожидания случайных величин.

1.2.2. Оценивание других характеристик случайных величин.

1.3. Идентификация регрессионных зависимостей.

1.3.1. Постановка задачи регрессионного анализа

1.3.2. Классические методы идентификации

1.3.3. Основные проблемы идентификации.

1.3.4. Устойчивые методы.

1.3.4.1. Метод наименьших модулей, Ьр- и М - оценки.

1.3.4.2. Знаковый метод.

1.3.4.3. Ранговый метод.

1.3.4.4. ЬТБ-метод (метод наименьших уравновешенных квадратов).

1.3.4.5. ЬМБ-метод.

1.3.4.6. Квантильная регрессия.

1.3.5. Непараметрическая регрессия.

1.3.6. Повышение эффективности оценивания посредством использования теории планирования эксперимента.

1.3.5.1. Основные понятия и определения.

1.3.5.2. Критерии оптимальности.

1.4. Обоснование целей и задач исследования.

1.5. Выводы.

2. УСТОЙЧИВЫЕ МЕТОДЫ ИДЕНТИФИКАЦИИ РЕГРЕССИОННЫХ МОДЕЛЕЙ.

2.1. Анализ инструментов для исследования информативности наблюдений и влияния выбросов.

2.2. Модификация вычислительной схемы ЬТБ-оценивания.

2.3. Некоторые обобщения метода квантильной регрессии.

2.4. Алгоритм обнаружения гетероскедастичности, основанный на идеях дисперсионного анализа.

2.5. Адаптация знакового метода для оценивания моделей компонент дисперсии.

2.5.1. Постановка задачи идентификации модели компонент дисперсии.

2.5.2. Идентификация модели компонент дисперсии знаковым методом.

2.5.3. Проблема вычисление функции от матрицы.

2.6. Результаты вычислительных экспериментов.

2.6.1. Исследование семейства алгоритмов ЬТБ-оценивания.

2.6.2. Исследование алгоритмов квантильного оценивания.

2.6.3. Сравнение критериев выявления гетероскедастичности.

2.7. Выводы.

3. ПОСТРОЕНИЕ АДАПТИВНЫХ МЕТОДОВ И АЛГОРИТМОВ ОЦЕНИВАНИЯ РЕГРЕССИОННЫХ ЗАВИСИМОСТЕЙ.

3.1. Постановка задачи.

3.2. Использование ортогональных разложений плотностей.

3.2.1. Разложение Грама-Шарлье.

3.2.2. Построение.алгоритма адаптивной идентификации.

3.2.3 Оценка плотности случайной величины, распределенной на отрезке

3.3. Использование универсальных семейств распределений

3.3.1. Распределения Пирсона.

3.3.2. Лямбда-распределение

3.3.3. Устойчивые распределения.

3.3.3.1. Способы идентификации устойчивых распределений.

3.3.3.2. Улучшение подхода Б-ТРгезБ

3.3.3.3. Построение алгоритма.

3.4. Непараметрические оценки плотности.

3.4.1. Использование характеристической функции.

3.4.2. Использование ядерных оценок функции плотности.

3.5. Результаты вычислительных экспериментов.

3.5.1. Исследование алгоритма, основанного на разложении Грама-Шарлье.

3.5.2. Исследование МЕС-алгоритма.

3.5.3. Исследование алгоритма, основанного на кривых Пирсона.

3.5.4. Встречаемость различных типов кривых Пирсона.

3.5.5. Исследование алгоритма, основанного на Лямбда-распределении.

3.5.6. Исследование алгоритмов, основанных на устойчивых распределениях.

3.5.7. Исследование алгоритмов, основанных на непарамерических оценках плотности.

3.5.7.1. Исследование алгоритма, основанного на эмпирической характеристической функции.

3.5.7.2. Исследование алгоритмов, основанных на ядерных оценках плотности.

3.6. Выводы.

4. ПОВЫШЕНИЕ КАЧЕСТВА УСТОЙЧИВОГО И АДАПТИВНОГО ОЦЕНИВАНИЯ ПОСРЕДСТВОМ ИСПОЛЬЗОВАНИЕ ИДЕЙ ТЕОРИИ ПЛАНИРОВАНИЯ ЭКСПЕРИМЕНТА.

4.1. Постановка задачи.

4.2. Влияние выбросов на информационную матрицу метода наименьших квадратов.

4.3. Алгоритм формирования оценочного подмножества.

4.4. Планирование уточняющих наблюдений для адаптивного алгоритма, основанного на лямбда-распределении.

4.5. Результаты исследований.

4.5.1. Исследование алгоритма формирования оценочных подмножеств

4.5.2. Построение и исследование планов при обобщенном лямбда-распределении ошибки

4.6. Выводы.

5. ПРОГРАММНАЯ СИСТЕМА УСТОЙЧИВОГО И АДАПТИВНОГО ОЦЕНИВАНИЯ ПАРАМЕТРОВ РЕГРЕССИОННЫХ МОДЕЛЕЙ

И ПЛАНИРОВАНИЯ ЭКСПЕРИМЕНТА.

5.1. Предпосылки для создания программной системы.

5.2. Назначение, технические характеристики и особенности построения

5.3. Решаемые задачи и структура программной системы.

5.4. Интерфейс программной системы.

5.4.1. Режим моделирования.

5.4.2. Режим оценивания параметров уравнения регрессии.

5.4.3. Режим идентификации распределения остатков.

5.4.4. Режим планирования эксперимента.

5.5. Выводы.

6. ПРИМЕНЕНИЕ ПРЕДЛОЖЕННЫХ МЕТОДОВ И АЛГОРИТМОВ

ДЛЯ РЕШЕНИЯ РЕАЛЬНЫХ ЗАДАЧ.

6.1. Оценивание кривой провисания троса.

6.1.1. Постановка задачи

6.1.2. Результаты оценивания

6.2. Планирование уточняющих наблюдений для контроллинга воздушных линий.

6.3. Идентификация зависимостей спроса от дохода.

6.3.1. Описание проблемы, характеристика и подготовка исходных данных.

6.3.2. Результаты идентификации простейших моделей.

6.4. Выводы.

Введение диссертации (часть автореферата) на тему «Обнаружение и использование закономерностей в исходных данных при построении регрессионных моделей и планировании эксперимента»

Актуальность темы исследований. Проведение прикладных исследований, связанных с контролем качества продукции, оптимизацией технологических процессов, сертификацией сложных технических изделий, решением социологических и экономических задач, медико-биологических и сельскохозяйственных исследований, исследований в демографии и др. часю приводит к необходимости анализа данных. При этом естественным является желание экспериментатора располагать наиболее достоверными и качественными результатами, которые максимально согласуются с природой имеющихся исходных данных. Для получения таких результатов требуется комплексное применение широкого спектра методов теоретической и прикладной статистики, обеспечивающих извлечение и последующее использование присущих исходным данным закономерностей.

В этой связи стоит обратить внимание на метод максимального правдоподобия (ММП) и связанное с ним количество информации по Фишеру, роль которого в математической и прикладной статистике трудно переоценить. Он часто ставится в основу не только теоретических, но и прикладных статистических исследований включая задачи анализа многофакторных объектов. В частности, можно говорить о том, что на нем основана теория планирования эксперимента, поскольку одно из ее базовых понятий -информационная матрица определяется именно через вторую производную логарифмической функции правдоподобия. Хорошо известна связь классического метода наименьших квадратов (МНК) с методом максимального правдоподобия для нормально распределенных ошибок. Обеспечивая при данном предположении наличие целого ряда оптимальных свойств получаемых оценок, метод максимального правдоподобия становится объектом предпочтения специалистов.

На сегодняшний день существует достаточно большое число теоретических и прикладных работ, посвященных применению метода максимального правдоподобия. В области планирования оптимальных экспериментов следует отметить результаты, полученные Налимовым В.В., Федоровым В.В., Горским В.Г., Лецким Э.К., Ермаковым С.М., Седуновым Е.В., Козловым В.П., Денисовым В.И., Григорьевым Ю.Д., Поповым A.A., Хабаровым В.И., Лисициным Д.В. [20-23,56,57,66,112]. В области классического регрессионного анализа следует отметить работы Айвазяна С.А., Pao С.Р., Кендалла М.Дж., Стьюарта А., Сирла С., Дрейпера Н., Смита Н. [1,3,31,42,76,148,149,157].

Однако предположение нормальности распределения случайной компоненты уравнения регрессии, лежащее в основе классических методов, является достаточно сильным и серьезно ограничивает спектр корректно решаемых задач. В частности, при наличии тех или иных неоднородностей в условиях проведения наблюдений (экспериментов) может иметь место появление некоторого числа наблюдений, резко выделяющихся из основной массы. Это обстоятельство может привести к той или иной потере точности в силу искажения априорного распределения случайной компоненты, т.е. к нарушению предположения нормальности. Для решения данной проблемы разработан целый ряд специальных устойчивых методов, в том числе непараметрических. Исследованиями в этой области занимались такие признанные специалисты как Хьюбер П., Хампель Ф, Davies Р., Rousseeuw Р. Смоляк С.А., Болдин М.В., Тюрин Ю.Н., Лисицин Д.В. [9,21,79,115,120,131,150-155] и др. Вместе с тем, отказ от метода максимального правдоподобия часто означает и потерю оптимальных свойств оценок, присущих данному методу. Это одна из причин, из-за которой автор остается в рамках классического подхода максимально-правдоподобного оценивания, присущего Новосибирской школе анализа многофакторных объектов и планирования эксперимента.

С другой стороны, фактически реализуемые на практике распределения случайных ошибок далеко не всегда удается представить в рамках тех или иных хорошо известных теоретических законов. Исследователь может лишь иметь общие представления о его форме, плюс, возможно, сформулировать отдельные гипотезы о наличии тех или иных особенностей (например, сделать корректное предположение о значении математического ожидания). Очевидно, что в этом случае метод максимального правдоподобия в классической постановке применить не получится. Методы и алгоритмы планирования эксперимента также могут приводить далеко не к самым оптимальным вариантам решения, поскольку они разрабатывались в предположении нормальности распределения случайной ошибки. Следовательно, алгоритмы идентификации должны сами извлекать информацию о характере распределения из исходных данных и обладать определенной гибкостью для осуществления подстройки под многообразие фактически реализуемых распределений. На данный момент известны такие алгоритмы для обобщенного распределения Лапласа [21], но они сильно ограничены предположением симметрии изучаемого распределения.

Один из вариантов решения заключается в переходе к универсальным распределениям. Их основное преимущество состоит в возможности описания большого круга практических ситуаций. В частности, использование кривых Пирсона позволит говорить об анализе ситуаций с такими распределениями как бета-, гамма-, Стьюдента, экспоненциальное и др. Еще более широким является обобщенное лямбда-распределение, включающее не только хорошо известные в теории вероятности распределения, но и целое множество других. Перспективным также представляется переход в частотную область посредством построения характеристической функции, что обеспечит привлечение более полной информации и позволит идентифицировать так называемые устойчивые распределения. Они также являются весьма широким классом распределений, включающим распределения с большой или даже бесконечной дисперсией (например, распределение Коши). Это обстоятельство делает его предпочтительным при исследовании закономерностей на основе сильно засоренных данных.

Цель и задачи. Таким образом, актуальным является построение универсальных алгоритмов оценивания параметров регрессионных моделей, основанных на методе максимального правдоподобия, которые обеспечивают корректную идентификацию для широкого круга практически реализуемых распределений. Решение этой проблемы откроет новые возможности и для развития теории планирования эксперимента, а также, в ряде случаев, будет обеспечивать устойчивость оценивания и сохранение хорошо известных оптимальных свойств. Именно такая формулировка и рассматривается автором в качестве цели данной работы. Для достижения данной цели были поставлены и решены следующие задачи:

• обеспечить возможность адаптации алгоритмов оценивания параметров регрессионных уравнений к широкому спектру практически реализуемых распределений случайной компоненты;

• разработать новые алгоритмы устойчивого оценивания, позволяющие использовать информацию об индивидуальной информативности наблюдений, а также реагировать на разный характер имеющихся в исходных данных выбросов;

• провести расширение возможностей теории планирования эксперимента за счет более слабого предположения о принадлежности распределения случайной ошибки обобщенному лямбда-распределению;

• разработать алгоритмы, обобщающие идею квантильной регрессии на другие функции потерь, а также алгоритм идентификации моделей компонент дисперсии знаковым методом;

• осуществить построение программной системы, интегрирующей все предложенные алгоритмы устойчивого и адаптивного оценивания параметров линейно-параметризованных регрессионных уравнений, а также алгоритмы планирования эксперимента и с ее помощью провести решение задач технического и экономического содержания.

Область исследования. Содержание диссертации соответствует области исследования п.5 «Разработка и исследование моделей и алгоритмов анализа данных, обнаружения закономерностей в данных и их извлечениях, разработка и исследование методов и алгоритмов анализа текста, устной речи и изображений» паспорта специальности 05.13.17 - «Теоретические основы информатики» (в области технических наук).

Методы исследования. Исследование основано на корректном использовании положений теории вероятностей, математической статистики, математического анализа и линейной алгебры, теории планирования эксперимента, регрессионного анализа, численных методов, методов оптимизации и методов статистического моделирования.

Достоверность и обоснованность научных положений, рекомендаций и выводов обеспечивается корректным использованием методов исследования, согласованностью выводов с известными теоретическими законами и положениями, а также подтверждением полученных аналитических выводов результатами вычислительных экспериментов, проведенными на основе технологии статистического моделирования.

Научная новизна работы заключается в следующем: впервые предложено проводить адаптивное оценивание параметров линейно-параметризованных регрессионных уравнений на основе восстановленной по моментам функции плотности случайной компоненты, а также показана возможность использования для этой цели универсальных распределений; сформулировано и доказано утверждение, на основе которого впервые разработан уникальный алгоритм синтеза оптимальных планов эксперимента для распределений ошибки, представимых в классе лямбда-распределения; показана возможность перехода в частотную область при построении характеристической функции для обнаружения закономерностей распределения случайной компоненты и более качественного восстановления регрессионной зависимости. Разработаны и исследованы параметрические и непараметрические алгоритмы; предложен ряд новых алгоритмов построения оценочных подмножеств для метода наименьших уравновешенных квадратов, использующих показатели концентрации наблюдений, а также идеи планирования эксперимента. Посредством статистического моделирования проведено исследование разработанных алгоритмов, по результатам которого сформулирован ряд рекомендаций по их использованию; предложены и исследованы алгоритмы, обобщающие идею квантильной регрессии на другие функции потерь, а также алгоритм идентификации моделей компонент дисперсии знаковым методом; создана программная система, предназначенная для устойчивого и адаптивного оценивания параметров линейно-параметризованных регрессионных моделей и планирования эксперимента, с использованием которой решен ряд реальных задач технического и экономического содержания. Данная система была зарегистрирована в виде объекта интеллектуальной собственности как программа ЭВМ (№ гос. per. 2011613035) [73]. На защиту выносятся:

• семейство алгоритмов построения оценочных подмножеств, позволяющих вычислительной схеме метода наименьших уравновешенных квадратов реагировать на характер появления выбросов, а также учитывать индивидуальную информативность наблюдений;

• алгоритмы адаптивного оценивания, существенно расширяющие сферу корректного применения метода максимального правдоподобия и основанные на таких универсальных семействах распределений как устойчивые распределения, кривые Пирсона, обобщенное лямбда-распределение;

• результаты исследований разработанных алгоритмов идентификации регрессионных уравнений, основанных на переходе в частотную область (использовании характеристической функции);

• способ вычисления информационной матрицы Фишера для линейно-параметризованных регрессионных моделей с распределением ошибки, представимом в классе универсального лямбда-распределения;

• алгоритмы, обобщающие идею квантильной регрессии на другие функции потерь и результаты их исследования;

• программная система устойчивого и адаптивного оценивания, а также планирования экспериментов для линейно-параметризованных регресс-сионных моделей и результаты решения задачи технического содержания, связанной с оцениванием провиса проводов воздушных линий. Апробация работы. Результаты научных исследований, проведенных автором, докладывались и обсуждались на: пятой международной научно-практической конференции «Актуальные проблемы электронного приборостроения» АПЭП-2000 (Новосибирск, 2000); десятой международной научно-практической конференции «Актуальные проблемы электронного приборостроения» АПЭП-2010 (Новосибирск, 2010); пятой международной научно-практической конференции «Высокие технологии, фундаментальные и прикладные исследования, образование» (Санкт-Петербург, 2008). Разработанные методы и алгоритмы используются в аналитической работе мэрии города Новосибирска, ООО «ЗапСибГеоПроект», холдинге «Сибирский Гигант», а также в учебном процессе НГТУ, что подтверждено актами о внедрении.

Работа выполнена при поддержке ФЦП «Научные и научно-педагогические кадры инновационной России 2009-2013гг.» (проект № П263), аналитической ведомственной целевой программы «Развитие научного потенциала высшей школы (2009-2011 гг.)», проводимой по заданию Министерства образования и науки РФ (проект № 1.5.11), аналитической ведомственной целевой программы «Развитие научного потенциала высшей школы (2006-2008гг.)» (проект № РНП.2.1.2.43).

Публикации. Результаты, полученные в диссертации, опубликованы в 29 научных работах [24-30,45,78,80,81,88-107,133] общим объемом 49 п.л. (авторских 18,9 п.л.), включая: рекомендованные ВАК издания - 22, материалы трудов научно-технических конференций - 3, свидетельство о регистрации программы ЭВМ - 1, депонированные рукописи - 2, учебник, содержащий научные разделы, - 1.

Структура и объем работы. По структуре диссертация состоит из введения, шести разделов основного содержания, заключения, списка использованных источников и приложений. Основное содержание представлено на 329 страницах, включая 59 таблиц, 90 рисунков и список использованных источников из 164 наименований.

Заключение диссертации по теме «Теоретические основы информатики», Тимофеев, Владимир Семенович

Основные результаты, полученные в диссертационной работе, могут быть сформулированы в виде следующих положений.

1) Проведено существенное развитие сферы корректного применения метода максимального правдоподобия при оценивании линейно-параметризованных регрессионных уравнений за счет перехода к универсальным семействам распределений (обобщенное лямбда-распределение, кривые Пирсона, устойчивые распределения).

2) Доказано утверждение, на основе которого впервые разработаны алгоритмы вычисления информационной матрицы и планирования экспериментов для распределений ошибки, представимых в семействе обобщенного лямбда-распределения.

3) Предложено и исследовано семейство новых алгоритмов формирования оценочных подмножеств, основанных на учете концентрации и индивидуальной информативности наблюдений.

4) Предложен оригинальный алгоритм выявления гетероскедастичности, основанный на идеях дисперсионного анализа. С помощью статистического моделирования проведено сравнительное исследование с другими алгоритмами обнаружения гетероскедастичности по мощности.

5) Разработана программная система устойчивого и адаптивного оценивания и планирования экспериментов для линейно-параметризованных регрессионных зависимостей. Данная система была зарегистрирована в виде объекта интеллектуальной собственности как программа ЭВМ (№ гос. per. 2011613035) [73].

6) Предложены, разработаны и исследованы алгоритмы оценивания параметров регрессионного уравнения, основанные на разложении функции плотности по моментам, а также использующие непараметрическую оценку неизвестной функции плотности по эмпирическому аналогу характеристической функции и на основе ядерных оценок.

7) Сформулированы и доказаны утверждения о ковариационных матрицах порядковых статистик для равномерного и экспоненциального распределений.

8) Предложены и исследованы алгоритмы, обобщающие идею квантильной регрессии на другие функции потерь, а также алгоритм идентификации моделей компонент дисперсии знаковым методом.

9) С помощью разработанных алгоритмов решены практические задачи технического и экономического содержания.

ЗАКЛЮЧЕНИЕ

Список литературы диссертационного исследования доктор технических наук Тимофеев, Владимир Семенович, 2011 год

1. Айвазян С.А. Прикладная статистика. Исследование зависимостей.-Справочное издание. М.: Финансы и статистика, 1985.-488с.

2. Айвазян С.А., Мхитарян B.C. Прикладная статистика и основы эконометрики. Т.2. М.: Юнити, 2001. - 432 с.

3. Александров П. С. Лекции по аналитической геометрии. М.: Наука, 1971. - 328 с.

4. Андерсон Т. Статистический анализ временных рядов. М.: Мир, 1976.-756с.

5. Архангельский А.Я. Программирование в С++ Builder- M.: Бином, 2010. -1230с.

6. Беляев Н.М. Сопротивление материалов. М.: Наука, 1965. - 856 с.

7. Бирман И.Я. Уровень жизни: проблемы измерения // Экономическая наука современной России. 2000. - №2. - С. 35-52.

8. Болдин М.В., Симонова Г.И., Тюрин Ю.Н. Знаковый статистический анализ линейных моделей. М.: Наука, Физматлит, 1997. - 208 с.

9. Ю.Боровков A.A. Математическая статистика. Оценка параметров, проверка гипотез. М. Наука, 1984. - 472с.

10. Введение в теорию порядковых статистик. / Пер. с англ. Боярского А.Я. -М.: Статистика, 1970. 414 с.

11. Вучков И. и др. Прикладной линейный регрессионный анализ / И. Вучков, Л. Бояджиева, Е. Солаков М.: Финансы и статистика, 1987. 239с.

12. Гаек Я., Шидак 3. Теория ранговых критериев. М.: 1971. 375с.

13. Гантмахер Ф.Р. Теория матриц. М.: Наука, 1966. - 576 с.

14. Геолидар Электронный ресурс. Режим доступа: http://geolidar.dev.machaon.ru/ publications/article/electro-info(6)-2004. - Загл. с экрана.

15. Гихман И.И., Скороход A.B., Ядренко М.И. Теория вероятностей и математическая статистика. Киев, 1979. - 408 с.

16. Гнеденко Б.В. Курс теории вероятностей. М.: Едиториал УРСС, 2001. -320 с.

17. Горшков А.Г. Трошин В.Н., Шалашилин В.И. Сопротивление материалов: Учеб. Пос. 2-е изд., испр М.: Физматлит,2005. - 544с.

18. Григорьев Ю.Д., Щеколдин В.Ю. Канонические моменты вероятностных мер. // Сборник научных трудов НГТУ, №3(27), 2000. С. 17-20.

19. Денисов В.И. Математическое обеспечение системы ЭВМ-экспериментатор (регрессионный и дисперсионный анализы). М.: Наука, 1977. - 252 с.

20. Денисов В.И., Лисицин Д.В. Методы построения многофакторных моделей по неоднородным, негауссовским, зависимым наблюдениям. -Новосибирск: Изд-во НГТУ. 2008. - 360с.

21. Денисов В.И., Полетаева H.A., Хабаров В.И. Экспертная система для анализа многофакторных объектов. Дисперсионный анализ. Прецедентный подход. Новосибирск, 1992. 127с.

22. Денисов В.И., Попов A.A. Пакет программ оптимального планирования эксперимента. М.: Изд-во "Финансы и статистика", 1986.-159с.

23. Денисов В.И., Тимофеев B.C. Знаковый метод: преимущества, проблемы, алгоритмы //Научн. вестн. НГТУ. Новосибирск: Изд-во СО РАН.- 2001. -N1(10).-С.21-35.

24. Денисов В.И., Тимофеев B.C. Исследование влияния грубых ошибок наблюдений на информационную матрицу Фишера // Сибирский журнал индустриальной математики. Новосибирск: Изд-во инстит. матем. СО РАН, 2008, Т. XI, № 2(34). - С.65-73.

25. Денисов В.И., Тимофеев B.C. Оценивание параметров регрессионных зависимостей с использованием аппроксимации Грама-Шарлье // Автометрия. Новосибирск: Изд-во СО РАН, 2008.- Т.44, №6, С.3-12.

26. Денисов В.И., Тимофеев B.C. Повышение качества идентификации устойчивых распределений и оценивание параметров регрессий //Научн. вестник НГТУ. Новосибирск: Изд-во СО РАН. - 2010. - N4(41). -С. 3-12.

27. Денисов В.И., Тимофеев B.C. Построение алгоритмов оценивания параметров уравнения квантильной регрессии //Научн. вестн. НГТУ. -Новосибирск: Изд-во СО РАН,- 2009. -N2(35).-C. 13-22.

28. Денисов В.И., Тимофеев B.C. Устойчивые распределения и оценивание параметров регрессионных зависимостей // Известия Томского политехнического университета. Томск: Изд-во ТПУ. - 2011. - Т.318, №2.- С.10-15.

29. Денисов В.И., Тимофеев B.C., Щеколдин В.Ю. Применение теории канонических моментов для оценивания плотности случайной величины, распределенной на отрезке // Вычислительные технологии. Новосибирск: Изд-во СО РАН, 2009.- Т. 14, №4, С. 16-27.

30. Дрейпер Н., Смит Н. Прикладной регрессионный анализ. М.: Статистика, 1973.- 392 с.

31. Жданов А.И. Прямые рекурентные методы решения линейных задач метода наименьших квадратов. // Журнал вычислительной математики и математической физики. 1995. Т.34. №6. - С.805-814.

32. ЗЗ.Закс JL Статистическое оценивание. М.: Статистика, 1976. 598с.34.3акс Ш. Теория статистических выводов. М.: Мир, 1975,- 776с.

33. Золотарев В.М. Одномерные устойчивые распределения. -М.: Наука. 1983.- 304с.

34. Ивахненко А.Г., Степашко B.C. Помехоустойчивость моделирования. -Киев: Наукова думка, 1985. 216с.

35. Ивченко Г.И., Медведев Ю.Я. Математическая статистика: Учебное пособие для ВТУЗов. М.: Высш. школа, 1994. - 248 с.

36. Интер-ГЕО Электронный ресурс. Режим доступа: http://www.intergeo.ru/ catalog.php?id=819. - Загл. с экрана.

37. Интрилигатор М. Математические методы оптимизации и экономическая теория. М.: Прогресс, 1975. - 606 с.

38. Иохвидов И.С. Ганкелевы и теплицевы матрицы и формы. Москва: "Наука", 1974. - 264 с.

39. Каханер Д., Моулер К., Нэш С. Численные методы и программное обеспечение.-М.:Мир, 2001. 575с.

40. Кендалл М., Стьарт А. Статистические выводы и связи. М.: Наука, 1973. -899с.

41. Кендалл М., Стьарт А. Теория распределений. М.: Наука, 1966. - 587с.

42. Клейман Б.С. Численно устойчивые регрессионные методы идентификации систем по неоднородным данным. Диссертация на соискание уч.степени к.т.н., Самара, 1998. 131с.

43. Колесникова А.Ю., Скосырский В.А., Тимофеев B.C., Храмцова О.В., Чистяков В.М. Оценка доступности социально-значимых товаров для малообеспеченного населения // Сибирская финансовая школа. -Новосибирск, Изд-во САФБД. 2009,- N2(73). - С.24-30.

44. Корн Г., Корн Т., Справочник по математике для научных работников и инженеров. М.: Наука, 1984. - 832 с.

45. Крамер Г. Математические методы статистики. М.: Мир, 1975. 648с.

46. Крянев A.B., Лукин Г.В. Математические методы обработки неопределенных данных. М.: Физмалит, 2006. - 216с.

47. Ланкастер П. Теория матриц. М.: «Наука», 1973. - 280 с.

48. Лемешко Б.Ю. О задаче идентификации закона распределения случайной составляющей погрешности измерений // Метрология. 2004. № 7. С. 8-17

49. Лемешко Б.Ю. Робастные методы оценивания и отбраковка аномальных измерений // Заводская лаборатория. 1997. - Т.63. - № 5. - С. 43-49.

50. Лемешко Б.Ю., Чимитова E.B. Оптимальные L-оценки параметров сдвига и масштаба распределений по выборочным квантилям. // Заводская лаборатория. Диагностика материалов, 2004. Т. 70, № 1. - С.54-66.

51. Липкин М.И. Кривые распределения в экономических исследованиях. М.: Статистика, 1971. - 114 с.

52. Лисицин Д.В. Конструирование робастных оценок параметров регрессии при неоднородных наблюдениях. // Научный вестник НГТУ. Новосибирск, 2004.-№3(18).-С.43-55.

53. Львовский E.H. Статистические методы построения эмпирических формул: учебное пособие для ВТУЗов. М.: Высш. школа, 1988. - 239 с.

54. Математическая теория планирования эксперимента./ Под редакцией Ермакова С.М. М.: Наука, 1983. - 392 с.

55. Математические методы планирования эксперимента. Новосибирск: Наука, 1981.-251с.

56. Матросов A.B. Maple 6. Решение задач высшей математики и механики. -М.: Издательство BHV, 2001. 528 с.

57. Меркин Д.Р. Введение в механику гибкой нити. М.: Наука, 1980. - 240с.

58. Микроданные обследования бюджетов домашних хозяйств / Федеральная служба государственной статистики. Режим доступа: http://www.micro-data.ru/obdh/obdhmicr/Main.htm. - 24.08.11.

59. Митропольский А.К. Техника статистических вычислений. М.Наука, 1971-576с.

60. Мудров В.И., Кушко В.Л. Метод наименьших модулей. М.: Знание, 1971. -61 с.

61. Надарая Э.А. О непараметрических оценках плотности вероятности и регрессии // Теория вероятностей и ее приложения. М.: Наука, 1965. Том X, вып.1. - С. 199-203.

62. Надарая Э.А. Об оценке регрессии // Теория вероятностей и ее приложения. М.: Наука, 1964. Том IX, вып.1. - С. 157-159.

63. Наследов А.Д. SPSS 19. Профессиональный статистический анализ данных,- СПб.: Питер, 2011.- 400с.

64. Новые идеи в планировании эксперимента. Под ред. Налимова В.В. -М.:Наука, 1969,-334с.67.0ппенгейм A.B., Шафер Р.В. Цифровая обработка сигналов. -М.: Связь, 1979.-416С.

65. Организационно-методологические основы обследования бюджетов домашних хозяйств в системе государственной статистики // Вопросы статистики. 1999. - №8. - С. 49-53.

66. Орлов А. И. Часто ли распределение результатов наблюдений является нормальным? // Заводская лаборатория. М.: 1991. - Т. 57. - № 7. - С.64-66.

67. Орлов А.И. Неустойчивость параметрических методов отбраковки резко выделяющихся наблюдений // Заводская лаборатория. 1992. Т. 58. - № 7. -С. 40-42.

68. Орлов А.И. Эконометрика: учебное пособие для ВУЗов. М.: Экзамен, 2002. - 575 с.

69. Панюков A.B. Тырсин А.Н. Взаимосвязь взвешенного и обобщенного вариантов метода наименьших модулей //Известия Челябинского научного центра. 2007,- Вып. 1(35). - С.6-11.

70. Пат. 2011614692. Программная система устойчивого и адаптивного оценивания параметров регрессионных моделей и планирования эксперимента /Денисов В.И., Тимофеев B.C., Хайленко Е.А., НГТУ -2011613035; заяв. 28.04.11; опуб. 15.06.11. 1 с.

71. Правила устройства электроустановок (все действующие разделы ПУЭ-6 и ПУЭ-7). Новосибирск: Сиб. универ. изд-во, 2009. - 853 с.

72. Пугачев B.C. Теория вероятностей и математическая статистика.- М.: Наука, 1979. -496с.

73. Рао С.Р. Линейные статистические методы и их применение. М., Наука, 1968. 548с.

74. Рудин У. Основы математического анализа. Спб.: Изд-во ЛАНЬ, 2004320 с.

75. Смоляк С.А., Титоренко Б.П. Устойчивые методы оценивания. М.: Статистика, 1980. - 208с.

76. Совершенствование методов и алгоритмов анализа сложных многофакторных объектов / А. Ю. Колесникова, Е. С. Морозова, В. С. Тимофеев, Е. А. Хайленко / НГТУ., каф. ТР., Новосибирск, 2009. 101 с. -Деп. в ВНТИЦ №ГР 02201150649.

77. Совершенствование методов и алгоритмов анализа сложных многофакторных объектов / В. С. Тимофеев, А. Ю. Колесникова, Е. С. Морозова, Е. А. Хайленко / НГТУ., каф. ТР., Новосибирск, 2010. -80с. Деп. в ВНТИЦ №ГР 2201156798.

78. Справочник по специальным функциям с формулами, графиками и таблицами / Под ред. Абрамовича М., Стигана И. -М.:Наука.- 1979. 832с.

79. Статистический анализ данных, моделирование и исследование вероятностных закономерностей. Компьютерный подход / Б. Ю. Лемешко, С. Б. Лемешко, С. Н. Постовалов, Е. В. Чимитова. Новосибирск : Изд-во НГТУ, 2011. - 888 с.

80. Суетин П.К. Классические ортогональные многочлены. Москва: Физматгиз, 1976. - 328 с.

81. Сычёва B.C. Исторический очерк бюджетных исследований в Западной Европе и США // Социологические исследования. 1998. - № 4. - С.48-56.

82. Тарасенко Ф.П. Непараметрическая статистика. Томск, 1976.

83. Таха Х.А. Введение в исследование операций. М.: Юнити-ДАНА, 2000. -389 с.

84. Тимофеев B.C. Оценивание параметров регрессионных зависимостей на основе характеристической функции. //Научн. вестник НГТУ. -Новосибирск: Изд-во СО РАН. 2010. - N2(39). -С.43-52.

85. Тимофеев B.C. Оценивание параметров регрессионных зависимостей с использованием кривых Пирсона. 4.1 //Научн. вестник НГТУ. -Новосибирск: Изд-во СО РАН. 2009. - N4(37). -С.57-66.

86. Тимофеев B.C. Оценивание параметров регрессионных зависимостей с использованием кривых Пирсона. 4.2. //Научн. вестник НГТУ. -Новосибирск: Изд-во СО РАН. 2010. - N1(38). -С.57-62.

87. Тимофеев B.C. Ядерные оценки плотности при идентификации уравнений регрессии. //Научн. вестник НГТУ. Новосибирск: Изд-во СО РАН. - 2010. - N3(40). -С.41-50.

88. Тимофеев B.C., Андрианова E.JI. Случайный поиск в задаче знакового оценивания параметров линейных регрессионных моделей. // «Актуальные проблемы электронного приборостроения-2000».-Новосибирск: изд-во НГТУ,2000.-Т.З.-С.83-85.

89. Тимофеев B.C., Вострецова Е.А. Использование алгоритмов планирования эксперимента в схеме LTS-оценивания //Научн. вестник НГТУ. -Новосибирск: Изд-во СО РАН. 2009. - N1(34). -С.95-106.

90. Тимофеев B.C., Вострецова Е.А. Устойчивое оценивание параметров регрессионных моделей с использованием идей метода наименьших квадратов //Научн. вестн. НГТУ. Новосибирск: Изд-во СО РАН.- 2007. -N2(27).-С.57-67.

91. Тимофеев B.C., Колесникова АЛО. Идентификация моделей зависимости спроса от дохода в рамках неоклассической теории. //Доклады академии наук высшей школы РФ. Новосибирск: Изд-во НГТУ.- 2009. -N2(13).-С.51-65.

92. Тимофеев B.C., Колесникова А.Ю. Исследование устойчивости в задачах оптимизации потребительского выбора. //Доклады академии наук высшей школы РФ. Новосибирск: Изд-во НГТУ.- 2010. -Nl(14).-C.47-61.

93. Тимофеев B.C., Колесникова А.Ю. Прогнозирование продаж предприятия розничной торговли // Экономика и математические методы. М.: Наука, 2009- Т.45, №3. - С.48-63.

94. Тимофеев B.C., Новоселова И.Г. Знаковый метод в задаче идентификации для стационарной дискретной динамической модели в пространстве состояний //Научн. вестн. НГТУ. Новосибирск: Изд-во СО РАН.- 2006. -N3(24).-С.35-46.

95. Тимофеев B.C., Фаддеенков A.B. Исследование критериев обнаружения гетероскедастичности в регрессионных моделях //Научн. вестн. НГТУ. -Новосибирск: Изд-во СО РАН,- 2007. -N4(29).-C.3-14.

96. Тимофеев B.C., Фаддеенков A.B., Щеколдин В.Ю. Исследование алгоритмов оценивания параметров модели со структурированной ошибкой с использованием знакового метода //Научн. вестн. НГТУ. Новосибирск: Изд-во СО РАН,- 2005. -N2(20).-C.71-84.

97. Тимофеев B.C., Фаддеенков A.B., Щеколдин В.Ю. Эконометрика. Учебник. Новосибирск: Изд-во НГТУ, 2009.- 346с.

98. Тимофеев B.C., Хайленко Е.А. Адаптивное оценивание параметров регрессионных моделей с использованием обобщенного лямбда -распределения // Доклады академии наук высшей школы РФ. -Новосибирск: Изд-во НГТУ,- 2010. -N2(15).-C.25-36.

99. Тимофеев B.C., Хайленко Е.А. Оптимальное планирование эксперимента для регрессионных моделей с обобщенным лямбда-распределением ошибок

100. Научн. вестник НГТУ. Новосибирск: Изд-во СО РАН. - 2011. - N1(42). -С. 27-37.

101. Тимофеев B.C., Шипкова О.Т. Исследование социально-экономической детерминации преступности в региональном разрезе // Вопросы статистики. М.:2006, N3.-С.56-61.

102. Тимофеев B.C., Щеколдин В.Ю. Об оценивании статистических характеристик при анализе многофакторных объектов //Научн. вести. НГТУ. Новосибирск: Изд-во СО РАН,- 2006. -N3(24).-C.47-58.

103. Уровень жизни населения Новосибирской области: статистический сборник / Территориальный орган Федеральной службы государственной статистики по Новосибирской области. Н., 2004. - 83 с.

104. Уровень жизни населения Новосибирской области: статистический сборник / Территориальный орган Федеральной службы государственной статистики по Новосибирской области. Н., 2007. - 83 с.

105. Уровень жизни населения Новосибирской области: статистический сборник / Территориальный орган Федеральной службы государственной статистики по Новосибирской области. Н., 2010. - 86 с.

106. Фаддеенков A.B. Исследование алгоритмов оценивания параметров и проверки статистических гипотез в моделях компонент дисперсии // Сб. научных трудов НГТУ. Новосибирск, 1999. №1 (14). - С. 148-156.

107. Федоров В.В. Теория оптимального эксперимента. М.: Наука, 1971. -312 с.

108. Формирование выборки / Данные обследований бюджетов домашних хозяйств. Режим доступа: http://www.micro-data.ru/obdh/obdhm09/IssWWW.exe/81§/2009%20год/02%20метаданные/01%20описание%20обследования/06%2 0формирование%20выборки.Ы:т. 26.08.11.

109. Халафян A.A. Statistica 6. Статистический анализ данных. М.: Бином, 2007.-512с.

110. Хампель Ф., Рончетти Э., Рауссеу П., Штаэль В. Робастность в статистике: подход на основе функций влияния. М.: Мир, 1989. 512с.

111. Хан Г., Шапиро С. Статистические модели в инженерных задачах. М.: Мир, 1969. - 396с.

112. Хардле В. Прикладная непараметрическая регрессия. М.: Мир, 1993.

113. Хеттманспергер, Томас П. Статистические выводы, основанные на рангах / Пер. с англ. Шмерлинга Д.С.-М.: Финансы и статистика, 1987. 333с.

114. Химмельблау Д. Прикладное нелинейное программирование. М.: Мир, 1975. - 534с.

115. Хыобер П. Робастность в статистике. М.: Мир, 1984. - 303 с.

116. Центральная база статистических данных. Режим доступа: http://www.gks.rU/dbscripts/Cbsd/DBInet.cgi#l. - 25.08.11.

117. Шаттелес Т. Современные эконометрические методы. М.: Статистика, 1975. -240с.

118. Шеффе Г. Дисперсионный анализ.- М.: Наука. Физматлит, 1997. 288 с.

119. Шметтерер Л. Введение в математическую статистику. М.: Наука, 1976. - 520с.

120. Шурыгин A.M. Прикладная статистика: робастность, оценивание, прогноз. М.: Финансы и статистика, 2000,- 224с.

121. Шютте Г.Г. Методология проведения обследования семейных бюджетов в Германии // Труд за рубежом. 1995. - №1. - С. 30-44.

122. Яшин A.B., Лотонов М.А. Выбор метода решения задачи идентификации законов распределения случайных погрешностей средств измерений // Измерительная техника. 2003. № 3. - С. 3-5.

123. Andrews D. F., Bickel P. J„ Hampel F. R., Huber P. J., Rogers W. H., Tukey J. W. Robust estimates of location: Survey and advances. Princeton University Press, Princeton, N.J., 1972. - 373 p.

124. Charlier, C.V.L. Researches into the Theory of Probability. Hakon Ohlsson, Lund. - 1906.

125. Chung-Ming Kuan. An introduction to quantile regression. Taiwan, 2007. -21p.

126. Davies P.L. Linear regression. Eindhoven, 2005. - 108 p.

127. Delwiche L.D. Slaughter S.J. The little SAS book. Cary, NC: SAS Institute Inc., 2003. - 337p.

128. Denisov V. I., Timofeev V.S. Study of the influence of the gross observation errors on the Fisher information matrix // //Journal of Applied and Industrial Mathematics. M.: MAHK HayKa/HHTepnepno/iHKa. - 2010, T4. - №1- C.35-42.

129. Dette H., Studden W.J. Theory of canonical moments and its applications in statistics, probability and analysis. John Wiley & Sons Inc. - New York, 1997. -330 p.

130. Elderton W.P. Frequency curves and correlation.- London, 1906.- 172p.

131. Feuerverger A., Mureika R.A. The emperical characteristic function and its applications //The annals of statistics. Vol.5, N.l, 1977. - P.88-97.

132. Grubel R. The length of the shorth. // Ann. Statist. 16 (№ 2), 1988. pp. 619628.

133. Hampel F.R., Rousseeuw P.J., Ronchetti E. The Change-of-variance curve and optimal redescending M-estimators. // J. Amer. Statist. Ass. 76 (1981) - p. 643648.

134. Hill T.W. On determining a distribution function known only by its moments and/or moment generating function. PhD dissertation. /Arizona state university.— 1969.— 174p.

135. Huber M., Rousseeuw P.J. Robust regression with both continuous and binary regressors. //Journal of statistical planning and inference.- 1997, N57,- P. 153163.

136. Karian Z.A., Dudewicz E.J. Fitting statistical distributions: the Generalized Lambda Distribution and Generalized Bootstrap methods. // New York, CRC Press LLC, 2000 435p.

137. Koenker R. G. Bassett. Regression Quantiles //Econometrica, Vol.46 Nol (1978).

138. Koutrouvelis I. A. Regression-type estimation of the parameters of stable laws // Journal of the American statistical association. Vol.75, N.372, 1980. - P.918-928.

139. Lakhany A., Mausser H. Estimation the parameters of the Generalized Lambda Distribution. // ALGO research quarterly, 2000 Vol.3, №3 - P.27-58.

140. Pagan A., Ullah A. Nonparametric econometrics. New York-1999.

141. Paulson A.S., Holcomb E.W., Leitch R.A. The estimation of parameters of the stable laws // Biometrica. N.62. - P. 163-170.

142. Press S.J. Estimation in univariate and multivariate stable distributions // Journal of the American statistical association. Vol.67, N.340, 1972. - P.842-846.

143. Rao C.R., J.Kleffe Estimation of variance components and applications., N.Y. 1988, 374p.

144. Rao C.R., Toutenburg H. Linear models: least squares and alternatives. New York.: Springer, 1999. 428p.

145. Rousseeuw P.J. Least median of squares regression. // J. Amer. Statist. Ass. -79 (1984)-p. 871-880.

146. Rousseeuw P.J. Robust regression, positive breakdown. Encyclopedia of statistical sciences: update vol.1. - New York: John Wiley, 1997. - P.481-495.

147. Rousseeuw P.J. Tutorial to robust statistics. // Journal of chemometrics, Vol.5. 1991.

148. Rousseeuw P.J., Leroy A.M. Robust regression and outlier detection NY.: John Wiley& Sons, 1987, - 334p.

149. Rousseeuw P.J., van Driessen K. Computing LTS regression for large data sets. // Dept. Mathematics, University of Antwerp, 1999. 21 p.

150. Rousseuw P.J., Leroy A.M. A robust scale estimator based on the shortest half. // Statistica Neerlandica, № 42 (nr. 2), 1988. pp. 103-116.

151. Russia Longitudinal Monitoring Survey of HSE UNC Carolina Population Center. - Режим доступа: http://www.cpc.unc.edu/projects/rlms-hse. -24.08.11.

152. Searle S.R. Linear models. 1971, 532p.

153. Shohat J.A., Tamarkin J.D. The problems of moments. American Mathematical Society. - Providence, Rhode Island, 1963.

154. Skibinski M. Extreme n-th moments for distributions on 0,1. and the inverse of a moment space map. // J. App. Probab. 1968. - vol. 5 - p. 693-701.

155. Szego G. Orthogonal polynomials. American Mathematical Society, 531 West 116 St. - New York, 1959. - 500 p.

156. Tukey J. W., McLaughlin D. H. Less vulnerable confidence and significanc procedures for location based on a single sample: Trimming/Winsorization. // Sankhya, Series A 25, 1963. pp. 331-352.

157. Wand M.P., Jones M.C. Kernel Smoothing. London.: Chapman&Hall, 1995. - 212p.

158. Wang H., Zidek J.V. Selecting likelihood weights by cross-validation. // The annals of Statistics. 2005. Vol.33, N2,- P.463-500.

159. Welling M. Robust higher order statistics // Proceedings of the Tenth International Workshop on Artificial Intelligence and Statistics (AISTATS 2005), Barbados, 2005. P.405-412.

160. Алгоритм проверки унимодальности распределения

161. Алгоритм составлен в полном соответствии со следующей теоремой унимодальности 141.

162. Алгоритм проверки унимодальности функции распределения. На входе необходимо иметь выборку х1,.,хы значений оцененной плотности.

163. Оценивание моды М исследуемого распределения случайной величины

164. Вычисление выборочных начальных моментов до четвертого порядка включительно

165. Проверка неравенства (П. 1.1).

166. Вычисление коэффициентов а, Ь, с, сі по соотношениям (П.І.З)-(П.І.б).

167. Определение корней гх,г2 и г3 кубического уравнения (П. 1.2).6. Проверка условий:а. Если все коэффициенты ненулевые: аФ 0, Ъф 0, с^О, ¿Ф 0:

168. Уравнение у-а-г3+Ь-г2 + с-г + сі имеет один действительный корень г{ (а остальные два комплексные).

169. Если при а> 0 выполняется гх<М, то конец алгоритма с результатом «Функция распределения унимодальна»;

170. Если при а < 0 выполняется гх>М , то конец алгоритма с результатом «Функция распределения унимодальна»;

171. Иначе конец алгоритма с результатом «Функция распределения неунимодальна»;й> 0.ті = —* = 1>2,3,4.1 ^

172. Уравнение у-а-гъ + Ь- г2 + с-г + й имеет три действительных корня г{,г2 и г3, причем обозначены они в соответствии с порядком возрастания гх<г2<гг.

173. Если при а > 0 выполняются условия гъ<М или г, < М < г2, то конец алгоритма с результатом «Функция распределения унимодальна»;

174. Если при а < О выполняются условия г{> М или г2<М<г3, токонец алгоритма с результатом «Функция распределения унимодальна»;

175. Иначе конец алгоритма с результатом «Функция распределения неунимодальна»;

176. Если ¿><0 и выполняется неравенство г{<М<г2, то конецалгоритма с результатом «Функция распределения унимодальна»;

177. Если Ь > 0 и выполняется неравенство г, > М или г2 < М , токонец алгоритма с результатом «Функция распределения унимодальна»;

178. Иначе конец алгоритма с результатом «Функция распределения неунимодальна»;ii. Уравнение у = Ь-г2 + с-г + сі имеет два комплексных корня г{,г2.

179. Если выполняется неравенство ¿>>0, то конец алгоритма с результатом «Функция распределения унимодальна»;

180. Иначе конец алгоритма с результатом «Функция распределения неунимодальна»;

181. Результаты вычисление фактических уровней значимости для тросов в{, в3, £),, 1)2, £)3, т

182. Фактически реализуемые уровни значимости для троса Ві1. Без фиксированной точки 1.S с LTS с ЬТБ с LTS с

183. Метод LTS LMS расстоянием робастным расстоянием расстоянием

184. Махаланобиса расстоянием Кука Велша-КухаtKp(*,N-m) 2.256 1.680 2.261 2.191 2.111 2.238ос -100% 2.421 9.316 2.390 2.860 3.493 2.5361. С фиксированной точкой 1кД,М-т) 2.254 1.740 2.261 2.194 2.111 2.235ос -100% 2.433 8.205 2.390 2.838 3.493 2.556