Разработка и исследование методов построения регрессионных моделей на основе алгоритма опорных векторов и его модификаций тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат технических наук Саутин, Александр Сергеевич

• Саутин, Александр Сергеевич
• кандидат технических наук
• 2010

Оглавление диссертации кандидат технических наук Саутин, Александр Сергеевич

Введение.

ГЛАВА 1. ПОСТАНОВКА ЗАДАЧ ИССЛЕДОВАНИЯ.

1.1. Задача построения математической модели явления.

1.2. Теория машинного обучения.

1.2.1. Машинное обучение и связанные с ним проблемы.

1.2.2. Принцип минимизации структурного риска.

1.3. Алгоритм опорных векторов как метод построения непараметрической регрессии.

1.3.1. Алгоритм опорных векторов.

1.3.2. Двойственная задача БУМ.

1.3.3. Вычисление параметра смещения Ь.

1.4. Разреженность решения.

1.5. Нелинейная регрессия на основе БУМ.

1.6. Обзор подходов к решению оптимизационной задачи.

1.7. Выбор гиперпараметров алгоритма ЭУМ.

1.8. Исторический обзор.

1.9. Выводы.

ГЛАВА 2. КОНСТРУИРОВАНИЕ ДВОЙСТВЕННОЙ ЗАДАЧИ БУМ С АДАПТИВНЫМИ ФУНКЦИЯМИ ПОТЕРЬ.

2.1. Построение квазиоптимальных функций потерь.

2.1.1. Функции потерь.

2.1.2. Функционал риска.

2.1.3. Метод максимального правдоподобия и модели плотностей.

2.2. Робастные функции потерь в условиях асимметричных засорений.

2.3. Конструирование двойственной задачи 8УМ.

2.2.1. Двойственная задача для классических функций потерь.

2.2.2. Двойственная задача для адаптивных функций потерь.

2.2.3. Решение двойственной задачи с динамическими ограничениями.

2.2.4. Альтернативный подход к построению двойственной задачи для адаптивной функции потерь.

2.4. Исследования.

2.5. Выводы.

ГЛАВА 3. КОНСТРУИРОВАНИЕ ДВОЙСТВЕННОЙ ЗАДАЧИ SVM С АСИММЕТРИЧНЫМИ ФУНКЦИЯМИ ПОТЕРЬ.

3.1. Скошенные распределения и их моделирование.

3.2. Конструирование квазиоптимальных функций потерь на основе линейно-квадратичных аппроксимаций для использования их в SVM.

3.3. Конструирование двойственной задачи для случая асимметричных функций потерь в SVM.

3.4. Исследования.^.

3.5. Оценка параметра скошенности распределения.

3.6. Квантильная регрессия на основе SVM.

3.7. Построение доверительных интервалов.

3.8. Оценка неизвестной дисперсии ошибок наблюдений.

3.9. Выводы.

ГЛАВА 4. ПОСТРОЕНИЕ РАЗРЕЖЕННЫХ РЕШЕНИЙ.

4.1. Задача построения компактной модели регрессии.

4.2. Функция 8-нечувствительности Вапника и разреженные решения.

4.3. Использование адаптивных функций потерь для получения разреженных решений.

4.4. Метод «решето» Лапласа.;.

4.5. Двухшаговый метод аппроксимации.

4.6. Разреженность в условиях гетероскедастичности ошибок наблюдений

4.7. Исследования.

4.8. Выводы.

ГЛАВА 5. ПРИМЕНЕНИЕ SVM В ЗАДАЧАХ ПОСТРОЕНИЯ ЗАВИСИМОСТЕЙ.

5.1. Построение параметрических моделей на основе SVM.

5.2. Построение полупараметрических моделей на основе SVM.

5.3. Построение регрессии в условиях гетероскедастичности ошибок наблюдений.

5.4. Построение регрессии в условиях мультиколлинеарности данных.

5.5. Построение регрессии в условиях автокорреляции ошибок наблюдений.

5.6. Выбор параметров алгоритма SVM.

5.7. Применение метода SVM в прикладных задачах.

5.7.1. Анализ экспериментальных данных химического производства

5.7.2. Анализ выборки «LIDAR».

5.7.3. Анализ выборки «Motorcycle».

5.7.4. Анализ выборки «Boston Housing».

5.8. Выводы.

Введение диссертации (часть автореферата) на тему «Разработка и исследование методов построения регрессионных моделей на основе алгоритма опорных векторов и его модификаций»

Современное состояние и актуальность темы исследований. Одной из важнейших задач, стоящих перед современной наукой, является моделирование сложных систем на основе наблюдения их взаимодействия с окружающим миром. Моделирование необходимо для того, чтобы выбрать структуру и параметры модели сложного объекта (задача идентификации) и определить соответствующие средства активного воздействия на него (задача управления) или, если мы не располагаем такими средствами в полной мере, чтобы узнать, что можно ожидать от объекта в будущем (задача прогнозирования или экстраполяции).

Задача восстановления зависимости по эмпирическим данным была и, вероятно, всегда будет одной из главных в прикладном анализе. Эта задача является математической интерпретацией одной из основных проблем естествознания: как найти существующую закономерность по разрозненным фактам.

В наиболее простой постановке проблема построения регрессионной модели состоит в восстановлении функции по ее значениям в некоторых точках. Существуют различные варианты конкретизации постановки этой задачи. Они основаны на разных моделях измерения с ошибками. Однако каковы бы ни были эти модели, изучение этой задачи приводит к утверждению следующего классического принципа восстановления функциональных зависимостей по эмпирическим данным: следует из допустимого множества функций выбирать такую, которая наилучшим образом описывает совокупность имеющихся эмпирических данных.

Этот принцип является достаточно общим. Он оставляет свободу в толковании того, что является мерой качества приближения функции к совокупности эмпирических данных. Возможны различные определения меры, такие, например, как величина среднеквадратичного отклонения значений функции, величина среднего отклонения, величина наибольшего отклонения и т.д. Каждое определение меры порождает свой метод восстановления зависимости (метод наименьших квадратов, наименьших модулей и т.д.). Однако во всех случаях принцип отыскания решения - поиск функции, наилучшим образом описывающей эмпирические данные, - остается неизменным.

В более общей постановке проблема восстановления зависимости приводит к задаче подбора модели оптимальной сложности. Изначально данная задача была как бы внешней и не встраивалась сразу в одну общую задачу. Примером нового подхода является подход по самоорганизации моделей, в свое время развитый школой А. Г. Ивахненко [17], а впоследствии и А. А. Поповым [23, 24], принесшим в него идеи оптимального планирования эксперимента, в частности, разбиения выборки на обучающую и проверочную, в целом - идею активной структурной идентификации. Пожалуй, одним из первых подходов, когда организуется одна общая задача, в параметрическом случае является метод LASSO, предложенный Р. Тибширани [101]. В непараметрическом случае одним из подходов является алгоритм опорных векторов (Support Vector Machines - SVM).

SVM является одним из сравнительно новых и многообещающих методов для построения регрессионных моделей и классификации данных. SVM - это оформившийся к 1990-м годам результат работ В. Н. Вапника [8, 9] и

A. Я. Червоненкиса, начатых в 70-е годы прошлого столетия. Данный метод основан на теории статистического обучения [104]. Изначально SVM был использован для решения задачи классификации данных. Позже, в 1996 году

B. Вапником, X. Драккером, К. Берджесом, Л. Кауфман и А. Смолой была предложена модификация SVM применительно к задаче построения регрессионных моделей [59]. Метод SVM активно развивался в последующие годы такими учеными как А. Смола, Дж. Сайкенс, К. Кортес, Т. Джоагимс и др.

За небольшой промежуток времени алгоритм опорных векторов был использован для решения задач классификации данных и восстановления зависимостей во многих областях. Особенно успешным его применение было в таких областях как распознавание лиц [81], категоризация текстов [72], построение регрессионных моделей [59, 88, 94, 51], предсказание временных рядов [80] и распознавание рукописных символов [89]. Достаточно подробный анализ алгоритма опорных векторов можно найти в [53, 88, 104].

При построении регрессионных моделей изначально в БУМ использовалась функция потерь Вапника, которая представляет собой расширение функции потерь Лапласа путем добавления зоны нечувствительности. В последствии Дж. Сайкенсом было предложено расширение БУМ, где использовалась квадратичная функция потерь (Гаусса) [98]. Данная модификация БУМ получила название иЗ-БУМ. Подробное исследование ЬЭ-ЭУМ в - задаче построения регрессионных моделей было проведено Дж. Брабантером [51]. Исследования ЬБ-ЭУМ в условиях автокорреляции ошибок наблюдений проводились М. Эспинозой, Дж. Сайкенсом и Б. Де Муром [62]. Подробные исследования аппарата ядерных функций [4], который позволил расширить применение 8УМ для восстановления нелинейных зависимостей, проводились А. Смолой, Б. Шелкопфом и К. Берджесом [88]. Также в этой области исследований активно работали Н. Кристианини, Дж. Шов-Тейлор [58] и др.

В подавляющем большинстве публикаций, посвященных построению регрессионных моделей с использованием 8 УМ, проводятся исследования лишь с использованием функций потерь Лапласа или Гаусса. Однако на практике встречается необходимость использования и других функций потерь, что связано с тем, что распределения ошибок наблюдений могут существенно отличаться от нормального. Более того,, возможны случаи и асимметричных распределений ошибок наблюдений, а, как известно, даже функция потерь Лапласа не обеспечивает робастности в таких условиях [13]. К тому же могут иметь место осложняющие факторы, такие как, явление мультиколлинеарности данных, гетероскедастичности и автокорреляции ошибок наблюдений.

В связи с тем, что БУМ сравнительно недавно разработанный метод, остается целый ряд вопросов его применения в задаче построения регрессии. Этот ряд вопросов включает в себя использование 8УМ при различных моделях ошибок наблюдений, в условиях мультиколлинеарности данных, при нарушении предположений о независимости и постоянстве дисперсии ошибок наблюдений. Исследование перечисленных вопросов нашло свое отражение в данной диссертационной работе. Поднятые в ней вопросы разработки и исследования модификаций 8УМ для применения в условиях нарушения предположений классического регрессионного анализа (независимости и нормальности ошибок наблюдений) представляются весьма актуальными. Цель и задачи исследований. Основной целью диссертационной работы является дальнейшее развитие, на основе использования компьютерного моделирования, БУМ в задачах построения регрессионных моделей, и разработка его модификаций для более адекватного описания реальной ситуации.

Для достижения поставленной цели предусмотрено решение следующих задач:

- исследование возможностей использования БУМ при построении регрессионных моделей в условиях наличия сильных выбросов в данных;

- разработка модификаций БУМ для учета асимметричности ошибок наблюдений;

- разработка методов построения разреженных решений на основе БУМ;

- исследование БУМ в условиях мультиколлинеарности данных;

- построение модификаций БУМ, направленных на возможность учета гетероскедастичности и автокорреляции ошибок наблюдений;

- разработка на основе БУМ методов для построения квантильной регрессии и оценок неизвестной дисперсии ошибок наблюдений;

- разработка эффективных методов выбора гиперпараметров БУМ. Методы исследования. Для решения поставленных задач использовался аппарат теории вероятностей, математической статистики, вычислительной математики, математического программирования, статистического моделирования.

Научная новизна диссертационной работы заключается в:

- формулировках двойственных задач 8УМ для применения данного метода в условиях наличия сильных выбросов в данных и асимметричного засорения;

- результатах исследования БУМ при асимметричных распределениях ошибок наблюдений и обобщении модификации БУМ для построения квантильной регрессии на случай произвольной функции потерь;

- модификациях БУМ для: получения разреженных решений, учета эффекта гетероскедастичности и автокорреляции ошибок наблюдений;

- результатах численных исследований предложенных методов с использованием технологии статистического моделирования.

Основные положения, выносимые на защиту.

1. Формулировки двойственных задач БУМ при использовании адаптивных функций потерь и алгоритмы их решения.

2. Результаты исследования БУМ в условиях асимметричных распределений ошибок наблюдений.

3. Расширение возможностей БУМ при построении разреженных решений за счет использования адаптивных функций потерь.

4. Результаты исследования возможности использования БУМ в условиях мультиколлинеарности данных, гетероскедастичности и автокорреляции ошибок наблюдений, а также при построении параметрических и полупараметрических моделей.

5. Результаты исследования возможности использования квантильного варианта БУМ для построения доверительных интервалов и оценки неизвестной дисперсии.

Обоснованность и достоверность научных положений, выводов и рекомендаций обеспечивается:

- корректным применением аналитического аппарата математического анализа, теории вероятностей и математической статистики для исследования свойств построенных моделей;

- подтверждением аналитических выводов и рекомендаций результатами статистического моделирования.

Личный творческий вклад автора заключается в проведении исследований, обосновывающих основные положения, выносимые на защиту. Практическая ценность результатов:

- разработанные модификации БУМ позволяют строить регрессионные модели в условиях иаличия выбросов в данных и асимметричных распределений ошибок наблюдений;

- предложенные методы на основе адаптивных функций потерь позволяют получать разреженные модели при использовании 8УМ на выборках данных большого объема;

- проведенные исследования позволяют корректно использовать 8УМ в условиях мультиколлинеарности данных, а также в условиях гетероскедастичности и автокорреляции ошибок наблюдений;

- созданное программное обеспечение позволяет эффективно строить регрессионные модели, применяя разработанные подходы;

Апробация работы. Основные результаты исследований, проведенных автором, докладывались и обсуждались на Российской НТК «Информатика и проблемы телекоммуникаций» (Новосибирск, 2008 и 2010); Всероссийской конференции студентов, аспирантов и молодых ученых «Молодежь и современные информационные технологии» (Томск, 2008); Третьем международном форуме по стратегическим технологиям ПЮБТ (Новосибирск, 2008); Четвертом международном форуме по стратегическим технологиям ¡БОБТ (Хошимин, 2009); IX международной конференции «Актуальные проблемы электронного приборостроения АПЭП12008» (Новосибирск, 2008). Публикации. Основные научные результаты диссертации опубликованы в 11 печатных работах, из которых 2 - в журналах, рекомендованных ВАК, одна - в докладах АН ВШ РФ, 5 - в сборниках научных работ, 3 - в материалах конференций.

Структура работы. Диссертация состоит из введения, пяти глав, заключения, списка использованных источников (106 наименований) и двух приложений. Общий объем диссертации составляет 177 страниц, включая 21 таблицу и 58 рисунков.

Заключение диссертации по теме «Теоретические основы информатики», Саутин, Александр Сергеевич

5.8. Выводы

Основные полученные результаты:

1. Проведены исследования возможности использования SVM для построения параметрических и полупараметрических моделей

2. Предложены модификации SVM для учета эффекта гетероскедастичности ошибок наблюдений.

3. Предложены поправки для SVM при построении моделей в условиях автокорреляции ошибок наблюдений.

4. Проведены исследования использования SVM в условиях мультикол-линеарности данных, которые показали его достаточно низкую чувствительность к эффекту мультиколлинеарности.

5. Предложено использование оценки степени гладкости решения в качестве дополнительного критерия оценки качества модели в SVM.

6. Проведены исследования предложенных модификаций SVM на прикладных задачах, которые показали высокую эффективность предложенных модификаций в «осложненных» условиях.

155

ЗАКЛЮЧЕНИЕ

В соответствии с поставленными целями исследований получены следующие основные результаты:

1. Для решения задачи устойчивого оценивания модели регрессии по технологии БУМ в условиях зашумленных данных с помехой, имеющей распределение с «тяжелыми хвостами» или имеющей асимметричное засорение, предложено использование адаптивных функций потерь. Сформулирована двойственная задача для этого случая и реализована итерационная схема решения задачи квадратичного программирования с динамическими ограничениями.

2. Для построения регрессионных моделей в условиях, когда ошибки наблюдений имеют асимметричное распределение, предложено использование асимметричных функций потерь в методе БУМ. Сформулирована прямая и двойственная задачи для этого случая.

3. Обобщен метод квантильной регрессии на основе БУМ на случай произвольной функции потерь. На его основе предложен метод построения доверительных интервалов для отклика, а также непараметрический метод оценки неизвестной дисперсии ошибок наблюдений.

4. Для построения компактной модели регрессии в условиях работы с выборками большого объема разработаны алгоритмы построения разреженных решений в БУМ. Показана их эффективность в сравнении с классическим методом построения разреженных решений на основе функции нечувствительности Вапника. Предложена модификация БУМ, позволяющая строить разреженные решения в условиях гетероскедастичности ошибок наблюдений.

5. Проведено экспериментальное исследование возможности построения регрессионных моделей с использованием БУМ в условиях мультиколлинеар-ности данных, автокорреляции и гетероскедастичности ошибок наблюдений. Предложены модификации БУМ для учета гетероскедастичности и автокорреляции ошибок наблюдений. Для предложенных модификаций сформулированы прямые и двойственные задачи SVM. 6. Разработана программная система для построения регрессионных моделей с использованием SVM. Разработанное программное обеспечение используется при проведении научных исследований.

Список литературы диссертационного исследования кандидат технических наук Саутин, Александр Сергеевич, 2010 год

1. Айвазян С. А. Прикладная статистика: основы моделирования и первичной обработки данных / С. А. Айвазян, И. С. Енюков, Л. Д. Мешалкин. -М. : Финансы и статистика, 1983. 472 с.

2. Айвазян С. А. Прикладная статистика: Исследование зависимостей / С. А. Айвазян, И. С. Енюков, Л. Д. Мешалкин. М. : Финансы и статистика, 1985.-487 с.

3. Айвазян С. А. Прикладная статистика: Классификация и снижение размерности / С. А. Айвазян, В. М. Бухштабер, И. С. Енюков, Л. Д. Мешалкин. М. : Финансы и статистика, 1989. - 607 с.

4. Айзерман М. А. Метод потенциальных функций в теории обучения машин / М. А. Айзерман, Э. М. Браверманн, Л. И. Розоноэр. М. : Наука. -1970.-384 с.

5. Базара М. Нелинейное программирование. Теория и алгоритмы / М. Базара, К. Шетти. М. : Мир, 1982. - 583 с.

6. Болдин М. В. Знаковый статистический анализ линейных моделей / Бол-дин М. В., Симонова Г. И., Тюрин Ю. Н. М. : Наука, 1997. - 208 с.

7. Боровков А. А. Математическая статистика. -М. : Наука, 1984. 472 с.

8. Вапник В. Н. Теория распознавания образов (статистические проблемы обучения) / В. Н. Вапник, А. Я. Червоненкис. М. : Наука, 1974. - 416 с.

9. Вапник В. Н. Восстановление зависимостей по эмпирическим данным / В. Н. Вапник. М. : Наука, 1979. - 447 с.

10. Гантмахер Ф. Р. Теория матриц / Ф. Р. Гантмахер. М. : Наука, 1988. -522 с.

11. Демиденко Е. 3. Линейная и нелинейная регрессии / Е. 3. Демиденко. -М. : Финансы и статистика, 1981. 302 с.

12. Демиденко Е. 3. Оптимизация и регрессия / Е. 3. Демиденко. М. : Наука, 1989.-296 с.

13. Денисов В. И. Методы построения многофакторных моделей по неоднородным, негауссовским, зависимым наблюдениям / В. И. Денисов, Д. В. Лисицин. — Новосибирск: Изд-во НГТУ. 2008. - 360 с.

14. Денисов В. И. Знаковый метод: преимущества, проблемы, алгоритмы /

15. B. И. Денисов, В. С. Тимофеев // Научн. вестн. НГТУ. 2001. - № 1(10).1. C. 21-35.

16. Денисов В. И. Построение алгоритмов оценивания параметров уравнения квантильной регрессии / В. И. Денисов, В. С. Тимофеев // Научн. вестн. НГТУ. 2009. - № 2(34). - С. 13-22.

17. Джонстон Дж. Эконометрические методы / Дж. Джонстон. М. : Статистика. - 1980.-444 с.

18. Ивахненко А. Г. Помехоустойчивость моделирования / А. Г. Ивахненко, В. С. Степашко. — Киев: Наукова думка, 1985. 216 с.

19. Ивченко Г. И. Математическая статистика / Г. И. Ивченко, Ю.И. Медведев. -М. : Высшая школа, 1984. 248 с.

20. Леман Э. Теория точечного оценивания / Э. Леман. М. : Наука, 1991. -444 с.

21. Медик В. А. Математическая статистика в медицине: учеб. пособие / В. А. Медик, М. С. Токмачев. М. : Финансы и статистика, 2007. - 800 с.

22. Мудров В. И. Методы обработки измерений: Квазиправдоподобные оценки / В. И. Мудров, В. Л. Кушко. М. : Радио и связь, 1983. - 304 с.

23. Орлов А. И. Часто ли распределение результатов наблюдений является нормальным? / А. И. Орлов // Заводская лаборатория. 1991. - Т. 57. -№ 7. - С. 64-66.

24. Попов А. А. Планирование эксперимента в задачах структурного моделирования с использованием критерия скользящего прогноза / А. А. Попов // Заводская лаборатория. 1996. - № 10. - С. 42-44.

25. Попов A.A. Разбиение выборки для внешних критериев селекции моделей с использованием методов планирования эксперимента / А. А. Попов // Заводская лаборатория. — 1997. № 1. - С. 49-53.

26. Попов А. А. Использование оценок степени гладкости функции при построении регрессии на основе метода опорных векторов / А. А. Попов, А. С. Саутин // Молодежь и современные информационные технологии : сб. тр. Томск, 2008. - С. 149-150.

27. Попов А. А. Сравнение методов выбора параметров алгоритма опорных векторов в задаче построения регрессии / А. А. Попов, А. С. Саутин // Информатика и проблема телекоммуникаций: материалы российской на-уч.-технич. конф. Новосибирск, 2008. - С. 74-77.

28. Попов А. А. Определение параметров алгоритма опорных векторов при решении задачи построения регрессии / А. А. Попов, А. С. Саутин // Сб. научн. тр. НГТУ. Новосибирск, 2008. - С. 35-40.

29. Попов А. А. Построение регрессии по методу опорных векторов с ошибками наблюдений, имеющими асимметричное распределение / А. А. Попов, А. С. Саутин // Доклады АН ВШ РФ. Новосибирск, 2009. - С. 117126.

30. Попов А. А. Использование робастных функций потерь в алгоритме опорных векторов при решении задачи построения регрессии / А. А. Попов, А. С. Саутин // Научн. вестн. НГТУ. 2009. - № 4(37). - С. 45-56.

31. Попов А. А. Построение разреженных решений при использовании алгоритма опорных векторов в задаче восстановления зависимости / А. А. Попов, А. С. Саутин // Научн. вестн. НГТУ. 2010. - № 2(39). - С. 31-42.

32. Робастность в статистике: подход на основе функций влияния / Ф. Хам-пель, Э. Рончетти, П. Рауссеу, В. Штаэль. М. : Мир, 1989. - 512 с.

33. Самарский А. А. Численные методы: Учеб. пособие для вузов / А. А. Самарский, А. В. Гулин. М. : Наука. - 1989. - 432 с.

34. Саутин А. С. К вопросу о смещении решения в задаче построения регрессии с использованием алгоритма опорных векторов / А. С. Саутин // Современные информационные технологии : сб. статей. Пенза, 2008. — С. 122-125.

35. Смоляк С. А. Устойчивые методы оценивания: Статистическая обработка неоднородных совокупностей / С. А. Смоляк, Б. П. Титаренко. М. : Ста-титика, 1980.-208 с.

36. Тихонов А. Н. Методы решения некорректных задач / А. Н. Тихонов, В. Я. Арсенин. М. : Наука, 1979. - 285 с.

37. Хардле В. Прикладная непараметрическая регрессия / В. Хардле. М. : Мир, 1993.-349 с.

38. Хеттманспергер Т. П. Статистические выводы, основанные на рангах / Т. П. Хеттманспергер. -М. : Финансы и статистика, 1987. 333 с.

39. Хьюбер П. Робастность в статистике / П. Хьюбер. М. : Мир, 1984. -303 с.

40. Цой Е. Б. Моделирование и управление в экономике (часть 1). Курс лекций / Е. Б. Цой, И. В. Самочернов. Новосибирск: Изд-во НГТУ. - 2003. -104 с.

41. Цыпкин Я. 3. Основы информационной теории, идентификации / Я. 3. Цыпкин. М. : Наука, 1984. - 320 с.

42. Шурыгин A.M. Прикладная стохастика: робастность, оценивание, прогноз / А. М. Шурыгин. -М. : Финансы и статистика, 2000. 224 с.

43. Aas К. Risk Estimation using the Multivariate Normal Inverse Gaussian Distribution / K. Aas, I. Haff, X. Dimakos // Journal of Risk. 2006. - Vol. 8. - N 2. -P. 39-60.

44. Akaike H. A new look at the statistical model identification / H. Akaike // IEEE Transactions on Automatic Control. 1974. - Vol. 19. - P. 716-723.

45. Andrews D. F. A robust estimation for location: survey and advances / D. F. Andrews, P. J. Bickel, F. R. Hampel, P. J. Huber, W. H. Rodger, J. W. Tukey. N. J. : Princeton univ. press. - 1972. - 373 pp.

46. Azzalini A. A class of distributions which includes the normal ones / A. Azza-lini // Scand. J. Statist. 1985. -N 12. - P. 171-178.

47. Bassett G. Regression Quantiles / G. Bassett, R. Koenker // Econometrica. -1978. Vol. 46. -N 1. - P. 33-50.

48. Boser B. A training algorithm for optimal margin classifiers / B. Boser, I. Guyon, V. Vapnik // 5th Annual ACM Workshop on COLT. 1992. - P. 144-152.

49. Bottou L. Large-scale kernel machines / L. Bottou, O. Chapelle, D. Decoste -Cambridge : MIT Press. 2007. - 416 pp.

50. Brabanter J. LS-SVM Regression Modelling and its Applications: PhD thesis / J. Brabanter. Leuven: K.U. Leuven. - 2004. - 243 pp.

51. Brown L. D. Variance estimation in nonparametric regression via the difference sequence method / L. D. Brown, M. Levine. // Ann. Statist. 2007. - Vol. 35. -N5.-P. 2219-2232.

52. Burges C. A Tutorial on Support Vector Machines for Pattern Recognition / C. Burges // Data Mining and Knowledge Discovery. 1998. - Vol. 2. - N 2. -P. 121-167.

53. Catanzaro B. Fast Support Vector Machine Training and Classification on Graphics Processors / B. Catanzaro, N. Sundaram, K. Keutzer // International Conference on Machine Learning. 2008. - Vol. 307. - P. 104-111.

54. Chapados N. Estimating Car Insurance Premia: a Case Study in High-Dimensional Data / N. Chapados, Y. Bengio, P. Vincent // Advances in Neural Information Processing Systems. 2001. - Vol. 2. - P. 1369-1376.

55. Cherkassky V. Practical selection of SVM parameters and noise estimation for SVM regression / V. Cherkassky, Y. Ma. // Neural Networks. 2004. - N 17. -P.113-126.

56. Christoffersen P. Further Results on Forecasting and Model Selection under Asymmetric Loss / P. Christoffersen, F. Diebold // J. of Applied Econometrics. 1996. - N 11. - P. 561-572.

57. Cristianini N. An Introduction to Support Vector Machines and other kernelbased learning methods / N. Cristianini, J. Shawe-Taylor. Cambridge univ. press.-2000.- 189 pp.

58. Drucker H. Support Vector Regression Machines / H. Drucker, C. Burges, L. Kaufman, A. Smola, V. Vapnik // Advances in Neural Information Processing Systems. 1996.-N 9.-P. 155-161.

59. Efron B. The jackknife, the bootstrap, and other resampling plans / B. Efron // Society of Industrial and Applied Mathematics. 1982. - N 38. - 92 pp.

60. Efron B. An Introduction to the Bootstrap / B. Efron, R. J. Tibshirani. N.Y. : Chapman and Hall. - 1994. - 456 pp.

61. Espinoza M. LS-SVM Regression with Autocorrelated Errors / M. Espinoza, J. Suykens, B. De Moor // Proc. of the 14th IF AC Symposium on System Identification (SYSID). 2006. - Vol. 15. - P. 582-587.

62. Fan R. E. Working set selection using second order information for training SVM / R. E. Fan, P. H. Chen, C. J. Lin // Journal of Machine Learning Research.-2005.-N 6.-P. 1889-1918.

63. Ferris M. Interior-point methods for massive support vector machines / M. Ferris, T. Munson // SLAM Journal on Optimization. 2002. - Vol. 13. - P. 783804.

64. Fletcher R. Practical Methods of Optimization / Fletcher R. Fletcher . N.Y.: John Wiley. - 2000. - 450 pp.

65. Gestel T. V. Volatility Tube Support Vector Machines / T. V. Gestel, J. Suykens, B. D. Moor, D. E. Baestaens // Neural Network World. 1999. -Vol. 10.-P. 287-297.

66. Graf H. P. Parallel support vector machines: the Cascade SVM / H. P. Graf, E. Cosatto, L. Bottou, I. Dourdanovic, V. N. Vapnik // Advances in Neural Information Processing Systems. MIT Press. - 2005. - Vol. 17. - P. 521-528.

67. Harrison D. Hedonic prices and the demand for clean air / D. Harrison, D. L. Rubinfeld // J. Environ. Economics & Management. 1978. - Vol. 5. - P. 81102.

68. Hastie T. The elements of statistical learning / T. Hastie, R. Tibshirani, J. Friedman. N.Y.: Springer. - 2001. - 560 pp.

69. Huang C. M. Model selection for support vector machines via uniform design / C. M. Huang, Y. J. Lee. // Computational Statistics & Data Analysis. 2007. -N52.-P. 335-346.

70. Joachims T. Making large-scale SVM learning practical / T. Joachims // Advances in Kernel Methods: Support Vector Learning. Cambridge : MIT Press. - 1998.-P. 169-184.

71. Joachims Т. Text categorization with support vector machines: learning with many relevant features / T. Joachims // 10th European Conference on Machine Learning. 1998. - P. 137-142.

72. Juli'a O. A microbiology application of the skew-Laplace distribution / O. Juli'a, J. Vives-Rego // Statistics & Operations Research Transactions. -2008.-N32(2).-P. 141-150.

73. Knight J., Linear factor models in finance / J. Knight, S. Satchell. Oxford: Butterworth-Heinemann. - 2005. - 282 pp.

74. Koenker R. Quantile Regression / R. Koenker. N.Y. : Cambridge univ. press. -2005.-370 pp.

75. LIBSVM: a library for support vector machines Электронный ресурс. Режим доступа: http://www.csie.ntu.edu.tw/~cjlin/libsvm.

76. Lin С. J. Asymptotic convergence of an SMO algorithm without any assumptions / C. J. Lin // Neural Networks. 2002. - Vol. 13, iss. 1. - P. 248-250.

77. Mercer J. Functions of positive and negative type and their connection with the theory of integral equations / J. Mercer // Philosophical Transactions of the Royal Society. 1909. - P. 415-446.

78. Meshalkin L. D. Some mathematical methods for the study of non-communicable diseases / L. D. Meshalkin // 6-th Intern. Meeting of Uses of Epidemiol. in Plannning Health Services. Yugoslavia, Primosten. 1971. -Vol. l.-P 250-256.

79. Muller K. R. Predicting time series with support vector machines / K. R. Muller, A. Smola, G. Ratsch, B.Scholkopf, J. Kohlmorgen, V. Vapnik // Advances in Kernel Methods Support Vector Learning. - MIT Press. - 1999. - P. 243254.

80. Osuna E. Training support vector machines: An application to face detection / E. Osuna, R. Freund, F. Girosi // IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 1997. - P. 130-136.

81. Osuna E. An improved training algorithm for support vector machines / E. Osuna, R. Freund, F. Girosi // IEEE Workshop. 1997. - P. 276-285.

82. Pfanzagl J. On measurability and consistency of minimum contrast estimates / J. Pfanzagl // Metrica. 1969. - Vol. 14. - N 1. - P. 249-272.

83. Platt J. C. Fast training of support vector machines using sequential minimal optimization / J. C. Piatt // Advances in Kernel Methods. MIT Press, 1999. -P. 185-208.

84. Popov A. A. Selection of support vector machines parameters for regression using nested grids / A. A. Popov, A. S. Sautin // The Third International Forum on Strategic Technology. Novosibirsk, 2008. - P. 329-331.

85. Popov A. A. Adaptive Huber Loss Function in Support Vector Regression / A. A. Popov, A. S. Sautin // The fourth international forum on strategic technology. Hochiminh, Vietnam, 2009. - P. 114-118.

86. Ruppert D. Local polynomial regression and its applications in environmental statistics / D. Ruppert // Statistics for the Environment. Chichester: Wiley. -1997.-Vol.3.-P. 155-173.

87. Schölkopf B. Learning with kernels / B. Schölkopf, A. Smola. Cambridge: MIT Press, 2002. - 632 pp.

88. Schölkopf B. Extracting support data for a given task / B. Schölkopf, C. Burges, V. Vapnik // First International Conference on Knowledge Discovery & Data Mining. AAAI Press. - 1995. - P. 252-257.

89. Schölkopf B. Shrinking the Tube: A New Support Vector Regression Algorithm / B. Schölkopf, P. Bartlett, A. Smola, R. Williamson // Advances in Neural Information Processing Systems. MIT Press. - 1999. - Vol. 11. - P. 330-336.

90. Schölkopf B. New support vector algorithms / B. Schölkopf, A. J. Smola, R. C. Williamson, P. L. Bartlett // Neural Computation. 2000. - Vol. 12, iss. 5.-P. 1207-1245.

91. Sigrist M. Air Monitoring by Spectroscopic Techniques / M. Sigrist. N.Y.: Wiley. - 1994.-560 pp.

92. Silverman B. W. Some aspects of the spline smoothing approach to non-parametric regression curve fitting / B. W. Silverman // Journal of the Royal Statistical Society. 1985. - Vol. 47. - N 1. - P. 1-52.

93. Smola A. Regression Estimation with Support Vector Learning Machines: Master's thesis / A. Smola. Technische Universität München. - 1996. -78 pp.

94. Smola A. Learning with kernels: PhD Thesis in Computer Science / A. Smola.- Technische Universität Berlin. 1998. - 210 pp.

95. Smola A. A Tutorial on Support Vector Regression / A. Smola // Statistics and Computing. -2004. -N 14. P. 199-222.

96. Steinwart I. Support Vector Machines / I. Steinwart, A. Christmann. N.Y.: Springer-Verlag. - 2008. - 602 pp.

97. Suykens J. A. Least squares support vector machine classifiers / J. A. Suykens, J. Vandewalle // Neural Processing Letters. 1999. - Vol. 9. - N 12. - P. 293300.

98. Suykens J. Sparse approximation using lease squares support vector machines / J. Suykens, L. Lukas, J. Vandewalle // IEEE International Symposium on Circuits and Systems ISCAS. 2000. - P. 757-760.

99. Taylor J. S. Kernel Methods for Pattern Analysis / J. S. Taylor, N. Cristianini. -N.Y. : Cambridge univ. press. 2004. - 462 pp.

100. Tibshirani R. Regression Shrinkage and Selection Via the Lasso / R. Tibshirani // J. of the Royal Statistical Society, ser. B. 1994. - Vol. 58. - P. 267-288.

101. Tukey J. W. A survey of sampling from contaminated distribution / J. W. Tukey // Contribution to Probability and Statistics. — Stanford: Stanford univ. press. 1960. - P. 448-485.

102. Vapnik V. Estimation of dependences based on empirical data / V. Vapnik. -N.Y. : Springer. 2006. - 528 pp.

103. Vapnik V. Statistical Learning Theory / V. Vapnik. N.Y.: John Wiley. -1998.-736 pp.

104. Wahba G. A survey of some smoothing problems and the method of generalized cross-validation for solving them / G. Wahba // Application of Statistics.- 1977.-P. 507-523.

105. Wahba G. Support vector machines, reproducing kernel Hilbert spaces and the randomized GACV / G. Wahba // Advances in Kernel Methods Support Vector Learning. - Cambridge : MIT Press. - 1999. - P. 69-88.