Квантильные многомерные модели регрессий, основанные на нелинейных дифференциальных уравнениях тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат физико-математических наук Орлова, Ирина Сергеевна

• Орлова, Ирина Сергеевна
• кандидат физико-математических наук
• 2012

Оглавление диссертации кандидат физико-математических наук Орлова, Ирина Сергеевна

Содержание

Введение

1 Квантильные модели регрессий

1.1 Квантили и медианы вероятностных распределений

1.2 Квантили и медианы как статистические оценки значений случайной величины

1.3 Условные квантили многомерных вероятностных распределений. Квантильные модели регрессий

1.4 Примеры использования квантильной регрессии при обработке изображений

1.5 Многомерные распределения вероятностей, обладающие свойством воспроизводимости условных квантилей

1.6 Выводы

2 Дифференциальные уравнения Пфаффа для условных

квантилей многомерных вероятностных распределений

2.1 Парные наблюдения и наблюдения полной размерности

2.2 Дифференциальные уравнения Пфаффа для условных квантилей

2.3 Применение теоремы Фробениуса для решения вполне интегрируемых уравнений Пфаффа известных многомерных распределений

2.4 Интегральные кривые дифференциальных уравнений Пфаффа

2.5 Применение теоремы Дарбу для решение дифференциальных уравнений Пфаффа в случае отсутствия полной интегрируемости. Смесь 4-мерных гауссовских распределений с одинаковыми 3-мерными маргиналами

2.6 Решение дифференциального уравнения Пфаффа для смеси 9-мерных гауссовских распределений с одинаковыми 8-мерными маргиналами

2.7 Использование компьютерной алгебры ("МАРЬЕ-13 "МАТНЕМАТ1СА-8") для решения и исследования дифференциальных уравнений Пфаффа

2.8 Выводы

3 Приближенное решение дифференциальных уравнений

Пфаффа для условных квантилей многомерных вероятностных распределений

3.1 Приближенное решение дифференциальных уравнений Пфаффа

3.2 Практическая реализация решения уравнения Пфаффа на пучке лучей, вычисление условной квантили трехмерного распределения Коши

3.3 Численное решение системы дифференциальных уравнений в среде MATLAB

3.4 Вычисление условной квантили для сферически симметричных распределений (интерполяция приближенных решений дифференциальных уравнений)

3.5 Радиальные функции

3.6 Программные реализация приближенного решения уравнения Пфаффа в среде MATLAB и на языке С

3.7 Выводы

4 Линеаризация дифференциальных уравнений

4.1 Линеаризация квантильных уравнений Пфаффа

4.2 Линеаризация обыкновенных дифференциальных уравнений

4.3 Теорема о линеаризация автономных дифференциальных уравнений п - го порядка

4.4 Линеаризация дифференциальных уравнений второго порядка

4.5 Линеаризация дифференциальных уравнений 4-го порядка

4.6 Линеаризация дифференциальных уравнений 5-го порядка

4.7 Линеаризация дифференциальных уравнений 6-го порядка

4.8 Использование компьютерной алгебры ("MAPLE-13 "MATHEMATICA-8") в задачах линеаризации и факторизации обыкновенных дифференциальных уравнений

4.9 Выводы

Литература

А Приложение

А.1 Дифференциальные формы

А.2 Координатные формы

А.З Определение внешнего дифференциала

А.4 Вычисление внешних произведений и внешних дифференциалов в системе MATHEMATICA - 8

А.5 Уравнения Пфаффа

А.6 Кольцо обыкновенных дифференциальных операторов и его

свойства

А.7 Листинг. Численное решение дифференциального уравнения

Пфаффа. Реализация на языке С

Введение диссертации (часть автореферата) на тему «Квантильные многомерные модели регрессий, основанные на нелинейных дифференциальных уравнениях»

Введение

Диссертация посвящена разработке, исследованию и анализу основных свойств квантильных многомерных моделей регрессий на основе дифференциальных уравнений Пфаффа и данных парных наблюдений; разработке алгоритмов линеаризации дифференциальных уравнений.

Актуальность темы

Главная цель создания регрессионной модели некоторой системы состоит в оптимальном построении функциональной зависимости между наблюдаемыми переменными, характеризующими работу этой системы.

Возникновение регрессионных моделей относят к концу 18 века в связи с астрономическими и геодезическими работами П.С. Лапласа, A.M. Лежандра и К.Ф. Гаусса. Термины регрессия и корреляция впервые появляются в конце 19 века в работах Ф. Гальтона, посвященных генетике и психологии.

В настоящее время регрессионные модели имеют большое многообразие форм, степеней сложности и возможностей применения для решения теоретических и прикладных задач. Регрессионные модели составляют важную часть статистической теории распознавания образов и изображений (К. Fukunaga, A. Webb, S. Li, P. Qin, L. Devroye, R. Ledley, B.B. Сергеев, В.А. Сойфер, Л.П. Ярославский), методов машинного обучения (Е. Parzen, М. Rosenblatt, Э.А. Надарайа, И.А. Ибрагимов, В.Н. Вапник, А.Я. Червоненкис, A.B. Цыбаков), фильтрации и анализа данных, обнаружения закономерностей в данных и их извлечениях (W. Cochran, J. Tukey, R. Little, D. Rubin, Н.Г. Загоруйко, M.B. Лагутин, Ю.Н. Тюрин).

В основе квантильных статистических регрессионных моделей различных структур и процессов лежит широкое использование математической техники условных медиан и квантилей многомерных вероятностных распределений (J. Tukey, P. Bhattacharya, R. Koenker, P. Chaudhuri, Ch. Thomas-Agan, С.Я. Шатских, O.B. Горячкин). Это связано с появлением новых статистических моделей, в которых ошибки наблюдений имеют негауссовские распределения с "тяжелыми хвостами". Для таких моделей предположение о существовании моментов функций распределения уже не является справедливым. Поэтому в регрессионном анализе и теории фильтрации развивается "безмоментный" подход, в рамках которого условные медианы и квантили, как функции "объясняющих факторов" , используются вместо условных средних. Кроме того, по сравнению с оценками наименьших квадратов, выборочные условные медианы и квантили менее чувствительны к появлению резко отклоняющихся наблюдений.

Настоящая работа посвящена разработке новых квантильных многомерных моделей регрессий на основе дифференциальных уравнений Пфаффа и данных парных наблюдений. Таким образом, тематика диссертационной работы является актуальной как с точки зрения развития теории, так и с точки зрения возможных практических приложений.

Цель и задачи исследования

Целью диссертации является разработка и исследование квантильных многомерных моделей регрессий на основе дифференциальных уравнений Пфаффа и данных парных наблюдений, разработка алгоритмов линеаризации дифференциальных уравнений.

Для достижения поставленной цели в диссертации решаются следующие задачи:

1. Создание новой квантильной многомерной регрессионной модели, основанной на данных парных наблюдений и дифференциальных уравнениях Пфаффа, применение этой модели к решению задач медианной фильтрации и интерполяции изображений.

2. Разработка алгоритма обнаружения закономерностей в данных парных наблюдений и их извлечениях.

3. Построение теории квантильной многомерной регрессионной модели (на основе использования исчисления внешних дифференциальных форм, теорем Фробениуса и Дарбу).

4. Разработка алгоритма приближенного решения вполне интегрируемых квантильных уравнений Пфаффа и его программная реализация.

5. Разработка алгоритмов линеаризации квантильных уравнений Пфаффа, автономных дифференциальных уравнений п—го порядка, и их практическая реализация.

Методы исследований

В диссертационной работе используются методы теории вероятностей и многомерного статистического анализа, анализа данных, статистической теории распознавания образов и изображений, линейной алгебры, математического анализа, дифференциальных уравнений и вычислительной математики.

Научная новизна работы

Научной новизной обладают следующие результаты:

1. Разработана новая квантильная регрессионная модель (КРМ), основанная на данных парных наблюдений и дифференциальных уравнениях Пфаффа. Рассмотрена возможность применения этой модели к решению задач медианной фильтрации и интерполяции изображений.

2. Разработан алгоритм обнаружения закономерностей в данных парных наблюдений и их извлечениях.

3. Разработана теория КРМ (на основе использования исчисления внешних дифференциальных форм, теорем Фробениуса и Дарбу).

4. Разработан алгоритм приближенного решения вполне интегрируемых квантильных уравнений Пфаффа для условных квантилей и его программная реализация.

5. Разработаны новые алгоритмы линеаризации квантильных уравнений Пфаффа, автономных дифференциальных уравнений п—го порядка, и их практическая реализация.

Практическая ценность работы

Диссертационная работа носит теоретический характер. Однако, разработанные в ней квантильные регрессионные модели могут быть положены в основу решения многих конкретных прикладных задач связанных с распознаванием образов и изображений, медианной фильтрации, интерполяции изображений, а также с разработкой алгоритмов анализа данных.

Реализация результатов работы

Материалы диссертации внедрены в учебный процесс кафедры теории вероятностей и математической статистики Самарского государственного университета.

Апробация работы

Основные результаты диссертационной работы были представлены на конференциях:

- Third Int. Conf. "Symmetry in nonlinear math, physics Kyiv, Ukraine, 12-18 July 1999.

- Int. Sei. Conf. on Mathematics, ISCM HERL'ANY, Slovak Republic, Oct. 21-23, 1999. University of Technology Kosice.

- The International Conference MORGAN 2000. Modern Group Analysis for the New Millennium, Ufa, RUSSIA, 27 September- 03 October, 2000.

- Всероссийская научная конференция "Качественная теория дифференциальных уравнений и её приложения Рязань, 9-13 октября 2006.

- XVII Всероссийская школа - коллоквиум по стохастическим методам, г. Кисловодск, 1-8 мая 2010 г.

- Семинар кафедры теории вероятностей и математической статистики СамГУ (рук. проф. С.Я. Шатских), (2010 - 2012 гг.)

Публикации.

По теме диссертации опубликовано 8 работ, в том числе 8 статей, из них 4 - в изданиях, входящих в Перечень ведущих рецензируемых научных журналов и изданий, в которых должны быть опубликованы основные научные

результаты диссертаций на соискание ученой степени доктора и кандидата наук.

Результаты научных публикаций в соавторстве, принадлежащие И.С. Орловой:

[38] Формулировки теорем 1 и 2. Реализация идеи квантильной регрессионной модели, основанной на данных парных наблюдений для некоторых базовых распределений вероятностей.

[39] Доказательства теорем 1 и 2. Проверка полной интегрируемости и решение квантильных уравнений Пфаффа для базовых распределений. Вычисление класса Дарбу и решение квантиль-ного уравнения Пфаффа для смеси гауссовских распределений.

[9] Доказательство леммы 1. Доказательства предложений 4.1, 4.2, 4.3.

[66] Propositions 1.2, 2.2, 3.1.

[67] Examples 1, 2, 3. Propositions 5, 6.

[68] Propositions 3.1, 3.2, 3.3, 4.1, 4.2, 4.3.

Структура и объём диссертации

Поставленные задачи определили структуру работы и содержание отдельных разделов. Диссертация состоит из введения, четырех разделов, заключения, списка использованных источников и приложения. Она изложена на 135 страницах машинописного текста (без приложения), содержит 24 рисунка, 3 таблицы, список использованных источников из 118 наименований.

Краткое содержание диссертации

Дадим краткое изложение содержания диссертационной работы.

Первый раздел посвящен описанию квантильных многомерных регрессионных моделей.

Возникновение регрессионных моделей относят к концу 18 века в связи с астрономическими и геодезическими работами Р. Босковича (Boscovich R.J., 1711 - 1787), П.С. Лапласа, A.M. Лежандра и К.Ф. Гаусса1.

В настоящее время регрессионные модели имеют широкое многообразие форм, степеней сложности и возможностей применения для решения теоретических и прикладных задач (см., например, [90]). Так по виду функциональной зависимости различают линейные и нелинейные регрессионной модели. Использование различного вида функций потерь, а также различных методов статистического оценивания неизвестных параметров, позволяет строить

1 Несмотря на то, что появление этих работ связано с задачами практического сглаживания наблюдений, в них также рассматриваются и теоретико-вероятностные вопросы истинного характера распределений погрешностей наблюдений. В частности, в работах Лапласа и Гаусса исследуется роль нормального (гауссовского) распределения. Двумерное гауссовское распределение впервые используется Ф. Гальтоном.

регрессионные модели с различными свойствами оптимальности. Наконец, по виду и структуре наблюдений также различают разного вида модели регрессий: байесовскую, непараметрическую, ридж-регрессию и т.д. (см., например, [55], [47], [109], [114], [107], [72]).

Область применимости регрессионных моделей необозримо широка. Помимо традиционных статистических задач обработки результатов наблюдений и измерений, регрессионные модели успешно применяются в задачах управления и прогнозирования возникающих в технических науках, экономике, социологии, химии, биологии и медицине (см. [29], [1], [85], [112], [56], [40], [33], [93]).

Регрессионные модели составляет важную часть статистической теории распознавания образов и изображений (см. [14], [18], [19], [48], [49], [54], [94], [115], [117]), методов машинного обучения (см. [65], [83], [81], [116]), фильтрации и анализа данных (см. [35], [74], [24]).

В последние десятилетия условные квантили и условные медианы находят все большее применение в теории вероятностей, математической статистике и их приложениях. В частности это связано с появлением новых прикладных статистических моделей, в которых ошибки наблюдений имеют негауссовские распределения с "тяжелыми хвостами" (см., например, [18], [19], [61], [63], [64], [71], [88], [89], [90] [91], [104]). Для таких моделей предположение о существовании моментов функций распределения уже не является справедливым.

Обзор основных работ посвященных изучению и применению квантильных статистических моделей в различных областях науки и техники дан в работах [104], [107].

Условная квантиль q^ п_1 многомерного распределения вероятностей определяется как поверхность постоянного уровня р 6 [0,1] соответствующего условного распределения

К\1...п-1 {Яп\1...п-1 (ХЬ • • • , хп-\) ХЪ . . . , Хп-1) = Р . (¿i)

Квантильная (медианная р = о)

регрессия случайной величины Хп на случайные величины ..., Xn_i определяется с помощью равенства

•••>*»-!)> ре[ 0,1].

При этом условная квантиль q^ n_1(Xi,... ,Хп-\) играет роль регрессионной функции.

В параграфе 1.4. приведены примеры использования квантильной регрессии при обработке изображений. Основная идея: замена средних, медиан и порядковых статистик (традиционно используемых при обработке изображений) на условные медианы и квантили.

Так при восстановлении изображений используется способ интерполяции по известной схеме «прямой крест» (см. [49]): сначала вычисляются аппроксимирующие значения отсчетов на краях ячейки, как условные медианы двух

ближайших угловых отсчетов, затем центральный отсчет предсказывается с помощью условной медианы четырех отсчетов на ребрах.

При увеличении изображения (или при искажении изображения геометрическим преобразованием) используется интерполяция уровня яркости в "промежуточном" отсчете (пикселе) с помощью условной медианы уровней яркостей в соседних отсчетах

При локальной фильтрации изображений (см. [49]) можно применять аналог ранговых алгоритмов: оператор фильтрации Ф использует условные квантили, построенные по отсчетам Х\,..., Xg в скользящем окне Т> центрального отсчета Хд

= к = М-

В этом случае в качестве Х§ берется ближайшая к Хд условная квантиль qW 4)_

Также использование условных медиан и квантилей полезно при подавлении аддитивного импульсного шума "salt-and-pepper noise" и фильтрации радиолокационных изображений.

Возвращаясь к задаче о нахождения условной квантили qп_г с помощью решения уравнения (¿i), нам необходимо знать многомерное условное распределение ^п|1...гг-1- Однако, для некоторых типов многомерных распределений, например гауссовских, знание всех двумерных условных распределений Fi\j и их двумерных квантилей q^j позволяет найти многомерную

условную квантиль q^ п_г Для распределений других типов, восстановление "большой" условной квантили g^j п_1 по "малым" q.y может оказаться невозможным.

Аналогом такого положения вещей в задачах математической статистики является то обстоятельство, что располагая всеми выборками парных наблюдений мы, вообще говоря, не сможем построить удовлетворительные оценки параметров (или провести проверки гипотез), относящихся к распределением более высоких размерностей.

В этой связи возникает вопрос, что можно извлечь из парных наблюдений для нахождения или статистической оценки объектов характеризующих распределения более высоких размерностей?

Второй раздел посвящен дифференциальным уравнениям Пфаффа для условных квантилей. Ограничивая поставленный вопрос задачами вычисления условных квантилей, в теореме 1 устанавливается, что при определенных условиях, "большие" условные квантили q^l являются решениями неко-

торых дифференциальных уравнений Пфаффа

п г=1

коэффициенты, которых вычисляются с помощью производных "малых" условных квантилей Привлечение уравнений Пфаффа позволяет исследовать свойства условных квантилей с помощью известных методов теории таких уравнений. А именно: теоремы Фробениуса (критерий полной интегрируемости), вычисления класса Дарбу дифференциальной 1-формы и! (размерность максимального интегрального многообразия) и теоремы Дарбу (о приведении дифференциальной 1-формы ш к каноническому виду).

Условие полной интегрируемости Фробениуса выполняется, для введенного С.Я. Шатских ([59], [60]), класса многомерных вероятностных распределений, обладающих воспроизводимостью условных квантилей. Этот класс, помимо гауссовских распределений, содержит распределения Стьюдента (Ко-ши), Дирихле, Парето, логистическое и др. (см. [61], [38], [39]). Для указанных распределений в работе дан вывод квантильных уравнений вида (¿2), а в качестве первых интегралов этих уравнений Пфаффа найдены в явном виде "большие" условные квантили. Аналитические вычисления проводились с помощью системы "МаЛеп^юа-З".

В параграфе 2.4 второго раздела, рассматривается 4 - мерное распределение смеси двух гауссовских распределений с общими 3-х мерными маргиналами. Показано, что 4 - мерное дифференциальное уравнение Пфаффа, соответствующее такому распределению, не удовлетворяет условию полной интегрируемости, а его класс Дарбу2 равен трем.

После приведения рассматриваемого уравнения к каноническому виду, были найдены его первые интегралы и интегральное многообразие максимально возможной размерности. Оказалось, что это многообразие (размерности два) параметризуется парой условных квантилей промежуточной размерности и и является частью "большой" условной квантили

Таким образом, с помощью решения уравнения (¿2) для рассмотренного распределения, мы не можем извлечь из всех двумерных условных квантилей

информацию достаточную для нахождения всей "большой" условной

квантили ^223) н0 можем найти часть этой квантили.

В параграфе 2.5 второго раздела, рассматривается 9 - мерное распределение смеси двух гауссовских распределений с общими 8-ми мерными маргиналами. Для условных квантилей этого распределения проведены исследования вполне аналогичные тем, которые были сделаны в параграфе 2.4 для 4 - мерной смеси. В частности, найден класс Дарбу 9 - мерного уравнения Пфаффа,

2Вычисления класса Дарбу уравнения Пфаффа проводились с помощью систем "МаЛетайса-8" и "Мар1е-13".

первые интегралы и интегральное многообразие максимально возможной размерности. Как и в примере параграфа 2.4, оказалось, что это многообразие является частью "большой" условной квантили.

Третий раздел диссертационной работы посвящен приближенным решениям дифференциальных уравнений Пфаффа для условных квантилей. Как известно, полная интегрируемость дифференциального уравнения Пфаффа не гарантирует полную разрешимость его дискретного аналога (см. [15]). Поэтому для приближенного решения дифференциальных уравнений Пфаффа мы не используем разностные методы. Используется известный метод (см., например, [44], стр. 103) сужения уравнения Пфаффа на семейство лучей (полупрямых), выходящих из одной отмеченной точки. При сужении на заданное семейство лучей многомерное уравнение Пфаффа преобразуется в систему обыкновенных дифференциальных уравнений3 и каждое уравнение решалось с помощью метода Рунге - Кутта четвертого порядка.

В качестве модельного примера рассматривалось трехмерное сферически симметричное распределения Коши. Проведено сужение квантильного дифференциального уравнения Пфаффа на плоское семейство восьми лучей, выходящих из одной отмеченной точки. При этом дифференциальное уравнение Пфаффа сводится к системе восьми обыкновенных дифференциальных уравнений. Решая эти восемь уравнений, получаем приближенное решение исходного уравнения на лучах. Продолжение этих радиальных решений на окрестность отмеченной точки проводилась с помощью метода радиальных функций, а в случае сферической симметричности исходного распределения

" п II

вероятностей с помощью вращения одного радиального решения.

В четвертом разделе рассматривались задачи линеаризации квантиль-ных дифференциальных уравнений Пфаффа4 и автономных дифференциальных уравнений п—го порядка. В параграфе 4.1 решена задача приведения квантильных дифференциальных уравнений Пфаффа к виду дифференциального уравнения Пфаффа с постоянными коэффициентами. Так в теореме 3 дан общий вид дифференциального уравнения Пфаффа, который может быть приведен к виду дифференциального уравнения Пфаффа с постоянными коэффициентами с помощью невырожденного точечного преобразования.

Под "линеаризацией" нелинейного обыкновенного дифференциального уравнения (ОДУ) понимается приведение этого уравнения к линейному ОДУ. Линеаризация нелинейных ОДУ есть один из наиболее важных методов решения уравнений подобного вида. И здесь важную роль играет выбор линеаризующего преобразования, с помощью которого нелинейное ОДУ сводится к линейному. Поскольку вряд ли существуют практически реализуемые преобразования линеаризующие все нелинейные ОДУ, представляет интерес описание классов нелинейных ОДУ, которые допускают линеаризацию с по-

3Число уравнений системы совпадает с числом лучей.

43десь нелишне отметить, что дифференциальные уравнения Пфаффа для условных квантилей многомерных гауссовских распределений имеют постоянные коэффициенты.

мощью того или иного преобразования.

В параграфах 4.2 - 4.7 дается описание классов таких ОДУ, разработан алгоритм линеаризации автономных дифференциальных уравнений п—го порядка и дана практическая реализация этого алгоритма.

На защиту выносятся

1. Новая квантильная многомерная регрессионная модель, основанная на данных парных наблюдений и дифференциальных уравнениях Пфаффа.

2. Алгоритм обнаружения закономерностей в данных парных наблюдений и их извлечениях.

3. Теория квантильной многомерной регрессионной модели (на основе использования исчисления внешних дифференциальных форм, теорем Фробе-ниуса и Дарбу).

4. Алгоритм приближенного решения вполне интегрируемых квантиль-ных уравнений Пфаффа и его программная реализация.

5. Алгоритмы линеаризации квантильных уравнений Пфаффа, автономных дифференциальных уравнений п—го порядка, и их практическая реализация.

Раздел 1. Квантильные модели регрессий

1.1 Квантили и медианы вероятностных распределений

Напомним определение квантили уровня р (или р-квантили) для одномерной случайной величины [12], [42], [90].

Квантиль уровня р (или р-квантиль) случайной величины X с функцией распределения

F(x) = ¥{Х < х}

определяется равенством

= inf{u : F(u) > р}.

Таким образом, р-квантиль - это любое число q^ , удовлетворяющее двум условиям:

1 .F(qW) >р; 2.F(gW-0) < р. Заметим, что данные условия эквивалентны следующим:

F{X < q№} > р и ¥{Х < q^} < р.

Дадим более подробное пояснение определения квантили. Если функция распределения F(x) - непрерывная строго монотонная функция, то существует единственная квантиль любого уровня р £ (0, 1), которая однозначно определяется из уравнения F(x) = р, и, следовательно, выражается через функцию, обратную к функции распределения: q(p) = F~l(p).

Заключение диссертации по теме «Теоретические основы информатики», Орлова, Ирина Сергеевна

4.9 Выводы

1. Осуществлена линеаризация квантильных уравнений Пфаффа.

2. Сформулирована и доказана лемма о неточечной замене переменных в факторизованных автономных дифференциальных уравнениях п - го порядка.

3. Доказана теорема о линеаризации автономных дифференциальных уравнений п - го порядка.

4. Осуществлена линеаризация автономных дифференциальных уравнений 4, 5, 6 - го порядков.

Список литературы диссертационного исследования кандидат физико-математических наук Орлова, Ирина Сергеевна, 2012 год

Литература

[1] Айвазян С.А., Мхитарян B.C. Прикладная статистика и основы эконометрики. М.: ЮНИТИ, 1998.

[2] Айне Э. Обыкновенные дифференциальные уравнения. Харьков, 1939.

[3] Алексеевский Д.В., Виноградов A.M., Лычагин В.В. Основные идеи и понятия дифференциальной геометрии. Современные проблемы математики. Фундаментальные направления. Т. 28 (Итоги науки и техн. ВИНИТИ АН СССР)М., 1988.

[4] Бейтмен Г., Эрдейи А. Высшие трансцендентные функции, т. 1, М.: "Наука 1973, 294 с.

[5] Беркович JI.M. Преобразование обыкновенных линейных дифференциальных уравнений. Учебное пособие. Куйбышевский государственный университет. 1978, 92 с.

[6] Беркович JI.M. Факторизация и преобразования обыкновенных дифференциальных уравнений. Изд. Саратовского университета. 1989, 192 с.

[7] Беркович JI.M. Факторизация и преобразование дифференциальных уравнений. Методы и приложения. М.: РХД, 2002, 464 с.

[8] Беркович JI.M. Метод точной линеаризации ОДУ п-го порядка. Вестник СамГУ, спецвыпуск, 1995, с. 6-14.

[9] Беркович JI.M., Орлова И.С. Точная линеаризация некоторых классов автономных ОДУ. Вестник СамГУ, 1998, №-4(10), с. 5-16.

[10] Биркгоф Г., Барти Т. Современная прикладная алгебра. М.: Мир, 1976, 400 с.

[11] Богданов Ю.С. Лекции по дифференциальным уравнениям. Мн., "Вы-шэйшая школа 1977, с. 240.

[12] Боровков A.A. Теория вероятностей. Изд. 4-е. - М.: Едиториал УРСС, 2003.

13] Боровков A.A. Математическая статистика. (3 изд.), М.: ФМ, 2007. 704 с.

14] ВапникВ.Н. Восстановление зависимостей по эмпирическим данным. М.: Наука, 1979. 448 с.

151 Гайшун И.В. Вполне разрешимые многомерные дифференциальные уравнения (2 изд.), М.: УРСС, 2004.

161 Годбийон К. Дифференциальная геометрия и аналитическая механика. М.: Мир, 1973, с. 188.

171 Голубев В.В. Лекции по аналитической теории дифференциальных уравнений. M-JI. 1950.

181 Горячкин О.В. Методы слепой обработки сигналов и их приложения в системах радиотехники и связи. М.: Радио и связь, 2003, 229 с.

191 Горячкин О.В., Шатских С.Я. Метод анализа независимых компонент на основе преобразования независимости// Доклады Академии Наук Российской Федерации, т.398, № 4, 2004 г.

20] Дерр В.Я. Неосцилляция решений линейных дифференциальных уравнений. Вестник Удмуртского университета. 2009, вып. 1, с. 56-99.

21] Ефимов Н.В. Введение в теорию внешних форм. М. "Наука 1977.

221 Житомирский М.Я. Критерий линеаризации дифференциальных форм. // Изв. вузов "Математика№3, 1983, стр. 40-46.

231 Житомирский М.Я. Вырождения дифференциальных 1-форм и структур Пффафа. Успехи математических наук, т. 46, вып. 5(281), 1991, стр. 47-78.

24] Загоруйко Н.Г. Анализ данных. 266 с.

25| Закс Ш. Теория статистических выводов. М.: МИР, 1975.

261 Картан А. Дифференциальное исчисление. Дифференциальные формы. М.: МИР, 1971. 392 с.

271 Кнутова Е.М. Условные квантили многомерных распределений и их асимптотические свойства. Дисс. канд. Самара 2001.

281 Кнутова Е.М., Шатских С.Я. Асимптотические свойства условных квантилей для одного класса симметрических распределений// Теория вероятностей и её применения, т.51, вып. 2, 2006, стр. 374-382.

[29] Кобзарь А.И. Прикладная математическая статистика. М.: ФМ, 2006, - 816 с.

[30] Кованцов Н.И. Теория комплексов. Изд. Киевского ун-та. 1963.

[31] Коддингтон Э., Левинсон Н. Теория обыкновенных дифференциальных уравнений. М.:ИЛ, 1958, 474 с.

[32] Комлев А.Н., Шатских С.Я. Условные распределения вероятностей, как преобразования независимости случайных величин. // Вестник СамГУ, естественнонаучная серия, №6(56), 2007.стр. 204-222.

[33] Лапач С.Н., Чубенко A.B., Бабич П.Н. Статистические методы в медико-биологических исследованиях. Киев, "Морион 2001, 407 с.

[34] Левин А.Ю. Неосциляция решений уравнения х^ + pi(t)x^n~^ + ... + pn(t)x = 0. Успехи математических наук, 1969, т. 24, вып. 2, с. 43-96.

[35] Мостеллер Ф, Тьюки Дж. Анализ данных и регрессия. Вып. 1, 2. М.: Финансы и статистика. 1982.

[36] Орлова И.С. Об одном методе точной линеаризации нелинейных дифференциальных уравнений пятого и шестого порядков. Вестник СамГУ, 2000. №-4(18), с. 35-48.

[37] Орлова И.С. Факторизация и преобразования нелинейных обыкновенных дифференциальных уравнений. Изв. Российской акад. естественных наук. 2006. № 11, с. 175-176.

[38] Орлова И.С., Шатских С.Я. Уравнения Пфаффа для условных квантилей. Обозрение прикладной и промышленной математики т. 17, вып. 2, М.: Редакция журнала "ОПиПМ 2010, с. 237-239.

[39] Орлова И.С., Шатских С.Я. Дифференциальные уравнения Пфаффа для условных квантилей многомерных вероятностных распределений. Вестник СамГУ, естественнонаучная серия, №2(76), 2010. стр. 32-47.

[40] Планирование оптимальных экспериментов, (сб. статей), М.: Изд. МГУ, 1975.

[41] Полянин А., Зайцев В. Справочник по нелинейным уравнениям математической физики. Точные решения. М.: Физматлит, 2002. - 432 с.

[42] Прохоров Ю.В. (гл. ред.) Вероятность и математическая статистика. М.: БРЭ. 1999.

[43] Рашевский П.К. Геометрическая теория уравнений с частными производными. ОГИЗ. М-Л, 1947.

[44] Рождественский Б.JI., Яненко H.H. Системы квазилинейных уравнений. (2 изд.), М.: Наука, 1978.

[45] Сансоне Дж. Обыкновенные дифференциальные уравнения, т. 1, М.: ИЛ, 1953, 346 с.

[46] Сансоне Дж. Обыкновенные дифференциальные уравнения, т. 2, М.: ИЛ, 1954, с. 400 с.

[47] Себер Дж. Линейный регрессионный анализ. М.: Мир, 1980. 456 с.

[48] Сергеев В.В., Тимбай Е.И. Метод контрольной максимальной ошибки компрессии. // Коми, оптика, 2007, т. 37, №3, с. 83-87.

[49] Сойфер В.А. (под ред.) Методы компьютерной обработки изображений. 2-е изд. М.: ФМ, 2003, 784 с.

[50] Степанов В.В. Курс дифференциальных уравнений, изд. 8-е, М.: Физ-матгиз, 1959, с. 472.

[51] Уилкс С. Математическая статистика. М.: Наука, 1967.

[52] Финников С.П. Метод внешних форм Картана. М-Л, 1948.

[53] Фихтенгольц Г.М. Курс дифференциального и интегрального исчисления, т. 1, М.: ФМ, 1962. 608 с.

[54] Фукунага К. Введение в статистическую теорию распознавания образов. М.: Наука, 1979, 367 с.

[55] Хардле В. Прикладная непараметрическая регрессия. М.: Мир, 1993. 349 с.

[56] Химмельблау В. Анализ процессов статистическими методами. М.: Мир, 1973. 957 с.

[57] Хованский А.Г. Топологическая теория Галуа. М.: МЦНМО, 2008.

[58] Царев С.П. Факторизация линейных дифференциальных операторов с частными производными и метод Дарбу интегрирования дифференциальных уравнений с частными производными. // Теоретическая и математическая физика, т. 122, № 1, 2000, с. 144-160.

[59] Шатских С.Я. Об одном варианте преобразования независимости. // сб. "Мера и интеграл Самара: изд-во "Самарский университет 1995, с. 99-112.

[60] Шатских С. Я. Необходимое условие воспроизводимости условных квантилей многомерных вероятностных распределений // Изв. РАЕН, сер. МММИУ, 2000, т. 4, №4, с. 67-72.

[61] Шатских С. Я. Преобразование независимости случайных величин и условные квантили многомерных распределений. — Докторская диссертация. Самара, 2002, 270 с.

[62] Шатских С.Я. Усиленный закон больших чисел для схемы серий условных распределений эллиптически контурир о ванных мер. / / Теория вероятностей и её применения, т.50, вып. 2, 2005, стр. 292-311.

[63] Adler R.J., Feldman R.E., Taqqu M.S. (eds.) A practical guide to heavy tailes: statistical tehniques and application. Birkhauser, Boston, 1998, 533 p.

[64] Anderson T.W. Nonnormal multivariate distributions: inference based on ellipticaly contoured distributions. - Multivariate Analysis: Futur Directions, Elsevier Science Publishers (ed. C.R. Rao), 1993, p. 1400-1422.

[65] Berk R. Statistical learning from a regression perspective. Springer, 2008, 358 p.

[66] Berkovich L.M., Orlova I.S. Linearization of second and third orders nonlinear ordinary differential equations. ISCM HERL'ANY 1999. University of Technology Kosice. Proceedings, pp. 35-38.

[67] Berkovich L.M., Orlova I.S. Point and nonpoint transformations of nonlinear ordinary differential equations. The International Conference MORGAN 2000. Modern Group Analysis for the New Millennium, Ufa, RUSSIA, 27 September- 03 October, 2000. pp. 32-36.

[68] Berkovich L.M., Orlova I.S. The Exact Linearization of Some Classes of Ordinary Differential Equations for Order n > 2. Proceedings of Institute of Mathematics of NAS of Ukraine. 2000. Vol. 30, Part 1, 90-98.

[69] Bhattacharya P. K. On an analog of regression analysis. // Annals of mathematical statistics, v. 34, 4 (Dec. 1963), 1459 - 1473.

[70] Bhattacharya P., Gangopadhyay A. Kernel and Nearest-Neighbor Estimation of a Conditional Quantile. // Annals of statistics, v. 18, 3 (Sep. 1990), 1400 - 1415.

[71] Bilodeau M., Brenner D. Theory of multivariate statistics. Springer, 1999.

[72] Birkes D., Dodge D. Alternative methods of regression. Wiley, 1993. 228 p.

[73] Blagoveshchenskii Yu., Svyatoduch I. Regression models for quantiles. // Journal of Math. Sciences, v. №103, №. 4, NY, 2001. p. 509-517.

[74] Bozdogan H. Statistical data mining and knowledge discovery. 2004. CRC, 595 p.

[75] Bronstein M. An improved algorithm for factoring linear ordinary differential operators. Proc. ISSAC'94, 336-340.

[76] Bryant R.L., Chern S.S., Gardner R.B., Goldschmidt H.L., Griffits P.A. Exterior differential systems. Springer. 1991.

[77] Camporesi R., Di Scala A generalization of theorem of Mammana, 2011.

[78] Chaudhuri P. Global nonparametric estimation of conditional quantile functions and their derivatives. // Journal of multivariate analysis, 39, 246269, (1991).

[79] Duarte L. G. S., Moreira I, C., Santos F.C. Linearisation under nonpoint transformations. // J. Phys A: Math Gen 27 (1994), L739-L743.

[80] Edelen D. Applied exterior calculus. Wiley, 1985.

[81] Emmeret-Streib F., Dehmer M. Information theory and statistical learning. Springer, 2009. 439 p.

[82] Euler N., Euler M. Sundman symmetries of nonlinear second-order and third-order ordinary differential equations. Journal of Nonlinear Mathematical Physics. 2004, 11 (3), p. 399-421.

[83] Friedman J., Hastie T., Tibshirani R. The elements of statistical learning. (2 ed.), 2008, 807 p.

[84] Friedrichs K. Advanced ordinary differential equations. Nelson, 1965, 205 p.

[85] Green W. Econometric analysis. (5 ed.), Prentice Hall, 2002. 802 p.

[86] Johnson N.L., Kotz S., Balakrishnan N. Continuous multivariate distribution, v.l, 2 ed. Wiley, 2000.

[87] Johnson N.L., Kotz S., Balakrishnan N. Continuous multivariate distribution, v.2

[88] Jureckova J. M, L, and R - estimators. Handbook of statistics, v.4, Nonparametrics methods, Elsevier. 1989.

[89] Koenker R. Quantile regression.

[90] Kotz S. (et al.) Encyclopedia of statistical science, 16 volumes (2ed., Wiley, 2005)

[91] Kotz S., Nadarajah S. Multivariate t distribution and their applications. Cambridge University Press, 2004.

[92] Landau E. Ein Satz über die Zerlegung homogener linearer Differentialausdrucke in irreducibke Factoren J. Reine Angew. 1901/1902. V. 124. P. 115-120.

[93] Le C.T. Introductory bio statistics. Wiley, 2003, 536 p.

[94] Li S. Z. Markov random field modeling in image analysis. Springer, 2009, 357 p.

[95] MacCallum M.A.H., Mikhailov A.V. (eds.) Algebraic Theory of Differential Equations. Cambridge University Press, 2009, p. 240.

[96] Mammana G. Sopra un nuova metodo di studio delle equazioni differenziali lineari // Math. Zeit., 1926, vol. 25, p. 734-748.

[97] Mammana G. Decomposizione delle expressioni differenziali lineari omogenne improdotti di fattori simbolici e applicazione relativa alio studio delle equazione differenziali lineari.// Math. Zeit., 1931, vol. 33, p. 186-231.

[98] Meleshko S.V. Methods for Constructing Exact Solutions of Partial Differential Equations. Springer, 2005, p. 352.

[99] Meleshko S.V., Ibragimov N.H. (at al) Symmetries of Integro-Differential Equations. Springer, 2010.

[100] Meleshko S.V. On linearization of third-order ordinary differential equations// J. Phys. A: Math. Gen. 39 (2006) 15135 - 15145 p.

[101] Mukerjee H. Nearest neighbor regression with heavy-tailed errors. // Annals of statistics, v. 21, 3 (Jun. 1993), 681 - 693.

[102] Nakpim W., Meleshko S.V. Linearization of second-order ordinary differential equations by generalized Sundman transformation// SIGMA 6 (2010), 051, 11 p.

[103] Painlevé P. Leçons sur la théorie analytique des équations différentielles, professées à Stokholm, Paris. 1897.

[104] Poiraud-Casanova S., Thomas-Agan Ch. Quantiles conditionnels // Journal de la Société Française de Statistiques, t. 139, 4, 1998, p. 31-41.

106

107

108

109

110

111

112

113

114

115

116

117

118

Pôlya G. On the mean-value theorem corresponding to a given linear homogeneous differential equation. Trans. Amer. Math. Soc., 1922, p. 322324.

van der Put M., Singer M. Galois theory of linear differential operators. 454 p.

Quantile Regression and Related Methods, The Indian Journal of Statistics, Special Issue, 2005, Vol. 67, Part 2, pp 418-440.

Sachdev P.L. Nonlinear ordinary differential equations and their applications. Dekker, 1991, 579 p.

Seber G., Wild C. Nonlinear regression. Wiley, 2008, 768 p.

Shatskikh S.Ya. Conditional quantités of Gaussian measure in Hilbert space. // Journal of Math. Sciences, v. 85, №. 5. NY, 1998.

Shatskikh S.Ya. Asymptotic properties of conditional quantiles of Cauchy distribution in Hilbert space. // Journal of Math. Sciences, v. 93, №. 4. NY, 1999.

Stevens J. Applied multivariate statistics for the social sciences. LEA, 2002, 699 p.

Sundman K.F. Mémoire sur le problème des trois corps. // Acta Math 36 (1912-1913), 105-179.

Takezawa K. Introduction to nonparametric regression. Wiley, 2006, 538 p.

Vapnik V. Estimation of dependence based on empirical data (2 éd.). Springer, 2006, 595 p.

Vapnik V. The nature of statistical learning. (2 éd.). Springer, 2000, 314 p.

Webb A.R. Statistical pattern recognition (2 éd.). Wiley, 2006, 496 p.

Zhitomirskii M. Typical singularities of differential 1-forms and Pfaffian equations. AMS, 1992.