Приближенные методы разделения смесей вероятностных распределений тема диссертации и автореферата по ВАК РФ 01.01.05, кандидат физико-математических наук Назаров, Алексей Леонидович

• Назаров, Алексей Леонидович
• кандидат физико-математических наук
• 2013

Оглавление диссертации кандидат физико-математических наук Назаров, Алексей Леонидович

СОДЕРЖАНИЕ

Page

Введение

ГЛАВА 1. Устойчивость смесей вероятностных законов к возмущениям

смешивающих распределений

1. Основные определения и свойства

2. Верхние оценки устойчивости для нормальных распределений

3. Характеризация метрики Леви-Прохорова

4. Верхние оценки устойчивости для сдвиг-масштабных смесей нормальных законов

5. Верхние оценки для масштабных и сдвиговых смесей

6. Нижние оценки устойчивости

7. Нижние ценки устойчивости для сдвиговых смесей нормальных распределений

8. Нижние оценки устойчивости для масштабных смесей нормальных распределений

9. О существовании нижних оценок устойчивости смесей вероятностных распределений

ГЛАВА 2. Сеточные методы разделения смесей вероятностных распределений

1. Основная идея сеточных методов

2. Разделение конечных смесей нормальных распределений с фиксированными компонентами с помощью сеточного метода максимального правдоподобия. «Усеченный» ЕМ-алгоритм

3. Разделение конечных смесей нормальных распределений с фиксированными компонентами с помощью сеточного метода максимального правдоподобия. Алгоритм условного градиента

4. Приближенное разделение конечных смесей нормальных распределений с помощью сеточного метода моментов

5. Декомпозиция волатильности хаотических стохастических процессов с помощью метода скользящего разделения смесей

6. Применение сеточных методов разделения смесей для декомпозиции волатильности конкретных финансовых индексов

ГЛАВА 3. Асимптотические свойства оценок, полученных с помощью сеточных методов

1. Основные обозначения

2. Основные свойства целевой функции

3. Поведение оценок на фиксированном параметрическом множестве

4. Состоятельность оценок, полученных с помощью сеточных методов

Заключение

Список литературы

\

Введение диссертации (часть автореферата) на тему «Приближенные методы разделения смесей вероятностных распределений»

ВВЕДЕНИЕ

Актуальность темы исследования. Смеси вероятностных распределений являются популярными математическими моделями, описывающими статистические закономерности в самых разных областях знания, например, в гидрологии, финансовом анализе, биологии, астрономии, физике плазмы, обработке изображений, актуарной и страховой математике, теории массового обслуживания. Они демонстрируют высокую адекватность при описании неоднородных данных. Смеси вероятностных распределений хорошо зарекомендовали себя при описании хаотических процессов, моделирующих, к примеру, поведение цен финансовых инструментов [1], турбулентной плазмы [1, 2]. Публикации, в которых используются смешанные вероятностные модели, исчисляются сотнями. Многочисленные примеры случайных процессов, имеющих в качестве одномерных распределений смеси нормальных распределений, можно найти в книге [1] и работах из библиографии к ней.

Смеси также используются как неотъемлемые составные части некоторых математических методов. Например, на представлении распределения вероятностей в виде смеси основан байесовский подход к статистическому анализу. Методы непараметрического (ядерного) оценивания распределения вероятностей и кластерного анализа также фактически сводятся к представлению оцениваемого распределения в виде смеси.

Согласно расхожему мнению, чрезвычайно высокая адекватность смешанных вероятностных моделей может быть формально объяснена большим числом настраиваемых параметров, позволяющих подогнать какую угодно модель к каким угодно данным. Среди статистиков хорошо известно высказывание Ж. Бертрана «Give me four parameters and I shall describe an elephant; with five, it will wave its trunk» (цитируется по статье Л.ЛеКама [3]). Это обстоятельство, конечно же, играет заметную роль, однако на самом деле

смешанные вероятностные модели в большинстве случаев адекватны по гораздо более естественным глубоким причинам.

В прикладной теории вероятностей принято считать ту или иную модель в достаточной мере обоснованной (адекватной) только тогда, когда она является асимптотической аппроксимацией, то есть когда существует довольно простая предельная схема (например, схема суммирования) и соответствующая предельная теорема, в которой рассматриваемая модель выступает в качестве предельного распределения [4]. В последнее время доказаны разнообразные предельные теоремы, устанавливающие критерии сходимости распределений статистик, построенных по выборкам случайного объема, в первую очередь, сумм случайного числа случайных величин [5, 6] и порядковых статистик [7, 8] к смесям тех распределений, которые выступают в качестве предельных при неслучайном объеме выборки.

Первые работы по исследованию и применению смесей вероятностных распределений появились еще в конце XIX века. К числу пионерских работ этого направления можно отнести работы С. Ньюкомба 1886 г.[9] и К. Пирсона 1894 г.[10]. В них рассматривается смесь нормальных распределений, использующаяся для моделирования скошенных и островсршшшых распределений.

Как отмечалось выше, платой за высокую адекватность смешанных моделей является большое число параметров, подлежащих статистическому оцениванию. Более того, задача отыскания статистических оценок параметров смесей распределений вероятностей (разделения смеси), вообще говоря, является некорректной и имеет единственное решение, только при дополнительном условии идентифицируемости рассматриваемого семейства смесей [11].

В общем случае задача разделения смеси вероятностных распределений заключается в поиске смеси из некоторого допустимого класса, которая ближе всего в некотором смысле к распределению наблюдаемой величины. Так как класс допустимых смесей чаще всего определяется классом допустимых

смешивающих распределений, гарантирующих идентифицируемость модели, задача разделения смеси чаще всего сводится к задаче статистического оценивания смешивающего распределения по реализациям смеси. Различные примеры решения таких задач можно найти в [12, 13, 14, 15].

Традиционными статистическими инструментами при решении задачи разделения смеси являются метод моментов и метод максимального правдоподобия. Эти подходы восходят к цитированным выше работам С. Нью-комба [9] и К. Пирсона [10]. Так, в работе Пирсона [10] применяется метод моментов. Эта работа вообще интересна тем, что в ней изучается не только сама задача разделения смеси распределения, но и корректность ее постановки.

Как правило, для оценки смешивающего распределения в рассматриваемых задачах используется метод максимального правдоподобия. При этом ищется точка глобального максимума функции правдоподобия, соответствующая семейству допустимых смесей, как функция параметров. Численно данная задача может быть решена с помощью стандартных методов оптимизации [16]. К примеру, в работе [17] сравнивается применение метода Ньютона и метода наискорейшего спуска. Показано, что для разделения конечных смесей нормальных распределений метод наискорейшего спуска лучше работает на выборках малого размера в то время, как метод Ньютона - на выборках большого объема. Информацию о других методах решения задачи статистического разделения смесей вероятностных распределений таких, как метод моментов, метод минимума хи-квадрат, метод наименьших квадратов и пр., можно найти, например, в обзорах [18, 19] и книгах [12, 13, 14, 15].

Для конечных смесей нормальных распределений задача поиска оценок максимального правдоподобия может быть решена с помощью ЕМ-алгоритма. ЕМ-алгоритмом принято называть схему построения процедур итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, в при-

кладной статистике эта схема вполне работоспособна при поиске оценок максимального правдоподобия и родственных им в ситуациях, когда функция правдоподобия имеет сложную структуру, из-за которой другие методы оказываются неэффективными или вообще не применимыми.

По-видимому, впервые итерационная процедура типа ЕМ-алгоритма, позволяющая находить численное решение задачи максимизации функции правдоподобия при разделении смесей распределений вероятностей, была предложена С. Ньюкомбом в уже упоминавшейся выше пионерской работе [9]. Затем после довольно большого перерыва эта идея вновь возникла в работе [20]. Появление первых электронно-вычислительных машин сделало возможной удобную и быструю реализацию довольно сложных итерационных процедур, к числу которых принадлежит ЕМ-алгоритм, и стимулировало дальнейшее развитие идей, лежащих в основе ЕМ-алгоритма. Эти идеи нашли свое отражение в работах [21, 22, 23, 24, 25, 26, 27, 28, 29]. Достаточно полный исторический обзор на эту тему сдержится в книге [30].

Теория ЕМ-алгоритма изложена и систематически исследована в работах [31, 32]. Само название ЕМ-алгоритм было предложено в работе [31], посвященной применению метода максимального правдоподобия к статистическому оцениванию по неполным статистическим данным. Возможно поэтому зарубежные источники традиционно ссылаются на эту статью [31], как на первую работу по ЕМ-алгоритму.

Основные свойства ЕМ-алгоритма были описаны еще в работе [24]. Позднее в работа [31, 12, 33, 34, 35] эти свойства были передоказаны и развиты.

Литература по ЕМ-алгоритму и его применениям к решению задач из конкретных областей обширна. Перечисление всех работ заняло бы слишком много места. Ограничимся упоминанием лишь книг, посвященных собственно ЕМ-алгоритму [36, 30], монографий, в которых ЕМ-алгоритму уделено значительное место [37, 38], а также работ [39, 40, 41, 1].

Поиск оценок весов и параметров компонент смеси с помощью ЕМ-алгоритма работает эффективнее, чем стандартные методы оптимизации [1]. Однако в общем случае функция правдоподобия конечной смеси нормальных распределений нерегулярна, имеет много локальных максимумов (возможно, к тому же бесконечных). Поэтому при численном решении дайной задачи ЕМ-алгоритм так же, как и стандартные методы оптимизации, становится крайне неустойчивым. К сожалению, последнее обстоятельство является серьезным препятствием для корректной интерпретации результатов применения данных алгоритмов к разделению конечных смесей нормальных законов.

В частности, было экспериментально установлено, что ЕМ-алгоритм обладает неустойчивостью по начальным данным. Например, в случае четырех-компонентпой смеси нормальных законов, при объеме выборки 200-300 наблюдений, замена значения лишь одного из них на другое может кардинально изменить итоговые оценки, полученные с помощью ЕМ-алгоритма [41]. Поэтому необходимо иметь альтернативные методы разделения смесей, ориентированные не на максимизацию «полной» функции правдоподобия, а на оптимизацию других разумных критериев качества получаемых оценок.

Одно из серьезных ограничений использования метода максимального правдоподобия для решения данной задачи заключается в том, что класс допустимых смешивающих распределений чаще всего параметризован и задастся точками из некоторого подмножества евклидова пространства. Это связанно с тем, что поиск точек глобального максимального правдоподобия обычно проводится численно. При этом задача поиска оценки смешивающего распределения, например, среди всех распределений, сосредоточенных на некотором компакте, не может быть решена с помощью данных методов без дополнительных ограничений.

Поиск новых эффективных методов является принципиально важным с точки зрения возможности адекватной практической интерпретации резуль-

татов работы алгоритмов разделения смесей. Именно такие альтернативные методы и предлагаются в данной работе.

Используемые подходы и методы. Рассматриваемых методы используют подход, основанный на замене исходной смеси другой, близкой к ней, для которой неизвестными являются только веса компонент. Первые результаты применения методов, разработанных в рамках этого подхода [42, 41], к анализу конкретных процессов описаны в [43, 44]. Данная работа развивает идеи из [42, 41, 43] и дополняет [44], в которой исследованы сеточные методы разделения смесей вероятностных распределений, основанные на минимизации невязки между эмпирической и теоретической функциями распределения.

Как было отмечено выше, при работе сеточных методов поиск оценки смешивающего распределения ведется в классе распределений, сосредоточенных на конечном множестве фиксированных точек, покрывающих область, содержащую носитель истинного распределения. Для доказательства допустимости такого подхода необходимо исследовать стохастическую устойчивость модели, с которой ведется работа. Поэтому в первой главе рассматриваются верхние и нижние оценки устойчивости смесей вероятностных распределений к возмущениям смешивающих распределений.

Оценкам устойчивости различных классов смесей нормальных распределений к возмущениям смешивающих распределений были посвящены работы [45, 46, 47]. Результат для частного случая - простой модели загрязнения (контаминации), предложенной Дж. Тьюки [45], был получен в [42, 47]. В [46] можно найти решение этой задачи для оценки расстояния между нормальным распределением и масштабной смесью при выполнении некоторых условий, наложенных на смешивающее распределение.

Цель работы. Исследовать свойства сеточных методов разделения смесей и теоретически обосновать их состоятельность.

Краткое содержание диссертации. В нерпой главе диссертации получены верхние оценки близости сдвиг-масштабных смесей нормальных законов через близость смешивающих распределений в метрике Леви-Прохорова, аналогичные оценки в метрике Леви рассмотрены для масштабных и сдвиговых смесей. Помимо этого, исследуются нижние оценки устойчивости для различных подклассов смесей нормальных законов. Показано, что для сдвиговых смесей полученные оценки не могут быть улучшены без дополнительных ограничений. В заключение выписаны достаточные условия существования нижних оценок для произвольных классов смесей. Результаты первой главы используются во второй и третьей главах для обоснования применимости сеточных методов и исследования их свойств.

Вторая глава посвящена описанию сеточных методов разделения смесей вероятностных распределений. Предложены методы приближенного разделения смесей, основанные на

• (1) минимизации невязки между теоретическими и эмпирическими моментами

• (11) максимизации сеточной функции правдоподобия.

Показано, что задачи типа (¡) могут быть сведены к задачам линейного программирования. Для численного решения задач типа (¿1) предложены "усеченный" ЕМ-алгоритм и алгоритм условного градиента. Приведены результаты сравнительного анализа эффективности предложенных методов.

Показано, что наибольшую эффективность при решении задачи разделения смесей вероятностных распределений демонстрирует сеточный метод максимального правдоподобия, реализованный с помощью алгоритма условного градиента. Этот вывод сделан как на основе исследования свойств алгоритмов, так и на основе анализа применения различных сеточных методов разделения смесей к решению задачи статистической декомпозиции во-латильности финансовых индексов.

В третьей главе исследуются асимптотические свойства оценок смешивающего распределения, полученных с помощью сеточного метода максимального правдоподобия для масштабных смесей нормальных законов. К сожалению, классическая теория, описывающая свойства оценок максимального правдоподобия, не может быть применена для изучения свойств последних. Для их исследования используются аппараты М-оценок и эмпирических процессов, достаточно подробно описанных в работах [48, 49].

При работе сеточных методов разделения смесей поиск оценки смешивающего распределения ведется в классе, который, вообще говоря, не обязан содержать истинное распределение. Однако для любого смешивающего распределения можно выбирать семейство допустимых распределений так, чтобы в нем существует распределение, приближающее истинное с заранее заданной точностью. С учетом этого в третьей главе представлен алгоритм согласованного пополнения класса допустимых распределений и увеличения размера выборки такой, что последовательность получаемых оценок сходится к оцениваемому распределению.

Основные результаты.

1. Получены верхние оценки устойчивости для масштабных, сдвиговых и сдвиг-масштабных смесей нормальных законов.

2. Исследованы вопросы существования нижних оценок устойчивости для подклассов смесей нормальных законов. Оценки для сдвиговых смесей нормальных распределений получены в явном виде.

3. Разработан, исследован и реализован класс сеточных методов разделения смесей. Проведено тестирование данных алгоритмов на различных наборах данных.

4. Исследованы асимптотические свойства оценок, получаемых с помощью сеточного метода максимального правдоподобия.

5. Доказана функциональная предельная теорема, описывающая сходимость оценок, полученных с помощью сеточного метода максимального

правдоподобия для разделения масштабных смесей, при согласованном увеличении размера выборки и числа узлов сетки.

Апробация диссертации. Результаты диссертации докладывались на ежегодной международной конференции студентов, аспирантов и молодых учёных «Ломоносов» (Москва, Россия, апрель 2009 г. и апрель 2012 г.), на научной конференции «Ломоносовские чтения» 2012 года на секции вычислительной математики и кибернетики (Москва, Россия, 16-25 апреля 2012 г.), XXX Международном семинаре по проблемам устойчргвости стохастических моделей (Светлогорск, Россия, 24-30 сентября 2012 г.), VI Международном рабочем семинаре «Прикладные задачи теории вероятностей и математической статистики, связанные с моделированием информационных систем» (Бер-Шева, Израиль, ноябрь 2012 г.), на научно-исследовательском семинаре «Теория риска и смежные вопросы» на факультете ВМК МГУ, на семинаре «Исследование асимптотического поведения и устойчивости стохастических моделей» на механико-математическом факультете МГУ, на семинаре «Моделирование финансовых рынков» в Высшей школе экономики. Результаты диссертации опубликованы в 10 печатных работах, 3 из которых - в журналах, включенных в список ВАК.

Заключение диссертации по теме «Теория вероятностей и математическая статистика», Назаров, Алексей Леонидович

Основные результаты диссертации состоят в следующем:

1. Получены верхние оценки устойчивости для масштабных, сдвиговых и сдвиг-масштабных смесей нормальных законов.

2. Исследованы вопросы существования нижних оценок устойчивости для различных подклассов смесей нормальных законов. Оценки для сдвиговых смесей нормальных распределений выписаны в явном виде. Построен пример, показывающий, что полученные оценки не могут быть принципиально улучшены без дополнительных ограничений на смешивающее распределение. Доказана теорема, устанавливающая достаточные условия существования нижних оценок.

3. Разработан, исследован и реализован класс сеточных методов разделения смесей вероятностных распределений. По результатам тестирования алгоритмов на различных наборах данных были сделаны следующие выводы: a) Сеточный метод моментов менее точен, нежели сеточный метод максимального правдоподобия, и показывает менее устойчивые результаты работы на исследуемых данных. b) Сеточный метод моментов с минимизацией евклидовой нормы невязки плохо применим для численного решения задачи разделения смесей. c) Использование «усеченного» («сеточного») ЕМ-алгоритма даст результаты, практически идентичные результатам, получаемым с помощью максимизации сеточной функции правдоподобия градиентными методами. При этом наиболее высокое быстродействие демонстрирует сеточный метод максимального правдоподобия, реализованный при помощи алгоритма условного градиента.

4. Исследованы асимптотические свойства оценок, получаемых с помощью сеточного метода максимального правдоподобия. Выписана оценка скорости сходимости в сеточном методе максимального правдоподобия при неограниченном увеличении размера выборки на фиксированной сетке.

5. Доказана функциональная предельная теорема, описывающая сходимость оценок, полученных с помощью сеточного метода максимального правдоподобия для разделения масштабных смесей, при согласованном увеличении размера выборки и числа узлов сетки. Она позволяет теоретически обосновать применимость сеточных методов на практике.

ЗАКЛЮЧЕНИЕ

Список литературы диссертационного исследования кандидат физико-математических наук Назаров, Алексей Леонидович, 2013 год

СПИСОК ЛИТЕРАТУРЫ

1. Королев В. Ю. Вероятностно-статистические методы декомпозиции во-латильности хаотических процессов. — Москва: Издательство Московского университета, 2011.

2. Statistical analysis and modelling of turbulent fluxes in the plasma of the l-2m stellarator and the ft-2 tokamak / N. N. Skvortsova, V. Y. Korolev, G. Batanov et al. // Plasma Physics and Controlled Fusion. — 2006. — Vol. 48, no. 5A. - P. A393.

3. Le Cam L. Maximum likelihood: An introduction // International Statistical Review. - 1990. - Vol. 58. - Pp. 153-171.

4. Гнеденко Б. В., Колмогоров А. Н. Предельные распределения для сумм независимых случайных величин. — Москва-Ленинград: ГИТТЛ, 1949.

5. Гнеденко Б. В., Фахим X. Об одной теореме переноса // Доклады АН СССР. - 1969. - Т. 187, № 1. - С. 15—17.

6. Gnedenko В. V., Korolev V. Y. Random Summation: Limit Theorems and Applications. — CRC Press, 1996.

7. Королев В. Ю. Асимптотические свойства выборочных квантилей, построенных по выборкам случайного объема // Теория вероятностей и ее применения. — 1999. — Т. 44, № 2. — С. 440-445.

8. Королев В. Ю., Соколов И. А. Математические модели неоднородных потоков экстремальных событий. — Москва: Торус, 2008.

9. Newcomb S. A generalized theory of the combination of observations so as to obtain the best result // American Journal of Mathematics. — 1886. — Vol. 8, no. 4.-Pp. 343-366.

10. Pearson K. Contributions to the Mathematical Theory of Evolution // Philosophical Transactions of the Royal Society of London. — 1894. — Vol. 185.- Pp. 71-110.

11. Teicher H. Identifiability of mixtures // The Annals of Mathematical Statistics. - 1961. — Vol. 32, no. 1. — Pp. 244-248.

12. Everitt В., Hand D. J. Finite Mixture Distributions. Monographs on Applied Probability and Statistics. — Chapman and Hall, 1981.

13. Titterington D. M., Smith A. F. M., Makov U. E. Statistical analysis of finite mixture distributions. — John Wiley & Sons, 1987.

14. McLachlan G. J., Basfoi'd К. E. Mixture models, inference and applications to clustering. — 1988.

15. McLachlan G., Peel D. Finite Mixture Models. Wiley series in probability and statistics: Applied probability and statistics. — Wiley, 2004.

16. Васильев Ф. П. Методы оптимизации. — Москва: Факториал Пресс, 2002.

17. Hasselblad V. Estimation of parameters for a mixture of normal distributions // Technometrics. — 1966. —Vol. 8, no. 3. —P. 431-446.

18. Исаенко О. К., Урбах В. Ю. Разделение смесей распределений вероятностей на их составляющие // Итоги науки и техники. — Москва: ВИНИТИ, 1976. — Т. 13 из Теория вероятностей, математическая статистика и теоретическая кибернетика. — С. 37-58.

19. Grim J. On numerical evaluation of maximum-likelihood estimates for finite mixtures of distributions // Kybernetika. — 1982. — Vol. 18, no. 3. — Pp. 173190.

20. M'Kendrick A. G. Applications of mathematics to medical problems // Proceedings of the Edinburgh Mathematical Society. — 1926. — Vol. 44. — Pp. 98-130.

21. Healy M., Westmacott M. Missing values in experiments analysed on automatic computers // Applied statistics. — 1956. — Vol. 5. — Pp. 203-206.

22. Hartley H. O. Maximum likelihood estimation from incomplete data // Biometrics. - 1958. — Vol. 14. — Pp. 174-194.

23. Buck S. F. A method of estimation of missing values in multivariate data suitable for use with an electronic computer // Journal of the Royal Statistical Society. Series В (Methodological). — I960, —Vol. 22, — Pp. 302306.

24. Шлезингер M. И. О самопроизвольном различении образов // Сб. Читающие автоматы. — Киев: Наукова думка, 1965. — С. 38-45.

25. Шлезингер М. И. Взаимосвязь обучения и самообучения в распознавании образов // Кибернетика. — 1968. — № 2. — С. 81-88.

26. Day N. Е. Divisive cluster analysis and a test for multivariate normality // Session of the ISI. — 1969.

27. Day N. E. Estimating the components of a mixture of normal distributions // Biometrika. — 1969. - Vol. 56, no. 3. — Pp. 463-474.

28. Wolfe J. H. Pattern clustering by multivariate mixture analysis // Multivariate Behavioral Research. — 1970. — Vol. 5.— Pp. 329-350.

29. Blight B. J. N. Estimation from a censored sample for the exponential family // Biometrika. - 1970. — Vol. 57, no. 2. - Pp. 389-395.

30. Krishnan Т., McLachlan G. The EM algorithm and extensions. — New York: John Wiley k Sons, 1997.

31. Dempster A., Laird N., Rubin D. Maximum likelihood from incomplete data via the cm algorithm // Journal of the Royal Statistical Society. Series В (Methodological). - 1977. - Vol. 39. — Pp. 1-38.

32. Kazakos D. Recursive estimation of prior probabilities using a mixture // Information Theory, IEEE Transactions on.— 1977.— Vol. 23, no. 2.— Pp. 203-211.

33. Wu C. F. On the convergence properties of the em algorithm // The Annals of Statistics. - 1983. — Vol. 11, no. 1. — Pp. 95-103.

34. Boyles R. A. On the convergence of the em algorithm // Journal of the Royal Statistical Society. Series В (Methodological). — 1983.— Pp. 47-50.

35. Redner R. A., Walker H. F. Mixture densities, maximum likelihood and the em algorithm // SIAM review. — 1984. — Vol. 26, no. 2. — Pp. 195-239.

36. Литтл P. Д. А., Рубин Д. Б. Статистический анализ данных с пропусками. — Москва: Финансы и статистика, 1991.

37. Прикладная статистика. Классификация и снижение размерности / С. А. Айвазян, В. М. Бухпттабер, И. С. Енюков, Л. Д. Мешалкин.— Москва: Финансы и статистика, 1989.

38. Tanner М. A. Tools for statistical inference. — New York: Springer-Verlag, 1993.

39. Bilmes J. A. A gentle tutorial of the EM algorithm and its application to parameter estimation for Gaussian mixture and hidden Markov models. — Berkeley, CA: International Computer Science Institute, 1998.

40. Figueiredo M. A. T. Lecture notes on the em-algorithm. — 2008.

41. Королев В. Ю. ЕМ-алгоритм, его модификации и их применение к задаче разделения смесей вероятностных распределений. Теоретический обзор. — Москва: ИПИ РАН, 2007.

42. Королев В. Ю. Вероятностно-статистический анализ хаотических процессов с помощью смешанных гауссовских моделей. Декомпозиция во-латильности финансовых индексов и турбулентной плазмы.— Москва: ИПИ РАН, 2007.

43. Анализ компонент волатильности с помощью метода скользящего разделения смесей / В. Ю. Королев, В. А. Ломской, Н. Н. Пресняков, М. Рэй // Системы и средства информатики. Специальный выпуск.— Москва: ИПИ РАН, 2005. - С. 180-206.

44. Сеточные методы разделения смесей вероятностных распределений и их применение к декомпозиции волатильности финансовых индексов / В. Ю. Королев, Е. В. Непомнящий, А. Г. Рыбальченко, А. В. Виноградова // Информ. и её примен. — 2008. — Т. 2, № 2. — С. 3-18.

45. Tukey J. W. A survey of sampling from contaminated distributions // Contributions to Probability and Statistics Essays in Honor of Harold Hotelling. - 19G0. - Pp. 448-485.

46. Hall P. On measures of the distance of a mixture from its parent distribution // Stochastic Processes and their Applications. — 1979. — Vol. 8, no. 3. - Pp. 357-365.

47. Korolev V. Y., Nazarov A. L. Separating mixtures of probability distributions with the grid method of moments and the grid maximal likelihood method. // Autom. Remote Control — 2010,— Vol. 71, no. 3. — Pp. 455-472.

48. Pollard D. Empirical Processes: Theory and Applications. — Hayward, CA: Institute of Mathematical Statistics, 1990. — Vol. 2 of NSF-CBMS Regional Conference Series in Probability and Statistics.

49. van der Vaart A. W. Asymptotic Statistics (Cambridge Series in Statistical and Probabilistic Mathematics). — Cambridge University Press, 2000.

50. Круглое В. M. Смеси распределений вероятностей // Вестник Московского университета.- 1991.— Серия 15 Вычислительная математика и кибернетика Л'2 2. — С. 3-15.

51. Prakasa Rao В. Identifiability in stochastic models: characterization of probability distributions. — Academic Press, 1992.

52. Teicher H. Identifiability of finite mixtures // The Annals of Mathematical Statistics.- 1963.- Vol. 34, no. 4.- Pp. 1265-1269.

53. Prokhorov Y. V. Convergence of Random Processes and Limit Theorems in Probability Theory // Theory of Probability and its Applications. — 1956. — Vol. 1, no. 2,- Pp. 157-214.

54. Dudley R. M. Distances of probability measures and random variables // The Annals of Mathematical Statistics. - 1968. — Vol. 39. — Pp. 1563-1572.

55. Золотарев В. М. Современная теория суммирования независимых случайных величин. — Москва: Наука, 1986.

56. Назаров А. Л. Об устойчивости смесей вероятностных законов к возмущениям смешивающих распределений // Статистические методы оценивания и проверки гипотез. — 2010. — № 22. — С. 154-172.

57. Назаров А. Л. Нижние оценки в задаче устойчивости смесей нормальных распределений к возмущениям смешивающих распределений // Информатика и ее применения. — 2012. — Т. 6, № 4. — С. 24-32.

58. Королев В. Ю., Назаров А. Л. Разделение смесей вероятностных распределений при помощи сеточных методов моментов и максимального правдоподобия. // Автомат, и телемех. — 2010. — Т. 71, № 3.— С. 98116.

59. Колмогоров А. Н., Фомин С. В. Элементы теории функций и функционального анализа. — Москва: Наука, 1976.

60. Назаров А. Л. Асимптотические свойства оценок, полученных с помощью сеточных методов разделения смесей вероятностных распределений // Статистические методы оценивания и проверки гипотез. — 2012. - № 24. - С. 22-35.

61. Назаров А. Л. О состоятельности оценок параметров масштабных смесей нормальных распределений, получаемых с помощью сеточных методов // Системы и средства информатики. ~ 2012. — Т. 22, № 2. — С. 227-243.

62. Скороход А. В. Предельные теоремы для случайных процессов // Теория вероятностей и ее применения. — 1956. — Т. 1.— С. 289-319.

63. Ширяев А. Н. Вероятность. — Москва: МЦНМО, 2007.

64. Биллингсли П. Сходимость веротяностных мер. — Москва: Наука, 1977.

65. Назаров А. Л. Разделение смесей вероятностных распределений сеточным методом максимального правдоподобия при помощи алгоритма

условного градиента // Сб. статей молодых ученых факультета ВМиК МГУ. - 2009. - № 6. - С. 128-135.

66. Очков В. Ф. MathCAD 8 PRO для студентов и инженеров. — Москва: КомпьютерПресс, 1999.

67. Дьяконов В. П. Справочник по MathCAD PLUS 7.0 PRO. — Москва: СК Пресс, 1998.

68. Васильев Ф. П., Иваницкий А. Ю. Линейное программирование.— Москва: Факториал Пресс, 2003.

69. Ашманов С. А., Тимохов А. В. Теория оптимизации в задачах и упражнениях. — Москва: Наука, 1991.

70. Wald A. Note on the consistency of the maximum likelihood estimate // The Annals of Mathematical Statistics. — 1949. — Vol. 20. — Pp. 595-601.