О некоторых свойствах вероятностных распределений и их применении в задачах машинного обучения тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат наук Волков Никита Алексеевич

• Волков Никита Алексеевич
• кандидат наук
• 2020

Оглавление диссертации кандидат наук Волков Никита Алексеевич

1.3. Доказательства теорем

1.3.1. Доказательство теоремы

1.3.2. Доказательство теоремы

1.3.3. Доказательство теоремы

1.3.4. Вспомогательные утверждения

2. Оценки смеси многомерных распределений Стьюдента

при наличии пропусков в данных

2.1. Введение

2.2. Распределения

2.2.1. Нормальное распределение

2.2.2. Гамма-распределение

2.2.3. Распределение Стьюдента

2.2.4. Маргинальные распределения

2.3. Условное распределение

2.4. Смесь распределений

2.4.1. Свойства смеси распределений

2.4.2. Смесь нормальных распределений

2.4.3. Итерационная процедура для смеси распределений

Стьюдента

2.5. Вывод формул оценки параметров смеси распределения

Стьюдента

2.5.1. E-шаг. Внутренний шаг

2.5.2. E-шаг. Внутренний шаг II

2.5.3. E-шаг. Внутренний шаг III

2.5.4. M-шаг

2.5.5. Вариационная нижняя оценка и сходимость метода

3. Модель машинного обучения на основе смеси распределений Стьюдента

3.1. Решаемые задачи машинного обучения

3.1.1. Кластеризация

3.1.2. Аномальность

3.1.3. Пропуски в данных

3.1.4. Условное распределение и вероятностная регрессия

на признаки

3.2. Моделирование PVT-свойств пластовых флюидов вероятностной моделью

3.2.1. Описание данных

3.2.2. Первые подходы

3.2.3. Смесь нормальных распределений

3.2.4. Смесь распределений Стьюдента

3.3. Исследование модели

3.3.1. Модельные эксперименты

3.3.2. Качество предсказания

3.4. Выводы

3.5. Возможные варианты развития модели

Введение диссертации (часть автореферата) на тему «О некоторых свойствах вероятностных распределений и их применении в задачах машинного обучения»

Введение

Актуальность и степень разработанности темы.

1. Для биномиальной случайной величины £ с параметрами п € N и Ь/п хорошо известно, что ее медиана равна Ь, если Ь € {1,... ,п} [1]. Рассмотрим биномиальную случайную величину £ь,п,с с параметрами п и П+С, гДе Ь < п — натуральные числа и с € (0,1). Обозначим рь,п,с := Р(£Ь,п,С < Ь). В статье [2] доказаны следующие утверждения:

• если п ^ 3Ь + 2, то рь+1,п,о > Рь,п,о;

• если п < 3Ь + 1, то рь+1,п,о < Рь,п,о.

Заметим, что в 1968 году Джогдео и Самуэльс [3] изучали поведение вероятности рь,п,о, а также отношения Р(£ = Ь) и 1/2 — Р(£ < Ь). Такого рода вопросы мотивированы известным вопросом Рамануджана, относящимся к пуассоновским случайным величинам (см., например, [4]).

Кроме того, исследование монотонности рь,п,с по Ь мотивировано задачей о неравенстве малых отклонений (см., например, [5]), которая может быть сформулирована следующим образом: для с > 0 найти минимум Р(£1 + + ... + £п < п + с) по всем множествам независимых неотрицательных случайных величин {£1,...,£п} с одинаковым средним. Эта задача до сих пор не решена. Тем не менее, было показано (см., например, [6]), что оптимальными случайными величинами являются величины, принимающие два значения с вероятностью 1 (как говорится, с двумя атомами). Если мы далее ограничимся одинаково распределенными случайными величинами с двумя атомами, то сведем исходную задачу к анализу монотонности рь,п,с по Ь (см. [2]).

В настоящей диссертации исследована монотонность рь,п,с по Ь для произвольного с Е [0,1].

2. Свойства распределения Стьюдента впервые исследовал Уильям Госсет. Он обратил внимание, что стандартизированное (отцентрированное и отмасштабированное) выборочное среднее нормальной выборки при замене неизвестной дисперсии на ее оценку имеет распределение, отличное от нормального [7]. В литературе приводятся некоторые свойства распределения Стьюдента. Например, в [7] и [8] вычисляется плотность распределения с помощью определения случайной величины с таким распределением через комбинацию случайных величин, имеющих нормальное распределение и гамма-распределение, а также его математическое ожидание и дисперсия. Естественным образом, подобно нормальному распределению, вводится многомерный аналог распределения Стьюдента [9]. Вычислительные методики приближенного вычисления характеристик распределения Стьюдента подробно разобраны в книге [10]. В статье [11] показано, что условное распределение компонент вектора, имеющего многомерное распределение Стьюдента, также имеет распределение Стьюдента.

Для описания данных часто используют смеси нормальных распределений. Оценка параметров такой смеси происходит с помощью ЕМ-алгоритма [12]. При наличии выбросов в данных логично рассматривать смесь распределений Стьюдента. Идеи оценки параметров смеси распределений Стьюдента были описаны в [13], [14] и [15]. В частности, в [13] приведены формулы поиска оценок с помощью условного ЕМ-алгоритма. Оценку параметров смеси распределений Стьюдента можно также производить с помощью методов МСМС [16].

Наряду с выбросами другой достаточно распространенной проблемой анализа данных является наличие в них пропущенных значений. В книге [17] приводится широкий обзор методов работы с пропущенными значениями, в частности, итерационные процедуры оценки параметров смеси нормальных распределений при наличии пропусков, а также для ло-

глинейных моделей. В статье [18] приводится описание метода, основанного на ЕМ-алгоритме, построения генеративных топографических карт (СТМ) при наличии пропущенных данных. В качестве статистической модели рассматриваются смеси регрессионных моделей, использующих шарообразные распределения Стьюдента. Иными словами, матрица ко-вариаций этих распределений имеет диагональный вид с одинаковыми значениями на диагонали.

В настоящей диссертации разработана итерационная процедура оценки параметров смеси многомерных распределений Стьюдента по выборкам, в которых могут присутствовать пропущенные значения. Разработанная процедура обобщает ранее известные методы, а также дает основу для различных усложнений модели.

3. Существует ряд методов оценки представительности проб пластовых флюидов [25], таких как

• проверка герметичности пробоотборных камер;

• сопоставление давления насыщения нефти с давлением сепарации при температуре сепарации и др.;

• метод Хоффмана-Крампа-Хоккота, основанный на корреляции констант равновесия;

• определение представительности проб по критерию загрязненности технологическими жидкостями, применяемыми при бурении, перфорации и освоении скважины.

В условиях же, когда имеются только сырые данные, выше представленные методы не могут быть применены, в связи с чем возникает необходимость в разработке алгоритмов выявления потенциально некорректных значений по сырым данным.

Задача предсказания РУТ-свойств методами машинного обучения ранее рассматривалась в сильно ограниченном варианте. Например, в статьях [26], [27], [28] рассматривается предсказание давления насыщения

через другие свойства с помощью нейронных сетей. В статьях [28], [29] аналогичным образом предсказывается объемный коэффициент нефти. В статье [30] для предсказания упомянутых выше признаков используется БУМ-регрессия.

В настоящей диссертации предложен метод машинного обучения, а также реализующий его программный продукт, позволяющий значительно расширить спектр решаемых задач и повысить точность решений рассматриваемых ранее задач.

Цель работы и задачи исследования.

1) Исследование монотонности величины рь,п,с по Ь для произвольного числа с € (0,1].

2) Разработка процедуры оценки параметров смеси многомерных распределений Стьюдента по выборке, в которой присутствуют пропущенные значения.

3) Разработка инструментов для комплексной оценки достоверности данных исследований РУТ-свойств пластовых флюидов.

Структура диссертации.

Диссертация состоит из введения, 3 глав, заключения и библиографии. Общий объем диссертации 102 страниц, из них 95 страниц текста (не считая титульного листа, оглавления и библиографии), на которых приведены 9 рисунков и 4 таблицы. Библиография включает 37 наименований на 4 страницах.

В первой главе приводится обобщение результата Дмитриева и Жуковского для случайной величины £ с параметрами п € N и Ь/(п + с) для произвольного с € [0,1], а также подтверждена гипотеза, сформулиро-

ванная ими. С помощью полученного инструмента можно сформулировать следствия, аналогичные этой гипотезе.

Во второй главе для выборки из многомерной смеси распределений Стьюдента предложен новый способ оценки параметров смеси на основе ЕМ-алгоритма, в котором на Е-шаге применяется вариационный байесовский вывод. Основной особенностью данного способа является то, что он позволяет получать оценки в случае наличия пропусков в данных.

В третьей главе на основе смеси распределений Стьюдента построен метод машинного обучения, позволяющий с помощью одной модели решать задачи регрессии по любому набору признаков, кластеризации, обнаружения аномалий. Каждая из этих задач может быть решена моделью при наличии пропусков в данных. На основе данного метода разработан инструмент для комплексной оценки достоверности данных исследований РУТ-свойств пластовых флюидов. Приведены результаты тестирования на данных РУТ-свойств, показано, что предсказания во многих случаях точнее широко известных методов машинного обучения по метрикам МАРЕ и ЯМБРЕ.

Научная новизна. Теоретическая и практическая значимость работы.

1) Получено обобщение результата Дмитриева и Жуковского, подтверждена сформулированная ими гипотеза. Данный результат носит теоретический характер. С помощью полученного инструмента можно сформулировать следствия, аналогичные этой гипотезе.

2) Впервые разработана итерационная процедура получения оценки параметров смеси многомерных распределений Стьюдента по выборкам, в которых имеются пропущенные значения. Данный результат носит как теоретический, так и практический характер. Полученный метод можно обобщать на более сложные вероятностные

модели. Также данный метод применен для решения задач машинного обучения.

3) Предложен метод машинного обучения на основе смеси многомерных распределений Стьюдента, позволяющий решать задачи кластеризация, регрессии, детектирования аномалий, в том числе, при наличии пропусков в данных. С помощью данного метода получены принципиально новые инструменты для оценки достоверности данных исследований РУТ-свойств пластовых флюидов. Данный результат носит практический характер. Инструмент используется в работе геологов.

Положения, выносимые на защиту.

1) Если с = 1, то рь+1,п,с > рь,п,с при любых 1 ^ Ь < п.

2) Если п ^ 3Ь + 2, то рь+1,п,с > рь,п,с.

3) Порог, при котором монотонность меняется, равен щ—с)(1 + °(1)). Формально, Уе > 0 У£ > 0 Ус € (0,1) Зпо Уп ^ по УЬ € (еп, п) :

7 ^ п(1—

• при Ь < зу-) выполнено рь+1,п,с > рь,п,с,

• при Ь > з(1—с) выполнено рь+1,п,с < рь,п,с.

4) Разработанная в диссертации итерационная процедура получения оценки параметров в смеси многомерных распределений Стьюдента общего вида (без дополнительных ограничений на параметры) при помощи вариации ЕМ-алгоритма, в которой на Е-шаге применяется вариационный байесовский вывод, позволяет вычислять оценку параметров по выборке, в которых часть значений ненаблюдаема.

5) Разработанный в диссертации метод машинного обучения, основанный на смеси многомерных распределений Стьюдента, позволяет решать следующие задачи:

а) кластеризация точек на выбранное количество кластеров,

б) выявление аномальных точек,

в) регрессия для предсказания любого набора вещественных признаков при использовании любого другого набора (предсказание и доверительный интервал).

Каждая из этих задач может быть решена моделью при наличии пропусков в данных.

6) Разработанный программный продукт, реализующий вышеупомянутый метод, является новым инструментом для оценки достоверности данных исследований PVT-свойств пластовых флюидов.

Методы исследования.

Для доказательства результатов первой главы диссертации широко применялся аппарат следующих дисциплин: теория вероятностей и математический анализ. Некоторые вычисления производились при помощи символьных вычислений Matlab. Для получения результатов второй главы применялся аппарат теории вероятностей, байесовских методов, линейной алгебры. Программные инструменты третьей главы разработаны на языке Python.

Степень достоверности и апробация результатов.

Основные результаты диссертации содержатся в работах [33], [34], [35], [36], [37]. Три работы опубликованы в журналах, индексируемых Scopus, еще 2 работы — RSCI. Первые 4 работы написаны автором самостоятельно, остальные авторы принимали сопроводительное участие (постановка задач, экспертные советы, перевод на английский). В пятой работе автором написан раздел "Анализ PVT-свойств", который включен в главу 3 настоящей диссертации.

Результаты диссертации докладывались на следующих конференциях и семинарах:

1) Российская нефтегазовая техническая конференция БРЕ (2019),

2) 62-я научная конференция МФТИ (2019),

3) Научный семинар кафедры анализа данных МФТИ (2020),

4) Семинар отдела трудноизвлекаемых углеводородов МФТИ (2020).

Благодарности.

Автор признателен доценту Максиму Евгеньевичу Жуковскому за неоценимую помощь в работе и за полезные замечания, Семену Андреевичу Буденному и Алле Михайловне Андриановой за помощь в постановке задач и экспертную поддержку.

Глава 1.

Монотонность функции биномиального распределения возле медианы

Для биномиальной случайной величины £ с параметрами п Е N и Ь/п хорошо известно, что ее медиана равна Ь, если Ь Е {1,...,п}. В 2018 году Дмитриев и Жуковский исследовали [2] монотонность по Ь функции Р(£ < Ь). В данной главе этот результат обобщен для случайной величины £ с параметрами п Е N и Ь/(п + с) для произвольного с Е [0,1], а также подтверждена гипотеза, сформулированная Дмитриевым и Жуковским.

1.1. Введение

Для биномиальной случайной величины £ с параметрами п Е N и Ь/п хорошо известно, что ее медиана равна Ь, если Ь Е {1,...,п} [1]. Рассмотрим биномиальную случайную величину £ь,п,с с параметрами п и П+С, где Ь < п — натуральные числа и с Е (0,1). Обозначим рЬпс := Р(£Ь,п,С < Ь). В статье [2] доказана теорема

Теорема 1.1.1. Справедливы следующие утверждения.

• Если п ^ 3Ь + 2, то рь+1,п,о > Рь,п,о.

• Если п < 3Ь + 1, то рь+1,п,о < Рь,п,о.

Заметим, что в 1968 году Джогдео и Самуэльс [3] изучали поведение вероятности рь,п,о, а также отношения Р(£ = Ь) и 1/2 — Р(£ < Ь). Такого рода вопросы мотивированы известным вопросом Рамануджана, относящимся к пуассоновским случайным величинам (см., например, [4]).

Кроме того, исследование монотонности рь,п,с по Ь мотивировано задачей о неравенстве малых отклонений (см., например, [5]), которая может быть сформулирована следующим образом: для с > 0 найти минимум Р(£у + £2 + ... + £п < п + с) по всем множествам независимых неотрицательных случайных величин {£ у,___, £п} с одинаковым средним. Эта

задача до сих пор не решена. Тем не менее, было показано (см., например, [6]), что оптимальными случайными величинами являются величины, принимающие два значения с вероятностью 1 (как говорится, с двумя атомами). Если мы далее ограничимся одинаково распределенными случайными величинами с двумя атомами, то сведем исходную задачу к анализу монотонности рь,п,с по Ь.

В настоящем исследовании доказано, что если с = 1, то справедлива монотонность рь,п,с по Ь.

Теорема 1.1.2. Если с =1, то рь+1;п,с > рь,п,с при любых 1 ^ Ь < п.

Из монотонности рь,пд следует приведенная далее гипотеза, ранее сформулированная в [2].

Гипотеза 1. Пусть а € [0,1),в > 1. Пусть Ь — целое число такое, что

п + 1 — па

Ь < —--< Ь + 1.

в — а

Тогда Р(£у + .. .+£п < п+1) ^ рь,п,1, где £у, ...,£п — независимые одинаково распределенные двухатомные случайные величины со значениями а и в, средним 1, и равенство выполняется тогда и только тогда, когда а = 0 и ^ = Ь + 1.

Аналогичные этой гипотезе утверждения можно сформулировать для любого с € (0,1). В этой связи в данной работе исследована монотонность для всех с € (0,1).

Во-первых, обобщен первый пункт теоремы 1.1.1 на случай произвольного с Е [0,1].

Теорема 1.1.3. Если п ^ 3Ь + 2, то рь+1;п,с > Рь,п,с.

Кроме того, получен асимптотический результат, утверждающий, что порог, при котором монотонность меняется, равен щ—су(1 + °(1)).

Теорема 1.1.4. Уе > 0 У£ > 0 Ус Е (0,1) Зп0 Уп ^ п0 УЬ Е (еп,п) :

7 ^ п(1—¿)

• при Ь < з(т—су выполнено Рь+1,п,с > Рь,п,с,

• при Ь > з(т—су выполнено Рь+1,п,с < Рь,п,с.

Благодаря этому существенно обобщена теорема 1.1.1 и получен инструмент, с помощью которого можно сформулировать следствия, аналогичные гипотезе 1.

На рисунке 1.1 приведена визуализация знака разности рь+1,п,с — рь,п,с в зависимости от Ь и с. В случае с = 0 смена знака согласуется со статьей [2]. При с =1 видно, что разность всегда положительна, что согласуется с теоремой 1.1.2. Аналогично в случае п ^ 3Ь+2, рассмотренном в теореме 1.1.3. В произвольном случае линяя смены знака соответствует асимптотической границе, полученной в теореме 1.1.4.

1.2. Вспомогательные утверждения

Далее используются следующие обозначения:

1) Ль,п+с = [1 — п+с,1 — П+с];

2) ^(г) = (1 — г)ь—1гп—ь;

3) ^ь,п,с = /Дь,п+с ^.

Рис. 1.1. Визуализация знака разности ръ+1,п,с — Ръ,п,с в зависимости от ь и с.

1.2.1. Полезное выражение для рь,п,с

В этом разделе обобщим на случай произвольного с утверждения 1-3 из статьи [2].

Утверждение 1.

рь+1,п,с рь,п,с

(п+с )ь (1 - п+)п-ь — Ь л1—^ (1 - * )ь—1 *п—ь ^

п+с

Ь /оУ (1 — * )ь-1 *п-ь ¿г

Доказательство. Запишем рьп следующим способом:

ь1

рь.

п,с

=£ и:

г=о

п \ /6 — 1\ (п — Ь + 1)1(6 — 1 — г)! Ь — т г 7 (п — г)!

Ь

п+с

1

Ь

п—г

п+с

Поскольку

(п — Ь)!(Ь — 1 — г)! Г(п — Ь + 1)Г(Ь — г)

(п — г)!

Г(п — г + 1)

= В(п — Ь + 1,Ь — г) =

х

п—ь

(1 — х)

ь-г-1

^х,

получаем

/п — 1

Рь,п,с = п( Ь_ 1

ь-1

£(" — > — х)"-1

Ь

г=о

п+с

1

Ь

ь-г- 1

п+с

х

п!

1-6

1

1

Ь

п—ь+1

п+с

¿X =

п+с

1

(п — Ь)!(Ь — 1)!./ о

ххп—ь

п! Г

(п — Ь)!(Ь — 1)^о

" ' Ь \

Ь +(1 — х^1 — Ь

п+с

ь- 1

X

Ь

п—ь+1

п+с

X

х1

п+с

1 — х 1 —

п—ь

¿X =

Ь '

х1

п+с Ь

ь- 1

X

Г(п + 1)

-1—4-

п+с

п+с

1

Г(п — Ь + 1)Г(Ь)./ о

Следовательно,

Г п+с/1 _ ,у\ь—1'п—ьг1,у

(1 — г)ь—1гп-ь^ = ]о . (1 ^) ^ ^.

/о1(1 — г )ь—1г

1 ь+1 1 ь

— ^ \ь^п-ь-1*

— Рь ,п,с

/о п+с (1 — г)ьгп—ь—/о п+с (1 — г)ь—1гп— /о1(1 — г )ьгп—ь—/о1(1 — г)ь—1гп—

/о п+с (1 — г )ь^(гп—ь) /о1 п+с (1 — г )ь—1гп—

ь+1

1

/о1(1 — гN (гп—ь)

г'

/о(1 — г )ь—'г

ь~ 1 гу п—

ьЙ2

(п+С)ь (1 — пё)"—ь + Ь/о1—П++С(1 — г)ь—1 /о — п+с(1 — г)ь—V^-Ь<iг

X

Ь/о1(1 — г )ь—1гп—

/о(1 — г)ь—1г п—

1

1

ъ

(£ )ь (1 - £)"—ь - Ь /1——±± (1 - *)ь-1*

-=-п±с- □

Ь /оу(1 — * )ь-1 *п-ь ^

1.2.2. Изучение поведения д

В статье [2] приведено следующее утверждение Утверждение 2. Пусть £ € {1,..., шт{Ь — 1,п — Ь}}. Тогда

= (1 _ * ^-/п-ь-^ /^Л (_ ^-г^-г (п — 1 — г)! (п — Ь)! д^ = (1 ^ * ( 1) * (п — 1 — £)! (п — Ь — г)!.

Аналогично статье [2] используя утверждение 2 и формулу Тейлора с остаточным членом в форме Лагранжа, получим верхнюю и нижнюю оценку для д(*) на Дь,п+с. Обозначим для любого £ €

I

ддЛ _ ь + 1Ч

д* М п + с

£-м членом разложения д по формуле Тейлора, и д^з(*) = з=о д^(*)-Также обозначим

= Й - ^, 4« = Й Гх - 6 ^

д*4 \ п + с/ д*4 \ п + су

Из доказательства утверждения 3, получаем, что для любого 5 ^ Ь ^ п/2, функции и являются нижними и верхними оценками д4д/д*4 на Дь,п+с.

Утверждение 3. Для 5 ^ Ь ^ п/3 и всех * € Дь,п+с,

д<з(*) + д+(*) ^ д(*) ^ д<з(*) + д4-(*

где

д4—<*)=24 (* -1+п^) <*), д4+<*)=¿4 (* -1+п^) «ж*).

17

Доказательство. Для каждого £ Е {1,..., шт{Ь — 1, п — Ь}}, обозначим

Л =

д^д/дг^

(1 — г )ь—1—^ п—ь—г Легко видеть, что для каждого £, д/^+1/дг = — (£ + 1)(п — £ — 1)/^, и

/2(г) = г2(п — 1)(п — 2) — 2г (п — 2)(п — Ь) + (п — Ь)(п — Ь — 1)

отрицательна на

т.п — Ь 1 /(п — Ь)(Ь — 1) п — Ь 1 /(п — Ь)(Ь — 1)

п — 1 — п — 1 п — 2 п — 1 п — 1 п — 2

Давайте покажем, что Аьп+С С Т. Во-первых,

1 Ь + 1>х Ь + 1^ п — Ь 1 /(п — Ь)(Ь — 1)

п + с п п — 1 п — 1 п — 2

так как разница между центральной и правой сторонами этого неравен/ (п—ь)(ь— 1) 2п—ь— 1

ства равна л/-—^—— 2п пь 1, и

п2(п — Ь)(Ь — 1) — (2п — Ь — 1)2(п — 2) =

п(Ь — 5)(п(п — Ь) — Ь) + п(12п — 15Ь — 9) + 2Ь2 + 2 + 4Ь > 0 поскольку 5 ^ Ь ^ п/3. Во-вторых,

Ь п — Ь 1 /(п — Ь)(Ь — 1) - п + с п - 1 п - 1 п - 2

эквивалентно неравенству

(п — 1)(п + с — Ь) — (п — Ь)(п + с) < (п + сЬ/^—Ь)(Ь——.

V п — 2

В данном неравенстве левая часть равна (1 + с)Ь — (п + с), что при п > Ь не превосходит с(Ь — 1). Поскольку п + с < Ь — 1, правая часть больше чем (Ь — —, причем выражение под корнем больше 1. Получаем,

что /3(г) возрастает на Дь,п+с.

Теперь, покажем, что /3 (1 — п+с) < 0. Заметим, что /3 (1 — п+с) = —Р(6, п, с)/(с + п)3, где Р(6, п, с) = (56 — 6)п3 + (186 — 18с + 216с — 362с — 1262)п2 + (363с + 763 — 962с2 — 3962с — 1862 + 276с2 + 366с — 18с2)п + 63с3 + 963с2 + 1863с + 663 — 662с3 — 2762с2 — 1862с + 116с3 + 186с2 — 6с3.

Покажем, что Р(6,п,с) положителен. Поскольку 5 ^ 6 ^ п/3, рассматривая первые два слагаемых, получаем, что (56 — 6)п3 + (186 — 18с + 216с — 362с — 1262)п2 ^ (56 — 6)п2 • 36 +(186 — 18с + 216с — 362с — 1262)п2 = С(6, с)п2, где С(6, с) = 3(1 — с)62 + 21с6 — 18с. Величина С(6, с) как многочлен от 6 имеет точку минимума 6 = —7с/(2(1 — с)), следовательно, возрастает при 6 ^ 5. Кроме того, С(5,с) = 12с + 75, следовательно, первые два слагаемых в Р(6, п, с) положительны.

Далее, при 6 ^ 7 коэффициент перед п в Р(6,п,с) не меньше чем (—9с2 — 18с + 31)62 + 171с2 + 252с, что положительно при с € [0,1] поскольку —9с2 — 18с + 31 ^ 4. Аналогично, свободный коэффициент не меньше 62с3+3662с2 + 10862с+4262 + 71с3 + 126с2, что также положительно при с € [0,1].

Рассмотрим случай 6 = 5, Р(5,п,с) = 19п3 + (12с — 210)п2 + (—108с2 — 420с + 425)п + 24с3 + 540с2 + 1800с + 750 ^ (12с + 75)п2 + (—108с2 — 420с + 425)п + 24с3 + 540с2 + 1800с + 750 ^ 75п2 — 103п + 750 > 0 поскольку п ^ 36 = 15 и с € [0,1]. Полученный квадратный трехчлен не имеет корней в силу отрицательности дискриминанта Р = —214391.

Рассмотрим случай 6 = 6, Р(5,п, с) = 24п3 — 324п2 + (—180с2 — 540с + 864)п+60с3+1080с2+3240с+1296 ^ 108п2+(—180с2—540с+864)п+60с3+ 1080с2 + 3240с + 1296 ^ 108п2 + 144п + 1296 > 0 поскольку п ^ 36 =18 и с € [0,1]. Полученный квадратный трехчлен также не имеет корней в силу отрицательности дискриминанта Р = —539136.

Поскольку /3 возрастает на Дь,п и отрицательна в 1 — 6/(п + с), /4(г) положительна Дь. Более того, производная (1 — г)b-5zn-Ь-4 по г также положительна на Д&. Таким образом, д4д/дг4 возрастает на Д&, и это влечет утверждение 3. □

1.3. Доказательства теорем

1.3.1. Доказательство теоремы 1.1.3

Проинтегрируем функции д по отрезку Аь п+с

1—п+-

п+с

1—

п+с

1 ( л Ь + Г

"77 г — 1 +-

£! п + с

1—-+-

п+с

1—-+-

п+с

дгt

1

Ь + Г

п + с

¿г =

(£ + 1)!

г- 1 +

Ь + Г

п+с

т

1

п+с

1—

п+с

д^д /

д 1д

дг ^

1

Ь + Г

п+с

1

Ь + 1

(£ + 1)!(п + с)^1 д^ V п + с Таким образом по утверждению 3 получаем

¿г =

дь, п , с ^ д+п, с := ^

д 1д

Ь+1 1--I +

¿=о

(£ + 1)!(п + с)^1 дг* V п + с

д 4д

120(п + с)5 дг4

1

Ь

п+с

Согласно утверждению 1 для доказательства рь+1 п с > рь п с достаточ-

но показать

'Ь + Г

п + с.

1

Ь + Г

п+с

ь

— Ып. с >

Левая часть этого неравенства равна

'Ь + г

п + с

1

ь + г

п + с

— Ып , с

1

Ь+1

ь4

24(п + с)7 \п + с/ \

Ь д4д — 120(п + с)5 дг4

1

1

Ь + Г

п + с

Ь

пьз

Ьь , п —

п + с

где Ьь,п = —24(Ь + 1)4(Ь — с — п + 1)3 — Ь( — 24(Ь + 1)3(Ь — с — п + 1)

ъ

1

1

1

1

ь

ь

пь

3

12(6 + 1)2(6 — с — п + 1)2(6 — с — 2п +6с + 1) — 4(6 + 1)(63с2 + 463с + 63п + 263 — 62 с3 — 62с2п — 662с2 — 1162 сп + 262с — 262п2 —762п + 662 + 36с3 + 96с2п — 6с2 + 76сп2 + 66сп — 86с + 6п3 + 106п2 — 176п + 66 — 2с3 — 8с2п +6с2 — 11 сп2 + 17сп — 6с — 5п3 + 12п2 — 9п + 2) — 63с3 — 963с2 — 363 сп — 1863с — 763п — 663 +662с3 + 1262с2п + 1862с2 + 362сп2 + 5162сп — 1862с + 1562п2 + 1562п —1862 — 116с3 — 366с2п +96с2 — 366сп2 + 36сп + 186с — 86п3 — 246п2 + 516п —186 + 6 с3 + 24с2п — 18с2 + 33сп2 —51сп + 18с + 16п3 — 39п2 + 29п — 6) = 1266с — 1266 — 2065с2 — 2465сп + 10065с + 2865п — 7665 + 964с3 +2064с2п —11964с2 + 1264сп2 — 16164сп + 33064с — 2064п2 + 15164п — 20264 + 3863с3 + 9263с2п —29863с2 + 6163сп2 — 43163сп + 54 663с + 463п3 — 9163п2 + 32 1 63п — 29 463 + 75 62с3 + 18462с2п —33762с2 + 12862сп2 — 51162сп + 5 1 462с+ 1662п3 — 14062п2 + 37 362п — 25062 + 466с3 + 1126с2п —2106с2 + 796сп2 — 3616сп + 2826с + 126п3 —1416п2 + 2476п —1186 + 24с3 + 72с2п — 72с2 + 72сп2 — 144сп + 72с + 24п3 — 72п2 + 72п — 24, Достаточно показать, что

_ 6(п + с)2(д4д/дг4) (1 — п+) = 6 _

Чп > 5 (6+1)Ь—4 ^ _ 6+1 )п—ь—3 5(6 + 1)(п + с — 6 — 1)_ь'п

Чп+с/ Ч п+с/

где _ь,п = 64с4 + 1664с3 + 664с2п + 7264с2 + 4064сп + 9664с + 364п2 + 4664п + 2464 — 1063с4 — 2063с3п —8063с3 — 663с2п2 — 19863с2п — 7263с2 — 8463сп2 — 35 263сп+19263с—663п3 — 14063п2 —863п+9663 + 35 62с4 + 12062с3п+8062с3 + 13262с2п2 + 36 662с2п — 2 1 662с2 + 4462сп3 + 49 262сп2 —43 262сп + 362п4 + 14662п3-662п2-30062п+14462-506с4-2206с3п+806с3-3546с2п2+1986с2п +726с2 — 2406сп3 + 846сп2 + 3526сп — 1926с — 526п4 — 746п3 + 4206п2 — 3926п + 966 + 24с4 + 120с3п —96с3 + 228с2п2 — 372с2п + 144с2 + 196сп3 — 492сп2 + 392сп — 96с + 65п4 — 226п3 + 283п2 — 146п + 24.

Это неравенство справедливо тогда и только тогда, когда положителен многочлен Р(п, 6, с) = 5(6 + 1)(п + с — 6 — 1)Ь6,п — 6_6,п.

Рассмотрим его вторую производную д ^п^ = (52 865 + 28 0 864 + 768063 + 324062 + 105126 —1728)с2 + (п(87065 + 486664 + 1215063 + 723062 + 186606 — 3456) — 49446 — 3318062 — 2079063 —1779064 — 594665 —

870Ь6 — 2880)с + 7080Ь — п(640Ь6 + 4572Ь5 + 13778Ь4 + 18814Ь3 +28182Ь2 + 4094Ь + 2880) + 13082Ь2 + 26884Ь3 + 18128Ь4 + 9716Ь5 + 2710Ь6 + 320Ь7 + (320Ь5 + 1862Ь4 + 4602Ь3 + 3506Ь2 + 8078Ь — 1728)п2 + 1440 как многочлен от с при фиксированных п, Ь. При Ь ^ 1 коэффициент перед с2 положителен. По условию утверждения п ^ 3Ь + 2, тем самым при замене п на 3Ь + 2 делаем вывод, что коэффициент перед с больше чем 1740Ь6+8652Ь5+18660Ь4+900Ь3+22800Ь2 — 15312Ь—2880, что положительно при Ь ^ 1. Получаем, вершина соответствующей параболы находится при отрицательном с, следовательно при с Е (0,1) вторая производная возрастает.

Исследуем на ее значение при с = 0 и Ь ^ 3. Получаем д ^п2ь,°^ = (320Ь5 + 1862Ь4 + 4602Ь3 + 3506Ь2 + 8078Ь — 1728)п2 + (—640Ь6 — 4572Ь5 — 13778Ь4 —18814Ь3 — 28182Ь2 — 4094Ь — 2880)п + 320Ь7 + 2710Ь6 + 9716Ь5 + 18128Ь4+26884Ь3 +13082Ь2+7080Ь+1440. Рассмотрим это выражение как многочлен от п при фиксированном Ь. Очевидно, что при Ь ^ 3 свободный коэффициент и коэффициент перед п2 положительны. По условию утверждения п ^ 3Ь + 2, тем самым с помощью неравенства п2 > 3Ьп и положительности коэффициента перед п2 заменяя п2 на 3Ьп получаем ^^^ > (320Ь6 + 1014Ь5 + 28Ь4 — 8296Ь3 — 3948Ь2 — 9278Ь — 2880)п + 320Ь7 + 2710Ь6 + 9716Ь5 +18128Ь4 + 26884Ь3 + 13082Ь2 + 7080Ь + 1440. При Ь ^ 3 с помощью неравенства Ь^ ^ 33Ь^—3,к > 3 заменяя Ь^ на 33Ь^—3 при k > 3 получаем, что коэффициент перед п не меньше чем 344Ь3 + 23430Ь2 — 8522Ь — 2880 > 0.

Теперь рассмотрим случай Ь =1, при котором д Fgn21,0^ = 16640п2 — 72960п + 79360. Корни этого многочлена равны п = 2 и п = 31/13. Поскольку п ^ 3Ь + 2 = 5, то многочлен положителен. В случае Ь = 2 получаем д2F.(nf,0} = 105300п2 — 682020п + 1098360. Корни этого многочлена равны п = 3 и п = 226/65. Поскольку п ^ 3Ь + 2 = 8, то многочлен положителен. Тем самым доказана положительность второй производной д !п2,М при всех п, Ь, с, удовлетворяющих условию п ^ 3Ь + 2.

Рассмотрим первую производную при с = 0. Получаем =

(6065 + 385 64 + 101363 + 95162 + 22476 — 576)п3 + (—18066 — 145 065 — 475364 — 741363 —1122762 — 15376 — 1440)п2 + (18067 + 174 566 + 68 9 065 + 1429864 + 2116063 + 1079762 + 66106 +1440)п — 6068 — 68 067 — 3 1 5066 — 801665 — 1312064 — 1094463 — 759062 — 28406 — 480. Видим, что коэффи-

21164 + 50563 + 26962 + 79706 — 4320)п2 + 48068 + 545567 + 2624566 + 6932865 [phone] + 12724763 + 6622562 + 345306 + 6720 > 0 при 6 ^ 1.

Отдельно разбирая случаи 36 + 2 ^ п < 36 + 5, получаем, что во всех случаях первая производная положительна. Действительно,

• ^ (36+2Ао) = 48068 + 334067 +1041466 + 1382465 + 2151664 + 3368463 + 1491862 — 114886 — 7968;

• (3б+3,б,0) = 48068 + 406067 +1565466 + 3076265 + 4614864 + 7312863 + 6399062 — 44306 — 24672;

• (3б+4,б,0) = 48068 + 478067 + 2161466 + 5281065 + 8643864 + 13309863 + 14817262 + 296326 — 54624.

Данные многочлены положительны при 6 =1 и имеют положительные коэффициенты перед всеми степенями 6.

Величина Р(п,6,0) положительна согласно статье [2].

1.3.2. Доказательство теоремы 1.1.2

Согласно формуле Тейлора с остаточным членом в форме Лагранжа для любого г Е [1 — п+1, 1 — п+т] существует б Е [0,1], для которого

^) = е3=о ) +Ф,б) где

циенты перед п3 и п положительны. Пусть п ^ 36 + 5, тогда заменяя п3 и п на п2(36 + 5) и 36 + 5 соответственно, получаем дСЬ'0) ^ (565 +

д^ (п,6,0) дс

Учитывая полученную ранее формулу

1__ь_

1 п+1 л

[ 1 Л Ь + 1

1_ Ь±1

1 п+1

(£ + 1)!(п + 1)т д^ V п + 1

а также аналогично получаемую

1__

1 п+1

1_ Ь+1

1 п+1

, ам 1 д4д Л Ь + б'

= 120(п + 1)5I1 - п+1

согласно утверждению 1 для доказательства рь+1;П;С > Рб,п,с достаточно показать

(У (1 - ПЧГ - Ь /1-* 9М*> 0.

\п + 1/ V п + 1/ Л-ь+1

Х 7 Х 7 1 п+1

Расписывая выражение в левой части неравенства, получаем

(+)■ (1 -+Г - Ь о-=

_ (Ь + 1)ь-4(п - Ь)п-ь-3 Ь д49 ( Ь + б)_

= 24(п + 1)п Ь(п,Ь,б) - 120(п + 1)5дг4 V1 - п+Гу =

(Ь + 1)ь-4(п - Ь)™"6"3 7 ,ч (Ь + б)ь-5(п + 1 - Ь - б)п-ь-4 , А

= -^--ь(п,Ь,а)—-----—:-г---я(п,Ь,а),

24(п + 1)п V . . ; 120(п + 1)п V > >

где Ь(п, Ь, б) = 4Ь5п + 4Ь5 - 8Ь4п2 + 10Ь4п + 18Ь4 + 4Ь3п3 - 30Ь3п2 -18Ь3п - 8Ь3 + 16Ь2п3 - 12Ь2п2 +46Ь2п + 2Ь2 + 12Ьп3 - 62Ьп2 - 2Ьп + 24п3 и Я(п, Ь, б) = Ь(3Ь4п2 + 92Ь4п + 209Ь4 - 40Ь3бп2 + 24Ь3бп +544Ь3б - 6Ь3п3 -190Ь3п2-602Ь3п-418Ь3+6Ь2б2п3-222Ь2б2п+504Ь2б2+60Ь2бп3 +24Ь2бп2 -852Ь2бп - 816Ь2б + 3Ь2п4 + 124Ь2п3 + 594Ь2п2 + 828Ь2п + 355Ь2 - 8Ьб3п3 +72Ьб3п2 - 208Ьб3п + 192Ьб3 - 6Ьб2п4 - 6Ьб2п3 + 222Ьб2п2 - 282Ьб2п -504Ьб2 - 20Ьбп4 - 76Ьбп3 +372Ьбп2 + 892Ьбп + 464Ьб - 26Ьп4 - 224Ьп3 -516Ьп2 - 464Ьп - 146Ь + б4п4 - 10б4п3 + 35б4п2 -50б4п + 24б4 + 4б3п4 -32б3п3 + 68б3п2 + 8б3п - 96б3 + Ш2п4 - 60б2п3 - Ш2п2 + 204б2п +144б2 +

Список литературы диссертационного исследования кандидат наук Волков Никита Алексеевич, 2020 год

Литература

[1] Lord N.. Binomial averages when the mean is an integer // The Mathematical Gazette. - 2018. - V. 94. - P. 331-332.

[2] Dmitriev D, Zhukovskii M.. On monotonicity of Ramanujan function for binomial random variables — 2018. — arXiv:1807.06527

[3] Choi, K.P. (1994). On the medians of Gamma distributions and an equation of Ramanujan. // Proc. Amer. Math. Soc. — 1994. — V. 121. — P. 245-251.

[4] Jogdeo, K., Samuels, S.M.. Monotone convergence of binomial probabilities and a generalization of Ramanujan's equation // Ann. Math. Statist. — 1968. — V. 39. — P. 1191-1195.

[5] Feige, U.. On Sums of Independent Random Variables with Unbounded Variance and Estimating the Average Degree in a Graph. // SIAM J. Comput.. — 2006. — V. 35. — P. 964-984.

[6] He, S., et al.. Bounding Probability of Small Deviation: A Fourth Moment Approach // JSTOR. — 2010. — V. 35. — P. 208-232.

[7] Лагутин М.Б. Наглядная математическая статистика. Москва : Бином, 2009.

[8] Козлов М.В., Прохоров А.В. Введение в математическую статистику. Mосква : МГУ, 1987.

[9] Kotz S., Nadarajah S. Multivariate T-Distributions and their Applications. Cambridge : Cambridge University Press, 2004.

11

12

13

14

15

16

17

18

19

20

21 22

Genz A., Bretz F. Computation of Multivariate Normal and Probabilities. New York : Springer, Dordrecht, 2009.

Kibria B.M.G., Joarder A.H. A short review of multivariate t-distribution // Journal of Statistical Research. 2006. V. 40. P. 256-422.

Bishop C.M. Pattern Recognition and Machine Learning. New York : Springer, 2006.

Peel D., Mclachlan G. Robust Mixture Modelling Using the t-distribution // Statistics and Computing. 2000. V. 10. P. 339-348.

Shoham S., Fellows M, Normann R. Robust, automatic spike sorting using mixtures of Multivariate T-Distributions // Journal of neuroscience methods. 2003. V. 127. P. 111-122.

Bishop C.M., Svensen M. Robust Bayesian Mixture Modelling // Neurocomputing. 2004. V. 64. P. 235-252.

Fruhwirth-Schnatter S. Finite Mixture and Markov Switching Models. New York : Springer, 2006.

Roderick J Little, Donald B. Rubin Statistical Analysis with Missing Data. Hoboken, New Jersey : y John Wiley & Sons, Inc., 2002.

A. Vellido Missing data imputation through GTM as a mixture of t-distributions // Neural Networks. 2006. V. 19. P. 1624-1635.

Ширяев А.Н. Вероятность. Москва : МЦНМО, 2004.

Y.L. Tong The Multivariate Normal Distribution. New York : Springer, 1990.

Eaton M.L. Multivariate Statistics: a Vector Space Approach. Beachwood, Ohio : Institute of Mathematical Statistics, 2007.

Грантмахер Ф.Р. Теория матриц. Москва : Физматлит, 2010.

[23] Smith W.B., Hocking R.R. Algorithm AS 53: Wishart Variate Generator // Applied Statistics. 1972. V. 21. P. 341-345.

[24] Thomas P.M. Old and New Matrix Algebra Useful for Statistics // MIT Media Lab note. https://tminka.github.io/papers/matrix/

[25] Брусиловский А.И. Фазовые превращения при разработке месторождений нефти и газа. Москва : Грааль, 2002.

[26] Alakbari F., Elkatatny S., Baarimah S. Prediction of Bubble Point Pressure Using Artificial Intelligence AI Techniques // Proc. of the SPE Middle East Artificial Lift Conference and Exhibition. 2016. 10.2118/184208-MS.

[27] Numbere O.G., Azuibuike I.I., Ikiensikimama S.S. Bubble Point Pressure Prediction Model for Niger Delta Crude using Artificial Neural Network Approach // Society of Petroleum Engineers. 2013. doi:10.2118/167586-MS.

[28] Alcocer Y, Patricia R. Neural Networks Models for Estimation of Fluid Properties // Proc. of the SPE Latin American and Caribbean Petroleum Engineering Conference. 2001. 10.2523/69624-MS.

[29] Osman E.A., Abdel-Wahhab O.A., Al-Marhoun M.A. Prediction of Oil PVT Properties Using Neural Networks // Society of Petroleum Engineers. 2001. doi:10.2118/68233-MS.

[30] El-Sebakhy E.A., Sheltami T., Al-Bokhitan S.Y., Shaaban Y., Raharja P.D., Khaeruzzaman Y. Support Vector Machines Framework for Predicting the PVT Properties of Crude Oil Systems // Society of Petroleum Engineers. 2007. doi:10.2118/105698-MS.

[31] Liu, Fei Tony, Ting, Kai Ming and Zhou, Zhi-Hua. "Isolation forest." Data Mining, 2008. ICDM 08. Eighth IEEE International Conference on.

[32] Martin Ester, Hans-Peter Kriegel, Jorg Sander, Xiaowei Xu. A density-based algorithm for discovering clusters in large spatial databases with noise // Proceedings of the Second International Conference on Knowledge Discovery and Data Mining (KDD-96) / Evangelos Simoudis, Jiawei Han, Usama M. Fayyad. - AAAI Press, 1996. - С. 226-231. -ISBN 1-57735-004-9.

[33] Volkov, N., Dakhova, E., Budennyy, S., Andrianova, A.. Student Mixture and Its Machine Learning Applications to PVT Properties of Reservoir Fluids // Advances in Systems Science and Applications. 2020. 20(2), 98-118. https://doi.org/10.25728/assa.2020.20.2.899

[34] Volkov, N., Andrianova, A., Serebryakova, D., Budennyy, S.. Reliability Assessment of PVT-Properties of Reservoir Fluids on the Basis of a Probabilistic Mixture Model of Student's Distributions // Society of Petroleum Engineers. 2019. doi:10.2118/196866-MS

[35] Волков Н. А. Монотонность функции биномиального распределения возле медианы // Труды МФТИ. 2020. V. 3(47). P. 3-16.

[36] Волков Н. А., Буденный С. А., Андрианова А. М. Смеси вероятностных распределений в задачах регрессии и проверки на аномальность и их применение для PVT-свойств // Труды МФТИ. 2020. V. 3(47). P. 17-43.

[37] Andrianova, A., Simonov, M., Perets, D., Margarit, A., Serebryakova, D., Bogdanov, Y., Budennyy, S., Volkov, N., Tsanda, A., Bukharev, A.. Application of Machine Learning for Oilfield Data Quality Improvement // Society of Petroleum Engineers. 2018. doi:10.2118/191601-18RPTC-MS