Модели, методы и алгоритмы предиктивной аналитики на многообразиях данных тема диссертации и автореферата по ВАК РФ 05.13.18, доктор наук Бурнаев Евгений Владимирович

• Бурнаев Евгений Владимирович
• доктор наук
• 2022

Оглавление диссертации доктор наук Бурнаев Евгений Владимирович

1 данных

1.2.5 Программные средства автоматической генерации предиктивных мо-

52

2. Снижение размерности и моделирование многообразий

2

53

Задачи анализа многообразий данных

2.1.1 Предположения об обрабатываемых данных

2.1.2 Статистический анализ данных со значениями на многообразии

2.1.3 Оценка точности приближения распределений на многообразиях, задаваемых автокодировщиком

2

Перенос опыта в задачах прогнозирования на основе моделей многообразий 66 2.2.1 Перенос опыта в задачах прогнозирования

2.2.2 Структура предиктивной модели для семантической сегментации

2.2.3 Байесовские предиктивные модели

67

68

2.2.5 Результаты вычислительных экспериментов

2.2.4 Перенос опыта на основе априорного распределения на многообразии

2.2.6 Обсуждение результатов

2.3 Восстановления пропусков в данных, описываемых многообразием

2

Постановка задачи восстановления пропусков

76

2.3.2 Восстановление пропусков на основе процедур снижения размерности

2.3.3 Восстановление пропусков на основе многобразия проектирования

76

2.3.4 Приложение: восстановление распределения давления по профилю

2.4.3 Обобщенная задача анализа главных компонент

78

78

79

9

2.4.4 Постановка задачи построения главных компонент с использованием

функции взвешенных ошибок

2.4.5 Итеративный алгоритм подбора весов

2.4.6 Результаты численного моделирования

82

83

84

2

Генеративные сверточные модели многообразий в задачах восстановления пропущенных данных

2.5.1 Построение моделей априорных распределений в предиктивной ана-

I литике

2.5.2 Описание метода восстановления пропущенных данных

2.5.3 Результаты вычислительных экспериментов по моделированию изоб-

ражений

2.5.4 Обсуждение результатов

2.5.5 Дополнителные результаты вычислительных экспериментов

93

2.6 Моделирование многообразий на основе спектрального вложения многооб-

разий Грассмана-Штифеля|

2.6.1 Описание базового алгоритма

2.6.2 Вычислительные эксперименты

2.7 Примеры использования разработанных в диссертации новых моделей и ме-

тодов моделирования многообразий

2

Параметризация геометрических объектов на основе методов снижения размерности для решения задач аэродинамической оптимизации

2.7.2 Генеративные модели для многомасштабного моделирования облаков

точек

2.7.3 Повышение разрешения карт глубины на основе генеративных свер-

точных моделей многообразий

3. Снижение размерности и моделирование многообразий при построении

предиктивных моделей

3.1 Функциональное снижение размерности

129

130

3

Особенности решения задачи снижения размерности в процессе построения предиктивных моделей

3.1.2 Задача функционального снижения размерности

3.1.3 Снижение размерности в задаче оптимизации на основе предиктив-

ных

моделей

3.1.4 Обсуждение результатов

3.2 Построение предиктивных моделей на многообразии на основе спектрально-

го вложения многообразий Грассмана - Штифеля

3.2.1 Задача построения предиктивных моделей на многообразиях данных

3.2.2 Постановка задачи построения предиктивных моделей на многообра-

зиях данных

3.2.3 Стандартные алгоритмы для восстановления многообразий

3.2.4 Построение предиктивных моделей в случае входного вектора со зна-

чениями на многообразии

3.2.5 Модифицированный метод построения предиктивных моделей в слу-

чае входного вектора со значениями на многообразии

3.2.6 Результаты вычислительных экспериментов

3.3 Эфе

3.2.7 Обсуждение результатов

ективное снижение размерности на основе гауссовских процессов

3

3.3.2 Эфф

Предиктивные модели на основе гауссовских процессов

ективное снижение размерности

3.3.3 Результаты вычислительных экспериментов

160

3.4 Снижение размерности на основе выбора наиболее значимых признаков

3.4.1 Анализ чувствительности

3.4.2 Показатели чувствительности (индексы) Соболя

3.4.3 Предиктивная модель на основе полиномиального разложения хаоса

3

3

Оценка индексов Соболя

Асимптотические свойства оценок индексов Соболя

3.4.6 Построение дизайна экспериментов для оценки индексов Соболя

3.4.7 Описание экспериментов

3.4.8 Результаты экспериментов

3.4.9 Обсуждение результатов

3.5 Примеры использования разработанных моделей и методов для получения

низкоразмерного описания в задачах построения предиктивных моделей

175

3.5.1 Эффективное снижение размерности для описания геометрии про-

ф эиля крыла пассажирского самолета в задаче оптимизации его аэро-

динамических характеристик

3.5.2 Генеративное моделирование изображений с сохранением некоторых

функционалов от них

3.5.3 Выделение низкоразмерных переменных из многомерных данных ме-

дицинского сканирования с сохранением некоторых пространствен-

ных зависимостей и построение эффективных предиктивных моделей

3.5.4 Выделения низкоразмерного описания в задаче поиска похожих объ-

ектов

ли на основе гауссовских процессов

4

Иерархическая байесовская регуляризация

4.1.4 Нестационарный гауссовский процесс

4.1.5 Теоретические свойства оценок параметров ковариационной функции

4.1.6 Обсуждение результатов

4

Непараметрическая оценка неопределенности прогноза для предиктивных моделей на основе ядерных методов

Введение диссертации (часть автореферата) на тему «Модели, методы и алгоритмы предиктивной аналитики на многообразиях данных»

4.2.1 Введение

...................... 204

......................204

4.2.2 Конформные предикторы..........................206

4.2.3 Конформные предикторы для ядерной гребневой регрессии ...... 206

4.2.4 Экспериментальный анализ конформных предикторов.........210

4.2.5 Результаты: случай 2Б...........................214

4.2.6 Теоретический анализ конформных предикторов............217

4.2.7 Конформные предикторы для спектрального вложения многообра-

нове гауссовских процессов

4.3.1 Введение

4.3.2

4.3.3

225 225

Адаптивный дизайн экспериментов .................... 226

Одношаговые решения...........................227

229

4.3.4 Численно устойчивый критерий для планирования экспериментов

4.3.5 Результаты экспериментов.........................229

4.3.6 Обсуждение результатов..........................231

4.4 Построение предиктивных моделей по выборкам из разнородных источников

данных ........................................ 232

4.4.1 Теоретический анализ погрешности интерполяции...........232

4.4.2 Вычислительно эффективный алгоритм построения предиктивных

моделей по выборкам из разнородных источников данных.......245

4.5 Повышение вычислительной эффективности предиктивных моделей на ос-

нове ядерных методов ................................ 249

4.5.1 Аппроксимация ковариационной функции ................ 249

4.5.2 Построение предиктивных моделей в случае факторного дизайна экс-

перимента ................................... 261

4.6 Построение предиктивных моделей на основе линейного разложения по сло-

варю параметрических функций..........................264

4.6.1 Модель на основе линейного разложения по словарю параметриче-

ских функций ..... 265

4.6.2 Структура алгоритма построения предиктивной модели....... . 265

4.6.3 Оптимизационный алгоритм ....................... . 266

4.6.4 Инициализация процесса обучения предиктивной модели...... . 266

4.6.5 Обучение предиктивных моделей .................... . 271

4.6.6 Экспериментальное сравнение методов построения предиктивных мо-

делей .......... 274

4.6.7 Оценка ошибки аппроксимации функций на основе линейного разло-

жения по базису вейвлетов ........................ 276

4.6.8 Обсуждение результатов 279

4.7 Постр оение ансамблей предиктивных моделей ................. . 279

4.7.1 Введение ........ 279

4.7.2 Описание алгоритма для построения ансамбля ............ 280

4.7.3 Теоретические свойства алгоритма для построения ансамбля . . . . . 280

4.7.4 Практические свойства алгоритма для построения ансамбля . . . . . 284

4.7.5 Сравнение алгоритмов для построения ансамблей .......... . 286

4.7.6 Обсуждение результатов 287

4.8 Построение предиктивных моделей в предположении инвариантности зави-

симости относительно заданной группы преобразований ............288

4.8.1 Введение ...................................288

4.8.2 Примеры инвариантности зависимости .................. 289

4.8.3 Формализованное описание инвариантности зависимости .......289

4.8.4 Построение предиктивной модели с учетом инвариантности зависи-

мости относительно заданной группы преобразований ......... 290

4.8.5 Аппроксимация модели с аддитивной структурой ............290

4.8.6 Результаты вычислительных экспериментов ...............291

4.8.7 Обсуждение результатов ..........................292

4.9 Построение предиктивной модели в предположении пространственной неод-

нородности моделируемой зависимости......................292

4.9.1 Введение ................................... 292

4.9.2 Постановка задачи..............................293

4.9.3 Методология построения предиктивной модели.............294

4.9.4 Пример применения методологии.....................297

4.9.5 Обсуждение результатов..........................298

4.10 Алгоритмически-программный инструментарий для построения предиктив-

ных моделей ..................................... 298

4.10.1 Введение ................................... 299

4.10.2 Методы для построения предиктивных моделей и их специальные

свойства .................................... 300

4.10.3 Пользовательские опции и дополнительные свойства алгоритмов . . . 303

4.10.4 Автоматизированный выбор методов ................... 304

4.10.5 Сравнение с другими алгоритмами на тестовых задачах ........307

4.11 Примеры использования разработанных моделей и методов для построения

предиктивных моделей в релевантных приложениях . 309

4.11.1 Восстановление пропусков в данных, представленных в виде тензоров 310

4.11.2 Построения предиктивных моделей при решении задач моделирова-

ния в нефтегазовой отрасли ........................311

4.11.3 Моделирование прочности композитных конструкций и оптимизация

их веса в авиационной промышленности . . . . 313

4.11.4 Моделирование и оптимизация аэродинамических свойств изделий в

авиационной промышленности .......... 317

4.11.5 Оптимизация геометрии магнита в ускорителе частиц 318

4.11.6 Предиктивные модели в биомедицинских приложениях 319

4.11.7 Предсказание свойств геометрических объектов 321

5. Обнаружение аномалий и разладок для прогнозирования редких собы-

тий (дефектов) 323

5.1 Обзор методов обнаружения аномалий и разладок и их анализ с учетом

325 325 328

5.1.3 Обсуждение результатов ............. .............330

5.2 Общая методика решения задачи прогнозирования редких событий (дефек-

тов) в приложениях предсказательного обслуживания .............331

5.2.1 Введение..................... .............332

5.2.2 Описание методики ................ .............333

5.2.3 Сопоставление событий...........................337

5.2.4 Обсуждение результатов ..........................341

5.3 Прогнозирование многомерных временных рядов на основе построения нели-

нейной динамики в латентном пространстве .................. . 342

5.3.1 Введение ........ 342

5.3.2 Динамика в латентном пространстве.................. . 343

5.3.3 Оценка модели латентной динамики .................. . 344

5.3.4 Результаты экспериментов........................ . 346

5.3.5 Обсуждение результатов . 350

требований приложений предсказательного обслуживания

5.1.1 Обнаружение аномалий

5.1.2 Обнаружение разладок

5.4 Моделирование и прогнозирование квазипериодических временных рядов

для обнаружения аномалий и разладок . . . . . . . . . . . . . ........351

5.4.1 Введение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 351

5.4.2 Обзор литературы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 351

5.4.3 Оценка сигнала на основе квазипериодической модели . . . . . . . . . 352

5.4.4 Обнаружение разладки для квазипериодической модели . . . . . . . . 354

5.4.5 Оценка эффективности обнаружения разладки в квазипериодических

временных рядах . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354

5.4.6 Обсуждение результатов . . . . . . . . . . . . . . . . . . . . . . . . . 356

5.5 Непараметрические методы обнаружения аномалий на основе мер несоот-

ветствия (неконформности) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 357

5.5.1 Введение................................... 357

5.5.2 Гильбертово пространство с воспроизводящим ядром и обнаружение

аномалий ................................... 358

5.5.3 Обнаружение аномалий на основе мер неконформности ....... . 359

5.5.4 Дрейфующий конформный детектор аномалий на основе эмпириче-

ского ядерного вложения ......................... . 360

5.5.5 Результаты тестирования методов обнаружения аномалий ...... 361

ствия (неконформности) ..............................365

365

366

5.6.2 Неконформность и р-значения

5.6.3 Методы обнаружения разладки......................367

5.6.4 Функции ставки...............................370

5.6.5 Оракулы для обнаружения разладки...................371

5.6.6 Результаты экспериментов.........................373

5.6.7 Сравнение с оптимальными детекторами.................377

5.6.8 Обсуждение результатов]..........................377

5.7 Одноклассовая классификация для обнаружения аномалий в многомерных

5.7.1 Введение ...................................379

5.7.2 Обнаружение аномалий с использованием описания данных на основе

опорных векторов . . . 381

5.7.3 Подходы к выбору модели 381

5.7.4 Результаты экспериментов 382

5.7.5 Обсуждение результатов 385

5.8 Одноклассовая классификации с привилегированной информацией ..... 386

5.8.1 Введение 386

5.8.2 Методы описания данных на основе опорных векторов ......... 387

5.8.3 Привилегированная информация . . 389

5.8.4 Обзор литературы . . . 390

5.8.5 Результаты вычислительных экспериментов 391

5.8.6 Обсуждение результатов 396

5.9 Несбалансированная классификация для прогнозирования редких событий

( дефектов) . . 397

5.9.1 Введение 397

5.9.2 Обозначения и постановка задачи . . 398

5.9.3 Обзор методов генерации повторной выборки .............. 399

5.9.4 Протокол проведения экспериментов 400

5.9.5 Результаты экспериментов 400

5.9.6 Мета-алгоритм для автоматизированного выбора метода повторной

генерации выборки и его параметров 402

5.9.7 Обсуждение результатов 406

5.10 Несбалансированная бинарная классификация со взвешенной функцией по-

терь ...... 407

5.10.1 Введение 407

5.10.2 Постановка задачи . . . 408

5.10.3 Оценка сверху на обобщающую способность 409

5.10.4 Результаты вычислительных экспериментов 411

5.10.5 Обсуждение результатов 415

5.11 Построение ансамблей предиктивных моделей для прогнозирования времен-

ных рядов и обнаружения разладок и аномалий . . 415

5.11.1 Введение 416

5.11.2 Оценка э ффективности алгоритма агрегации предиктивных моделей 416

5.11.3 Структура ансамблей предиктивных моделей для обнаружения раз-

5.11.4 Ансамбли предиктивных моделей для обнаружения разладок.....419

5.11.5 Ансамбли предиктивных моделей для обнаружения аномалий . . . . 423

5.11.6 Обсуждение результатов .......................... 426

5.12 Примеры использования разработанных моделей и методов для построения

предиктивных моделей и обнаружения аномалий и разладок в релевантных

приложениях.....................................427

5.12.1 Прогнозирование спроса..........................427

5.12.2 Ускорение моделирования многое азных потоков в неф этегазовой ин-

дустрии .............. .........429

5.12.3 Обработка временных рядов и обнаружение разладок в задаче опре-

430

5.12.4 Прогнозирования поломок некоторых узлов пассажирского самолета 435

деления смены типа породы на долоте при направленном бурении

5.12.5 Мониторинг высоконагруженных программных систем ........438

5.12.6 Обработка данных с датчиков погодных станций............446

5.12.7 Мониторинг дорожной ситуации......................450

5.12.8 Анализ психофизиологического состояния участника лабораторных

экспериментов

...............................451

5.12.9 Классификации несбалансированных медицинских данных......454

Заключение

456

Введение

В данной главе обоснована актуальность темы диссертации по разработке моделей, методов и алгоритмов предиктивной аналитики на многообразиях данных, проведен обзор некоторых результатов, связанных с темой диссертации, сформулирована цели и определены задачи и методы исследования, а также приведены основные результаты диссертации.

Актуальность

Основной целью предсказательного математического моделирования является построение математической модели, соответствующей данному реальному объекту, и использование этой модели для получения (предсказания) характеристик рассматриваемого объекта |630, 625, 631, 341]. Вид математической модели зависит как от природы объекта, так и от

задач исследования, требуемой достоверности и точности решения этих задач [626, 629

628, 623]. Математическое моделирование сложных информационно-управляющих систем

является, как правило, единственным объективным средством для принятия обоснованных технических решений в процессе проектирования и эксплуатации систем и для прогнозирования свойств этих систем. Развиваемые механизмы моделирования служат научной основой интеллектуальных систем поддержки принятия инженерных решений.

Традиционно в моделировании до начала нашего века использовались математические модели, основанные на "физике процессов" (первых принципах) и описывающие физические процессы и явления, происходящие при функционировании объекта, сложными дифференциальными уравнениями в частных производных с граничными условиями, для которых зачастую неизвестны ни теоремы о существовании и единственности решения, ни характер зависимости решения от параметров и граничных условий [628, 618].

В силу сложности и высокой размерности моделируемых систем, численные методы решения таких уравнений имеют значительную вычислительную трудоемкость как самих расчетов, так и подготовки исходных данных и расчетных сеток. Конечно, развитие суперкомпьютеров и других средств высокой производительности во многом преодолевает указанные сложности, но все равно многие актуальные модели (например, основанные на уравнениях типа Навье-Стокса) неприменимы в условиях проведения "массовых расчетов" [618, 170, 164]. Действительно, с одной стороны, модель должна учитывать значительное число влияющих на результат факторов, и поэтому должна быть достаточно сложной. В частности, модель должна основываться на описании реальных процессов, для которых есть "математическая теория", позволяющая получить характеризующие их аналитические уравнения. С другой стороны, модель должна быть достаточно простой, чтобы существовали эффективные вычислительные процедуры для расчета. Более того, затруднен или даже невозможен учёт нескольких действующих одновременно физических процессов (multi-physics, [261]), например, одновременное моделирование процессов аэродинамики, аэроэластики и теплопроводности при проектировании летательных аппаратов.

Все перечисленные выше факторы существенно сокращают возможности использования моделей, основанных на "физике процессов", особенно на стадии предварительного (концептуального) проектирования, на которой рассматривается очень большое количество вариантов решений и высока цена неправильно выбранного решения. Поэтому при исследовании реальных систем аналитические методы не позволяют решать даже хорошо формализованные частные задачи, а используемые математические модели позволяют

часто получить лишь качественные выводы о процессах, протекающих в таких системах. Имитационное моделирование, являющееся универсальным и достаточно затратным средством моделирования, обладает ограниченными возможностями для использования при решении реальных задач проектирования и оптимизации, требующим проведения значительного количества имитационных экспериментов [170]. Эти общие проблемы моделирования становятся критическими при проектировании информационно-управляющих систем с жесткими требованиями на их характеристики.

Тем самым, актуальна проблема создания технологии моделирования, позволяющей в режиме реального времени проводить расчеты большого числа характеристик для различных вариантов построения сложных технических объектов и принимать инженерные решения по их структуре и параметрам с обеспечением требуемой достоверности выводов.

Возможности появления такой технологии моделирования возникли только в последние десятилетия, и они связаны с развитием информационно-телекоммуникационных технологий и их инфраструктуры, позволяющих:

• быстрое преобразование различных видов информации (текстов, сигналов, изображений, видео и т.п.) в цифровую форму,

• хранение большого объема цифровых данных и быстрый поиск необходимых данных в соответствующих хранилищах,

• быструю передачу по каналам связи больших объемов данных (а также возможность удаленного доступа к данным, в том числе одновременного доступа для большого числа пользователей),

• быструю обработку больших массивов данных (с использованием средств сверхвысокой производительности, распределенных вычислений и т.д.),

• возможности сбора данных о показателях функционирования технических и информационных систем за счет использование датчиков, каналов передачи информации, и т.п., составляющие инфраструктурную компоненту Интернета вещей [610].

Опираясь на эти новые возможности, в начале нашего века появилось новое научное направление — предсказательное моделирование на основе данных (предиктивная аналитика) , в рамках которого были одновременно и независимо созданы соответствующие технологии (получившие тогда названия "Технология быстрого моделирования" [615], "Технология суррогатного моделирования" [281, 3.8, 3.18], "Технология метамоделирования"

[3.31]), которые позволили нивелировать многие указанные выше проблемы.

Создаваемые математические модели основаны на данных - результатах натурных экспериментов, проведенных с различными объектами рассматриваемого класса, и/или вычислительных экспериментов, проведенных с математическими моделями этих объектов [615, 616, 618, 619, 620, 536, 164]. Такие модели строятся (обучаются) по множеству данных об объектах, их прототипах или их математических моделях с возможностью привлечения формализованных знаний и моделей предметной области (физики процессов).

Созданные предиктивные модели имитируют (заменяют) как источники получения данных (натурные или полунатурные эксперименты), так и ресурсоемкие математические модели, созданные на основе изучения физики процессов. Поэтому, такие модели иногда называют также метамоделями (модели над моделями) [536] или суррогатными моделями (Surrogate Models) [164], и они обладают, как правило, высокой вычислительной эффективностью (по сравнению с традиционными моделями), что позволяет их использовать в режиме реального времени для моделирования сложных высокотехнологических объектов

|604, 42, 605, 4.3, 4.12, 3.29].

Процессы построения метамоделей и исследование реальных феноменов с их помощью является предметом изучения предиктивной аналитики — новой технологии предсказательного моделирования на основе данных, теоретические основы которой создаются в наши дни. Основные задачи предиктивной аналитики включают в себя:

• прогнозирование характеристик сложных технических объектов для различных вариантов их построения, вариантов управления объектами и условиями внешней среды

для принятия инженерных решений по их структуре и параметрам с обеспечением требуемой достоверности выводов;

• прогнозирование поведения объектов и явлений в зависимости от принимаемых решений и условий внешней среды;

• выявление зависимостей и причинно-следственных связей между характеристиками и параметрами системы и условиями внешней среды;

• оценивание будущей причинной динамики системы и обнаружение аномалий и разладок (моментов резкого изменения свойств системы и её поведения).

Технологии предиктивной аналитики, используемые при проведении комплексных исследований научных и технических проблем с применением современной технологии математического моделирования и вычислительного эксперимента, включают в себя:

• разработку математических методов создания новых предсказательных моделей для задач прогнозирования характеристик сложных объектов и предсказания поведения объектов и явлений в зависимости от структуры и параметров объектов, принимаемых решений и условий внешней среды;

• разработку строгих и приближенных аналитических методов исследования математических предсказательных моделей, включая численные методы анализа и оптимизации, для принятия эффективных решений о структуре и параметрах объектов и управления объектами;

• разработку, обоснование и тестирование эффективных численных методов, реализуемых в проблемно-ориентированных программных пакетах для современных компьютеров, позволяющих эффективно планировать и проводить вычислительные эксперименты и строить, анализировать и оптимизировать модели предиктивной аналитики за приемлемое для приложений время;

• разработку методов валидации, оценивания качества и проверки адекватности предсказательных моделей объектов на основе объективных истинных данных (ground truth, англ.), в том числе данных прямого натурного эксперимента.

Базовый математический аппарат, используемый на начальном этапе развития пре-диктивной аналитики для построения моделей, был основан на методах математической

статистики, интеллектуального анализа данных (ИАД) и машинного обучения [524, 525

351, 606, 281, 608, 621, 286, 3.31, 607, 45, 622, 617, 603], и включал в себя стандартные

методы решения задачи регрессии, классификации и др. (ядерные методы, крикинг, логистическая регрессия, и т.п.). Наиболее существенные недостатки базовых подходов состоят в следующем:

• эти подходы представляют собой набор "автономных, частных технологий" (с частными критериями эффективности). Однако, как показывает опыт, при построении метамоделей для крупномасштабных реальных приложений, необходимо решать ряд взаимосвязанных задач ИАД, в которых выходные данные одной частной задачи являются входными данными для другой задачи, и целевые функции для частных задач сложно определять независимо (см. пример таких взаимосвязанных задач в авторских работах [2.38, 2.37, 1.12, 1.11, 1.8, 3.19, 3.20, 1.9]),

• имеется большое количество несистематизированных программных продуктов, решающих отдельные задачи анализа и обработки данных, однако отсутствует программный инструментарий для сквозного решения задач предсказательного моделирования при анализе крупномасштабных систем (см. примеры описания требуемого инструментария в авторских работах [1.2, 1.8, 3.23, 3.19, 3.20, 1.9]),

• наиболее существенным недостатком традиционных подходов является то, что задачи анализа данных, решение которых необходимо для построения предиктивных моделей, рассматриваются обычно в упрощенных постановках с сильными ограничениями на свойства используемых данных (такими как унимодальность, предположения о носителе распределения в виде линейного подпространства, "однородность" выборки, и др.), обусловленных имеющимся математическим аппаратом, потенциально пригод-

ным для исследования таких моделей [1.2, 1.8, 1.11, 3.231.

Указанные недостатки не были принципиальными при моделировании относительно простых технических систем, однако они стали критичными при моделировании сложных многокомпонентных, в том числе территориально распределенных, технических и информационных систем. Примерами таких систем являются распределенные многосенсорные системы, динамические социальные сети, аэрокосмические системы, развлекательные и другие средства массовой информации, роботизированные сети, электрические сети, производственные системы, живые системы (телемедицина, он-лайн мониторинг состояния больных, различные носимые устройства для персонализированной медицины), и др. В таких системах генерируются большие объемы гетерогенных данных (например, мульти-модальные временные последовательности сигналов, изображений и видео), требующих для своего описания "нетрадиционных" моделей данных (нетрадиционных предположений), основанных на нелинейных, в том числе неевклидовых, носителях данных, представленных разноточными и несбалансированными выборками, и др.

Соответственно, расширение областей использования технологии предиктивной аналитики выявило ряд серьезных ограничений основных подходов, использованных на началь-

ном этапе развития технологии и описанных в работах [606, 281, 608, 621, 286, 3.31, 607

45, 622, 617, 603, 604, 605, 42], и потребовало существенного развития технологии, вклю-

чая развитие базовых математических методов лежащих в основе технологии [1.2, 1.8

1.9, 3.20]. Это приводит к необходимости решать сложные задачи ИАД в нестандартных

предположениях, в том числе задачи ИАД для данных очень высокой размерности [1.12

1.11].

Таким образом, современные вызовы мирового общественного и научно-технического прогресса, требующие существенного расширения класса решаемых задач анализа данных, поставили ряд новых вызовов перед технологией предиктивной аналитики. Перечислим некоторые из них.

1. Высокая степень автоматизации и необходимость частичного или полного исключения человека из процесса принятия решений привели к появлению новых требований к современным техническим и информационным системам и необходимости существенного расширения их областей применений, классов решаемых задач и требований к их решению. В частности, речь идет о таких прикладных областях, как

• разработка эффективного дизайна сложных технических изделий на основе использования предсказательных моделей;

• оптимизация структуры и работы сложного оборудования (самолетов, судов, ракет, ядерных электростанций, и т.д.) и его обслуживания на основе автоматического контроля за состоянием различных компонент объекта и обнаружения их аномального поведения;

• обеспечение надежности и эффективности работы сложных информационных систем (например, различных интернет-сервисов), достигаемых за счет активного мониторинга систем и анализа его результатов;

• предсказание стихийных бедствий (землетрясений, цунами, и т.п.) на основе анализа мультимодальных результатов мониторинга;

• персонализированная медицина, включающая биомедицинский мониторинг/наблюдения и анализ результатов;

• обнаружение атак в компьютерных сетях; и др.

Соответственно, следующее поколение этих систем должно обладать способностью автономного обнаружения квази-стационарных паттернов в больших объемах информации, генерируемой различными процессами, развивающимися в пространстве и времени, включая способность к обучению. Эти способности должны реализовываться за счет всесторонней оценки ситуации в реальном времени и в пространственно-распределенном виде через построение предиктивных моделей для выявления зависимостей между параметрами системы, предсказания будущей причинной динамики системы и обнаружения аномалий и

разладок (моментов резкого изменения свойств) в её поведении. Отметим, что предиктив-ные модели в том или ином виде лежат в основе технологии Искусственного Интеллекта (ИИ) (предсказание того, что будет в зависимости от внешних условий, в том числе и в зависимости от наших действий) [568|.

Тем самым, для указанных новых областей применений и классов решаемых задач, использующих различные данные реального мира, необходимо существенное расширение существующих и создание новых технологий для работы с принципиально новыми типами анализируемых и обрабатываемых данных с их существенными особенностями.

Список литературы диссертационного исследования доктор наук Бурнаев Евгений Владимирович, 2022 год

Литература

[1] «"VGK method for two-dimensional aerofoil sections. Part I: Principles and results"». B: ESDU 96028. 2004.

[2] «"VGK method for two-dimensional aerofoil sections. Part II: User manual for operation with MS-DOS and UNIX systems"». B: ESDU 96029. 2004.

[3] Ahmed H Abdel-Gawad, Thomas P Minka h gp. «Sparse-posterior Gaussian Processes for general likelihoods». B: arXiv preprint arXiv:1203.3507 (2012).

[4] Dimitris Achlioptas. «Random Matrices in Data Analysis». B: Machine Learning: ECML 2004. Springer, 2004, c. 1-7.

[5] Panos Achlioptas, Olga Diamanti, Ioannis Mitliagkas h Leonidas Guibas. «Learning Representations and Generative Models for 3D Point Clouds». B: ICML. 2018, c. 40-49.

[6] B.M. Adams, L.E. Bauman, W.J. Bohnhoff, K.R. Dalbey, M.S. Ebeida, J.P. Eddy, M.S. Eldred, P.D. Hough, K.T. Hu, J.D. Jakeman, L.P. Swiler h D.M. Vigil. DAKOTA, A Multilevel Parallel Object-Oriented Framework for Design Optimization, Parameter Estimation, Uncertainty Quantification, and Sensitivity Analysis: Version 5.4 User's Manual. Sandia National Laboratories. 2013.

[7] R.J. Adler h J.E. Taylor. Random Fields and Geometry. Springer, 2007.

[8] C.C. Aggarwal h S.Yu. Philip. «Outlier Detection with Uncertain Data». B: Proceedings of the SIAM International Conference on Data Mining. T. 8. SIAM. 2008, c. 483-493.

[9] Charu C Aggarwal h Saket Sathe. Outlier ensembles: an introduction. Springer, 2017.

10] «Airbus achieves multi-objective optimization of its aircraft families with DATADVANCE's "MACROS" software». B: \https : / / www. airbus, com/newsroom/press - releases / en/2013/ 08/airbus -achieves - multi - objective - optimization - of - its - aircraft - families - with - datadvance - s -

macros-s

oftware. html (2013).

11] «Airbus to reduce lead times in numerical analysis activities for aircraft design». B: https: // www.

airbus . com/newsroom/press - releases/ en/ 2013/ 06/ airbus - to - reduce - lead- times - in-

numerical- analysis-activities-for-aircraft-design, html (2013).

12] «Airbus uses DATADVANCE's MACROS software for structural analysis of A350 XWB aircraft». B:

https : // www . aerospace - technology . com/news / newsairbus - uses - datadvances - macros

software-structural-analysis-a350-xwb-aircraft-4362144/ (2014).

13] N. Alexandrov, R. Lewis, C. Gumbert, L. Green и P. Newman. Optimization with variable-fidelity models applied to wing design. Тех. отч. DTIC Document, 1999.

14] M. Anthony и P. Bartlett. Neural Network Learning: Theoretical Foundations. Cambridge: Cambridge University Press, 2002.

15] Martin Arjovsky, Soumith Chintala и Leon Bottou. «Wasserstein Generative Adversarial Networks». В: Proc. of ICML. 2017, с. 214-223.

16] A. Aswani, P. Bickel и C. Tomlin. «Regression on manifolds: Estimation of the exterior derivative». В: The Annals of Statistics 39.1 (2011), с. 48-81.

17] Andrei Atanov, Arsenii Ashukha, Kirill Struminsky, Dmitriy Vetrov и Max Welling. «The Deep Weight Prior». В: ICLR. 2019. url: https://openreview.net/forum?id=ByGuynAct7.

18] M.F. Augusteijn и B.A. Folkert. «Neural network classification and novelty detection». В: International Journal of Remote Sensing 23.14 (2002), с. 2891-2902.

19] Francis Bach. «On the equivalence between kernel quadrature rules and random feature expansions». В: Journal of Machine Learning Research 18.21 (2017), с. 1-38.

20] Raj Bahadur. «A note on quantiles in large samples». В: Annals of Mathematical Statistics 37 (1966), с. 577-580.

[21] Spyridon Bakas, Hamed Akbari, Aristeidis Sotiras, Michel Bilello, Martin Rozycki, Justin S Kirby, John B Freymann, Keyvan Farahani h Christos Davatzikos. «Advancing the cancer genome atlas glioma MRI collections with expert segmentation labels and radiomic features». B: Scientific data 4 (2017), c. 170117.

[22] M. Banerjee, R. Chakraborty, E. Ofori, M. Okun, D. Vaillancourt h B. Vemuri. «A Nonlinear Regression Technique for Manifold Valued Data with Applications to Medical Image Analysis». B: IEEE CVPR. 2016, c. 4424-4432.

[23] M. Banerjee, R. Chakraborty, E. Ofori, D. Vaillancourt h B.C. Vemuri. «Nonlinear regression on Riemannian manifolds and its applications to Neuro-image analysis». B: Complex Datasets and Inverse Problems. T. 9349. Lecture Notes in Computer Science. Springer, 2015, c. 719-727.

[24] Marcia Baptista, Ivo P. de Medeiros, Joao P. Malere, Cairo Nascimento, Helmut Prendinger h Elsa M.P. Henriques. «Comparative case study of life usage and data-driven prognostics techniques using aircraft fault messages». B: Computers in Industry 86 (2017), c. 1-14. issn: 0166-3615.

[25] Marcia Baptista, Ivo P. de Medeiros, Joao P. Malere, Helmut Prendinger, Cairo L. Jr. Nascimento h Elsa Henriques. «Improved time-based maintenance in aeronautics with regressive support vector machines». B: Annual Conference of the Prognostics and Health Management Society 2016. 2016, c. 1-10.

[26] Marcia Baptista, Shankar Sankararaman, Ivo. P. de Medeiros, Cairo Nascimento, Helmut Prendinger h Elsa M.P. Henriques. «Forecasting fault events for predictive maintenance using data-driven techniques and ARMA modeling». B: Computers and Industrial Engineering 115 (2018), c. 41-53. issn: 0360-8352.

[27] Yoram Baram. «Learning by kernel polarization». B: Neural Computation 17.6 (2005), c. 1264-1275.

[28] V. Barnett h T. Lewis. Outliers in Statistical Data. T. 286. Wiley h Sons, 1994, c. 293.

[29] Michele Basseville, Igor V Nikiforov h gp. Detection of abrupt changes: theory and application. T. 104. Prentice Hall Englewood Cliffs, 1993.

[30] S. M. Batill, J. E. Renaud h X. Gu. «Modeling and Simulation Uncertainty in Multidisciplinary Design Optimization». B: 8th AIAA/USAF/NASA/ISSMO Symposium on Multidisciplinary Analysis and Optimization (2000), c. 1-11.

[31] J. Bect, D. Ginsbourger, L. Li, V. Picheny h E. Vazquez. «Sequential design of computer experiments for the estimation of a probability of failure». B: Statistics and Computing 22.3 (2012), c. 773-793.

[32] M. Belkin h P. Niyogi. «Laplacian eigenmaps for dimensionality reduction and data representation». B: Neural Computation 15.6 (2003), c. 1373-1396.

[33] M. G. Belyaev. «Anisotropic smoothing splines in problems with factorial design of experiments». B: Doklady Mathematics 91.2 (2015), c. 250-253.

[34] Y. Bengio, O. Delalleau, N. Le Roux, J.-F. Paiement, P. Vincent h M. Ouimet. «Learning Eigenfunctions Link Spectral Embedding and Kernel PCA». B: Neural Computation 16.10 (2004), c. 2197-2219.

[35] Y. Bengio, J.-F. Paiement h P. Vincent. «Out-of-sample extensions for LLE, Isomap, MDS, eigenmaps, and spectral clustering». B: Advances of Neural Information Processes Systems (NIPS) 15 (2003).

[36] R. Bennett. «The intrinsic dimensionality of signal collections». B: IEEE Transactions on Information Theory 15.5 (1969), c. 517-525.

[37] Christoph Bergmeir h Jose M. Benitez. «On the use of cross-validation for time series predictor evaluation». B: Information Sciences 191 (2012). Data Mining for Software Trustworthiness, c. 192-213.

[38] James Bergstra, Daniel Yamins h David D Cox. «Making a Science of Model Search: Hyperparameter Optimization in Hundreds of Dimensions for Vision Architectures». B: ICML (1) 28 (2013), c. 115-123.

[39] James S. Bergstra, Remi Bardenet, Yoshua Bengio h Balazs Kegl. «Algorithms for Hyper-Parameter Optimization». B: Advances in Neural Information Processing Systems 24 (2011), c. 2546-2554.

[40] A. Bernstein h A. Kuleshov. «Tangent Bundle Manifold Learning via Grassmann and Stiefel Eigenmaps». B: ArXiv abs/1212.6031 (2012).

[41] A. Bernstein h A. Kuleshov. «Manifold Learning: generalizing ability and tangent proximity». B: International Journal of Software and Informatics 7.3 (2013), c. 359-390.

[42] A. Bernstein, A. Kuleshov, Yu. Sviridenko h V. Vyshinsky. «Fast Aerodynamic Model for Design Technology». B: Workbook "West-East High Speed Flow Field Conference". November 19-22, 2007, Moscow, Russia. 2007, c. 125-126.

[43] A. Bernstein, A. Kuleshov h Yu. Yanovich. «Information preserving and locally isometric conformal embedding via Tangent Manifold Learning». B: IEEE Int. Conf. DSAA. 2015, c. 1-9.

[44] A. Bernstein, A. Kuleshov и Yu. Yanovich. «Manifold Learning in Regression Tasks». В: Statistical Learning and Data Sciences. Под ред. Alexander Gammerman, Vladimir Vovk и Harris Papadopoulos. Cham: Springer International Publishing, 2015, с. 414—423.

[45] A.V. Bernstein и A.P. Kuleshov. «Computer Data Analysis in Metamodeling». В: Proceedings of the 9th International Conference on Computer Data Analysis and Modeling: Complex Stochastic Data and Systems (CDAM'2010), September, 7-11, 2010, Minsk, Belarus. Minsk: BSU, 2010, с. 17—23.

[46] M. Bernstein, V. Silva, J.C. Langford и J.B. Tenenbaum. «Graph approximations to geodesies on embedded manifolds». В: Technical report (2000).

[47] T. Berry и S. Timothy. «Density estimation on manifolds with boundary». В: Computational Statistics and Data Analysis 107 (2017), с. 1—17.

[48] M. Berveiller, B. Sudret и M. Lemaire. «Stochastic finite elements: a non intrusive approach by regression». В: Eur. J. Comput. Mech. 15 (1-3) (2006), с. 81—92.

[49] M. Bevilacqua, A. Fasso, C. Gaetan, E. Porcu и D. Velandia. «Covariance tapering for multivariate Gaussian random fields estimation». В: Statistical Methods and Applications (2015), с. 1—17.

[50] A. Bhattacharya, D. Pati и D. Dunson. «Anisotropic function estimation using multi-bandwidth Gaussian processes». В: Ann. Statist. 42.1 (2014), с. 352—381.

[51] Peter Bickel и Bo Li. «Local polynomial regression on unknown manifolds». В: Complex Datasets and Inverse Problems. Т. Volume 54. Lecture Notes-Monograph Series. 2007, с. 177—186.

[52] C.M. Bishop. Pattern recognition and machine learning. Springer New York, 2006.

[53] G. Blatman и B. Sudret. «An adaptive algorithm to build up sparse polynomial chaos expansions for stochastic finite element analysis». В: Prob. Eng. Mech. 25 (2010), с. 183—197.

[54] N. Bliznyuk, D. Ruppert, R. Shoemaker Regis, S. Wild и P. Mugunthan. «Bayesian calibration and uncertainty analysis for computationally expensive models using optimization and radial basis function approximation». В: Journal of Computational and Graphical Statistics 17.2 (2008).

[55] J.-D. Boissonnat и A. Ghosh. «Manifold reconstruction using tangential Delaunay complexes». В: Discrete and Computational Geometry 51.1 (2014), с. 221—267.

[56] P. Bojanowski, A. Joulin, D. Lopez-Paz и A. Szlam. «Optimizing the Latent Space of Generative Networks». В: Proc. of ICML. 2018.

[57] A.J. Booker, J.E. Dennis, P.D. Frank, D.B. Serafini, V. Torczon и M. Trosset. «A Rigorous Framework for Optimization of Expensive Functions by Surrogates». В: Structural Optimization 17.1 (1999), с. 1— 13.

[58] Matthew Brand. «Charting a Manifold». В: Proc. of the 15th Int. Conf. NIPS. MIT Press, 2002, с. 985— 992.

[59] L. Breiman. Classification and regression trees. Wadsworth, 1984.

[60] L. Breiman. «Bagging predictors». В: Machine Learning 24.2 (1996), с. 123—140.

[61] Leo Breiman. «Random Forests». В: Machine Learning 45.1 (2001), с. 5—32.

[62] M. Breunig, H. Kriegel, R. Ng и J. Sander. «LOF: identifying density-based local outliers». В: Proceedings of the ACM SIGMOD International Conference on Management of Data. Т. 29. 2. ACM. 2000, с. 93— 104.

[63] Eric Brochu, Vlad M. Cora и Nando De Freitas. «A tutorial on Bayesian optimization of expensive cost functions, with application to active user modeling and hierarchical reinforcement learning». В: arXiv:1012.2599 (2010).

[64] Andrew Brock, Theodore Lim, JM Ritchie и Nick Weston. «Generative and Discriminative Voxel Modeling with Convolutional Neural Networks». В: arXiv preprint arXiv:1608.04236 (2016).

[65] Anders Brun, Carl-Fredrik Westin, Magnus Herberthson и Hans Knutsson. «Fast Manifold Learning Based on Riemannian Normal Coordinates». В: Proceedings of the 14th Scandinavian conference on image analysis (SCIA'05) (2005), с. 920—929.

[66] Finlay Buchanan и SE Gwartz. «Road weather information systems at the Ministry of Transportation, Ontario». В: 2005 Annual Conference of the Transportation Association of Canada. 2005.

[67] K Bunte, M. Biehl и B. Hammer. «Dimensionality reduction mappings». В: Proc. of the IEEE Symp. on Comp. Intel. and Data Mining, CIDM 2011. IEEE, 2011, с. 349—356.

[68] P. Burt и E. Adelson. «The Laplacian Pyramid as a Compact Image Code». В: IEEE Transactions on Communications 31.4 (1983), с. 532—540.

[69] T. Cacoullos. «Estimation of a multivariate density». В: Ann Inst Stat Math 18.18 (1966), с. 179-189.

[70] F. Camastra и A. Staiano. «Intrinsic Dimension Estimation: Advances and Open Problems». В: Information Sciences 328 (2016), с. 26-41.

[71] P. Campadelli, E. Casiraghi, C. Ceruti и A. Rozza. «Intrinsic Dimension Estimation: Relevant Techniques and a Benchmark Framework». В: Mathematical Problems in Engineering (2015), с. 1-21.

[72] Guillermo Canas, Tomaso Poggio и Lorenzo Rosasco. «Learning Manifolds with K-Means and K-Flats». В: Advances in NIPS 25. 2012, с. 2465-2473.

[73] R. Carroll и K.C. Li. «Measurement error regression with unknown link: dimension reduction and data visualization». В: Journal of the American Statistical Association 87 (1992), с. 1040-1050.

[74] Raymond Carroll. «On the distribution of quantiles of residuals in a linear model». В: Technical Report Mimeo Series No. 1161, Department of Statistics, University of North Carolina at Chapel Hill, March (1978).

[75] J. Casals, A. Garcia-Hiernaux, M. Jerez, S. Sotoca и A.A. Trindade. State-Space Methods for Time Series Analysis: Theory, Applications and Software. Chapman and Hall/CRC Monographs on Statistics and Applied Probability. CRC Press, 2018. isbn: 9781315360256.

[76] Pedro Casas, Sandrine Vaton, Lionel Fillatre и Igor Nikiforov. «Optimal volume anomaly detection and isolation in large-scale IP networks using coarse-grained measurements». В: Computer Networks 54.11 (2010), с. 1750-1766.

[77] P. Castonguay и S. Nadarajah. «Effect of Shape Parameterization on Aerodynamic Shape Optimization». В: Proc. of AIAA. Т. 59. 2007.

[78] L. Cayton. «Algorithms for manifold learning». В: Univ. of California at San Diego Tech. Rep (2005).

[79] Nicolo Cesa-Bianchi и Gabor Lugosi. Prediction, learning, and games. Cambridge university press, 2006.

[80] K. Chaloner и I. Verdinelli. «Bayesian Experimental Design: A Review». В: Statistical Science 10 (1995), с. 273-304.

[81] Grace Chan и Andrew Wood. «Algorithm AS 312: An Algorithm for Simulating Stationary Gaussian Random Fields». В: Journal of the Royal Statistical Society: Series C (Applied Statistics) 46.1 (1997), с. 171-181.

[82] V. Chandola, A. Banerjee и V. Kumar. «Anomaly Detection: A Survey». В: ACM Comput. Surv. 41.3 (2009), 15:1-15:58.

[83] Angel X Chang, Thomas Funkhouser, Leonidas Guibas, Pat Hanrahan, Qixing Huang, Zimo Li, Silvio Savarese, Manolis Savva, Shuran Song, Hao Su и др. «Shapenet: An information-rich 3d model repository». В: arXiv preprint arXiv:1512.03012 (2015).

[84] W.-C. Chang, C.-P. Lee и C.-J. Lin. A Revisit to Support Vector Data Description. Тех. отч. 2013.

[85] N.V. Chawla, K.W. Bowyer, L.O. Hall и W.P. Kegelmeyer. «SMOTE: Synthetic Minority Over-Sampling Technique». В: Journal of Artificial Intelligence Research 16 (2002), с. 321-357.

[86] Nitesh V Chawla, Kevin W Bowyer, Lawrence O Hall и W Philip Kegelmeyer. «SMOTE: synthetic minority over-sampling technique». В: Journal of artificial intelligence research 16.1 (2002), с. 321357.

[87] Jie Chen, Shi-Jie Deng и Xiaoming Huo. «Electricity Price Curve Modeling and Forecasting by Manifold Learning». В: (2008).

[88] L.M. Chen, Z. Su и B. Jiang. Mathematical Problems in Data Science: Theoretical and Practical Methods. Springer, 2015.

[89] R.J.W. Chen и A. Sudjianto. «On sequential sampling for global metamodeling in engineering design». В: Proceedings of DETC'02. Montreal, Canada. 2002.

[90] Tianqi Chen и Carlos Guestrin. «XGBoost: A Scalable Tree Boosting System». В: (2016). arXiv:1603.02754.

[91] Xuelin Chen, Baoquan Chen и Niloy J Mitra. «Unpaired Point Cloud Completion on Real Scans using Adversarial Training». В: arXiv preprint arXiv:1904.00069 (2019).

[92] M.-Y. Cheng и H.-T. Wu. «Local Linear Regression on Manifolds and its Geometric Interpretation». В: J. Am. Stat. Assoc. 108.504 (2013), с. 1421-1434.

[93] A. Chervonenkis, S. Chernova и T. Zykova. «Applications of kernel ridge estimation to the problem of computing the aerodynamical characteristics of a passenger plane (in comparison with results obtained with artificial neural networks)». В: Automation Remote Control 72.5 (2011), с. 1061-1067.

[94] H.A. Chipman h H. Gu. «Interpretable Dimension Reduction». B: J. Appl. Statistics 32.9 (2005), c. 969— 987.

[95] Kyunghyun Cho, Bart van Merrienboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk h Yoshua Bengio. «Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation». B: Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP). Doha, Qatar: Association for Computational Linguistics, 2014, c. 1724—1734.

[96] Youngmin Cho h Lawrence K Saul. «Kernel methods for deep learning». B: Advances in Neural Information Processing Systems. 2009, c. 342—350.

[97] Krzysztof Choromanski, Mark Rowland h Adrian Weller. «The Unreasonable Effectiveness of Random Orthogonal Embeddings». B: arXiv preprint arXiv:1703.00864 (2017).

[98] Krzysztof Choromanski h Vikas Sindhwani. «Recycling randomness with structure for sublinear time kernel expansions». B: arXiv preprint arXiv:1605.09049 (2016).

[99] Ch.K. Chow. «On optimum recognition error and reject tradeoff». B: Information Theory, IEEE Transactions on 16.1 (1970), c. 41—46.

100] Stergios Christodoulidis, Marios Anthimopoulos, Lukas Ebner, Andreas Christe h Stavroula Mougiakakou. «Multisource transfer learning with convolutional neural networks for lung pattern analysis». B: IEEE journal of biomedical and health informatics 21.1 (2017), c. 76—84.

101] D. Cieslak h N. Chawla. «Learning decision trees for unbalanced data». B: Lecture Notes in Computer Science (2008), c. 241—256.

102] Albert Clerigues, Sergi Valverde, Jose Bernal, Jordi Freixenet, Arnau Oliver h Xavier Llado. «SUNet: a deep learning architecture for acute stroke lesion segmentation and outcome prediction in multimodal MRI». B: arXiv preprint arXiv:1810.13304 (2018).

103] Robert B Cleveland, William S Cleveland, Jean E McRae h Irma Terpenning. «STL: A seasonal-trend decomposition procedure based on loess». B: Journal of Official Statistics 6.1 (1990), c. 3—73.

104] W. Cleveland. «Data Science: An Action Plan for Expanding the Technical Areas of the Field of Statistics». B: International Statistical Review 69.1 (2001), c. 21—26.

105] L. Clifton, D.A. Clifton, P.J. Watkinson h L. Tarassenko. «Identification of patient deterioration in vital-sign data using one-class support vector machines». B: Proceedings of the Federated Conference on Computer Science and Information Systems (FedCSIS). IEEE. 2011, c. 125—131.

106] «CoBrain analytics: Multiple Sclerosis Human Brain MR Imaging Dataset». B: https : // app .

cobrain. io/ datasets/2c683256- 6dcd-47bc- 9399- 34e166c3fc71 (2018).

107] A. Cohen, I. Daubechies h Vial P. «Wavelets on the interval and fast wavelet transforms». B: Appl. Comput. Harmonic Analys. 1 (1993), c. 54-81.

108] T. Cohen h M. Welling. «Group equivariant convolutional networks». B: In Proceedings of The 33rd International Conference on Machine Learning (2016).

109] R.R. Coifman, S. Lafon, A.B. Lee, M. Maggioni, F. Warner h S. Zucker. «Geometric diffusions as a tool for harmonic analysis and structure definition of data: Diffusion maps». B: Proceedings of the National Academy of Sciences 102.21 (2005), c. 7426-7431.

110] M. Collins, S. Dasgupta h R.E. Schapire. «A Generalization of Principal Components Analysis to the Exponential Family». B: Advances in Neural Information Processing Systems 14 (NIPS) (2002).

111] «Concrete Compressive Strength dataset». B: ().

112] R. Dennis Cook h Liqiang Ni. «Sufficient Dimension Reduction via Inverse Regression». B: Journal of

the American Statistical Association 100.470 (июнь 2005), с. 410—428. issn: 0162-1459. doi: 10.1198/ 016214504000001501.

113] R.D. Cook. «SAVE: A method for dimension reduction and graphics in regression». В: Communications in statistics. Theory and methods 29.9-10 (2000), с. 2109—2121.

114] T.F. Cox и M.A.A. Cox. Multidimensional Scaling. Chapman и Hall/CRC, 2001.

115] RI Cukier, HB Levine и KE Shuler. «Nonlinear sensitivity analysis of multiparameter model systems». В: Journal of computational physics 26.1 (1978), с. 1—42.

116] C. Currin, T. Mitchell, M. Morris и D. Ylvisaker. «A Bayesian approach to the design and analysis of computer experiments». В: Journal of the American Statistical Association 86.86 (1991), с. 953—963.

117] Nadia FF Da Silva, Eduardo R Hruschka и Estevam R Hruschka Jr. «Tweet sentiment analysis with classifier ensembles». В: Decision Support Systems 66 (2014), с. 170—179.

J. Dai и H. Wang. «Evolution of aircraft maintenance and logistics based on prognostic and health management technology». В: Lecture Notes in Electrical Engineering. Proceedings of the First Symposium on Aviation Maintenance and Management-Volume II. Т. 297. Springer, 2014, с. 665-672.

Spokoiny V. Dalalyan A. S. Juditsky A. «A new algorithm for estimating the effective dimension reduction subspace». В: Journal of Machine Learning Research 9 (2008), с. 1647-1678.

Tri Dao, Christopher M De Sa и Christopher Re. «Gaussian Quadrature for Kernel Features». В: Advances in Neural Information Processing Systems. 2017, с. 6109-6119.

Andrey Davydov, Sergey Morozov, Nikita Perestoronin и Alexander Prokhorov. «The First Full-Cloud Design Space Exploration Platform». В: European NAFEMS Conferences: Simulation Process and Data Management (SPDM), 2-3 December 2015, Munich, Germany. 2015, с. 90-95.

F. De la Torre и M. J. Black. «Robust Principal Component Analysis for Computer Vision». В: Proc. ICCV (2001), с. 362-369.

Steven De Rooij, Tim Van Erven, Peter D Grunwald и Wouter M Koolen. «Follow the leader if you can, hedge if you must». В: The Journal of Machine Learning Research 15.1 (2014), с. 1281-1316.

John Del Gaizo, Neda Mofrad, Jens H Jensen, David Clark, Russell Glenn, Joseph Helpern и Leonardo Bonilha. «Using machine learning to classify temporal lobe epilepsy based on diffusion MRI». В: Brain and behavior 7.10 (2017).

David DeMers и G.W. Cottrell. «Non-Linear Dimensionality Reduction». В: Advances in Neural Information Processing Systems 5. 1992, с. 580-587.

E. Demidenko. Linear and non-linear regression. Finance и stochastics, 1981.

Cem M. Deniz, Siyuan Xiang, R. Spencer Hallyburton, Arakua Welbeck, James S. Babb, Stephen Honig, Kyunghyun Cho и Gregory Chang. «Segmentation of the Proximal Femur from MR Images using Deep Convolutional Neural Networks». Англ. В: Scientific Reports 8.1 (2018), с. 16485. issn: 2045-2322. doi: 10.1038/s41598-018-34817-6. url: https://www.nature.com/articles/s41598-018-34817-6 (дата обр. 31.01.2019).

128] Emily L Denton, Soumith Chintala, Rob Fergus и др. «Deep generative image models using a laplacian pyramid of adversarial networks». В: NIPS. 2015, с. 1486-1494.

129] R. DeVore и X.M. Yu. Nonlinear n-widths in Besov spaces. Approximation theory VI: Vol. 1. N.Y.: Academic Press, 1989.

130] R.A. DeVore. «Nonlinear approximation». В: Acta Numerica 7 (1998), с. 51-150.

131] R.A. DeVore, B. Jawerth и V.A. Popov. «Compression of wavelet decompositions». В: Amer. J. Math. 114 (1992), с. 737-785.

132] R.A. DeVore и G.G. Lorentz. Constructive approximation. Berlin: Springer, 1993.

133] E. Dolan и J. More. «Benchmarking optimization software with performance profiles». В: Mathematical Programming, Ser. A 91 (2002), с. 201-213.

134] D. Donoho. «High-dimensional data analysis: The curses and blessings of dimensionality». В: AMS conf. on Math Challenges of the 21st Century. 2000.

135] D.L. Donoho и C. Grimes. «Hessian eigenmaps: New locally linear embedding techniques for high-dimensional data». В: Proceedings of the National Academy of Arts and Sciences 100.10 (2003), с. 55915596.

136] Virginie Dordonnat, Siem Jan Koopman, Marius Ooms, A Dessertaine и J Collet. «An hourly periodic state space model for modelling French national electricity load». В: International Journal of Forecasting 24.4 (2008), с. 566-587.

137] G. Drago и S. Ridella. «Statistically controlled activation weight initialization (SCAWI)». В: Trans. Neur. Netw., IEEE Press 3.4 (1992), с. 627-631.

138] Petros Drineas и Michael W Mahoney. «On the Nystrom method for approximating a Gram matrix for improved kernel-based learning». В: Journal of Machine Learning Research 6 (2005), с. 2153-2175.

139] S. Dubreuila, M. Berveillerc, F. Petitjeanb и M. Salauna. «Construction of bootstrap confidence intervals on sensitivity indices computed by polynomial chaos expansion». В: ReJiability Engineering and System Safety 121 (2014), с. 263-275.

140] R.O. Duda, P.E. Hart и D.G. Stork. Pattern classification. John Wiley и Sons, 2001.

141] N. Duffy и D. Helmbold. «Boosting Methods for Regression». В: Machine Learning 47.2 (2002), с. 153200.

119]

120] 121]

122]

123]

124]

125]

126] 127]

142] Georges Dupret и Masato Koda. «Bootstrap re-sampling for unbalanced data in supervised learning». В: European Journal of Operational Research (2001).

143] H. Dutta, Ch. Giannella, K. D Borne и H. Kargupta. «Distributed Top-K Outlier Detection from Astronomy Catalogs using the DEMAC System». В: Proceedings of the 7th SIAM International Conference on Data Mining. IEEE. 2007, с. 473-478.

144] M. Eaton. Group Invariance Applications in Statistics. Inst. of Math. Stat., 1989.

145] A. Edelman, T.A. Arias и T. Smith. «The Geometry of Algorithms with Orthogonality Constraints». В: SIAM Journal on Matrix Analysis and Applications 20.2 (1999), с. 303-353.

146] Jochen Einbeck и Ludger Evers. «Localized Regression on Principal Manifolds». В: 25th International Workshop on Statistical Modelling (IWSM 2010) (2010).

147] Gamaleldin Elsayed, Ian Goodfellow и Jascha Sohl-Dickstein. «Adversarial reprogramming of neural networks». В: arXiv preprint arXiv:1806.11146 (2018).

148] Jan Willem van den End, Marco Hoeberichts и Mostafa Tabbae. Modelling Scenario Analysis and Macro Stress-testing. Тех. отч. 119. 2006.

149] S. Ertekin, J. Huang и C. Giles. «Adaptive Resampling with Active Learning». В: Technical Report, Pennsylvania State University (2009).

150] Paul F Evangelista, Mark J Embrechts и Boleslaw K Szymanski. «Some properties of the Gaussian kernel for one class learning». В: Artificial Neural Networks-ICANN 2007. Springer, 2007, с. 269-278.

151] M. Fan, H. Qiao и B. Zhang. «Intrinsic dimension estimation of manifolds by incising balls». В: Pattern Recognition 42.5 (2009), с. 780-787.

152] Mingyu Fan, Nannan Gu, Hong Qiao и Bo Zhang. «Intrinsic dimension estimation of data by principal

component analysis». B: CoRR abs/1002.2050 (2010). url: http://arxiv.org/abs/1002.2050.

153] Peng Fang, Jie An, Ling-Li Zeng, Hui Shen, Shijun Qiu h Dewen Hu. «Mapping the convergent temporal epileptic network in left and right temporal lobe epilepsy». B: Neuroscience letters 639 (2017), c. 179184.

154] V. Fedorov. Theory of Optimal Experiments. Academic Press, 1972.

155] V. Fedorov. «Design of spatial experiments: model fitting and prediction». B: Handbook of Statistics, volume 13. Elsevier, Amsterdam. 1996, c. 515-553.

156] Valentina Fedorova, Alex Gammerman, Ilia Nouretdinov h Vladimir Vovk. «Plug-in martingales for testing exchangeability on-line». B: Proceedings of the Twenty-Ninth International Conference on Machine, Learning (ICML). 2012.

157] X Yu Felix, Ananda Theertha Suresh, Krzysztof M Choromanski, Daniel N Holtmann-Rice h Sanjiv Kumar. «Orthogonal Random Features». B: Advances in Neural Information Processing Systems. 2016, c. 1975-1983.

158] David F Findley, Brian C Monsell, William R Bell, Mark C Otto h Bor-Chung Chen. «New capabilities and methods of the X-12-ARIMA seasonal-adjustment program». B: Journal of Business and Economic Statistics 16.2 (1998), c. 127-152.

159] Shai Fine h Katya Scheinberg. «Efficient SVM training using low-rank kernel representations». B: Journal of Machine Learning Research 2.Dec (2001), c. 243-264.

160] P.T. Fletcher. «Geodesic regression on Riemannian manifolds». B: Proceedings of International Workshop on Mathematical Foundations of Computational Anatomy (MFCA). 2011, c. 7586.

161] P.T. Fletcher. «Geodesic Regression and the Theory of Least Squares on Riemannian Manifolds». B: International Journal of Computer Vision 105.2 (2013), c. 171-185.

162] Niels K Focke, Mahinda Yogarajah, Mark R Symms, Oliver Gruber, Walter Paulus h John S Duncan. «Automated MR image classification in temporal lobe epilepsy». B: Neuroimage 59.1 (2012), c. 356362.

163] D. Foresee h M. Hagan. «Gauss-Newton approximation to Bayesian learning». B: Conference (International) on Neural Networks Proceedings 3 (1997), c. 1930-1935.

164] Alexander Forrester, Andras Sobester h Andy Keane. Engineering Design via Surrogate Modelling - A Practical Guide. Wiley, 2008, c. I-XVIII, 1-210. isbn: 978-0-470-06068-1.

165] L. Foster, A. Waagen, N. Aijaz, M. Hurley, A. Luis, J. Rinsky, C. Satyavolu, M.J. Way, P. Gazis h A. Srivastava. «Stable and efficient Gaussian process calculations». B: The Journal of Machine Learning Research 10 (2009), c. 857-882.

166] R.L. Fox. Optimization methods for engineering design. Addison-Wesley, Massachusetts, 1971.

167] D. Freedman. «Efficient simplicial reconstructions of manifold from their samples». B: IEEE TPAMI 24.10 (2002), c. 1349-1357.

168] J. Friedman. «Greedy Function Approximation: A Gradient Boosting Machine». B: Annals of Statistics 29.5 (2001), c. 1189-1232.

169] Jerome H Friedman. «Multivariate adaptive regression splines». B: The annals of statistics (1991), c. 167.

170] Richard Fujimoto, Conrad Bock, Wei Chen, Ernest Page h Jitesh H. (Eds.) Panchal. Research Challenges in Modeling and Simulation for Engineering Complex Systems. Springer, 2007.

171] Emanuele Fumeo, Luca Oneto h Davide Anguita. «Condition Based Maintenance in Railway Transportation Systems Based on Big Data Streaming Analysis». B: Procedia Computer Science 53 (2015). INNS Conference on Big Data 2015 Program San Francisco, CA, USA 8-10 August 2015, c. 437-446. issn: 1877-0509.

172] Fausto P. Garcia, Diego J. Pedregal h Clive Roberts. «Time series methods applied to failure prediction and detection». B: Reliability Engineering and System Safety 95.6 (2010), c. 698-703. issn: 0951-8320.

173] «GdR Mascot-Num benchmark». B: http: //www. gdr-mascotnum. fr/ benchmarks, html (2016).

174] C.R. Genovese, M. Perone-Pacico, I. Verdinelli h L. Wasserman. «Minimax Manifold Estimation». B: Journal Machine Learning Research 13 (2012), c. 1263-1291.

175] Alan Genz h John Monahan. «Stochastic integration rules for infinite regions». B: SIAM journal on scientific computing 19.2 (1998), c. 426-439.

176] D. Ghiocel h R. Ghanem. «Stochastic finite element analysis of seismic soil-structure interaction». B: J. Eng. Mech. 128 (2002), c. 66-77.

177] Rich Giles, Steve Caruana h Lee Lawrence. «Overfitting in Neural Nets: Backpropagation, Conjugate Gradient, and Early Stopping». B: Advances in Neural Information Processing Systems 13: Proceedings of the 2000 Conference. T. 13. MIT Press. 2001, c. 402.

178] D. Ginsbourger, X. Bay, O. Roustant h L. Carraro. «Argumentwise invariant kernels for the approximation of invariant functions». B: Annales de la Faculte de Sciences de Toulouse XXI.3 (2012), c. 501-527.

179] D. Ginsbourger, O. Roustant h N. Durrande. «Invariances of random fields paths, with applications in Gaussian process regression». B: arXiv preprint arXiv:1308.1359 (2013).

180] D. Ginsbourger, O. Roustant h N. Durrande. «On degeneracy and invariances of random fields paths with applications in Gaussian process modelling». B: Journal of Statistical Planning and Inference 170 (2016), c. 117-128.

181] A. Giunta h L.T.A. Watson. «Comparison of Approximation Modeling Technique: Polynomial Versus Interpolating Models». B: 7th AIAA/USAF/NASA/ISSMO Symposium on Multidisciplinary Analysis and Optimization 1 (1998), c. 392-404.

182] G. Golub h V. Pereyra. «An algorithm for least-squares estimation of nonlinear parameters». B: SIAM J. Numer. Anal. 10 (1973), c. 413-432.

183] G.H. Golub h C.F. Van Loan. Matrix Computation. 3rd. MD: Johns Hopkins University Press, 1996.

184] Todd R Golub, Donna K Slonim, Pablo Tamayo, Christine Huard, Michelle Gaasenbeek, Jill P Mesirov, Hilary Coller, Mignon L Loh, James R Downing, Mark A Caligiuri h gp. «Molecular classification of cancer: class discovery and class prediction by gene expression monitoring». B: Science 286.5439 (1999), c. 531-537.

185] G.K. Golubev h E.A. Krymova. «On interpolation of smooth processes and functions». B: Problems of Information Transmission 49.2 (2013), c. 127-148.

186] Nina Golyandina, Vladimir Nekrutkin h Anatoly A Zhigljavsky. Analysis of time series structure: SSA and related techniques. CRC press, 2001.

187] I. J. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville h Y. Bengio. «Generative Adversarial Networks». B: ArXiv e-prints 1406.2661 (2014).

188] Ian Goodfellow, Yoshua Bengio h Aaron Courville. Deep Learning. http://www.deeplearningbook.org MIT Press, 2016.

189] Ian Goodfellow, Yoshua Bengio h Aaron Courville. Deep Learning. http://www.deeplearningbook.org MIT Press, 2016.

[190] Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville h Yoshua Bengio. «Generative Adversarial Nets». B: Proc. of NIPS. 2014, c. 2672-2680.

[191] «GPy: A Gaussian process framework in python». B: http: //github. com/SheffieldML/ GPy (2012).

[192] Geoffrey Grimmett h David Stirzaker. Probability and Random Processes. Oxford University Press, 2001.

[193] F.E. Grubbs. «Procedures for detecting outlying observations in samples». B: Technometrics 11.1 (1969), c. 1-21.

[194] Thomas W Gruen, Daniel S Corsten h Sundar Bharadwaj. «Retail Out of Stocks: A Worldwide Examination of Extent, Causes, and Consumer Responses». B: (2002).

[195] S. Gu, W. Zuo, S. Guo, Y. Chen, C. Chen h L. Zhang. «Learning Dynamic Guidance for Depth Image Enhancement». B: 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017, c. 712-721.

[196] Blaise Kevin Guepie, Lionel Fillatre h Igor Nikiforov. «Sequential Detection of Transient Changes». B: Sequential Analysis 31.4 (2012), c. 528-547.

[197] Ishaan Gulrajani, Faruk Ahmed, Martin Arjovsky, Vincent Dumoulin h Aaron Courville. «Improved Training of Wasserstein GANs». B: Proc. of NIPS. 2017, c. 5767-5777.

[198] Raza Habib h David Barber. «Auxiliary Variational MCMC». B: International Conference on Learning Representations. 2019. url: https://openreview.net/forum?id=r1NJqsRctX.

[199] B. Haefner, Y. Queau, T. Mollenhoff h D. Cremers. «Fight Ill-Posedness with Ill-Posedness: Singleshot Variational Depth Super-Resolution from Shading». B: 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2018, c. 164-174.

[200] J. Hamm h D. Lee. «Grassmann Discriminant Analysis: a Unifying View on Subspace-Based Learning». B: Proc. of the 25th ICML (2008), c. 376-383.

[201] Z. Han, S. Gortz h R. Zimmermann. «Improving variable-fidelity surrogate modeling via gradient-enhanced kriging and a generalized hybrid bridge function». B: Aerospace Science and Technology 25.1 (2013), c. 177-189.

[202] Ankur Handa, Thomas Whelan, John McDonald h Andrew J Davison. «A benchmark for RGB-D visual odometry, 3D reconstruction and SLAM». B: 2014 IEEE international conference on Robotics and automation (ICRA). IEEE. 2014, c. 1524-1531.

[203] W. Hardle, G. Kerkyacharian, D. Picard h A. Tsybakov. Wavelets, approximation and statistical applications. Series: Lecture Notes in Statistics. Vol. 129. Berlin: Springer, 1998.

[204] Richard Hardstone, Simon-Shlomo Poil, Giuseppina Schiavone, Rick Jansen, Vadim V Nikulin, Huibert D Mansvelder h Klaus Linkenkaer-Hansen. «Detrended fluctuation analysis: a scale-free view on neuronal oscillations». B: Scale-free Dynamics and Critical Phenomena in Cortical Activity (2012), c. 75.

[205] Trevor Hastie, Robert Tibshirani h Jerome Friedman. The elements of statistical learning: data mining, inference and prediction. Springer, 2009.

[206] V. Hautamaki, I. Karkkainen h P. Franti. «Outlier Detection Using k-Nearest Neighbour Graph». B:

Proceedings of the 17th International Conference on Pattern Recognition, ICPR 2004. T. 3. 2004, c. 430433.

[207] Mohammad Havaei, Nicolas Guizard, Hugo Larochelle h Pierre-Marc Jodoin. «Deep learning trends for focal brain pathology segmentation in MRI». B: Machine Learning for Health Informatics. Springer, 2016, c. 125-148.

[208] D. Hawkins. Identification of Outliers. Springer, 1980.

[209] Simon Hawkins, Hongxing He, Graham Williams h Rohan Baxter. «Outlier detection using replicator neural networks». B: Data warehousing and knowledge discovery. T. 2454. Springer, 2002, c. 113-123.

[210] Simon Haykin. Neural Networks: A Comprehensive Foundation. 2nd. Upper Saddle River, NJ, USA: Prentice Hall PTR, 1998. isbn: 0132733501.

[211] Elad Hazan. «Introduction to Online Convex Optimization». B: Foundations and Trends in Optimization 2.3-4 (2016), c. 157-325.

[212] H. He h E. A. Garcia. «Learning from Imbalanced Data». B: IEEE Transactions on Knowledge and Data Engineering 21.9 (2009), c. 1263-1284.

[213] Kaiming He, Xiangyu Zhang, Shaoqing Ren h Jian Sun. «Delving deep into rectifiers: Surpassing humanlevel performance on imagenet classification». B: Proceedings of the IEEE international conference on computer vision. 2015, c. 1026-1034.

[214] R. Hecht-Nielsen. «Replicator neural networks for universal optimal source coding». B: Science 269.5232 (1995), c. 1860-1863.

[215] A. Hedar. «Global optimization test problems». B: http: // www- optima, amp. i. kyoto-u. ac. jp/

member/ student/hedar/ Hedar_ files/ TestGO/ Page364. htm (2007).

[216] H. Hendriks. «Nonparametric estimation of a probability density on a Riemannian manifold using Fourier expansions». В: Annals of Statistics 18.2 (1990), с. 832—849.

[217] G. Henry, A. Munoz и D. Rodriguez. «Locally adaptive density estimation on Riemannian manifolds». В: Statistics and Operations Research Transactions 37.2 (2013), с. 111—130.

[218] G. Henry и D. Rodriguez. «Kernel density estimation on Riemannian manifolds: asymptotic results». В: Journal of Math. Imaging and Vision 34.3 (2009), с. 235—639.

[219] Jacob Hinkle, Prasanna Muralidharan, Thomas Fletcher и Sarang Joshi. «Polynomial Regression on Riemannian Manifolds». В: Computer Vision - ECCV 2012. Springer, 2012, с. 1—14.

[220] G.E. Hinton и R.R. Salakhutdinov. «Reducing the dimensionality of data with neural networks». В: Science 313.5786 (2006), с. 504—507.

[221] Shen-Shyang Ho. «A martingale framework for concept change detection in time-varying data streams». В: Proceedings of the Twenty-Second International Conference on Machine learning (ICML). ACM. 2005, с. 321—327.

[222] Matthew D Hoffman, David M Blei, Chong Wang и John Paisley. «Stochastic variational inference». В: The Journal of Machine Learning Research 14.1 (2013), с. 1303—1347.

[223] H. Hoffmann. «Kernel PCA for novelty detection». В: Pattern Recognition 40.3 (2007), с. 863—874.

[224] Markus Hofmann и Ralf Klinkenberg. RapidMiner: Data Mining Use Cases and Business Analytics Applications. Chapman и Hall/CRC, 2013.

[225] Seok-Jun Hong, Hosung Kim, Dewi Schrader, Neda Bernasconi, Boris C Bernhardt и Andrea Bernasconi. «Automated detection of cortical dysplasia type II in MRI-negative epilepsy». В: Neurology 83.1 (2014), с. 48—55.

[226] H. Hotelling. «Relations between two sets of variables». В: Biometrika 28.3/4 (1936), с. 321—377.

[227] «HPOlib: A hyperparameter optimization library». В: https: //github. com/automl/HPOli b (2014).

[228] M. Hristache, A. Juditsky, J. Polzehl и V. Spokoiny. «Structure adaptive approach for dimension reduction». В: Annals of Statistics 29.6 (2001), с. 1537—1566. url: http://www.jstor.org/stable/ 2699943.

[229] Tak-Wai Hui, Chen Change Loy и Xiaoou Tang. «Depth Map Super-Resolution by Deep Multi-Scale Guidance». В: т. 9907. Окт. 2016, с. 353—369.

[230] Xiaoming Huo, Xuelei Ni и Andrew Smith. «A Survey of Manifold-Based Learning Methods». В: Recent Advances in Data Mining of Enterprise Data: Algorithms and Applications. World Scientific, 2007, с. 691—745.

[231] I.A. Ibragimov и Y.A. Rozanov. Gaussian random processes. Т. 9. Springer Science и Business Media, 2012.

[232] «IC Fault dataset». В: ().

[233] Satoshi Iizuka, Edgar Simo-Serra и Hiroshi Ishikawa. «Globally and Locally Consistent Image Completion». В: Proc. of SIGGRAPH 36.4 (2017), 107:1—107:14.

[234] B. Iooss и P. Lemaitre. «A review on global sensitivity analysis methods». В: Uncertainty management in Simulation-Optimization of Complex Systems: Algorithms and Applications. Под ред. C Meloni и G Dellino. Springer, 2015.

[235] T. Ishigami и T. Homma. «An importance qualification technique in uncertainty analysis for computer models». В: Proceedings of the Isuma'90, First International Symposium on Uncertainty Modelling and Analysis (1990).

[236] ISO/IEC/IEEE. «Systems and software engineering - Architecture description». В: ISO/IEC/IEEE 42010:2011(E) (Revision of ISO/IEC 42010:2007 and IEEE Std 1471-2000) (2011), с. 1—46.

[237] Alan Izenman. «Introduction to Manifold Learning». В: WIREs Comput. Stat. 4.5 (2012), с. 439—446.

[238] J.E. Jackson. A User's Guide to Principal Components. New York: Wiley, 1991.

[239] Gareth James, Daniela Witten, Trevor Hastie и Robert Tibshirani. An Introduction to Statistical Learning: With Applications in R. Springer Publishing Company, Incorporated, 2014.

[240] Justin Johnson, Alexandre Alahi h Li Fei-Fei. «Perceptual losses for real-time style transfer and superresolution». B: Proc. of ECCV. 2016.

[241] T. Jollie. Principal Component Analysis. Springer, 2002.

[242] I.T. Jolliffe. Principal Component Analysis. Springer, 1986.

[243] D.R. Jones, M. Schonlau h J. William. «Efficient global optimization of expensive black-box functions». B: J. Glob. Optim. 13.4 (1998), c. 455-492.

[244] Donald R. Jones, Matthias Schonlau h William J. Welch. «Efficient global optimization of expensive black-box functions». B: Journal of Global optimization 13.4 (1998), c. 455-492.

[245] Michael I Jordan, Zoubin Ghahramani, Tommi S Jaakkola h Lawrence K Saul. «An introduction to variational methods for graphical models». B: Machine learning 37.2 (1999), c. 183-233.

[246] Michael I. Jordan. «Hierarchical mixtures of experts and the EM algorithm». B: Neural Computation 6 (1994), c. 181-214.

[247] J. Jost. Riemannian Geometry and Geometric analysis. Springer, 2011.

[248] V. Jyothsna, V.V.R. Prasad, K.M. Prasad h A. Prasard. «A review of anomaly based intrusion detection systems». B: International Journal of Computer Applications 28.7 (2011), c. 26-35.

[249] Ali Kadkhodaie-Ilkhchi, Sildomar T Monteiro, Fabio Ramos h Peter Hatherly. «Rock recognition from MWD data: a comparative study of boosting, NNs, and fuzzy logic». B: IEEE Geoscience and Remote Sensing Letters 7.4 (2010), c. 680-684.

[250] Kaggle. Accessed: 2016-04-02. 2010.

[251] K. Kandasamy, G. Dasarathy, J.B. Oliva, J. Schneider h B. Poczos. «Gaussian Process Bandit Optimisation with Multi-fidelity Evaluations». B: Advances in Neural Information Processing Systems. 2016, c. 9921000.

[252] Po-Yu Kao, Thuyen Ngo, Angela Zhang, Jefferson W Chen h BS Manjunath. «Brain Tumor Segmentation and Tractographic Feature Extraction from Structural MR Images for Overall Survival Prediction». B: arXiv preprint arXiv:1807.07716 (2018).

[253] Yan Karklin h Michael Lewicki. «Emergence of complex cell properties by learning to generalize in natural scenes». B: Nature 457.7225 (2009), c. 83.

[254] T. Karras, T. Aila, S. Laine h J. Lehtinen. «Progressive Growing of GANs for Improved Quality, Stability, and Variation». B: Proc. of ICLR. 2018.

[255] S. Karygianni h P. Frossard. «Tangent-based manifold approximation with locally linear models». B: Signal Processing 104 (2014), c. 232-247.

[256] D.N. Kaslovsky h F.G. Meyer. «Non-Asymptotic Analysis of Tangent Space Perturbation». B: Inf. J. IMA. 3.2 (2014), c. 134-187.

[257] M. Katetov h P. Simon. «Origins of dimension theory». B: Handbook of the History of General Topology. Kluwer, 1997, c. 113-134.

[258] Michael Kazhdan, Matthew Bolitho h Hugues Hoppe. «Poisson surface reconstruction». B: Proceedings of the fourth Eurographics symposium on Geometry processing. T. 7. 2006.

[259] «Keel-dataset repository». B: http: // sci2s. ugr. es/keel/ imbalanced. php (2018).

[260] M.C. Kennedy h A. OHagan. «Predicting the output from a complex computer code when fast approximations are available». B: Biometrika 87.1 (2000), c. 1-13.

[261] David Keyes, Lois McInnes h et al. «Multiphysics simulations: Challenges and opportunities». B: The International Journal of High Performance Computing Applications 27.1 (2013), c. 4-83.

[262] H.J. Kim, N. Adluru, M. Collins, M. Chung, B. Bendin, S. Johnson, R. Davidson h V. Singh. «Multivariate General Linear Models (MGLM) on Riemannian Manifolds with Applications to Statistical Analysis of Diffusion Weighted Images». B: IEEE CVPR. 2014, c. 2705-2712.

[263] Hyunwoo Kim, Nagesh Adluru, Barbara Bendlin, Sterling Johnson, Baba Vemuri h Vikas Singh. «Canonical Correlation Analysis on Riemannian Manifolds and Its Applications». B: Computer Vision - ECCV 2014. Springer, 2014, c. 251-267.

[264] Y.T. Kim h H.S. Park. «Geometric structures arising from Kernel density estimation on Riemannian manifolds». B: J. Multivariate Anal. 114 (2013), c. 112-126.

[265] G. King h L. Zeng. «Logistic regression in rare events data». B: Political Analysis 9 (2001), c. 137-163.

[266] D. Kingma h M. Welling. «Auto-Encoding Variational Bayes». B: Proc. of ICLR. 2014.

[267] Diederik Kingma и Max Welling. «An Introduction to Variational Autoencoders». В: Found. Trends Mach. Learn. 12.4 (2019), с. 307-392.

[268] Ludmila Kirichenko, Tamara Radivilova и Zhanna Deineko. «Comparative analysis for estimating of the Hurst exponent for stationary and nonstationary time series». В: Information Technologies & Knowledge 5.1 (2011), с. 371-388.

[269] P.N. Koch, B.A. Wujek, O. Golovidov и T.W. Simpson. «Facilitating Probabilistic Multidisciplinary Design Optimization Using Kriging Approximation Models». В: 9th AIAA/ISSMO Symposium on Multidisciplinary Analysis and Optimization (2002).

[270] Tamara G. Kolda и Brett W. Bader. «Tensor Decompositions and Applications». В: SIAM Review 51.3 (2009), с. 455-500.

[271] A. N. Kolmogorov. «The Wiener spiral and some other interesting curves in Hilbert space». В: Dokl. Akad. Nauk SSSR. Т. 26. 2. 1940, с. 115-118.

[272] A.N. Kolmogorov. «Interpolation and Extrapolation of Stationary Random Sequences». В: Izv. Akad. Nauk SSSR, Ser. Mat. 5.1 (1941), с. 3-14.

[273] K. Konakli и B. Sudret. «Uncertainty quantification in high-dimensional spaces with low-rank tensor approximations». В: In Proc. 1st ECCOMAS Thematic Conference on Uncertainty Quantification in Computational Sciences and Engineering, Crete Island, Greece (2015).

[274] Alexander Korotin, Vladimir V'yugin и Evgeny Burnaev. «Integral Mixability: a Tool for Efficient Online Aggregation of Functional and Probabilistic Forecasts». В: Pattern Recognition (2021).

[275] S. Koziel, A. Bekasiewicz, I. Couckuyt и T. Dhaene. «Efficient multi-objective simulation-driven antenna design using co-kriging». В: Antennas and Propagation, IEEE Transactions on 62.11 (2014), с. 59005905.

[276] M. Kramer. «Nonlinear Principal Component Analysis using autoassociative neural networks». В: AIChE Journal 37.2 (1991), с. 233-243.

[277] Alex Krizhevsky и G Hinton. «Convolutional deep belief networks on cifar-10». В: Unpublished manuscript 40 (2010).

[278] Alex Krizhevsky и Geoffrey Hinton. «Learning multiple layers of features from tiny images». В: (2009).

[279] C. Kruegel, D. Mutz, W. Robertson и F. Valeur. «Bayesian event classification for intrusion detection». В: Proceedings of Computer Security Applications Conference (2003), с. 14-23.

[280] M. Kubat, R.C. Holte и S. Matwin. «Machine learning for the detection of oil spills in satellite radar images». В: Machine Learning 30.2-3 (1998), с. 195-215.

[281] A. Kuleshov и A. Bernstein. «Cognitive technologies in adaptive models of complex plants». В: Keynote Papers of 13th IFAC Symposium on Information Control Problems in Manufacturing (INCOM'09) (2009), с. 70-81.

[282] A. Kuleshov и A. Bernstein. «Incremental Construction of Low-Dimensional Data Representations». В: Artificial Neural Networks in Pattern Recognition. Под ред. Friedhelm Schwenker, Hazem M. Abbas, Neamat El Gayar и Edmondo Trentin. Springer, 2016, с. 55-67. isbn: 978-3-319-46182-3.

[283] A. Kuleshov и A. Bernstein. «Nonlinear multi-output regression on unknown input manifold». В: Annals of Mathematics and Artificial Intelligence 81.1-2 (2017), с. 209-240.

[284] A. Kuleshov, A. Bernstein и Yu. Yanovich. «Asymptotically optimal method in Manifold estimation». В: Abstracts of the XXIX-th European Meeting of Statisticians. 2013, с. 325.

[285] A. Kuleshov, A. Bernstein и Yu. Yanovich. «High-Dimensional Density Estimation for Data Mining Tasks». В: 2017 IEEE International Conference on Data Mining Workshops (ICDMW). 2017, с. 523530.

[286] A.P. Kuleshov и A.V. Bernstein. «Predictive Modeling and Data Analysis». В: Proceedings of the 8th International Conference on Intelligent Information Processing (IIP-2010), October, 17-24, 2010, Republic of Cyprus, Paphos. М:. МАКС Пресс, 2010, с. 212-215.

[287] A.P. Kuleshov и A.V. Bernstein. «Extended Regression on Manifolds Estimation». В: Lecture Notes in Artificial Intelligence, Conformal and Probabilistic Prediction with Applications. Т. 9653. Springer, 2016, с. 208-228.

[288] B. Kulfan и J. Bussoletti. «"Fundamental" Parametric Geometry Representations for Aircraft Component Shapes». В: Proc. of AIAA. Т. 6948. t.A.I.M.A. Conference и Optimization. 2006.

[289] S. Kumar, M. Mohri и A. Talwalkar. «Sampling methods for the Nystrom method». В: Journal of Machine Learning Research 13 (2012), с. 981-1006.

[290] Y. Kuya, K. Takeda, X. Zhang h A. Forrester. «Multifidelity surrogate modeling of experimental and computational aerodynamic data sets». B: AIAA journal 49.2 (2011), c. 289-298.

[291] Anukool Lakhina, Mark Crovella h Christophe Diot. «Diagnosing network-wide traffic anomalies». B: ACM SIGCOMM Computer Communication Review 34.4 (2004), c. 219.

[292] A. Lavin h S. Ahmad. «Evaluating Real-time Anomaly Detection Algorithms - the Numenta Anomaly Benchmark». B: CoRR Vol. abs/1510.03336 (2015).

[293] Rikard Laxhammar. «Conformal anomaly detection. Detecting abnormal trajectories in surveillance applications». B: Ph.D. thesis (2014).

[294] Rikard Laxhammar h Goran Falkman. «Inductive conformal anomaly detection for sequential detection of anomalous sub-trajectories». B: Annals of Mathematics and Artificial Intelligence 74.1 (2015), c. 6794.

[295] Miguel Lazaro-Gredilla, Joaquin Quinonero-Candela, Carl Edward Rasmussen h Anibal R Figueiras-Vidal. «Sparse spectrum Gaussian process regression». B: The Journal of Machine Learning Research 11 (2010), c. 1865-1881.

[296] Quoc Le, Tamas Sarlos h Alex Smola. «Fastfood-approximating kernel expansions in loglinear time». B: Proceedings of the International Conference on Machine Learning. 2013.

[297] L. Le Gratiet h C. Cannamela. «Cokriging-based sequential design strategies using fast cross-validation techniques for multi-fidelity computer codes». B: Technometrics 57.3 (2015), c. 418-427.

[298] Y. LeCun, B. Boser, J.S. Denker, D. Henderson, R.E. Howard, W. Hubbard h L.D. Jackel. «Backpropagation applied to handwritten zip code recognition». B: Neural Computation 1.4 (1989), c. 541-551.

[299] Y. LeCun, L. Bottou, Y. Bengio h P. Haffner. «Gradient-based learning applied to document recognition». B: Proceedings of the IEEE 86.11 (1998), c. 2278-2324.

[300] Yann LeCun. «The MNIST database of handwritten digits». В: http: // yann. lecun. com/ exdb/ mnist/ (1998).

[301] J. Lee. Manifolds and Differential Geometry. AMS, 2009.

[302] J.A. Lee и M. Verleysen. «Quality assessment of dimensionality reduction: Rank-based criteria». В: Neurocomputing 72.7-9 (2009), с. 1431-1443.

[303] John Lee и Michel Verleysen. «Quality assessment of nonlinear dimensionality reduction based on K-ary neighborhoods». В: т. 4. PRML. 2008, с. 21-35.

[304] S. Lee и B. Kwak. «Response surface augmented moment method for efficient reliability analysis». В: Struct. Safe. 28 (2006), с. 261-272.

[305] Will E. Leland, Murad S. Taqqu, Walter Willinger и Daniel V. Wilson. «On the self-similar nature of Ethernet traffic (extended version)». В: IEEE/ACM Transactions on Networking 2.1 (1994), с. 1-15.

[306] Elizaveta Levina и Peter Bickel. «Maximum Likelihood Estimation of Intrinsic Dimension». В: Advances in Neural Information Processing Systems 17. Под ред. L. K. Saul, Y. Weiss и L. Bottou. MIT Press, 2005, с. 777-784.

[307] Chun-Liang Li, Manzil Zaheer, Yang Zhang, Barnabas Poczos и Ruslan Salakhutdinov. «Point cloud gan». В: arXiv preprint arXiv:1810.05795 (2018).

[308] K.C. Li. «Sliced inverse regression for dimension reduction (with discussion)». В: Journal of the American Statistical Association 86 (1991), с. 316-342.

[309] K.C. Li. «On principal Hessian directions for data visualization and dimension reduction: Another application of Stein's lemma». В: Journal of the American Statistical Association 87 (1992), с. 10251039.

[310] Yehua Li и Tailen Hsing. «Deciding the dimension of effective dimension reduction space for functional and high-dimensional data». В: Ann. Statist. 38.5 (2010), с. 3028-3062.

[311] M. Lichman. «UCI Machine Learning Repository». В: (2013). url: http://archive.ics.uci.edu/ml.

[312] Robert Liptser и Albert Shiryaev. Statistics of Random Processes. Springer Berlin Heidelberg, 2001.

[313] R.J.A. Little и D.B. Rubin. Statistical analysis with missing data. Wiley, 19187.

[314] G. Liu, Z. Lin и Y. Yu. «Multi-output regression on the output manifold». В: Pattern Recognition 42.11 (2009), с. 2737-2743.

[315] Ziwei Liu, Ping Luo, Xiaogang Wang и Xiaoou Tang. «Deep Learning Face Attributes in the Wild». В: Proc. oflCCV. 2015.

[316] Liu Datong, Peng Yu h Peng Xiyuan. «Fault prediction based on time series with online combined kernel SVR methods». B: IEEE Instrumentation and Measurement Technology Conference. 2009, c. 1163-1166. dol: 10.1109/IMTC.2009.5168630.

[317] Michelle Livne, Jana Rieger, Orhun Utku Aydin, Abdel Aziz Taha, Ela Marie Akay, Tabea Kossen, Jan Sobesky, John D. Kelleher, Kristian Hildebrand, Dietmar Frey h Vince Istvan Madai. «A U-Net Deep Learning Framework for High Performance Vessel Segmentation in Patients with Cerebrovascular

Disease». English. В: Frontiers in Neuroscience 13 (2019). issn: 1662-453X. dol: 10 . 3389/fnins .

2019.00097. url: https://www.frontiersin.org/articles/10.3389/fnins.2019.00097/abstract

(дата обр. 01.02.2019).

[318] Clive Loader. Local regression and likelihood. New York: Springer-Verlag, 1999, с. 290.

[319] S.N. Lophaven, H.B. Nielsen и J. Sondergaard. «Aspects of the Matlab Toolbox DACE». В: Technical Report, Technical University of Denmark (2002).

[320] Gary Lorden. «Procedures for reacting to a change in distribution». В: Annals of Mathematical Statistics 42 (1971), с. 1897—1908.

[321] J.-M. Loubes и B. Pelletier. «A kernel-based classifier on a Riemannian manifold». В: Statistics and Decisions 26.1 (2008), с. 35—51.

[322] Hanna Lukashevich, Stefanie Nowak и Peter Dunker. «Using one-class SVM outliers detection for verification of collaboratively tagged image training sets». В: Multimedia and Expo, 2009. ICME 2009. IEEE International Conference on. IEEE. 2009, с. 682—685.

[323] Y. Ma и Y. Fu. Manifold Learning Theory and Applications. CRC Press, 2011.

[324] Yanyuan Ma и Liping Zhu. «Efficient estimation in sufficient dimension reduction». В: Ann. Statist.

41.1 (февр. 2013), с. 250—268. url: https://doi.org/10.1214/12-A0S1072.

[325] Yunqian Ma h Yun Fu. Manifold Learning Theory and Applications. 1st. USA: CRC Press, Inc., 2011. isbn: 1439871094.

[326] Laurens Maaten, Eric Postma h Herik Jaap. «Dimensionality reduction: a comparative review». B: J Mach Learn Res 10 (2009), c. 66-71.

[327] I B MacNeill h Y Mao. «Change-point analysis for mortality and morbidity rate». B: Applied Change Point Problems in Statistics (1995), c. 37-55.

[328] Rostislav Maiboroda h Natalia Markovich. «Estimation of heavy-tailed probability density function with application to Web data». B: Computational Statistics 19 (2004), c. 569-592.

[329] Maintenance optimization. Airplane health management. 2015. url: http://www.boeing.com/resources/

boeingdotcom/commercial/services/assets/brochure/airplanehealthmanagement.pdf

[330] Fangchang Mal h Sertac Karaman. «Sparse-to-dense: Depth prediction from sparse depth samples and a single image». B: 2018 IEEE International Conference on Robotics and Automation (ICRA). IEEE. 2018, c. 1-8.

[331] D.P. Malladi h J.L. Speyer. «A generalized Shiryayev sequential probability ratio test for change detection and isolation». B: Automatic Control, IEEE Transactions ... 44.8 (1999), c. 1522-1534.

[332] Benoit B. Mandelbrot h John W. Van Ness. «Fractional Brownian Motions, Fractional Noises and Applications». B: SIAM Review (1968).

[333] Priyanka Mandikal h Venkatesh Babu Radhakrishnan. «Dense 3D point cloud reconstruction using a deep pyramid network». B: WACV. IEEE. 2019, c. 1052-1060.

[334] L. Manevitz h M. Yousef. «One-class SVMs for document classification». B: Journal of Machine Learning Research 2 (2002), c. 139-154.

[335] K.V. et al. Mardia. «Maximum Likelihood Estimation of Models for Residual Covariance in Spatial Regression». B: Biometrika 71.1 (1984), c. 135-146.

[336] Jan Margeta, Antonio Criminisi, R Cabrera Lozoya, Daniel C Lee h Nicholas Ayache. «Fine-tuned convolutional neural nets for cardiac MRI acquisition plane recognition». B: Computer Methods in Biomechanics and Biomedical Engineering: Imaging and Visualization 5.5 (2017), c. 339-349.

[337] M. Markou h S. Singh. «Novelty detection: a review-part 1: statistical approaches». B: Signal processing 83.12 (2003), c. 2481-2497.

[338] D. Marquardt. «An algorithm for least-squares estimation of nonlinear parameters». B: J. SIAM 11.2 (1963), c. 431-441.

[339] A. Marrel, B. Iooss, B. Laurent h O. Roustant. «Calculations of the Sobol indices for the Gaussian process metamodel». B: Reliability Engineering and System Safety 94 (2009), c. 742-751.

[340] W. H. Mason. «Applied computational aerodynamics». B: Lecture Notes. Virginia Polytechnic Institute and State University (http://www.aoe.vt.edu/ mason/Mason_f/CAtxtTop.html) (1995).

[341] «Mathematical model». B: Encyclopaedia Britanica (2018). url: |https : / /www . britannica . com/ science/mathematical-model.

[342] «MatLab». B: ().

[343] Daniel Maturana h Sebastian Scherer. «Voxnet: A 3d convolutional neural network for real-time object recognition». B: Intelligent Robots and Systems (IROS), 2015 IEEE/RSJ International Conference on. IEEE. 2015, c. 922-928.

[344] M.D. McKay, R.J. Beckman h W.J. Conover. «A comparison of three methods for selecting values of input variables in the analysis of output from a computer code». B: Technometrics 21 (1979), c. 239245.

[345] Timothy L McMurry h Dimitris N Politis. «Minimally biased nonparametric regression and autoregression». B: REVSTAT-Statistical Journal 6.2 (2008), c. 123-150.

[346] Bjoern H Menze, Andras Jakab, Stefan Bauer, Jayashree Kalpathy-Cramer, Keyvan Farahani, Justin Kirby, Yuliya Burren, Nicole Porz, Johannes Slotboom, Roland Wiest h gp. «The multimodal brain tumor image segmentation benchmark (BRATS)». B: IEEE transactions on medical imaging 34.10 (2015), c. 1993.

[347] Silvio Micali h Zeyuan Allen Zhu. «Reconstructing Markov processes from independent and anonymous experiments». B: Discrete Applied Mathematics 200 (2016), c. 108-122.

[348] «Microsoft Malware Classification Challenge (BIG 2015)». B: https: // www. kaggle. com/ c/malware-classification (2015).

[349] D. Miljkovic. «Review of novelty detection methods». B: Proceedings of the 33rd International Convention (MIPRO). 2010, c. 593-598.

[350] A. Miller h N. Nguyen. «Algorithm AS 295: A Fedorov Exchange Algorithm for D-Optimal Design». B: Journal of the Royal Statistical Society. Series C (Applied Statistics) 43.4 (1994), c. 669-677.

[351] T. Mitchel. Machine Learning. McGrow Hill, New-York, 1997.

[352] Pawel Mlynarski, Herve Delingette, Antonio Criminisi h Nicholas Ayache. «Deep Learning with Mixed Supervision for Brain Tumor Segmentation». B: arXiv preprint arXiv:1812.04 571 (2018).

[353] modeFRONTIER: The Multi-Objective Optimization and Design Environment. Accessed: 2016-04-02. 2014.

[354] Mehryar Mohri, Afshin Rostamizadeh h Ameet Talwalkar. Foundations of Machine Learning. The MIT Press, 2012.

[355] M. Molga h C. Smutnicki. «Test functions for optimization needs». B: https: //www. robertmarks. \org/ Classes/ ENGR5358/ Papers/ functions, pdf (2005).

[356] Douglas C. Montgomery. Design and Analysis of Experiments. John Wiley h Sons, 2006.

[357] H. Moon, A.M. Dean h T.J. Santner. «Two-stage sensitivity-based group screening in computer experiments». B: Technometrics 54.4 (2012), c. 376-387.

[358] M.D. Morris. «Factorial sampling plans for preliminary computational experiments». B: Technometrics 33 (1991), c. 161-174.

[359] A. Mousavi, P. Castonguay h S. Nadarajah. «Survey of Shape Parameterization Techniques and Its Effect on Three-dimensional Aerodynamic Shape Optimization». B: AIAA Computational Fluid Dynamics Conference. T. 3837. 2007.

[360] George V. Moustakides. «Optimal Stopping Times for Detecting Changes in Distributions». B: Annals of Statistics 14 (1986), c. 1379-1387.

[361] Andriy Myronenko. «3D MRI brain tumor segmentation using autoencoder regularization». B: arXiv preprint arXiv:1810.11654 (2018).

[362] Elizbar A Nadaraya. «On estimating regression». B: Theory of Probability and Its Applications 9.1 (1964), c. 141-142.

[363] L. Nataraj. B: http ://sarvamblog. blogspot. com / (2014).

[364] L. Nataraj, S. Karthikeyan, G. Jacob h B. Manjunath. «Malware images: visualization and automatic classification». B: Proceedings of the 8th International Symposium and Visualization for Cyber Security. ACM, 2011.

[365] Nagarajan Natarajan, Inderjit S. Dhillon h et al. «Cost-Sensitive Learning with Noisy Labels». B: JMLR (2018).

[366] I. Nazarov, B. Shirokikh, M. Burkina, G. Fedonin h M. Panov. «Sparse Group Inductive Matrix

Completion». В: ArXiv e-prints (2018). arXiv: 1804.10653

[367] Kirill Neklyudov, Dmitry Molchanov, Arsenii Ashukha и Dmitry P Vetrov. «Structured bayesian pruning via log-normal multiplicative noise». В: Advances in Neural Information Processing Systems. 2017, с. 6775-6784.

[368] D. Nguyen и B. Widrow. «Improving the learning speed of 2-layer neural networks by choosing initial values of the adaptive weights». В: IJCNN Joint Conference (International) (1990), с. 21-26.

[369] Nir Nissim, Robert Moskovitch, Lior Rokach и Yuval Elovici. «Detecting unknown computer worm activity via support vector machines and active learning». В: Formal Pattern Analysis and Applications 15.4 (2012), с. 459-475.

[370] Nir Nissim, Robert Moskovitch, Lior Rokach и Yuval Elovici. «Novel active learning methods for enhanced PC malware detection in windows OS». В: Expert Systems with Applications 41.13 (2014), с. 5843-5857.

[371] Partha Niyogi, Stephen Smale и Shmuel Weinberger. «Finding the Homology of Submanifolds with High Confidence From Random Samples». В: Discrete Comput. Geom. 39.1-3 (2008), с. 419-441.

[372] J. Nocedal и S. Wright. Numerical optimization. Springer, 2006.

[373] Linda Northrop, Peter Feiler, Richard P Gabriel, John Goodenough, Rick Linger, Tom Longstaff, Rick Kazman, Mark Klein, Douglas Schmidt, Kevin Sullivan и др. Ultra-large-scale systems: The software challenge of the future. Тех. отч. DTIC Document, 2006.

[374] A. O'Hagan. «Polynomial Chaos: A Tutorial and Critique from a Statistician's Perspective». В: Technical Report, University of Sheffield, UK (2013).

[375] G.W. Oehlert. «A Note on the Delta Method». В: The American Statistician 46 (1992).