Тензорные методы для обработки и анализа биомедицинских данных в задачах машинного обучения тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат наук Харюк Павел Васильевич

• Харюк Павел Васильевич
• кандидат наук
• 2021

Оглавление диссертации кандидат наук Харюк Павел Васильевич

Введение

1 Машинное обучение: задачи, алгоритмы, признаковое пространство, многомерные данные

1.1 Стандартные задачи машинного обучения

1.2 Обзор ряда алгоритмов машинного обучения

1.3 Методология проведения вычислительных экспериментов

1.4 Признаковое пространство

1.5 Многомерные данные и тензорные разложения

2 WTT разложение для сжатия наборов данных

2.1 Вейвлеты и WTT как адаптивное ортогональное преобразование

2.2 Сжатие изображений

2.3 Сжатое представление для анализа данных

2.4 Выводы по главе

3 Тензорные разложения в задачах анализа данных

3.1 Компонентные модели

3.2 Классификаторы на основе компонентных моделей

3.3 Задача идентификации лекарственных растений

3.4 Выводы по главе

4 Групповой анализ многомерных данных

4.1 Параметризация структуры данных для группового анализа

4.2 Детерминистическая модель данных на основе блочного тензорного разложения

4.3 Вероятностное блочное тензорное разложение для параметризации смеси распределений

4.4 Выводы по главе

5 Программный комплекс реализации моделей и алгоритмов

5.1 Общие сведения об использованной среде разработки

5.2 Программный модуль реализации WTT разложения для сжатия данных и контрастирования

5.3 Программный модуль для видовой идентификации растений по данным жидкостной хроматомасс- спектрометрии

5.4 Программный модуль реализации моделей данных на основе BTD разложения

Заключение

Список обозначений

Список сокращений

Список литературы

Введение диссертации (часть автореферата) на тему «Тензорные методы для обработки и анализа биомедицинских данных в задачах машинного обучения»

Введение

Актуальность и объект исследования. Ряд практических исследовательских задач требует анализа и обработки данных, полученных в результате эксперимента, возникающих как наблюдения за природными явлениями, просто встречающихся в повседневной жизни. На сегодняшний день подобные проблемы во множестве случаев решаются методами машинного обучения. Классическая схема обработки данных включает в себя этап выделения признаков [1], то есть, построение такого преобразования данных, которое облегчает дальнейшую их обработку, выделяет из них релевантное для последующих этапов содержимое, и т.п. В идеале построение соответствующего признакового пространства, в которое входные данные отображаются в результате выделения признаков, должно опираться на природу исходных данных, особенности их сбора и прочих предшествующих операций над ними, а также учитывать специфику последующих алгоритмов обработки и, конечно, требований к финальному результату. В ряде практических задач признаковое пространство либо имеет естественную многомерную структуру, либо допускает введение искусственной многомерности (тензо-ризацию данных). Другой пример - стерео аудиосигнал длины N = щ ■... ■ щ, изначально представимый в матричном виде, можно привести в многомерный вид с соответствующим изменением размеров: (Ы, 2) ^ (щ, п2,..., па, 2). Если же данные из подобного признакового пространства представимы в формате тензорного разложения с малым числом параметров, то, во-первых, они допускают более эффективные вычисления с ними и более компактное хранение, во-вторых, в отдельных случаях сами параметры разложения могут оказаться информативными признаками. Последнее оказывается особенно актуальным на практике, т.к. позволяет оперировать данными без необходимости их реконструкции, а не просто хранить их в компактном виде. Связь задач сжатия и анализа неоднозначна: информативное признаковое пространство может (но не обязано!) иметь малую размерность, при этом эффективное с точки зрения хранения в памяти представление далеко не всегда является наглядным или интерпретируемым для исследователя. С другой стороны, задача может быть поставлена в таком виде, что допустимо опустить анализ и интерпретацию промежуточных представлений, и тогда проблема неочевидной интерпретируемости отходит на второй план. Но и здесь требуется учитывать возможности алгоритмов, выступающих в роли чёрного ящика.

В данной диссертации рассматриваются вопросы параметризации (моделирования) данных с помощью тензорных разложений для задач классификации, группового анализа данных, сжатия с потерями. Задача классификации - один из способов формализовать проблему распознавания образов, а именно сопоставить наблюдаемым данным метку (или метки) принадлежности к тому или иному классу. Например, как задача классификации в работе рассмотрена проблема идентификации лекарственного растительного сырья по данным химического анализа. На практике такая проблема возникает при необходимости проверки соответствия между реально использованным в том или ином лекарственном препарате растительным сырьём и тем, которое было заявлено. Методология анализа для регулирования рынка лекарственных препаратов всё ещё не сформирована должным образом, и в качестве возможного решения упомянутой выше задачи было предложено использовать методы ма-

шинного обучения для данных жидкостной хроматомасс-спектрометрии. В частности, такие данные допускают введение тензорной структуры, что открывает возможность использования разнообразных тензорных разложений для выделения признаков.

Другое приложение тензорных разложений, которое рассматривается в настоящей работе, - это сжатие данных с потерями. Сжатие с потерями означает, что при восстановлении сигнала после его обработки результат не будет в точности соответствовать оригиналу. Отсюда ясно, что методы сжатия с потерями применимы только в том случае, если возникающие дефекты не являются критичными для последующих целей использования восстановленных данных. Одним из методов такого сжатия является получение разреженного представления на основе вейвлет-разложений и пороговой фильтрации [2, 3]. Особенность вейвлет-разложений заключается в том, что фильтры преобразований фиксированы. В [4] был предложен метод построения адаптивных преобразований на основе искусственной тен-зоризации сигнала и TT-разложения [5], названный разложением вейвлет-тензорного поезда (англ. wavelet tensor train, WTT). Интересны вопросы практического применения данного разложения к набору из нескольких сигналов, а также возможность использования сжатого представления для анализа данных. В данной диссертации приводятся результаты исследования качества сжатия на примере монохромных изображений и снимков функциональной магнитно-резонансной томографии, дополненные экспериментальной проверкой качества классификации и кластеризации сжатых данных инфракрасной Фурье-спектроскопии растений нескольких видов.

Наконец, в настоящей работе были построены модели структуры данных для их группового анализа. Под групповым анализом данных [6] понимают задачу поиска индивидуальных, присущих отдельно взятому образцу, и групповых, разделяемых всеми образцами, компонент в данных. Одним из естественных способов описать такие зависимости является разложение данных на соответствующие слагаемые; в случае многомерных данных наблюдение-тензор разлагается в сумму тензоров-компонент, что приводит к т.н. блочному тензорному разложению (англ. block-term decomposition, BTD) [7, 8, 9], и именно такой формат разложения был использован в работе для построения моделей данных на примере изображений и сигналов электроэнцефалографии.

Цель работы. Целью данной диссертационной работы является разработка и исследование тензорных методов моделирования структуры данных, реализация алгоритмов их обработки с учётом моделируемой структуры в задачах анализа и сжатия данных.

Научная новизна работы представлена следующими положениями:

• показана возможность эффективного сжатия данных (с потерями, англ. lossy) с помощью WTT при использовании общих фильтров для набора данных;

• показана возможность использования сжатого WTT-представления в качестве признакового пространства;

• предложен вариант признакового пространства для данных жидкостной хроматомасс-спектрометрии, в котором для данных вводится дополнительная ось, соответствующая полярности;

• проведён сравнительный анализ ряда классификаторов для задачи идентификации растений по их химическим данным (хроматомасс-спектрометрии), построен метод классификации на основе одноклассовых классификаторов, использующих параметры неотрицательного разреженного разложения Таккера в качестве признакового описания данных;

• предложены модели структуры для нескольких однородных наборов данных на основе блочного тензорного разложения: детерминистическая модель, в которой разложение с дополнительными условиями на параметры строится для данных, объединённых в один тензор большей размерности, и вероятностная модель, которая связывает блочное тензорное разложение и смеси параметризованных вероятностных распределений.

Теоретическая значимость. В работе предложены модели структуры тензорных данных на основе блочного тензорного разложения с разными форматами отдельных компонент (слагаемых) разложения. Предложен способ построения базового признакового пространства по данным хроматомасс-спектрометрии в задаче идентификации растительного сырья. Показана применимость WTT разложения для сжатия наборов изображений, а также возможность использования сжатого представления как признакового описания данных.

Практическая значимость. Разработанные и реализованные методы проверены на реальных данных для ряда задач машинного обучения. Реализация подходов и численных экспериментов выполнена на языке программирования Python, исходные коды опубликованы в открытых репозиториях.

Методология и методы исследования. В основе методологии исследования лежат тензорные разложения многомерных данных в различных форматах. Вычисление параметров разложений производится методами оптимизации, большинство вычислительных экспериментов реализовано в рамках задач машинного обучения и анализа данных. Также в работе используются методы обработки сигналов, вероятностного моделирования.

Основной результат работы. Основным результатом работы являются новые модели структуры данных, основанные на тензорных разложениях, и их приложения в задачах машинного обучения и сжатия данных. На защиту выносятся следующие положения:

1. Алгоритм сжатия наборов многомерных данных на основе разложения вейвлет-тензорного поезда с общими фильтрами, апробация метода обработки в задаче сжатия с потерями набора изображений и данных функциональной магнитно-резонансной томографии;

2. Метод выделения базового признакового пространства для химических данных жидкостной хроматомасс-спектрометрии в задаче определения пар (вид растения, часть растения), валидация предложенного подхода на реальных данных;

3. Метод классификации химических данных жидкостной хроматомасс- спектрометрии на основе разреженного неотрицательного разложения Таккера, демонстрация большей устойчивости метода к смене оборудования и/или метода получения химических данных (экстракции) в сравнении с рядом других методов;

4. Модель группового анализа данных на основе блочного тензорного разложения с учётом общих и индивидуальных для каждого элемента выборки составляющих, её вали-дация в задаче кластеризации набора изображений и данных электроэнцефалографии;

5. Вероятностная модель группового анализа данных на основе блочного тензорного разложения и смесей распределений, её валидация в задаче кластеризации набора изображений и данных электроэнцефалографии;

6. Программный комплекс для построения тензорных разложений и моделей данных на их основе для сжатия, классификации и кластеризации данных.

Работа включает следующий дополнительный результат:

• Демонстрация применимости разложения вейвлет-тензорного поезда в задачах анализа данных (классификация и кластеризация), метод контрастирования данных на его основе, повышающий качество кластеризации, на примере данных инфракрасной Фурье-спектроскопии экстрактов растений.

Степень достоверности результатов и апробация работы. Достоверность результатов данной работы обеспечивается воспроизводимыми численными экспериментами на искусственных и реальных данных. Большинство использованных данных, как и исходные коды разработанного программного комплекса, находятся в открытом доступе. В экспериментах, относящихся к задачам обучения с учителем (классификации), используется кросс-валидация; в задачах обучения без учителя (кластеризация) проверка качества работы подходов осуществляется по известному разбиению выборки на группы.

Основные результаты работы представлялись в виде следующих докладов на конференциях, стендовых докладов:

1. П.В. Харюк, И.В. Оселедец WTT-разложение для семейств массивов Тихоновские чтения: Научная конференция, Тезисы докладов. МГУ имени М.В. Ломоносова, 2012

2. Pavel Kharyuk. Wavelet Tensor Train Decomposition for the Compression of Image Sequence SIAM Conference on Imaging Science (SIAM-IS14). Hong Kong, Hong Kong Baptist University, 2014.

3. П.В. Харюк Групповой анализ данных на основе блочного канонического разложения 59-я Всероссийская научная конференция МФТИ с международным участием, Москва, МФТИ, Россия, 2016.

4. Pavel Kharyuk. Compressing fMRI data via algebraic wavelet tensor train transform Workshop on Low Complexity Models (Mathematics of Signal Processing Trimester Program), Bonn, Germany, 2016.

5. П.В. Харюк Классификация сигналов с помощью блочного тензорного разложения в задаче группового анализа данных XXIVМеждународная научная конференция студентов, аспирантов и молодых ученых "Ломоносов-2017", МГУ имени М.В.Ломоносова, Россия, 2017.

6. Pavel Kharyuk, Ivan Oseledets. Variational block-term decomposition as a structured mixing model The 5 th International Conference on Matrix Methods in Mathematics and Applications, Moscow, Russia, 2019

Публикации. Основные результаты данной диссертации опубликованы в следующих работах: 3 статьи в журналах из списка RSCI - [10,11,12]; 2 статьи из списка Scopus/Web of science - [13, 14]; 5 печатных работ в сборниках тезисов и трудов конференций - [15, 16, 17, 18, 19]. Дополнительные результаты содержатся в [20].

Личный вклад автора. В работе [10] идея об использовании общих фильтров WTT разложения высказана И.В. Оселедцом, программирование, постановка и проведение экспериментов произведены автором диссертации. Данные для исследования [11] были предоставлены В.Л. Ушаковым, И.В. Оселедец оказывал административную поддержку и вёл руководство, постановка и проведение экспериментальной части, а также реализация программного кода произведена автором данной диссертации.

В [13] автор данной диссертации совместно с Д.В. Назаренко рассмотрели данные жидкостной хроматографии как дискретизацию функции интенсивности сигнала, зависящую от образца, полярности и отношения масса-заряд, и применили ряд стандартных методов машинного обучения для классификации таких данных в задаче видовой идентификации растений. Кроме того, Д.В. Назаренко принадлежит постановка прикладной задачи, проведение химического эксперимента, сбор и предобработка данных; автор диссертации также планировал и реализовывал вычислительные эксперименты. И.В. Оселедец вёл научное руководство автора диссертации, И.А. Родин и О.А. Шпигун вели руководство Д.В. Назаренко.

В работе [14] подход был развит с использованием большего числа данных и новых методов классификации. Подготовка химических проб, сбор и химический анализ производился Д.В. Назаренко, также им и автором произведён выбор признаковых пространств с учётом специфики данных, велись совместные эксперименты с байесовскими сетями и проводился анализ результатов. Кроме того, автор диссертации занимался вычислительной

частью, в частности, выбором дополнительных методов извлечения признаков и исследованием качества работы алгоритмов на реальных данных. И.В. Оселедец, И.А. Родин и О.А. Шпигун обеспечивали административную поддержку и научное руководство, А.Н. Цицилин и М.Г. Лаврентьев участвовали в подготовке растительного сырья, также А.Н. Цицилин провёл подробные консультации при формировании списка растений, использованных в работе, и дал ряд важных комментариев по работе.

Автором диссертации были предложены детерминистическая и вероятностные модели данных, выполнена их реализация, проведены эксперименты по их практическому использованию в задачах машинного обучения в [12]. И.В. Оселедец оказывал административную поддержку, вёл научное руководство.

В [20] было проведено исследование возможности применения WTT разложения для извлечения признаков в задачах классификации и кластеризации на примере данных инфракрасной Фурье-спектроскопии экстрактов растений. Автором предложен способ повышения качества кластеризации ИК данных от нескольких растений, проведено сравнение WTT подхода с различными дискретными вейвлет-преобразованиями. И.В. Оселедец вёл научное руководство автора диссертации; Д.В. Назаренко осуществил сбор и подготовку физических образцов и цифровых данных.

Объём и структура работы. Текст диссертации состоит из введения, пяти глав основного содержания, заключения. Объём диссертации составляет 139 страниц, текст содержит 28 рисунков и 26 таблиц. В списке литературы приведено 158 позиций (из них 11 работ автора).

Содержание работы. В Главе I приводятся необходимые сведения о машинном обучении, классических задачах этой области, стандартных методах решения таких задач. Глава подчёркивает важность проблемы выделения признаков и построения признакового пространства, релевантного задаче, используемой методологии решения, а также природе самих данных. В частности, выделяется вопрос обработки многомерных (тензорных) данных, вводятся основные тензорные форматы, используемые в работе.

В Главе II рассматривается вопрос построения сжатого представления данных, который является особо актуальным для данных многомерной природы. Глава посвящена части работы, связанной со сжатием наборов данных с помощью разложения вейвлет-тензорного поезда (англ. wavelet tensor train, WTT). Показан способ построения общего разложения для набора данных, приводится сравнительный анализ на основе вычислительных экспериментов на наборе изображений и данных функциональной магнитно-резонансной томографии (сжатие с потерями), а также на данных инфракрасной Фурье-спектроскопии растений (извлечение признаков).

Глава III посвящена использованию тензорных разложений в задачах анализа данных, в частности, в ней рассматриваются т.н. компонентные модели на основе тензорных разложений. В главе строится вариант классификатора на основе неотрицательного разреженного разложения Таккера, который был использован для идентификации лекарственного расти-

тельного сырья по данным жидкостной хроматомасс-спектрометрии.

В Главе IV развиваются идеи использования тензорных разложений в качестве параметрической модели группового анализа данных. В ней представлены две модели на основе блочного тензорного разложения: детерминистическая и вероятностная, в которых используются различные форматы отдельных слагаемых. Модели были протестированы в задаче кластеризации набора цветных изображений и данных электрической активности мозга. Результаты показывают, что предложенные подходы способны к выделению релевантной индивидуальной составляющей данных.

Глава V содержит сведения о программной реализации вычислительных экспериментов, методов и алгоритмов, описанных в предыдущих главах. Описаны разработанные программные модули комплекса программ. Приводятся ссылки на открытые репозитории, содержащие исходный код.

Благодарности. Автор выражает искреннюю благодарность И.В. Оселедцу, Д.В. Назарен-ко, В.П. Харюку, А.В. Харюк, О.И. Фёдорову, без чьей долгой поддержки работа над диссертацией давалась бы многократно сложнее.

ГЛАВА 1

Машинное обучение: задачи, алгоритмы, признаковое пространство, многомерные

данные

Начнём изложение с главы, посвящённой основам машинного обучения и тензорных разложений. В целом, в машинном обучении требуется построить некоторую цепочку преобразований данных, которая опирается на их специфические закономерности, учитывает их в ходе преобразований. Важной характеристикой итогового отображения является обобщающая способность - возможность применения этого отображения для новых данных, которые не были учтены ранее. Конкретный вид отображения определяется рядом факторов, в частности, используемой параметризацией данных, алгоритмами их обработки, выбором гиперпараметров. Часто преобразования группируют в отдельные шаги - предобработка данных, в ходе которой производятся такие операции как нормирование, центрирование, фильтрация; выделение/выбор признаков, где требуется получить либо полезное с точки зрения дальнейшего обучения, либо наглядное для проведения аналитики представление данных; и, наконец, обучение. Под обучением понимают процесс выделения закономерностей из имеющегося в наличии набора данных. Если преобразования имеют собственную параметризацию, то обучение включает в себя оптимизацию таких параметров. Ясно, что приведённое разделение несколько условно - например, задачу малорангового приближения многомерных данных можно рассматривать и как отдельную задачу обучения (поиска параметров разложения в данном случае), так и как задачу выделения признаков (использование параметров разложения как входных данных для дальнейших преобразований).

Цепочка преобразований обычно определяется исходя из специфики самих данных, имеющегося в доступе оборудования (вычислительный ресурс), времени обработки, поставленной задачи. Если говорить о базовых или стандартных задачах, то распространено деление по ожидаемому результату отображения. О некоторых из таких базовых задач и пойдёт речь в первом разделе текущей главы.

1.1. Стандартные задачи машинного обучения

Одно из принятых разделений подходов в машинном обучении делит их на обучение с учителем (англ. supervised learning), без учителя (англ. unsupervised learning), частичное обучение с учителем (англ. semi-supervised learning). Ключевое отличие состоит в доступности (или недоступности, или частичной доступности) внешнего знания в виде результатов отображения наряду со входными данными на этапе обучения. Последние обычно называют обучающей выборкой (англ. training set); соответственно, данные, используемые для тестирования готового подхода, называют тестовой выборкой (англ. test set). Допустим, что имеющаяся обучающая выборка хранится в виде матрицы X, строки которой отвечают отдельным элементам, Xi е Djm , i = 1, N, где Djm - пространство из M признаков (более подробно о

последнем говорится в одном из следующих разделов). Для задач обучения с учителем мы также будем рассматривать соответствующие целевые переменные Гг- € . Перейдём к рассмотрению нескольких распространённых базовых задач машинного обучения.

Регрессия. Задача регрессии состоит в построении отображения а из признакового пространства в пространство целевой переменной (как правило, вещественное):

a : DfM ^ Dyp . (1.1)

Признаки при этом часто называют регрессорами, а случай P > 1 - множественной регрессией. Отображение a(x) строится для прогнозирования целевой переменной y Е D^p. Для измерения качества предсказания рассматривают так называемые функции (функционалы) потерь; например, /2-функционал ошибки

L(x,y,a) = (a(x) - y)2. (1.2)

Статистическая интерпретация регрессии (см. [21]) рассматривает x,y как случайные векторы, компоненты которых отвечают признакам исходной и целевой переменных. Выбор отображения a(x) производится через минимизацию ожидаемой ошибки предсказания (англ. expected prediction error):

EPE(a,L) = Ex,y[L(x,y,a)] = Ex [Ey|* [L(x,y,a)|x]]. (1.3)

Выбирая (1.2) в качестве функционала потерь L для ожидаемой ошибки предсказания (1.3), приходим к хорошо известной задаче наименьших квадратов:

a(x) = argminEyx (a(x) — y)2 |x = E [y |x]. (1.4)

a J| L

Отсюда видно, что в этом случае модель отображения a(x) приближает условное ожидание целевой переменной. Задача наименьших квадратов для регрессии широко используется на практике в силу её гладкости. Другие интересные со статистической точки зрения функционалы - 11, L;1 (x,y,a) = |a(x) — y|, который приводит к a(x) = median[y |x], и /0, L;0 (x,y, a) = I [a(x) = y], для которого a(x) = mode [y |x].

На практике выбор вида отображения a(x) обычно происходит не из всех возможных вариантов, а в пределах некоторого семейства, a(x) Е A, и потому

a(x) = argminEy|x [L(x,y,a)|x]. (1.5)

aeA

Кроме того, на практике математическое ожидание приближается по объектам, доступным в

1 ^

обучающей выборке, Ey|x [L(x,y,a)|x] w N £ L(Xtrain,i, YWn.i,a) = L(x,y,a|x = Xtoain). Из этого

i=1

следует, что обобщающая способность отображения ограничена распределением, которое соответствует обучающей выборке.

Семейство A задаёт класс моделей для отображения a(x); распространённым вариан-

том моделирования a(x) является введение некоторой параметризации отображения. Соответствующая параметрическая модель a(x) настраивается через оптимизацию выбранной функции потерь:

ва = argminL (x,y,a(x, в)|x = Хгаш),

в (1.6)

fl(x) = а(х|ва).

Простейший вариант параметрической модели - линейная регрессия:

а(х) = Wx + b, (1.7)

в используемых ранее обозначениях х = X,f; параметрами отображения являются b G RPx1 -смещение, W G RPxM - матрица коэффициентов преобразования. Другой распространённый в настоящее время пример - искусственные нейронные сети (англ. artificial neural networks), представляющие собой последовательности линейных и нелинейных преобразований - например, сеть прямого распространения (англ. feedforward network):

Layerk(x) = fk (Wk [x] + bk),

a(x) = LayerK (LayerK_ 1 (... Layer 1 (x)...)),

Layerk(x) - k-й слой сети (обобщённая линейная модель), fk(z) - поэлементная функция, k = 1K.

Также для дальнейшего изложения полезно получить статистическую интерпретацию задачи наименьших квадратов. Полагая, что y| x имеет нормальное распределение с некоторой постоянной изотропной дисперсией, получаем p(y|x) = N (a(x), о2I). Используя метод максимального правдоподобия на обучающей выборке (в предположении о статистической независимости наблюдений), получим в точности задачу минимизации среднеквадратичного отклонения:

N 1

ln p(y|x, ва) = L ln p (y, |x,, ва) = const - ^ 11 ^(x,) - yt\\p,

= n (1.9)

ва = argmin L \\fl(x,-|в) -y,\\F. в t=1

В свою очередь, рассматривая ва как случайную величину, имеющую своё априорное распределение, можно получить соответствующие добавки к полученному функционалу.

Классификация. Задача классификации напоминает задачу регрессии, но принципиальное отличие заключается в том, что целевая переменная принимает значения из некоторого конечного неупорядоченного множества, элементы которого ассоциированы с классами. В простейшем варианте задачи требуется указать одну метку-класс для каждого наблюдения; однако, подобно множественной регрессии, можно рассматривать задачу многоклассовой классификации, в которой одному наблюдению может быть сопоставлено подмножество меток.

Формальная постановка задачи. Пусть х € О ум - М-мерное признаковое описание объекта, Оу = {1,..., С} - множество меток классов, а(х) : О ум ^ Оу - отображение из призна-

кового пространства, которое сопоставляет метку класса (метки классов) поданному на вход признаковому описанию объекта. Требуется построить конкретный вид подобного отображения, которое удовлетворяет (1.5). Напомним, что при этом требуется выбрать тот или иной функционал потерь. К одному из вариантов выбора можно прийти, используя вероятностное моделирование.

Список литературы диссертационного исследования кандидат наук Харюк Павел Васильевич, 2021 год

Список литературы

1. Bishop Christopher M. Pattern recognition and machine learning. Springer, 2006.

2. Сэломон Дж. Сжатие данных, изображений и звука. Техносфера, 2004.

3. Addison Paul S. The Illustrated Wavelet Transform Handbook: Introductory Theory and Applications in Science, Engineering, Medicine and Finance. IOP Publishing Ltd., 2002.

4. Oseledets Ivan V, Tyrtyshnikov Eugene E. Algebraic wavelet transform via quantics tensor train decomposition // SIAM Journal on Scientific Computing. 2011. Т. 33, № 3. С. 1315— 1328.

5. Oseledets Ivan V. Tensor-train decomposition // SIAM Journal on Scientific Computing. 2011. Т. 33, № 5. С. 2295-2317.

6. Kenny David A, La Voie Lawrence. Separating individual and group effects. // Journal of Personality and Social Psychology. 1985. Т. 48, № 2. С. 339.

7. De Lathauwer Lieven. Decompositions of a higher-order tensor in block terms—Part I: Lemmas for partitioned matrices // SIAM Journal on Matrix Analysis and Applications. 2008. Т. 30, № 3. С. 1022-1032.

8. De Lathauwer Lieven. Decompositions of a higher-order tensor in block terms—Part II: Definitions and uniqueness // SIAM Journal on Matrix Analysis and Applications. 2008. Т. 30, № 3. С. 1033-1066.

9. De Lathauwer Lieven, Nion Dimitri. Decompositions of a higher-order tensor in block terms—Part III: Alternating least squares algorithms // SIAM journal on Matrix Analysis and Applications. 2008. Т. 30, № 3. С. 1067-1083.

10. П.В. Харюк, И.В. Оселедец. WTT-разложение для семейств массивов и его применение для сжатия изображений//Вычислительные методы и программирование. 2014. Т. 15, № 2. С. 229-238.

11. П.В. Харюк, И.В. Оселедец, В.Л. Ушаков. Сжатие фМРТ-данных с помощью WTT-преобразования // Вычислительные методы и программирование. 2014. Т. 15, № 4. С. 669-676.

12. Оселедец И. В., Харюк П. В. Моделирование структуры данных с помощью блочного тензорного разложения: разложение объединенных тензоров и вариационное блочное тензорное разложение как параметризованная модель смесей // Журнал вычислительной математики и математической физики. 2021. Т. 61, № 5.

13. Machine learning for LC-MS medicinal plants identification / D.V. Nazarenko, P.V. Kharyuk, I.V. Oseledets [и др.] // Chemometrics and Intelligent Laboratory Systems. 2016. Т. 156. С.174-180.

14. Employing fingerprinting of medicinal plants by means of LC-MS and machine learning for species identification task / Pavel Kharyuk, Dmitry Nazarenko, Ivan Oseledets [и др.] // Scientific reports. 2018. Т. 8, № 1. С. 1-12.

15. П.В. Харюк, И.В. Оселедец. WTT-разложение для семейств массивов // Тихоновские чтения: Научная конференция, Тезисы докладов. МГУ имени М.В. Ломоносова, 2012.

16. Kharyuk P.V. Wavelet Tensor Train decomposition for the compression of image sequences.

2014. 5. Talk on SIAM Conference on Imaging Sciences.

17. П.В. Харюк. Групповой анализ данных на основе блочного канонического разложения // 59-я Всероссийская научная конференция МФТИ с международным участием. МФТИ, Москва, 2016.

18. П.В. Харюк. Классификация сигналов с помощью блочного тензорного разложения в задаче группового анализа данных // Ломоносов - 2017. Сборник тезисов XXIV Международной научной конференции студентов, аспирантов и молодых ученых. Секция "Вычислительная математика и кибернетика". ООО МАКС Пресс, Москва, 2017. С. 152153.

19. Kharyuk Pavel, Oseledets Ivan. Variational block-term decomposition as a structured mixing model. 2019. Talk on the 5th International Conference on Matrix Methods in Mathematics and Applications.

20. Kharyuk Pavel, Nazarenko Dmitry, Oseledets Ivan. Comparative study of Discrete Wavelet Transforms and Wavelet Tensor Train decomposition to feature extraction of FTIR data of medicinal plants // arXiv preprint arXiv:1807.07099. 2018.

21. Hastie Trevor, Tibshirani Robert, Friedman Jerome. The elements of statistical learning: data mining, inference, and prediction. Springer Science & Business Media, 2009.

22. Smilde Age, Bro Rasmus, Geladi Paul. Multi-way analysis: applications in the chemical sciences. John Wiley & Sons, 2005.

23. Nonnegative matrix and tensor factorizations: applications to exploratory multi-way data analysis and blind source separation / Andrzej Cichocki, Rafal Zdunek, Anh Huy Phan [и др.]. John Wiley & Sons, 2009.

24. Cichocki Andrzej, Amari Shun-ichi. Adaptive blind signal and image processing: learning algorithms and applications. John Wiley & Sons, 2002. Т. 1.

25. Deep learning / Ian Goodfellow, Yoshua Bengio, Aaron Courville [и др.]. MIT press Cambridge, 2016. Т. 1.

26. Hinton G. Neural networks for machine learning. 2012. [Электронный ресурс] URL: https://www.cs.toronto.edu/~hinton/coursera_lectures.html(дата обращения: 11.02.2020).

27. Kingma Diederik P, Ba Jimmy. Adam: a method for stochastic optimization // arXiv preprint arXiv:1412.6980. 2014.

28. Воронцов Константин. Лекции по методу опорных векторов. 2007. [Электронный ресурс] URL: http://www.ccas.ru/voron/download/SVM.pdf (дата обращения: 11.02.2020).

29. Wingate David, Weber Theophane. Automated variational inference in probabilistic programming // arXiv preprint arXiv:1301.1299. 2013.

30. Blei David, Ranganath Rajesh, Mohamed Shakir. Variational Inference: Foundations and Modern Methods // Neural Information Processing Systems (NIPS) Tutorial. 2016.

31. Воронцов Константин. Машинное обучение (курс лекций). 2013. [Электронный ресурс] URL: http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_(курс_

лекций,_К.В.Воронцов) (дата обращения: 11.02.2020).

32. An introduction to statistical learning / Gareth James, Daniela Witten, Trevor Hastie [и др.]. Springer, 2013. Т. 112.

33. Friedman Jerome, Hastie Trevor, Tibshirani Robert. The elements of statistical learning (second edition). Springer series in statistics New York, 2009. Т. 1.

34. Tibshirani Robert, Walther Guenther. Cluster validation by prediction strength // Journal of Computational and Graphical Statistics. 2005. Т. 14, № 3. С. 511-528.

35. Kolda Tamara G, Bader Brett W. Tensor decompositions and applications // SIAM review. 2009. Т. 51, № 3. С. 455-500.

36. Tensor networks for dimensionality reduction and large-scale optimization: Part 1 low-rank tensor decompositions / Andrzej Cichocki, Namgil Lee, Ivan Oseledets [и др.] // Foundations and Trends® in Machine Learning. 2016. Т. 9, № 4-5. С. 249-429.

37. Tensor networks for dimensionality reduction and large-scale optimization: Part 2 applications and future perspectives / Andrzej Cichocki, Anh-Huy Phan, Qibin Zhao [и др.] // Foundations and Trends® in Machine Learning. 2017. Т. 9, № 6. С. 431-673.

38. Cichocki Andrzej. Era of big data processing: A new approach via tensor networks and tensor decompositions // arXiv preprint arXiv:1403.2048. 2014.

39. Efficient nonnegative Tucker decompositions: algorithms and uniqueness / Guoxu Zhou, Andrzej Cichocki, Qibin Zhao [и др.] // IEEE Trans. Image Process. 2015. Т. 24, № 12. С.4990-5003.

40. Xu Yangyang, Yin Wotao. A block coordinate descent method for regularized multiconvex optimization with applications to nonnegative tensor factorization and completion // SIAM Journal on imaging sciences. 2013. Т. 6, № 3. С. 1758-1789.

41. Xu Yangyang. Alternating proximal gradient method for sparse nonnegative Tucker decomposition // Mathematical Programming Computation. 2015. Т. 7, № 1. С. 39-70.

42. Signoretto Marco, De Lathauwer Lieven, Suykens Johan AK. Nuclear norms for tensors and their use for convex multilinear estimation // Preprint submitted to Linear Algebra and Its Applications. 2011.

43. Derksen Harm. On the Nuclear Norm and the Singular Value Decomposition of Tensors // Foundations of Computational Mathematics. 2016. Jun. Т. 16, № 3. С. 779-811. URL: https://doi.org/10.1007/s10208-015-9264-x.

44. Tensor decomposition in electronic structure calculations on 3D Cartesian grids / Boris N Khoromskij, Venera Khoromskaia, Sambasiva Rao Chinnamsetty [и др.] // Journal of computational physics. 2009. Т. 228, № 16. С. 5749-5762.

45. S0rensen Mikael, De Lathauwer Lieven. Blind signal separation via tensor decomposition with Vandermonde factor: Canonical polyadic decomposition // IEEE Transactions on Signal Processing. 2013. Т. 61, № 22. С. 5507-5519.

46. Wang Xuyu, Yang Chao, Mao Shiwen. Tensorbeat: Tensor decomposition for monitoring multiperson breathing beats with commodity WiFi // ACM Transactions on Intelligent Systems and Technology (TIST). 2017. Т. 9, № 1. С. 8.

47. Park Sung Won, Savvides Marios. Estimating mixing factors simultaneously in multilinear tensor decomposition for robust face recognition and synthesis // Computer Vision and Pattern Recognition Workshop, 2006. CVPRW'06. Conference on / IEEE. 2006. C. 49-49.

48. PLTD: Patch-based low-rank tensor decomposition for hyperspectral images / Bo Du, Mengfei Zhang, Lefei Zhang [h gp.] // IEEE Transactions on Multimedia. 2017. T. 19, № 1. C. 67-79.

49. Network discovery via constrained tensor analysis of fMRI data / Ian Davidson, Sean Gilpin, Owen Carmichael [h gp.] // Proceedings of the 19th ACM SIGKDD international conference on Knowledge discovery and data mining / ACM. 2013. C. 194-202.

50. Schultz Thomas, Seidel Hans-Peter. Estimating crossing fibers: A tensor decomposition approach // IEEE Transactions on Visualization and Computer Graphics. 2008. T. 14, №6.

51. Mahyari Arash Golibagh, Aviyente Selin. Identification of dynamic functional brain network states through tensor decomposition // Acoustics, Speech and Signal Processing (ICASSP), 2014 IEEE International Conference on / IEEE. 2014. C. 2099-2103.

52. A Tensor Decomposition-Based Approach for Detecting Dynamic Network States From EEG / Arash Golibagh Mahyari, David M Zoltowski, Edward M Bernat [h gp.] // IEEE Transactions on Biomedical Engineering. 2017. T. 64, № 1. C. 225-237.

53. Tensor decomposition for multiple-tissue gene expression experiments / Victoria Hore, Ana Vinuela, Alfonso Buil [h gp.] // Nature genetics. 2016. T. 48, № 9. C. 1094.

54. Acar Evrim, Dunlavy Daniel M, Kolda Tamara G. Link prediction on evolving data using matrix and tensor factorizations // Data Mining Workshops, 2009. ICDMW'09. IEEE International Conference on / IEEE. 2009. C. 262-269.

55. Zhou Qingbiao, Xu Guangdong, Zong Yu. Web co-clustering of usage network using tensor decomposition // Web Intelligence and Intelligent Agent Technologies, 2009. WI-IAT'09. IEEE/WIC/ACM International Joint Conferences on/IEEE. T. 3. 2009. C. 311-314.

56. Online stochastic tensor decomposition for background subtraction in multispectral video sequences / Andrews Sobral, Sajid Javed, Soon Ki Jung [h gp.] // Proceedings of the IEEE International Conference on Computer Vision Workshops. 2015. C. 106-113.

57. Batch and adaptive PARAFAC-based blind separation of convolutive speech mixtures / Dimitri Nion, Kleanthis N Mokios, Nicholas D Sidiropoulos [h gp.] // IEEE Transactions on Audio, Speech, and Language Processing. 2010. T. 18, № 6. C. 1193-1207.

58. Multiverse recommendation: n-dimensional tensor factorization for context-aware collaborative filtering / Alexandros Karatzoglou, Xavier Amatriain, Linas Baltrunas [h gp.] // Proceedings of the fourth ACM conference on Recommender systems / ACM. 2010. C. 79-86.

59. Low-rank tensor decomposition based anomaly detection for hyperspectral imagery / Shuangjiang Li, Wei Wang, Hairong Qi [h gp.] // Image Processing (ICIP), 2015 IEEE International Conference on / IEEE. 2015. C. 4525-4529.

60. Khoromskij Boris N, Oseledets Ivan V. QTT approximation of elliptic solution operators in higher dimensions // Russian journal of numerical analysis and mathematical modelling.

2011. Т. 26, №3. С. 303-322.

61. Добеши Ингрид. Десять лекций по вейвлетам. НИЦ"Регулярная и хаотическая дина-мика"М., 2001.

62. Mallat Stephane. A wavelet tour of signal processing: the sparse way. Academic press, 2008.

63. Strang G., Nguyen T. Wavelets and Filter Banks. Wellesley-Cambridge Press, 1996. URL: https://books.google.com/books?id=Z76N_Ab5pp8C.

64. Haar Alfred. Zur Theorie der orthogonalen Funktionensysteme // Mathematische Annalen. 1910. Sep. Т. 69, № 3. С. 331-371. URL: https://doi.org/10.1007/BF01456326.

65. Demirel H., Anbarjafari G. IMAGE Resolution Enhancement by Using Discrete and Stationary Wavelet Decomposition // IEEE Transactions on Image Processing. 2011. May. Т. 20, № 5. С. 1458-1460.

66. Statistical analysis of brain tissue images in the wavelet domain: wavelet-based morphometry / Erick Jorge Canales-Rodríguez, Joaquim Radua, Edith Pomarol-Clotet [и др.] // Neurolmage. 2013. Т. 72. С. 214-226.

67. Patil M. M., Yardi A. R. Classification of 3D Magnetic Resonance Images of Brain using Discrete Wavelet Transform // Int. J. Comp. Appl. 2011. Т. 31, № 7. С. 23-27.

68. Energy Distribution of EEG Signals: EEG Signal Wavelet-Neural Network Classifier / Ibrahim Omerhodzic, Samir Avdakovic, Amir Nuhanovic [и др.] // World Academy of Science, Engineering and Technology. 2010. Т. 61. С. 1190 - 1195.

69. Kazeev Vladimir A, Oseledets Ivan V. The tensor structure of a class of adaptive algebraic wavelet transforms//Preprint. 2013. Т. 28.

70. Anusuya V, Raghavan V Srinivasa, Kavitha G. Lossless compression on MRI images using SWT // Journal of digital imaging. 2014. Т. 27, № 5. С. 594-600.

71. Taquet Jonathan, Labit Claude. Hierarchical oriented predictions for resolution scalable lossless and near-lossless compression of CT and MRI biomedical images // IEEE Transactions on image processing. 2012. Т. 21, № 5. С. 2641-2652.

72. Pizzolante Raffaele, Carpentieri Bruno. Lossless, low-complexity, compression of three-dimensional volumetric medical images via linear prediction // Digital Signal Processing (DSP), 2013 18th International Conference on/IEEE. 2013. С. 1-6.

73. Liu Ying, Pearlman W.A. Four-Dimensional Wavelet Compression of 4-D Medical Images Using Scalable 4-D SBHP // Data Compression Conference, 2007. DCC '07. 2007. March. С. 233-242.

74. Four-dimensional compression of fMRI using JPEG2000 / Hariharan G. Lalgudi, Ali Bilgin, Michael W. Marcellin [и др.]. Т. 5747. 2005. С. 1028-1037.

75. Rajeswari R., Rajesh R. Efficient compression of 4D fMRI images using bandelet transform and fuzzy thresholding // Nature Biologically Inspired Computing, 2009. NaBIC 2009. World Congress on. 2009. Dec. С. 543-547.

76. Novel Prediction Based Technique for Efficient Compression of Medical Imaging Data / Josip Knezovich, Mario Kovach, Martin Gagar [и др.] // Telemedicine Techniques and Applications, Prof. Georgi Graschew (Ed.). 2011.

77. Taswell C. Wavelet transform compression of functional magnetic resonance image sequences. 1998. C. 725-728.

78. Kokalj Meta, Rihtaric Metka, Kreft Samo. Commonly applied smoothing of IR spectra showed unappropriate for the identification of plant leaf samples Chemometrics and Intelligent Laboratory Systems. 2011. T. 108, № 2. C. 154-161.

79. Stollnitz Eric J, DeRose Tony D, Salesin David H. Wavelets for computer graphics: theory and applications. Morgan Kaufmann, 1996.

80. Lewicki Michael S, Sejnowski Terrence J. Learning overcomplete representations // Neural computation. 2000. T. 12, № 2. C. 337-365.

81. aurelio Ranzato Marc', lan Boureau Y, Cun Yann L. Sparse Feature Learning for Deep Belief Networks // Advances in Neural Information Processing Systems 20 / nog peg. J. C. Platt, D. Koller, Y. Singer [h gp.]. Curran Associates, Inc., 2008. C. 1185-1192. URL: http://papers.nips.cc/paper/3363-sparse-feature-learning-for-deep-belief-networks.pdf.

82. Unsupervised learning of sparse features for scalable audio classification. / Mikael Henaff, Kevin Jarrett, Koray Kavukcuoglu [h gp.] //ISMIR. T. 11. 2011.

83. Jolliffe Ian T. Principal Component Analysis and Factor Analysis // Principal component analysis. Springer, 1986. C. 115-128.

84. Hyvarinen Aapo, Karhunen Juha, Oja Erkki. Independent component analysis. John Wiley & Sons, Inc, 2004.

85. Oja Erkki, Hyvarinen A. Independent component analysis: algorithms and applications // Neural networks. 2000. T. 13, №4-5. C. 411-430.

86. Theorems on positive data: On the uniqueness of NMF / Hans Laurberg, Mads Grasb0ll Christensen, Mark D Plumbley [h gp.] // Computational intelligence and neuroscience. 2008. T. 2008.

87. Theis Fabian J, Stadlthanner Kurt, Tanaka Toshihisa. First results on uniqueness of sparse non-negative matrix factorization // 2005 13th European Signal Processing Conference / IEEE. 2005. C. 1-4.

88. Gillis Nicolas. Sparse and unique nonnegative matrix factorization through data preprocessing // Journal of Machine Learning Research. 2012. T. 13, № Nov. C. 33493386.

89. Sorber Laurent, De Lathauwer Lieven. Algorithms for the rank-(Lt,L, 1) Block Term Decomposition // Tensor Decompositions and Applications. 2010.

90. Bro Rasmus. PARAFAC. Tutorial and applications // Chemometrics and intelligent laboratory systems. 1997. T. 38, № 2. C. 149-171.

91. Beckmann Christian F, Smith Stephen M. Tensorial extensions of independent component analysis for multisubject FMRI analysis // Neuroimage. 2005. T. 25, № 1. C. 294-311.

92. Sanei Saeid, Chambers Jonathon A. EEG signal processing. John Wiley & Sons, 2013.

93. Mulert Christoph, Lemieux Louis. EEG-fMRI: physiological basis, technique, and applications. Springer Science & Business Media, 2009.

94. Stedmon Colin A, Bro Rasmus. Characterizing dissolved organic matter fluorescence with

parallel factor analysis: a tutorial // Limnology and Oceanography: Methods. 2008. T. 6, № 11. C. 572-579.

95. Ishii Stephanie KL, Boyer Treavor H. Behavior of reoccurring PARAFAC components in fluorescent dissolved organic matter in natural and engineered systems: a critical review // Environmental science & technology. 2012. T. 46, № 4. C. 2006-2017.

96. Phan Anh Huy, Cichocki Andrzej. Tensor decompositions for feature extraction and classification of high dimensional datasets // Nonlinear theory and its applications, IEICE. 2010. T. 1, № 1. C. 37-68.

97. Group component analysis for multiblock data: Common and individual feature extraction / Guoxu Zhou, Andrzej Cichocki, Yu Zhang [n gp.] // IEEE transactions on neural networks and learning systems. 2016. T. 27, № 11. C. 2426-2439.

98. Scutari Marco. Learning Bayesian Networks with the bnlearn R package // Journal of Statistical Software. T. 35, № 3. C. 1-22.

99. Chow C, Liu Cong. Approximating discrete probability distributions with dependence trees // IEEE Trans. Inf. Theory. 1968. T. 14, № 3. C. 462-467.

100. Szekely Gabor J, Rizzo Maria L, Bakirov Nail K. Measuring and testing dependence by correlation of distances // The annals of statistics. 2007. C. 2769-2794.

101. Bjorck Ake, Golub Gene H. Numerical methods for computing angles between linear subspaces // Mathematics of computation. 1973. T. 27, № 123. C. 579-594.

102. Atlas-based fiber clustering for multi-subject analysis of high angular resolution diffusion imaging tractography / Gautam Prasad, Neda Jahanshad, Iman Aganj [n gp.] // Biomedical Imaging: From Nano to Macro, 2011 IEEE International Symposium on / IEEE. 2011. C.276-280.

103. Calhoun Vince D, Adali Tulay. Multisubject independent component analysis of fMRI: a decade of intrinsic networks, default mode, and neurodiagnostic discovery // IEEE reviews in biomedical engineering. 2012. T. 5. C. 60-73.

104. Using a priori knowledge to classify in vivo images of the lung / Chesner Desir, Caroline Petitjean, Laurent Heutte [n gp.] // International Conference on Intelligent Computing / Springer. 2010. C. 207-212.

105. Multi-view ensemble classification of brain connectivity images for neurodegeneration type discrimination / Michele Fratello, Giuseppina Caiazzo, Francesca Trojsi [n gp.] // Neuroinformatics. 2017. T. 15, № 2. C. 199-213.

106. High-performance liquid chromatography based chemical fingerprint analysis and chemometric approaches for the identification and distinction of three endangered Panax plants in Southeast Asia / Pengguo Xia, Zhenqing Bai, Tongyao Liang [n gp.] // Journal of separation science. 2016. T. 39, № 20. C. 3880-3888.

107. Tensor decompositions for signal processing applications: From two-way to multiway component analysis / Andrzej Cichocki, Danilo Mandic, Lieven De Lathauwer [n gp.] // IEEE Signal Processing Magazine. 2015. T. 32, № 2. C. 145-163.

108. Linked component analysis from matrices to high-order tensors: Applications to biomedical

data / Guoxu Zhou, Qibin Zhao, Yu Zhang [и др.] // Proceedings of the IEEE. 2016. Т. 104, №2. С. 310-331.

109. Calhoun Vince D, Liu Jingyu, Adali Tülay. A review of group ICA for fMRI data and ICA for joint inference of imaging, genetic, and ERP data // Neuroimage. 2009. Т. 45, № 1. С. S163-S172.

110. Joint and individual variation explained (JIVE) for integrated analysis of multiple data types / Eric F Lock, Katherine A Hoadley, James Stephen Marron [и др.] // The Annals of Applied Statistics. 2013. Т. 7, № 1. С. 523.

111. A method for making group inferences from functional MRI data using independent component analysis / Vince D Calhoun, Tulay Adali, Godfrey D Pearlson [и др.] // Human brain mapping. 2001. Т. 14, № 3. С. 140-151.

112. Guo Ying, Pagnoni Giuseppe. A unified framework for group independent component analysis for multi-subject fMRI data // NeuroImage. 2008. Т. 42, № 3. С. 1078-1093.

113. Lee Hyekyoung, Choi Seungjin. Group nonnegative matrix factorization for EEG classification // Artificial Intelligence and Statistics. 2009. С. 320-327.

114. Yokota Tatsuya, Cichocki Andrzej, Yamashita Yukihiko. Linked PARAFAC/CP tensor decomposition and its fast implementation for multi-block tensor analysis // International Conference on Neural Information Processing / Springer. 2012. С. 84-91.

115. Cichocki Andrzej, Zdunek Rafal, Amari Shun-ichi. Hierarchical ALS algorithms for nonnegative matrix and 3D tensor factorization // International Conference on Independent Component Analysis and Signal Separation / Springer. 2007. С. 169-176.

116. Gillis Nicolas, Glineur Francois. Accelerated multiplicative updates and hierarchical ALS algorithms for nonnegative matrix factorization // Neural computation. 2012. Т. 24, № 4. С. 1085-1105.

117. Non-negative multiple tensor factorization / Koh Takeuchi, Ryota Tomioka, Katsuhiko Ishiguro [и др.] // Data Mining (ICDM), 2013 IEEE 13th International Conference on/IEEE. 2013. С. 1199-1204.

118. Yokota Tatsuya, Cichocki Andrzej. Linked Tucker2 decomposition for flexible multi-block data analysis // International Conference on Neural Information Processing / Springer. 2014. С.111-118.

119. Coupled rank-(Lm, Ln, •) block term decomposition by coupled block simultaneous generalized Schur decomposition / Xiao-Feng Gong, Qiu-Hua Lin, Otto Debals [и др.] // Acoustics, Speech and Signal Processing (ICASSP), 2016 IEEE International Conference on/IEEE. 2016. С. 2554-2558.

120. Block term decomposition for modelling epileptic seizures / Borbala Hunyadi, Daan Camps, Laurent Sorber [и др.] // EURASIP Journal on Advances in Signal Processing. 2014. Т. 2014, № 1. С. 139.

121. ETH80 database. 2003. [Электронный ресурс] Max Planck Institute for Informatics, Germany, Computer Vision and Multimodal Computing Department, URL: https: //www.mpi-inf.mpg.de/departments/computer-vision-and-machine-learning/

research/object-recognition-and-scene-understanding/

analyzing-appearance-and-contour-based-methods-for-object-categorization/ (дата обращения: 10.02.2020).

122. EEG Database Data Set. [Электронный ресурс] URL: https://archive.ics.uci.edu/ ml/datasets/eeg+database (дата обращения: 10.02.2020).

123. Sorber Laurent, Van Barel Marc, De Lathauwer Lieven. Optimization-based algorithms for tensor decompositions: Canonical polyadic decomposition, decomposition in rank-(Lr, Lr, 1) terms, and a new generalization // SIAM Journal on Optimization. 2013. Т. 23, № 2. С. 695-720.

124. Gupta Mithun Das, Kumar Sanjeev, Xiao Jing. L1 projections with box constraints // arXiv preprint arXiv:1010.0141. 2010.

125. Tipping Michael E, Bishop Christopher M. Mixtures of probabilistic principal component analyzers // Neural computation. 1999. Т. 11, № 2. С. 443-482.

126. Tipping Michael E, Bishop Christopher M. Probabilistic principal component analysis // Journal of the Royal Statistical Society: Series B (Statistical Methodology). 1999. Т. 61, № 3. С. 611-622.

127. Kingma Diederik P, Welling Max. Auto-encoding variational bayes // arXiv preprint arXiv:1312.6114. 2013.

128. Pyro: Deep universal probabilistic programming / Eli Bingham, Jonathan P Chen, Martin Jankowiak [и др.] // The Journal of Machine Learning Research. 2019. Т. 20, № 1. С. 973-978.

129. Automatic Differentiation in PyTorch / Adam Paszke, Sam Gross, Soumith Chintala [и др.] // NIPS Autodiff Workshop. 2017.

130. Malsiner-Walli Gertraud, Wagner Helga. Comparing Spike and Slab Priors for Bayesian Variable Selection // Austrian Journal of Statistics. 2011. Т. 40, № 4. С. 241-264.

131. Kadmon Jonathan, Ganguli Surya. Statistical mechanics of low-rank tensor decomposition // Advances in Neural Information Processing Systems. 2018. С. 8201-8212.

132. Bayesian Poisson Tucker decomposition for learning the structure of international relations / Aaron Schein, Mingyuan Zhou, David M Blei [и др.] // arXiv preprint arXiv:1606.01855. 2016.

133. Deep learning enables rapid identification of potent DDR1 kinase inhibitors / Alex Zhavoronkov, Yan A Ivanenkov, Alex Aliper [и др.] // Nature biotechnology. 2019. Т. 37, № 9. С. 1038-1040.

134. Anaconda Software Distribution. [Электронный ресурс] Anaconda URL: https:// anaconda.com (дата обращения: 11.02.2020).

135. Cass Stephen. The 2017 Top programming languages. 2017. [Электронный ресурс] IEEE Spectrum, URL: https://spectrum.ieee.org/computing/software/ the-2017-top-programming-languages (дата обращения: 06.02.2020).

136. Cass Stephen. The 2018 Top programming languages. 2018. [Электронный ресурс] IEEE Spectrum, URL: https://spectrum.ieee.org/at-work/innovation/

the-2018-top-programming-languages (дата обращения: 06.02.2020).

137. Cass Stephen. The 2019 Top programming languages. 2019. [Электронный ресурс] IEEE Spectrum, URL: https://spectrum.ieee.org/computing/software/ the-top-programming-languages-2019 (дата обращения: 06.02.2020).

138. Matlab. [Электронный ресурс] The MathWorks, Inc., URL: https://www.mathworks.com (дата обращения: 06.02.2020).

139. GNU Octave: Scientific Programming Language. [Электронный ресурс] URL: https: //www.gnu.org/software/octave/ (дата обращения: 06.02.2020).

140. The R Project for Statistical Computing. [Электронный ресурс] URL: https://www. r-project.org (дата обращения: 06.02.2020).

141. R Vs Python: What's the Difference? [Электронный ресурс] URL: https://www. guru99. com/r-vs-python.html (дата обращения: 06.02.2020).

142. The Julia Programming Language. [Электронный ресурс] URL: https://julialang.org (дата обращения: 06.02.2020).

143. Oliphant Travis E. A guide to NumPy. Trelgol Publishing USA, 2006. Т. 1.

144. Jones Eric, Oliphant Travis, Peterson Pearu [и др.]. SciPy: Open source scientific tools for Python. [Электронный ресурс] URL: http://www.scipy.org/ (дата обращения: 11.02.2020).

145. Hunter John D. Matplotlib: A 2D graphics environment // Computing in science & engineering. 2007. Т. 9, № 3. С. 90-95.

146. Waskom Michael, Botvinnik Olga, O'Kane Drew [и др.]. Seaborn: statistical data visualization. [Электронный ресурс] URL: https://seaborn.pydata.org/ (дата обращения: 11.02.2020).

147. McKinney Wes [и др.]. Data structures for statistical computing in Python // Proceedings of the 9th Python in Science Conference / Austin, TX. Т. 445. 2010. С. 51-56.

148. Scikit-learn: Machine Learning in Python / F. Pedregosa, G. Varoquaux, A. Gramfort [и др.] // Journal of Machine Learning Research. 2011. Т. 12. С. 2825-2830.

149. Jupyter Notebooks-a publishing format for reproducible computational workflows. / Thomas Kluyver, Benjamin Ragan-Kelley, Fernando Perez [и др.] // ELPUB. 2016. С. 87-90.

150. Gruber John. Markdown. [Электронный ресурс] The Daring Fireball Company LLC, URL: https://daringfireball.net/projects/markdown/ (дата обращения: 06.02.2020).

151. G Lee, F Wasilewski, R Gommers [и др.]. PyWavelets - Wavelet Transforms in Python. [Электронныйресурс] URL: https://github.com/PyWavelets/pywt (датаобращения: 11.02.2020).

152. Schreiber Jacob. Pomegranate: fast and flexible probabilistic modeling in Python // arXiv preprint arXiv:1711.00137. 2017.

153. Hagberg Aric, S Chult Daniel, Swart Pieter. Exploring network structure, dynamics, and function using NetworkX // Proceedings of the 7th Python in Science Conference. 2008. С. 11-15.

154. Rpy2 - R in Python. [Электронный ресурс] URL: https://rpy2.bitbucket.io/ (дата

обращения: 11.02.2020).

155. dCor: distance correlation and related E-statistics in Python. [Электронный ресурс] URL: https://pypi.org/project/dcor/ (дата обращения: 11.02.2020).

156. Hager William W, Zhang Hongchao. A survey of nonlinear conjugate gradient methods // Pacific journal of Optimization. 2006. Т. 2, № 1. С. 35-58.

157. Madsen Kaj, Nielsen Hans Bruun, Tingleff Ole. Methods for non-linear least squares problems. 2004.

158. Gould Nick. Continuous Optimisation. 2006. [Электронный ресурс] Oxford University Computing Laboratory, URL: http://www.numerical.rl.ac.uk/people/ nimg/course/lectures/raphael/lectures/ (дата обращения: 07.02.2020).