Тензорные методы для многомерных дифференциальных уравнений тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Чертков Андрей Владимирович

• Чертков Андрей Владимирович
• кандидат наук
• 2023

Оглавление диссертации кандидат наук Чертков Андрей Владимирович

Введение

Глава 1. Разложение тензорного поезда

1.1 Введение

1.2 Тензоры и малоранговые аппроксимации

1.3 Определение и свойства тензорного поезда

1.4 Методы построения тензорного поезда

1.4.1 Метод TT-ALS

1.4.2 Метод ТТ-а^

1.5 Выводы

Глава 2. Аппроксимация и оптимизация многомерных данных

2.1 Введение

2.2 Метод аппроксимации TT-ANOVA-ALS

2.2.1 ANOVA-представление в ТТ-формате

2.2.2 Описание вычислительного алгоритма

2.2.3 Численные эксперименты

2.3 Метод оптимизации Орйта-ТТ

2.3.1 Общее описание алгоритма

2.3.2 Алгоритм для поиска максимального по модулю элемента

2.3.3 Алгоритм для поиска максимума и минимума

2.3.4 Численные эксперименты

2.4 Метод оптимизации TTOpt

2.4.1 Иллюстрация метода для двумерного случая

2.4.2 Общее описание алгоритма

2.4.3 Особенности реализации алгоритма

2.4.4 Численные эксперименты

2.4.5 Практические применения метода

2.5 Выводы

Глава 3. Дифференциальные уравнения в частных производных

3.1 Введение

3.2 Схема дискретизации для одномерного уравнения

Стр.

3.2.1 Вариационная формулировка

3.2.2 Связь с конечно-разностной схемой

3.2.3 Явное представление решения в QTT-формате

3.3 Схема дискретизации для двумерного уравнения

3.3.1 Вариационная формулировка

3.3.2 Дискретизация на пространственной сетке

3.3.3 Минимизация функционала

3.3.4 Связь с конечно-разностной схемой

3.3.5 Решатель в QTT-формате

3.4 Численные эксперименты

3.4.1 Одномерная аналитическая задача

3.4.2 Одномерная многомасштабная задача

3.4.3 Двумерная аналитическая задача

3.4.4 Двумерная задача с постоянным источником

3.5 Выводы

Глава 4. Многомерное уравнение Фоккера-Планка

4.1 Введение

4.2 Вычисление функции плотности вероятности

4.2.1 Схема расщепления

4.2.2 Интерполяция решения

4.2.3 Решение уравнения диффузии

4.2.4 Решение уравнения конвекции

4.3 Алгоритм решения в ТТ-формате

4.4 Численные эксперименты

4.4.1 Процесс Орнштейна-Уленбека

4.4.2 Молекулярная структура жидких полимеров

4.4.3 Диффузионные модели и оптимальный транспорт

4.5 Выводы

Заключение

Список литературы

Введение диссертации (часть автореферата) на тему «Тензорные методы для многомерных дифференциальных уравнений»

Введение

Разложение тензорного поезда (tensor train; далее TT) - это распространенный на сегодняшний день способ компактного представления многомерных массивов (тензоров) с возможностью решения проблемы проклятия размерности в контексте потребления памяти и вычислительной сложности. TT-разложение позволяет в рамках вычислительно эффективных процедур получить малопараметрическое представление тензора в виде упорядоченного набора малых трехмерных тензоров, называемых TT-ядрами или вагонами тензорного поезда. Исходный тензор, имеющий Nd элементов (d - число измерений, N -число элементов по каждому измерению), преобразуется при использовании TT-разложения в факторизованное представление, имеющее только d • N • R2 параметров, где R - это характерный ранг TT-разложения. Многие алгебраические операции (суммирование, умножение, свертка, решение систем линейных уравнений и т. д.) над тензорами, представленными в TT-формате, также могут выполняться с линейной сложностью по d и N, если TT-ранг R ограничен. Отметим, что для векторов и матриц можно также получить похожее компактное представление, если предварительно преобразовать соответствующий одно- или двумерный тензор в существенно многомерный тензор с помощью процедуры квантизации (quantized tensor train; далее QTT). Например, вектор длины N = 2d можно преобразовать в d-мерный тензор с 2 элементами по каждому измерениию, и тогда TT-разложение для этого тензора имеет всего 2 • log2N • R2 параметров.

Благодаря отмеченным выше уникальным свойствам, численные методы на основе TT-разложения стали чрезвычайно популярными в широком спектре приложений, включая вычислительную линейную алгебру, анализ данных, моделирование физических процессов и машинное обучение. Однако для успешного практического применения этих методов необходимо усовершенствование соответствующих общих алгоритмов и их адаптация для конкретных предметных задач, в том числе по следующим важным направлениям, которые будут рассмотрены в данной работе: разработка новых вычислительно эффективных реализаций базовых алгоритмов в TT-формате; развитие новых подходов и эвристик для оптимального выбора начального приближения в методах аппроксимации на основе TT-формата; создание новых методов оптимизации многомерных массивов и функций многих переменных в TT-формате.

В то же время важной конкретной областью применения ТТ-разложения является решение дифференциальных уравнений. Как будет показано в работе, возможна разработка эффективных как по потребляемой памяти, так и по скорости работы алгоритмов решения дифференциальных уравнений в частных производных с использованием ТТ-формата. В этом случае дифференциальный оператор, коэффициенты и правая часть уравнения задаются в сжатом виде в ТТ-формате, и решение, соответственно, также получается в сжатой форме. Если по своей природе решение имеет малоранговую структуру, то с использованием ТТ-формата становится возможным решать существенно многомерные задачи или использовать мелкую сетку при дискретизации дифференциального оператора для одномерных, двумерных и трехмерных задач в рамках QTT-подхода.

Одномерные и двумерные дифференциальные уравнения в частных производных, рассматриваемые в данной работе, применяются во многих задачах физического и химического моделирования, например, они описывают течение жидкости в пористых средах. Соответствующие коэффициенты в таких уравнениях часто оказываются многомасштабными или осциллирующими, и возникает необходимость в использовании очень мелких сеток для разрешения всех масштабов. Поэтому применение подхода на основе QTT/ТТ-разложения для этого класса задач представляется полезным, однако классические схемы дискретизации, такие как конечные разности и конечные элементы, могут быть неустойчивыми на мелких расчетных сетках в ТТ-формате, и требуется разработка альтернативных специализированных схем дискретизации, наиболее подходящих для реализации в рамках ТТ-формата.

В качестве конкретного примера многомерного дифференциального уравнения мы рассмотрим в работе уравнение Фоккера-Планка, которое играет важную роль в изучении свойств динамических систем. Отметим, что в последние годы данное уравнение получило особенно широкое распространение в рамках машинного обучения в контексте задач оценки плотности распределения данных, обучения генеративных диффузионных моделей и т.д. Одной из основных сложностей решения уравнения Фоккера-Планка является высокая размерность практически значимых вычислительных задач. Сложность использования сеточных представлений решения возрастает экспоненциально с размерностью й, поэтому требуются малопараметрические представления, и использование ТТ-формата для данной задачи представляется перспективным.

Целью данной работы является создание новых эффективных методов на основе ТТ-разложения для работы с большими массивами данных и их применение к решению дифференциальных уравнений. Для достижения поставленной цели необходимо было решить следующие задачи:

1. Разработать новый эффективный метод аппроксимации многомерных массивов данных и функций многих переменных на основе ТТ-разложения;

2. Разработать новый эффективный метод оптимизации многомерных массивов данных и функций многих переменных на основе ТТ-разложения;

3. Разработать новый эффективный метод решения дифференциальных уравнений в частных производных на мелких расчетных сетках на основе QTT/TT-разложения;

4. Разработать новый эффективный метод решения многомерного уравнения Фоккера-Планка на основе ТТ-разложения.

Научная новизна:

1. Предложен новый метод TT-ANOVA-ALS на основе ТТ-разложения для аппроксимации многомерных массивов данных и функций многих переменных;

2. Предложен новый метод Орйта-ТТ на основе ТТ-разложения для оптимизации многомерных массивов данных и функций многих переменных, представленных в ТТ-формате;

3. Предложен новый метод TTOpt на основе ТТ-разложения для оптимизации многомерных массивов данных и функций многих переменных;

4. Предложен новый метод FS-QTT на основе ТТ-разложения для решения одномерных и двумерных дифференциальных уравнений в частных производных на мелких расчетных сетках;

5. Предложен новый метод FPCross на основе ТТ-разложения для решения многомерного уравнения Фоккера-Планка.

Практическая значимость работы состоит в создании следующих программных продуктов с открытым исходным кодом:

1. teneva1 - фреймворк с подробной документацией, реализующий обширный набор методов в ТТ-формате для решения различных задач аппроксимации (включая новый метод TT-ANOVA-ALS), оптимизации

1См. репозиторий https://github.com/AndreiChertkov/teneva.

(включая новый метод Optima-TT), анализа и использования многомерных массивов данных и функций многих переменных;

2. ttopt2 - библиотека, реализующая новый метод TTOpt для оптимизации многомерных массивов данных и функций многих переменных;

3. qttpdesolver3 - библиотека, реализующая новый метод FS-QTT для решения дифференциальных уравнений в частных производных;

4. fpcross4 - библиотека, реализующая новый метод FPCross для решения многомерного уравнения Фоккера-Планка.

Отметим, что часть результатов по теме диссертации была использована при участии автора в коммерческих проектах: Мозг и информация: от естественного интеллекта к искусственному (2020 - н.в., Институт перспективных исследований мозга); Ускорение расчетов с использованием тензорных вычислений (2019 -2022, ООО «Газмпромнефть НТЦ»). Также часть результатов по теме диссертации была использована в рамках работ автора по грантам Министерства науки и высшего образования РФ: Многомасштабные интеллектуальные нейродинами-ческие системы для многомерной оптимизации в области машинного обучения и обработки данных (2021 - н.в., «мегагрант»); Тензорные сети и глубинное обучение для интеллектуального анализа данных (2016 - 2021, «мегагрант»); QTT-технология решения многомасштабных задач (2015 - 2016, совместная работа с группой проф. К. Шваба, ETH Zurich).

Основные положения, выносимые на защиту:

1. Метод TT-ANOVA-ALS. Построено ANOVA-представление первого порядка в TT-формате (TT-ANOVA) и предложено его использование в качестве начального приближения для метода TT-ALS при аппроксимации многомерных массивов и функций многих переменных в TT-формате. Проведенные численные расчеты для ряда модельных задач, в том числе для задачи аппроксимации параметрического уравнения в частных производных, демонстрируют существенное преимущество предложенного метода по сравнению со стандартным подходом на основе метода TT-ALS со случайным начальным приближением;

2. Метод Optima-TT. Разработан новый метод, позволяющий находить минимальные и максимальные элементы тензора, заданного в TT-формате,

2См. репозиторий https://github.com/AndreiChertkov/ttopt.

3См. репозиторий https://github.com/AndreiChertkov/qttpdesolver.

4См. репозиторий https://github.com/AndreiChertkov/fpcross.

в рамках последовательного тензорного перемножения ТТ-ядер со специальным отбором потенциальных кандидатов на оптимум. Построена вероятностная интерпретация метода, сформулированы теоретические оценки на его сложность и сходимость, а также проведены обширные численные эксперименты со случайными тензорами и различными модельными функциями с размерностью входа до 100;

3. Метод ТТОр! Разработан новый метод безградиентной оптимизации, основанный на сочетании малорангового тензорного представления и принципа максимального объема для матриц. Продемонстрирована применимость метода для широкого круга модельных задач и показано его преимущество в сравнении с рядом альтернативных подходов к оптимизации, включая генетические алгоритмы и эволюционные стратегии;

4. Метод FS-QTT. Разработан эффективный решатель для одномерных и двумерных стационарных уравнений диффузии, основанный на ТТ-разложении и предложенной новой устойчивой схеме дискретизации, которая позволяет использовать мелкие сетки с чрезвычайно высоким пространственным разрешением. Численные эксперименты показывают, что данная схема дает результаты высокой точности и может использоваться для сеток, содержащих до 260 узлов в двумерном случае;

5. Метод FPCross. Предложена новая численная схема решения многомерного уравнения Фоккера-Планка, основанная на многомерной Чебышевской интерполяции, спектральном дифференцировании, методе расщепления и ТТ-разложении. Продемонстрирована эффективность предложенного подхода на ряде прикладных задач, включая многомерный процесс Орнштейна-Уленбека, моделирование молекулярной структуры жидких полимеров и анализ оптимальности транспорта в диффузионных моделях машинного обучения.

Личный вклад. Все основные результаты диссертации были получены автором лично, в то же время важно отметить ценный вклад, внесенный следующими коллегами автора: к.ф.-м.н. Глеб Рыжаков (обсуждение идей, лежащих в основе методов TT-ANOVA-ALS и Орйта-ТТ), к.ф.-м.н. Максим Рахуба (обсуждение связи метода FS-QTT с конечно-разностной схемой), к.ф.-м.н. Валентин Хрульков (теоретическое обоснование гипотезы об оптимальном транспорте в диффузионных моделях машинного обучения), к.ф.-м.н. Роман Щуцкий (обсуждение способов дальнейшего развития метода ТТОр^, аспирант Константин

Созыкин (практическое применение метода TTOpt для задач обучения с подкреплением) и аспирант Георгий Новиков (обсуждение свойств метода Optima-TT).

Публикации. Результаты по теме диссертации изложены в работах:

1. A. Chertkov, G. Ryzhakov, I. Oseledets. Black box approximation in the tensor train format initialized by ANOVA decomposition. Работа принята к публикации в SIAM Journal on Scientific Computing, 2023 (см. [1]). Результаты работы обсуждаются в разделе 2.2;

2. V. Khrulkov, G. Ryzhakov, A. Chertkov, I. Oseledets. Understanding DDPM latent codes through optimal transport. In Proceedings of the International Conference on Learning Representations (рейтинг CORE A*), 2023 (см. [2]). Результаты работы обсуждаются в разделе 4.4.3;

3. K. Sozykin*, A. Chertkov*, R. Schutski, A. Phan, A. Cichocki, I. Oseledets. TTOpt: a maximum volume quantized tensor train-based optimization and its application to reinforcement learning. In Proceedings of the Advances in Neural Information Processing Systems (рейтинг CORE A*; у первых двух авторов указан равный вклад в работу), 2022 (см. [3]). Результаты работы обсуждаются в разделе 2.4;

4. A. Chertkov, I. Oseledets. Solution of the Fokker-Planck equation by cross approximation method in the tensor train format. Frontiers in Artificial Intelligence, 2021 (см. [4]). Результаты работы обсуждаются в разделе 4;

5. I. Oseledets, M. Rakhuba, A. Chertkov. Black-box solver for multiscale modelling using the QTT format. In Proceedings of ECCOMAS, 2016 (см. [5]). Результаты работы обсуждаются в разделе 3.

Также отметим не опубликованные на данный момент работы по теме диссертации, доступные в форме препринтов в системе arXiv:

1. A. Chertkov, G. Ryzhakov, G. Novikov, I. Oseledets. Optimization of functions given in the tensor train format, 2022 (см. [6]). Результаты работы обсуждаются в разделе 2.3;

2. A. Nikitin, A. Chertkov, R. Ballester-Ripoll, I. Oseledets, E. Frolov. Are quantum computers practical yet? A case for feature selection in recommender systems using tensor networks, 2022 (см. [7]). Результаты работы кратко обсуждаются в разделе 2.4;

3. A. Chertkov, I. Oseledets, M. Rakhuba. Robust discretization in quantized tensor train format for elliptic problems in two dimensions, 2016 (см. [8]). Данная работа в 2016 г. успешно прошла итерации рецензирования

в SIAM Journal on Scientific Computing и была практически готова к публикации, но по стечению обстоятельств финальная правка не была выполнена в срок. В дальнейшем было решено отказаться от повторной отправки статьи в журнал. Версия текста в системе arXiv, имеющая ряд цитирований, учитывает все замечания рецензентов. Результаты работы обсуждаются в разделе 3.

Апробация работы. Результаты докладывались на конференциях:

1. Визуализация функционирования и анализ устойчивости искусственных нейронных сетей. Ломоносовские чтения, Московский государственный университет. Москва, 2023;

2. TTOpt: A maximum volume quantized tensor train-based optimization. Fall into ML Conference, Высшая школа экономики. Москва, 2022;

3. TTOpt: A maximum volume quantized tensor train-based optimization and its application to reinforcement learning. NeurlPS. Онлайн, 2022;

4. Quantized tensor train decomposition for solution of multiscale partial differential equations. Конференция Ломоносов, Московский государственный университет. Москва, 2017;

5. Tensor methods for multiscale modeling. Gen-Y Conference. Сочи, 2017;

6. Quantized Tensor Train Decomposition for Multiscale Modeling. 1st Annual Workshop of Skoltech/MIT Next Generation Program. Москва, 2016;

7. Black-box solver for multiscale modelling using the QTT format. ECCOMAS Congress. Крит, 2016;

8. A tensor train approximation in active subspace variables with application to parametric partial differential equations. International Conference on Matrix Methods in Mathematics and Applications. Москва, 2015.

Объем и структура работы. Диссертация состоит из введения, 4 глав и заключения. Полный объём диссертации составляет 161 страницу, включая 27 рисунков и 13 таблиц. Список литературы содержит 162 наименования.

Глава 1. Разложение тензорного поезда 1.1 Введение

Разложение тензорного поезда (tensor train; далее TT), как уже отмечалось во Введении к работе, на сегодняшний день стало востребованным инструментом в научных и технических приложениях. Предложенное в 2011 г. в работе [9] TT-разложение нашло в дальнейшем применения для аппроксимации многомерных интегралов и интегралов, зависящих от параметров [10—12], для вычисления многомерных сверток [13—15], для приближения функции Грина многомерных дифференциальных уравнений [16—18], для решения вычислительных задач в области финансовой математики [19—21], для обработки аудио и видео [22—24], для ускорения и сжатия искусственных нейронных сетей [25—27] и даже для построения новых алгоритмов машинного обучения непосредственно на основе ТТ-разложения [28—30]. ТТ-разложение применялось технологическими компаниями для ускорения искусственных нейронных сетей, оптимизации расположения вышек сотовой связи, ускорения алгоритмов планирования разработки месторождений и оптимального выбора портфеля. Отметим, что в отличие от многих методов машинного обучения, при использовании TT-разложения мы имеем математически обоснованные алгоритмы, базирующиеся на доказанных теоремах о сходимости, а также TT-разложение имеет простую интуитивно понятную форму - упорядоченный набор трехмерных массивов, каждый из которых представляет факторизацию соответствующей входной размерности, что повышает уровень интерпретируемости модели.

В данной главе мы кратко рассмотрим парадигму малоранговых тензорных аппроксимаций, основные свойства TT-разложения и квантизованного разложения тензорного поезда (quantized tensor train; далее QTT) [31], а также численные методы на их основе1, которые будут использоваться в последующих главах работы. Более подробное описание TT-формата можно найти в оригинальной публикации [9], а также в монографиях [32—34].

1Мы используем собственную реализацию методов в TT-формате, собранную в рамках фреймворка teneva, который доступен в репозитории https://github.com/AndreiChertkov/teneva.

1.2 Тензоры и малоранговые аппроксимации

В соответствии со сложившейся терминологией в вычислительной математике и машинном обучении, под тензорами мы будем понимать обычные упорядоченные массивы данных размерности й ^ 1 (в данной работе элементами тензоров всегда являются вещественные числа). При этом двумерный тензор (й = 2) является также и матрицей, а одномерный тензор (й = 1) - это вектор. На рисунке 1.1 мы приводим иллюстративное изображение вектора, матрицы и трехмерного тензора. Для скалярных величин мы будем далее в работе использовать строчные буквы и стандартный шрифт (а, Ь, с,...); векторы будем записывать строчными буквами и выделять жирным шрифтом (а, Ь, с,...); для матриц будем использовать прописные буквы и стандартный шрифт (А, В, С,...); тензоры размерности й > 2 будем записывать прописными буквами и выделять каллиграфическим шрифтом (А, В, С,...).

Произвольный й-мерный тензор У е ■Щ1хЩ2х-хЩ<1 имеет N • N •... • Щ = N элементов. Числа N1, N2,..., ^ мы будем называть размерами (или размерностями) мод тензора, а посредством N обозначаем эффективный («средний») размер моды. Элементы тензора однозначно определяются упорядоченным набором (п1,п2,..., па) из й-индексов (п^ = 1,2,..., N; к = 1,2,... который мы будем называть мульти-индексом и в ряде случаев представлять в форме вектора: п = [п1,п2,... ,па]Т. Значение соответствующего элемента тензора мы будем обозначать как у = У[п1,п2,... ,па] е К.

Особо отметим также три базовые операции для тензоров: срез тензора, векторизация тензора и развертка тензора. Под к-ым (к = 1, 2,... ,й) срезом тензора У е ■Щ1ХМ2Х-ХЩ мы будем подразумевать вектор из значений тензора у = У[п\,..., пк-\,:,щ+1,... ,па ] е при всех фиксированных индексах, кроме к-ого. Отметим, что аналогичным образом можно рассмотреть срез тензора сразу по двум модам, при этом мы получим соответствующую матрицу. Векторизация тензора получается при переходе от мульти-индекса (п1,п2,..., па) к «длинному» одномерному индексу п согласно преобразованию:

п = пл + (па-1 - 1)^ + ... + (щ - ^N3 ...Щ, (1.1)

при этом тензор У преобразуется в эквивалентный вектор у е

. развертка тензора У по к-ой моде (к = 1, 2,..., й — 1)-это матрица У е ШМ1-Мк хЩк+1--ща,

Рисунок 1.1 — Пример вектора, матрицы и трехмерного тензора.

получаемая при объединении первых к и последних й — к индексов в составные длинные индексы.

Часто тензоры возникают при дискретизации функций многих переменных на многомерных (тензорных) сетках. Действительно, если мы рассмотрим функцию ^х\,х2,■ ■ ■, ха) от й переменных хк £ (к = 1, 2,..., й) и по каждому измерению к введем сетку из Ык (Ык > 0) точек { хк ,хк\ ■ ■ ■, х^к, то соответствующий полный набор значений рассматриваемой функции в узлах сетки может быть представлен как тензор У £ такой, что для произвольного его

элемента с мульти-индексом (щ, п2, ■ ■ ■, ) выполняется равенство:

(1.2)

На рисунке 1.2 мы приводим соответствующую иллюстрацию для случая функции одной переменной (d = 1) и функции двух переменных (d = 2).

Для больших значений размерности тензора d возникает так называемая проблема проклятия размерности («curse of dimensionality»), заключающаяся в экспоненциальном росте числа параметров (то есть в данном случае - полного числа элементов тензора Nd), требуемых для хранения тензора, и сложности вычислительных операций. Этим обусловлена необходимость приближенного представления (аппроксимации) многомерных тензоров в сжатом (малоранговом) формате. Если для двумерных задач (d = 2), по существу, единственным распространенным малоранговым представлением является хорошо известное сингулярное разложение матриц (singular value decomposition; далее SVD) [35], то для случая размерностей d > 2 существует существенно большее разнообразие

№

/0 1,X2)

"/(1Д) /(1,2) /(1,3) у(1,4)" У = /(2Д) /(2,2) /(2,3) /(2,4) /(3,1) /(3,2) /(3,3) /(3,4)

ж(1) х{2) ж(3) ж(4)

Рисунок 1.2 — Пример дискретизации функции одной и двух переменных.

методов и алгоритмов: каноническое разложение [36], разложение Таккера [37], иерархическое разложение Таккера [38], разложение MERA [39], разложение PEPS [40], разложение тензорного кольца [41], разложение тензорного колеса [42] и др. Подробный сравнительный анализ различных методов малоранговых аппроксимаций приводится в обзорах [43—45]. Здесь мы только отметим, что преимущество TT-разложения перед другими методами обусловлено одновременным наличием у него следующих важных свойств:

- количество параметров в TT-разложении и сложность большинства мате-

Г I 1Г I 1 Л

матических операций в рамках 11-формата линейно зависят от размерности тензора d и размера его мод N;

- существуют стабильные численные методы построения TT-разложения для явно заданного тензора в полном формате и для приближенного восстановления тензора в TT-формате по заданному или динамически генерируемому обучающему набору данных;

- доступен обширный набор эффективных алгоритмов для работы с тензорами в рамках TT-формата (сложение, умножение, свертки, интегрирование, решение линейных систем уравнений и т.п.). Это обусловлено

С Г I 1Г I 1 Л

как достаточной математической простотой 11-формата, позволяющей компактно реализовывать соответствующие алгоритмы, так и его популярностью, благодаря которой алгоритмы активно публикуются и размещаются в открытом доступе.

1.3 Определение и свойства тензорного поезда

Мы будем говорить, что тензор У е представлен в ТТ-

формате [9], если все его элементы (пк = 1, 2,... ; к = 1, 2,... выражаются посредством следующей формулы:

Й1 Й2 Rd-l

Г1=1 Г2=1 г ¿-1=1

Зл-1[гл-2,пл-1,гл-1]Зл[гл-1,пл, 1], (1.3)

где трехмерные тензоры Зк е ШЕк-1хМк хЕк называются ТТ-ядрами, а натуральные числа Я0,Я1,... ,Ял (с соглашением Я0 = Ял = 1) называются ТТ-рангами. Данная формула может быть переписана также в более компактной форме:

У[п1,п2,...,пл] = С1Ы С2(П2) ...Ол(пл), (1.4)

где Ск (пк) = Зк [:,пк,:] - это матрица размера Як-1 х Як для каждого фиксированного Пк. Заметим, что, поскольку Яо = Ял = 1, то результат матричных перемножений в формуле (1.4) оказывается скалярной величиной. На рисунке 1.3 в верхней части мы приводим графическую иллюстрацию формул (1.3) и (1.4), а в нижней части изображаем соответствующую тензорную диаграмму (описание данной системы обозначений можно найти, например, в монографии [33]).

Как следует из приведенных формул (1.3) и (1.4), хранение ТТ-ядер

_ _2

З1,32,..., требует не более чем й х шах^к^л (NkЯ|) ~ й • N • Я ячеек памяти (здесь N и Я - это эффективный размер моды и эффективный ТТ-ранг соответственно), в то время как хранение полного тензора потребовало бы NЛ ячеек, в итоге, как уже отмечалось выше, ТТ-разложение оказывается свободным от проклятия размерности, если ТТ-ранги ограничены. Использованный выше эффективный ТТ-ранг Я ТТ-тензора У е ^1ХМ2Х--Х^, имеющего ТТ-ранги Я0, Я1,..., Ял (Я0 = Ял = 1), определяется как решение квадратного уравнения:

Л-1 л

N1Я + ^ Щ-Я2 + ^Я = ^ NЯк-1Як, (1.5)

к=2 к=1

при этом ТТ-разложение с постоянным ТТ-рангом равным эффективному ТТ-рангу Я имеет то же самое число параметров, что и исходное ТТ-разложение.

Рисунок 1.3 — Схематическая иллюстрация малорангового ТТ-разложения.

Важно отметить, что в работе [9] доказывается теорема о существовании точного ТТ-представления У для заданного (произвольного) тензора У в полном формате, при этом ТТ-ранги не превосходят рангов соответствующих матриц-разверток тензора у. Однако на практике удобнее вычислять приближенное ТТ-разложение с заданной точностью £ТТ, и затем проводить все операции (сложения, умножения, и т.д.) в ТТ-формате с сохранением той же самой точности етт результата. В этом случае ТТ-ранги часто оказываются существенно ниже обозначенной верхней оценки. В дальнейшем, при необходимости явно разделить приближенное или точное ТТ-представление У и исходный тензор, мы будем использовать обозначение У для соответствующего тензора в полном формате.

Теперь мы кратко обсудим идею, лежащую в основе QTT-разложения [31]. Рассмотрим некоторый вектор х е размера N = NN2... Щ. Мы можем полагать, что он является векторизацией соответствующего тензора У е -^м1хм2х...хма в рамках преобразования индексов (1.1). Тогда вместо исходного вектора мы будем работать с тензором У, для которого может быть построено ТТ-разложение, как было описано выше. Соответствующий подход получил в литературе название QTT-разложение.

Без ограничения общности мы будем полагать, что размер вектора N = 23' с некоторым ё > 2 и соответственно N1 = N = ... = N0, = 2 (если длина вектора N не является степенью двойки, то мы можем искусственно повысить длину до нужного размера, введя «фиктивные» индексы). Чтобы подчеркнуть, что полученный ТТ-тензор соответствует именно вектору, мы будем далее для QTT-векторов

использовать каллиграфические символы в нижнем регистре (а, Ь, с,...). Заме_2

тим, что QTT-вектор имеет не более чем 2 N х шах1^к^л (Я|) ~ 2 log2 N • Я параметров, то есть потребляемая память и сложность операций с QTT-вектором зависит логарифмически от числа элементов исходного вектора при условии ограниченности ТТ-рангов. Как показывается в работах [46—48], для многих практически значимых случаев ТТ-ранги гарантированно оказываются малыми, в том числе, для векторов, порождаемых некоторыми аналитическими функциями, включая тригонометрические и полиномиальные.

Список литературы диссертационного исследования кандидат наук Чертков Андрей Владимирович, 2023 год

Список литературы

1. Chertkov, A. Black box approximation in the tensor train format initialized by ANOVA decomposition [Текст] / A. Chertkov, G. Ryzhakov, I. Oseledets // arXiv preprint arXiv:2208.03380 (accepted to SIAM Journal on Scientific Computing). — 2023.

2. Understanding DDPM latent codes through optimal transport [Текст] / V. Khrulkov [и др.] // 11th International Conference on Learning Representations, ICLR. — 2023.

3. TTOpt: a maximum volume quantized tensor train-based optimization and its application to reinforcement learning [Текст] / K. Sozykin [и др.] // Advances in Neural Information Processing Systems. — 2022.

4. Chertkov, A. Solution of the Fokker-Planck equation by cross approximation method in the tensor train format [Текст] / A. Chertkov, I. Oseledets // Frontiers in Artificial Intelligence. — 2021. — Т. 4.

5. Oseledets, I. Black-box solver for multiscale modelling using the QTT format [Текст] /1. Oseledets, M. Rakhuba, A. Chertkov // Proc. ECCOMAS 2016. Crete Island, Greece. — 2016.

6. Optimization of functions given in the tensor train format [Текст] / A. Chertkov [и др.] // arXiv preprint arXiv:2209.14808. — 2022.

7. Are quantum computers practical yet? A case for feature selection in recommender systems using tensor networks [Текст] / A. Nikitin [и др.] // arXiv preprint arXiv:2205.04490. — 2022.

8. Chertkov, A. Robust discretization in quantized tensor train format for elliptic problems in two dimensions [Текст] / A. Chertkov, I. Oseledets, M. Rakhuba // arXiv preprint arXiv:1612.01166. — 2016.

9. Oseledets, I. Tensor-train decomposition [Текст] /1. Oseledets // SIAM Journal on Scientific Computing. — 2011. — Т. 33, № 5. — С. 2295—2317.

10. Ballani, J. Tensor structured evaluation of singular volume integrals [Текст] / J. Ballani, P. Meszmer // Computing and Visualization in Science. — 2012. — Т. 15, № 2. — С. 75—86.

11. Litsarev, M. Fast low-rank approximations of multidimensional integrals in ion-atomic collisions modelling [Текст] / M. Litsarev, I. Oseledets // Numerical Linear Algebra with Applications. — 2015. — Т. 22, № 6. — С. 1147—1160.

12. Vysotsky, L. Tensor-train numerical integration of multivariate functions with singularities [Текст] / L. Vysotsky, A. Smirnov, E. Tyrtyshnikov // Lobachevskii Journal of Mathematics. — 2021. — Т. 42, № 7. — С. 1608—1621.

13. Khoromskij, B. Fast and accurate tensor approximation of a multivariate convolution with linear scaling in dimension [Текст] / B. Khoromskij // Journal of computational and applied mathematics. — 2010. — Т. 234, № 11. — С. 3122-3139.

14. Rakhuba, M. Fast multidimensional convolution in low-rank tensor formats via cross approximation [Текст] / M. Rakhuba, I. Oseledets // SIAM Journal on Scientific Computing. — 2015. — Т. 37, № 2. — A565—A582.

15. CTNN: A convolutional tensor-train neural network for multi-task brainprint recognition [Текст] / X. Jin [и др.] // IEEE Transactions on Neural Systems and Rehabilitation Engineering. — 2020. — Т. 29. — С. 103—112.

16. Learning Feynman diagrams with tensor trains [Текст] / Y. Fernández [и др.] // Physical Review X. — 2022. — Т. 12, № 4. — С. 041018.

17. A tensor train continuous time solver for quantum impurity models [Текст] / A. Erpenbeck [и др.] // arXiv preprint arXiv:2303.11199. — 2023.

18. Multiscale space-time ansatz for correlation functions of quantum systems based on quantics tensor trains [Текст] / H. Shinaoka [и др.] // Physical Review X. — 2023. - Т. 13, № 2. - С. 021015.

19. Glau, K. Low-rank tensor approximation for Chebyshev interpolation in parametric option pricing [Текст] / K. Glau, D. Kressner, F. Statti // SIAM Journal on Financial Mathematics. — 2020. — Т.11, № 3. — С. 897—927.

20. Richter, L. Solving high-dimensional parabolic PDEs using the tensor train format [Текст] / L. Richter, L. Sallandt, N. Nüsken // International Conference on Machine Learning. — PMLR. 2021. — С. 8998—9009.

21. Pricing high-dimensional Bermudan options with hierarchical tensor formats [Текст] / C. Bayer [и др.] // SIAM Journal on Financial Mathematics. — 2023. — Т. 14, № 2. — С. 383-406.

22. Cross tensor approximation methods for compression and dimensionality reduction [Текст] / S. Ahmadi-Asl [и др.] // IEEE Access. — 2021. — Т. 9. — С. 150809-150838.

23. QTTNet: Quantized tensor train neural networks for 3D object and video recognition [Текст] / D. Lee [и др.] // Neural Networks. — 2021. — Т. 141. — С. 420-432.

24. Efficient tensor robust PCA under hybrid model of tucker and tensor train [Текст] / Y. Qiu [и др.] // IEEE Signal Processing Letters. — 2022. — Т. 29. — С. 627-631.

25. Tjandra, A. Compressing recurrent neural network with tensor train [Текст] / A. Tjandra, S. Sakti, S. Nakamura // 2017 International Joint Conference on Neural Networks (IJCNN). — IEEE. 2017. — С. 4451—4458.

26. Tensor train decomposition on tensorflow (t3f) [Текст] / A. Novikov [и др.] // The Journal of Machine Learning Research. — 2020. — Т. 21, № 1. —

C. 1105-1111.

27. Nonlinear tensor train format for deep neural network compression [Текст] /

D. Wang [и др.] // Neural Networks. - 2021. - Т. 144. - С. 320-333.

28. A support tensor train machine [Текст] / C. Chen [и др.] // 2019 International Joint Conference on Neural Networks (IJCNN). — IEEE. 2019. — С. 1—8.

29. Efficient structure-preserving support tensor train machine [Текст] / K. Kour [и др.] // Journal of Machine Learning Research. — 2023. — Т. 24, № 4. — С. 1-22.

30. Tensor networks for unsupervised machine learning [Текст] / J. Liu [и др.] // Physical Review E. — 2023. — Т. 107, № 1. — С. L012103.

31. Oseledets, I. Approximation of 2d x 2d matrices using tensor decomposition [Текст] /1. Oseledets // SIAM Journal on Matrix Analysis and Applications. — 2010. - Т. 31, № 4. - С. 2130-2145.

32. Hackbusch, W. Tensor spaces and numerical tensor calculus [Текст] / W. Hackbusch. — Springer-Verlag, Berlin, 2012.

33. Tensor networks for dimensionality reduction and large-scale optimization: Part 1 low-rank tensor decompositions [Текст] / A. Cichocki [и др.] // Foundations and Trends in Machine Learning. — 2016. — Т. 9, № 4/5. — С. 249-429.

34. Tensor Networks for Dimensionality Reduction and Large-scale Optimization: Part 2 Applications and Future Perspectives [Текст] / A. Cichocki [и др.] // Foundations and Trends in Machine Learning. — 2017. — Т. 9, № 6. — С. 431-673.

35. Golub, G. Matrix computations [Текст] / G. Golub, C. Van Loan. — JHU press, 2013.

36. Harshman, R. Foundations of the PARAFAC procedure: models and conditions for an explanatory multimodal factor analysis [Текст] / R. Harshman // UCLA Working Papers in Phonetics. — 1970. — Т. 16. — С. 1—84.

37. Tucker, L. Some mathematical notes on three-mode factor analysis [Текст] / L. Tucker // Psychometrika. — 1966. — Т. 31, № 3. — С. 279—311.

38. Hackbusch, W. A new scheme for the tensor representation [Текст] / W. Hackbusch, S. Kühn // Journal of Fourier analysis and applications. — 2009. — Т. 15, № 5. — С. 706—722.

39. Cincio, L. Multiscale entanglement renormalization ansatz in two dimensions: quantum Ising model [Текст] / L. Cincio, J. Dziarmaga, M. Rams // Physical review letters. — 2008. — Т. 100, № 24. — С. 240603.

40. Verstraete, F. Matrix product states, projected entangled pair states, and variational renormalization group methods for quantum spin systems [Текст] / F. Verstraete, V. Murg, J. Cirac // Advances in physics. — 2008. — Т. 57, № 2. — С. 143-224.

41. Learning efficient tensor representations with ring-structured networks [Текст] / Q. Zhao [и др.] // IEEE International Conference on Acoustics, Speech and Signal Processing. — 2019. — С. 8608—8612.

42. Tensor wheel decomposition and its tensor completion application [Текст] / Z. Wu [и др.] // Advances in Neural Information Processing Systems. — 2022. — Т. 35. — С. 27008—27020.

43. Grasedyck, L. A literature survey of low-rank tensor approximation techniques [Текст] / L. Grasedyck, D. Kressner, C. Tobler // GAMM-Mitteilungen. — 2013. - Т. 36, № 1. - С. 53-78.

44. A survey on hyperspectral image restoration: from the view of low-rank tensor approximation [Текст] / N. Liu [и др.] // Science China Information Sciences. — 2023. — Т. 66, № 4. — С. 1—31.

45. Tensor decompositions for hyperspectral data processing in remote sensing: a comprehensive review [Текст] / M. Wang [и др.] // IEEE Geoscience and Remote Sensing Magazine. — 2023.

46. Oseledets, I. Constructive representation of functions in low-rank tensor formats [Текст] /1. Oseledets // Constructive Approximation. — 2013. — Т. 37, № 1. — С. 1-18.

47. Khoromskij, B. O(d log N)-Quantics approximation of N-d tensors in high-dimensional numerical modeling [Текст] / B. Khoromskij // Constructive Approximation. — 2011. — Т. 34, № 2. — С. 257—280.

48. Grasedyck, L. Polynomial approximation in hierarchical Tucker format by vector-tensorization [Текст] : тех. отч. / L. Grasedyck. — 2010. — № 43.

49. Oseledets, I. Solution of linear systems and matrix inversion in the TT-format [Текст] /1. Oseledets, S. Dolgov // SIAM Journal on Scientific Computing. —

2012. — Т. 34, № 5. —A2718—A2739.

50. Dolgov, S. Alternating minimal energy methods for linear systems in higher dimensions [Текст] / S. Dolgov, D. Savostyanov // SIAM Journal on Scientific Computing. — 2014. — Т. 36, № 5. — A2248—A2271.

51. How to find a good submatrix [Текст] / S. Goreinov [и др.] // Matrix Methods: Theory, Algorithms And Applications: Dedicated to the Memory of Gene Golub. — World Scientific, 2010. — С. 247—256.

52. Mikhalev, A. Rectangular maximum-volume submatrices and their applications [Текст] / A. Mikhalev, I. Oseledets // Linear Algebra and its Applications. — 2018. — Т. 538. — С. 187-211.

53. Oseledets, I. Breaking the curse of dimensionality, or how to use SVD in many dimensions [Текст] /1. Oseledets, E. Tyrtyshnikov // SIAM Journal on Scientific Computing. — 2009. — Т. 31, № 5. — С. 3744—3759.

54. Holtz, S. The alternating linear scheme for tensor optimization in the tensor train format [Текст] / S. Holtz, T. Rohwedder, R. Schneider // SIAM Journal on Scientific Computing. — 2012. — Т. 34, № 2. — A683—A713.

55. Grasedyck, L. Alternating directions fitting (ADF) of hierarchical low rank tensors [Текст] / L. Grasedyck, M. Kluge, S. Krämer. — Verlag nicht ermittelbar,

2013.

56. Oseledets, I. TT-cross approximation for multidimensional arrays [Текст] / I. Oseledets, E. Tyrtyshnikov // Linear Algebra and its Applications. — 2010. — Т. 432, № 1. —С. 70—88.

57. Savostyanov, D. Fast adaptive interpolation of multi-dimensional arrays in tensor train format [Текст] / D. Savostyanov, I. Oseledets // The 2011 International Workshop on Multidimensional (nD) Systems. — IEEE. 2011. — С. 1—8.

58. Dolgov, S. Parallel cross interpolation for high-precision calculation of high-dimensional integrals [Текст] / S. Dolgov, D. Savostyanov // Computer Physics Communications. — 2020. — Т. 246. — С. 106869.

59. Tyrtyshnikov, E. Incomplete cross approximation in the mosaic-skeleton method [Текст] / E. Tyrtyshnikov // Computing. — 2000. — Т. 64, № 4. — С. 367—380.

60. Trefethen, L. Spectral methods in MATLAB [Текст]. Т. 10 / L. Trefethen. — Siam, 2000.

61. Sobol, I. Global sensitivity indices for nonlinear mathematical models and their Monte Carlo estimates [Текст] / I. Sobol // Mathematics and computers in simulation. — 2001. — Т. 55, № 1—3. — С. 271—280.

62. Jamil, M. A literature survey of benchmark functions for global optimization problems [Текст] / M. Jamil, X. Yang // Journal of Mathematical Modelling and Numerical Optimisation. — 2013. — Т. 4, № 2. — С. 150—194.

63. Dieterich, J. Empirical review of standard benchmark functions using evolutionary global optimization [Текст] / J. Dieterich, B. Hartke // Applied Mathematics. — 2012. — Т. 3, № 10. — С. 1552—1564.

64. Certified global minima for a benchmark of difficult optimization problems [Текст] / C. Vanaret [и др.] // arXiv preprint arXiv:2003.09867. — 2020.

65. Trefethen, L. Approximation theory and approximation practice [Текст] / L. Trefethen. — SIAM, 2019.

66. Ballester-Ripoll, R. Tensor approximation of cooperative games and their semivalues [Текст] / R. Ballester-Ripoll // International Journal of Approximate Reasoning. — 2022. — Т. 142. — С. 94—108.

67. Ryzhakov, G. Constructive TT-representation of the tensors given as index interaction functions with applications [Текст] / G. Ryzhakov, I. Oseledets // 11th International Conference on Learning Representations, ICLR. — 2023.

68. Wang, W. Efficient low rank tensor ring completion [Текст] / W. Wang, V. Aggarwal, S. Aeron // Proceedings of the IEEE International Conference on Computer Vision. — 2017. — С. 5697—5705.

69. Sedighin, F. Adaptive rank selection for tensor ring decomposition [Текст] / F. Sedighin, A. Cichocki, A. Phan // IEEE Journal of Selected Topics in Signal Processing. — 2021. — Т. 15, № 3. — С. 454—463.

70. Tensor train decomposition for solving large-scale linear equations [Текст] / H. Chen [и др.] // Neurocomputing. — 2021. — Т. 464. — С. 203—217.

71. Kapushev, Y. Tensor completion via Gaussian process-based initialization [Текст] / Y. Kapushev, I. Oseledets, E. Burnaev // SIAM Journal on Scientific Computing. — 2020. — Т. 42, № 6. — A3812—A3824.

72. Dolgov, S. A hybrid alternating least squares - TT-cross algorithm for parametric PDEs [Текст] / S. Dolgov, R. Scheichl // SIAM/ASA Journal on Uncertainty Quantification. — 2019. — Т. 7, № 1. — С. 260—291.

73. Multilevel Monte Carlo methods and applications to elliptic PDEs with random coefficients [Текст] / A. Cliffe [и др.] // Computing and Visualization in Science.- 2011. — Т. 14, № 1.-С. 3-15.

74. Babuska, I. Galerkin finite element approximations of stochastic elliptic partial differential equations [Текст] /1. Babuska, R. Tempone, G. Zouraris // SIAM Journal on Numerical Analysis. — 2004. — Т. 42, № 2. — С. 800—825.

75. Tensor networks for latent variable analysis: novel algorithms for tensor train approximation [Текст] / A. Phan [и др.] // IEEE transactions on neural networks and learning systems. — 2020. — Т. 31, № 11. — С. 4622—4636.

76. Sedighin, F. Image completion in embedded space using multistage tensor ring decomposition [Текст] / F. Sedighin, A. Cichocki // Frontiers in Artificial Intelligence. — 2021. — Т. 4.

77. Fast and accurate tensor completion with total variation regularized tensor trains [Текст] / C. Ko [и др.] // IEEE Transactions on Image Processing. — 2020. — Т. 29. — С. 6918-6931.

78. Enabling high-dimensional hierarchical uncertainty quantification by ANOVA and tensor-train decomposition [Текст] / Z. Zhang [и др.] // IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems. — 2014. — Т. 34, № 1. — С. 63-76.

79. Ballester-Ripoll, R. Sobol tensor trains for global sensitivity analysis [Текст] / R. Ballester-Ripoll, E. Paredes, R. Pajarola // Reliability Engineering & System Safety. - 2019. — Т. 183. - С. 311-322.

80. Zankin, V. Gradient descent-based D-optimal design for the least-squares polynomial approximation [Текст] / V. Zankin, G. Ryzhakov, I. Oseledets // arXiv preprint arXiv:1806.06631. — 2018.

81. Ballani, J.Hierarchical tensor approximation of output quantities of parameter-dependent PDEs [Текст] / J. Ballani, L. Grasedyck // SIAM/ASA Journal on Uncertainty Quantification. — 2015. — Т. 3, № 1. — С. 852—872.

82. Tobler, C. Low-rank tensor methods for linear systems and eigenvalue problems [Текст] : дис. ... канд. / Tobler C. — ETH Zurich, 2012.

83. Logg, A. Automated solution of differential equations by the finite element method: The FEniCS book [Текст]. Т. 84 / A. Logg, K. Mardal, G. Wells. — Springer Science & Business Media, 2012.

84. Global optimization of surface warpage for inverse design of ultra-thin electronic packages using tensor train decomposition [Текст] / C. Selvanayagam [и др.] // IEEE Access. — 2022. — Т. 10. — С. 48589—48602.

85. Tensor train for global optimization problems in robotics [Текст] / S. Shetty [и др.] // arXiv preprint arXiv:2206.05077. — 2022.

86. Soley, M. Iterative power algorithm for global optimization with quantics tensor trains [Текст] / M. Soley, P. Bergold, V. Batista // Journal of Chemical Theory and Computation. — 2021. — Т. 17, № 6. — С. 3280—3291.

87. Evolution strategies as a scalable alternative to reinforcement learning [Текст] / T. Salimans [и др.] // ArXiv. — 2017. — Т. abs/1703.03864.

88. Nesterov, Y. Random gradient-free minimization of convex functions [Текст] / Y. Nesterov, V. Spokoiny // Foundations of Computational Mathematics. — 2017. — Т. 17, № 2. — С. 527—566.

89. Natural evolution strategies [Текст] / D. Wierstra [и др.] // Journal of Machine Learning Research. — 2014. — Т.15, № 27. — С. 949—980.

90. Cichocki, A. Adaptive blind signal and image processing: learning algorithms and applications [Текст] / A. Cichocki, S. Amari. — John Wiley & Sons, Inc., 2002.-Гл. 6. С. 231-272.

91. Hansen, ^.The CMA evolution strategy: a comparing review [Текст] / N. Hansen // Towards a new evolutionary computation. — 2006. — С. 75—102.

92. Guided evolutionary strategies: augmenting random search with surrogate gradients [Текст] / N. Maheswaranathan [и др.] // International Conference on Machine Learning. Т. 97. — 2019. — С. 4264—4273.

93. From complexity to simplicity: adaptive ES-active subspaces for blackbox optimization [Текст] /K. Choromanski [и др.] // Advances in Neural Information Processing Systems. Т. 32. — 2019.

94. Constantine, P. Active subspaces - emerging ideas for dimension reduction in parameter studies [Текст] / P. Constantine // SIAM spotlights. — 2015.

95. Caiafa, C. Generalizing the column-row matrix decomposition to multi-way arrays [Текст] / C. Caiafa, A. Cichocki // Linear Algebra and its Applications. — 2010. — Т. 433, № 3. — С. 557—573.

96. Holland, /.Genetic algorithms [Текст] / J. Holland // Scientific American. — 1992. - Т. 267, № 1. - С. 66-73.

97. Storn, R. Differential evolution - a simple and efficient heuristic for global optimization over continuous spaces [Текст] / R. Storn, K. Price // Journal of Global Optimization. — 1997. — Т. 11, № 4. — С. 341—359.

98. Djolonga, J. High-dimensional gaussian process bandits [Текст] / J. Djolonga, A. Krause, V. Cevher // Advances in neural information processing systems. — 2013. — Т. 26.

99. Particle swarm optimization for generating interpretable fuzzy reinforcement learning policies [Текст] / D. Hein [и др.] // Engineering Applications of Artificial Intelligence. — 2017. — Т. 65. — С. 87—98.

100. An empirical study of Bayesian optimization: acquisition versus partition [Текст] / E. Merrill [и др.] // Journal of Machine Learning Research. — 2021. — Т. 22, № 4. — С. 1—25.

101. Zero-shot text-to-image generation [Текст] / A. Ramesh [и др.] // International Conference on Machine Learning. — PMLR. 2021. — С. 8821—8831.

102. Human-level control through deep reinforcement learning [Текст] / V. Mnih [и др.] // Nature. — 2015. — Т. 518, № 7540. — С. 529—533.

103. Ab initio solution of the many-electron Schrodinger equation with deep neural networks [Текст] / D. Pfau [и др.] // Physical Review Research. — 2020. — Т. 2, вып. 3.-С. 033429.

104. Kolda, T. Optimization by direct search: new perspectives on some classical and modern methods [Текст] / T. Kolda, R. Lewis, V. Torczon // SIAM Review. — 2003. - Т. 45, № 3. - С. 385-482.

105. Two decades of blackbox optimization applications [Текст] / S. Alarie [и др.] // EURO Journal on Computational Optimization. — 2021. — Т. 9. — С. 100011.

106. Schweidtmann, A. Deterministic global optimization with artificial neural networks embedded [Текст] / A. Schweidtmann, A. Mitsos // Journal of Optimization Theory and Applications. — 2018. — Т.180, № 3. — С. 925—948.

107. Ha, D. Recurrent world models facilitate policy evolution [Текст] / D. Ha, J. Schmidhuber// Advances in Neural Information Processing Systems. Т. 31. — 2018.

108. Todorov, E. MuJoCo: a physics engine for model-based control [Текст] / E. Todorov, T. Erez, Y. Tassa // IEEE/RSJ International Conference on Intelligent Robots and Systems. — 2012. — С. 5026—5033.

109. OpenAI Gym [Текст] / G. Brockman [и др.] // ArXiv. — 2016. — Т. abs/1606.01540.

110. Nembrini, R. Feature selection for recommender systems with quantum computing [Текст] / R. Nembrini, F. D., P. Cremonesi // Entropy. — 2021. — Т. 23, № 8. — С. 970.

111. Vlachos, D. A review of multiscale analysis: examples from systems biology, materials engineering, and other fluid-surface interacting systems [Текст] / D. Vlachos // Advances in Chemical Engineering. — 2005. — Т. 30. — С. 1—61.

112. Abdulle, A. The finite element heterogeneous multiscale method: a computational strategy for multiscale PDEs [Текст] / A. Abdulle // GAKUTO International Series Mathematical Sciences and Applications. — 2009. — Т. 31. — С. 135-184.

113. Hoang, V. High-dimensional finite elements for elliptic problems with multiple scales [Текст] / V. Hoang, C. Schwab // Multiscale Modeling & Simulation. — 2005. - Т. 3, № 1. - С. 168-194.

114. Hoang, V. Analytic regularity and polynomial approximation of stochastic, parametric elliptic multiscale PDEs [Текст] / V. Hoang, C. Schwab // Analysis and Applications. — 2013. — Т. 11, № 1. — С. 1350001.

115. Khoromskij, B. DMRG+QTT approach to computation of the ground state for the molecular Schrodinger operator [Текст]: тех. отч. /B. Khoromskij, I. Oseledets; MPI MIS. — Leipzig, 2010. — № 69.

116. White, S. Density-matrix algorithms for quantum renormalization groups [Текст] / S. White // Phys. Rev. B. — 1993. — Т. 48, № 14. — С. 10345—10356.

117. Eigel, M. Adaptive Stochastic Galerkin FEM with Hierarchical Tensor Representations [Текст] : Preprint of TU Berlin / M. Eigel, M. Pfeffer, R. Schneider. — 2015. — № 29.

118. Polynomial chaos expansion of random coefficients and the solution of stochastic partial differential equations in the tensor train format [Текст] / S. Dolgov [и др.] // SIAM/ASA Journal on Uncertainty Quantification. — 2015. — Т. 3, № 1.-С. 1109-1135.

119. Khoromskij, B. Quantics-TT collocation approximation of parameter-dependent and stochastic elliptic PDEs [Текст] / B. Khoromskij, I. Oseledets // Computational methods in applied mathematics. — 2010. — Т. 10, № 4. — С. 376-394.

120. QTT-FE approximation for multiscale problems [Текст] / V. Kazeev [и др.] // Research Report, Seminar for Applied Mathematics. — 2015.

121. QTT-finite-element approximation for multiscale problems I: model problems in one dimension [Текст] / V. Kazeev [и др.] // Advances in Computational Mathematics. — 2017. — Т. 43, № 2. — С. 411—442.

122. Kazeev, V. Quantized tensor-structured finite elements for second-order elliptic PDEs in two dimensions [Текст] / V. Kazeev, C. Schwab // Numerische Mathematik. — 2018. — Т. 138, № 1. — С. 133—190.

123. Quantized tensor FEM for multiscale problems: diffusion problems in two and three dimensions [Текст] / V. Kazeev [и др.] // Multiscale Modeling & Simulation. — 2022. — Т. 20, № 3. — С. 893—935.

124. Khoromskij, B. A fast iteration method for solving elliptic problems with quasiperiodic coefficients [Текст] / B. Khoromskij, S. Repin // Russian Journal of Numerical Analysis and Mathematical Modelling. — 2015. — Т. 30, № 6. — С. 329-344.

125. Kazeev, V. Quantized tensor-structured finite elements for second-order elliptic PDEs in two dimensions [Текст] : тех. отч. / V. Kazeev, C. Schwab ; SAM research report 2015-24, ETH Zürich. — 2015.

126. Kazeev, V. Multilevel Toeplitz matrices generated by tensor-structured vectors and convolution with logarithmic complexity [Текст] / V. Kazeev,

B. Khoromskij, E. Tyrtyshnikov // SIAM Journal on Scientific Computing. — 2013. - Т. 35, № 3. - A1511-A1536.

127. Papanicolau, G. Asymptotic analysis for periodic structures [Текст] / G. Papanicolau, A. Bensoussan, J. Lions. — Elsevier, 1978.

128. Bachmayr, M. Stability of low-rank tensor representations and structured multilevel preconditioning for elliptic PDEs [Текст] / M. Bachmayr, V. Kazeev // Foundations of Computational Mathematics. — 2020. — Т. 20, № 5. —

C. 1175-1236.

129. Risken, H. Fokker-Planck equation [Текст] / H. Risken // The Fokker-Planck Equation. — Springer, 1996. — С. 63—95.

130. Neural ordinary differential equations [Текст] / T. Chen [и др.] // Advances in Neural Information Processing Systems. — 2018. — С. 6571—6583.

131. Chen, R. Neural networks with cheap differential operators [Текст] / R. Chen,

D. Duvenaud// Advances in Neural Information Processing Systems. — 2019. — Т. 32.

132. Neural parametric Fokker-Planck equation [Текст] / S. Liu [и др.] // SIAM Journal on Numerical Analysis. — 2022. — Т. 60, № 3. — С. 1385—1449.

133. Ffjord: free-form continuous dynamics for scalable reversible generative models [Текст] / W. Grathwohl [и др.] // arXiv preprint arXiv:1810.01367. — 2018.

134. Neural SDEs as infinite-dimensional GANs [Текст] / P. Kidger [и др.] // International Conference on Machine Learning. — PMLR. 2021. — С. 5453-5463.

135. Zhou, Y. Learning high-dimensional distributions with latent neural Fokker-Planck kernels [Текст] / Y. Zhou, C. Chen, J. Xu // arXiv preprint arXiv:2105.04538. — 2021.

136. Large-scale wasserstein gradient flows [Текст] / P. Mokrov [и др.] // Advances in Neural Information Processing Systems. — 2021. — Т. 34. — С. 15243—15256.

137. Entropic neural optimal transport via diffusion processes [Текст] / N. Gushchin [и др.] // arXiv preprint arXiv:2211.01156. — 2022.

138. Wehner, M. Numerical evaluation of path-integral solutions to Fokker-Planck equations [Текст] / M. Wehner, W. Wolfer // Physical Review A. — 1983. — Т. 27, № 5. — С. 2663.

139. Subramaniam, G. A transformed path integral approach for solution of the Fokker-Planck equation [Текст] / G. Subramaniam, P. Vedula // Journal of Computational Physics. — 2017. — Т. 346. — С. 49—70.

140. Kumar, P. Solution of Fokker-Planck equation by finite element and finite difference methods for nonlinear systems [Текст] / P. Kumar, S. Narayanan // Sadhana. - 2006. - Т. 31, № 4. - С. 445-461.

141. Pichler, L. Numerical solution of the Fokker-Planck equation by finite difference and finite element methods — a comparative study [Текст] / L. Pichler, A. Masud, L. Bergman // Computational Methods in Stochastic Dynamics. — Springer, 2013. — С. 69-85.

142. Metropolis Monte Carlo method as a numerical technique to solve the Fokker— Planck equation [Текст] / K. Kikuchi [и др.] // Chemical Physics Letters. — 1991. - Т. 185, № 3/4. - С. 335-338.

143. Kuchlin, S. Parallel Fokker-Planck-DSMC algorithm for rarefied gas flow simulation in complex domains at all Knudsen numbers [Текст] / S. Kuchlin, P. Jenny // Journal of Computational Physics. — 2017. — Т. 328. — С. 258—277.

144. Dolgov, S. Fast solution of parabolic problems in the tensor train/quantized tensor train format with initial application to the Fokker-Planck equation [Текст] / S. Dolgov, B. Khoromskij, I. Oseledets // SIAM Journal on Scientific Computing. — 2012. — Т. 34, № 6. — A3016—A3038.

145. Sun, Y. Numerical solution of high dimensional stationary Fokker-Planck equations via tensor decomposition and Chebyshev spectral differentiation [Текст] / Y. Sun, M. Kumar // Computers & Mathematics with Applications. — 2014. - Т. 67, № 10. - С. 1960-1977.

146. Sun, Y. A numerical solver for high dimensional transient Fokker-Planck equation in modeling polymeric fluids [Текст] / Y. Sun, M. Kumar // Journal of Computational Physics. — 2015. — Т. 289. — С. 149—168.

147. Dolgov, S. A tensor decomposition algorithm for large ODEs with conservation laws [Текст] / S. Dolgov // Computational Methods in Applied Mathematics. — 2019. - Т. 19, № 1. — С. 23-38.

148. Grid methods for Bayes-optimal continuous-discrete filtering and utilizing a functional tensor train representation [Текст] / C. Fox [и др.] // Inverse Problems in Science and Engineering. — 2020. — С. 1—19.

149. Yang, L. Diffusion models: a comprehensive survey of methods and applications [Текст] / L. Yang, Z. Zhang, S. Hong // arXiv preprint arXiv:2209.00796. — 2022.

150. Vatiwutipong, P. Alternative way to derive the distribution of the multivariate Ornstein-Uhlenbeck process [Текст] / P. Vatiwutipong, N. Phewchean // Advances in Difference Equations. — 2019. — Т. 2019, № 1. — С. 276.

151. Venkiteswaran, G. A QMC approach for high dimensional Fokker-Planck equations modelling polymeric liquids [Текст] / G. Venkiteswaran, M. Junk // Mathematics and Computers in Simulation. — 2005. — Т. 68, № 1. — С. 43—56.

152. Glowinski, R. Splitting methods in communication, imaging, science, and engineering [Текст] / R. Glowinski, S. Osher, W. Yin. — Springer, 2017.

153. Weideman, J. A MATLAB differentiation matrix suite [Текст] / J. Weideman, S. Reddy // ACM Transactions on Mathematical Software (TOMS). — 2000. — Т. 26, № 4. — С. 465-519.

154. Singh, R. Fast Bayesian inference of the multivariate Ornstein-Uhlenbeck process [Текст] / R. Singh, D. Ghosh, R. Adhikari // Physical Review E. — 2018. - Т. 98, № 1. - С. 012136.

155. Deep unsupervised learning using nonequilibrium thermodynamics [Текст] / J. Sohl-Dickstein [и др.] // International Conference on Machine Learning. — PMLR. 2015. — С. 2256—2265.

156. Dhariwal, P. Diffusion models beat GANs on image synthesis [Текст] / P. Dhariwal, N. A. // Advances in Neural Information Processing Systems. — 2021. - Т. 34. - С. 8780-8794.

157. Score-based generative modeling through stochastic differential equations [Текст] / Y. Song [и др.] // International Conference on Learning Representations. — 2021.

158. Song, J.Denoising diffusion implicit models [Текст] / J. Song, C. Meng, E. S. // International Conference on Learning Representations. — 2021.

159. Berman, R. Convergence rates for discretized Monge-Ampère equations and quantitative stability of optimal transport [Текст] / R. Berman // Foundations of Computational Mathematics. — 2021. — Т. 21, № 4. — С. 1099—1140.

160. POT: python optimal transport [Текст] / R. Flamary [и др.] // The Journal of Machine Learning Research. — 2021. — Т. 22, № 1. — С. 3571—3578.

161. What is the fractional Laplacian? A comparative review with new results [Текст] / A. Lischke [и др.] // Journal of Computational Physics. — 2020. — Т. 404. — С. 109009.

162. Aljethi, R. Derivation of the fractional Fokker-Planck equation for stable Lévy with financial applications [Текст] / R. Aljethi, A. Kiliçman // Mathematics. — 2023. — Т. 11, № 5. — С. 1102.