Оценка и повышение предсказуемости временных рядов сложной природы методами машинного обучения тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Ставинова Елизавета Алексеевна

• Ставинова Елизавета Алексеевна
• кандидат наук
• 2023

Оглавление диссертации кандидат наук Ставинова Елизавета Алексеевна

Оглавление

РЕФЕРАТ

SYNOPSIS

ВВЕДЕНИЕ

1 Методы прогнозирования временных рядов сложной природы

1.1 Аппарат прогнозирования временных рядов

1.1.1 Постановка задачи прогнозирования временного ряда

1.1.2 Классификация методов прогнозирования временных рядов

1.1.3 Требования к методам прогнозирования временных рядов

1.1.4 Метрики качества прогноза временных рядов

1.2 Модели и методы прогнозирования временных рядов на данных

1.3 Методы априорной и апостериорной оценки качества прогноза

1.3.1 Методы оценки предсказуемости одномерных временных рядов

1.3.2 Методы оценки предсказуемости переменных для неавтономных методов прогнозирования

1.3.3 Связь между реализованной моделью и собственной предсказуемостью

1.4 Выводы. Мотивация исследования

2 Метод оценки предсказуемости временных рядов сложной природы

2.1 Общая постановка задачи

2.2 Метод априорной оценки предсказуемости путем мета-классификации временных рядов

2.2.1 Развитие подхода к мета-обучению

2.2.2 Стратегии контроля качества

2.2.3 Мета-классификация временных рядов

2.2.4 Анализ сложности

2.3 Особенности практической реализации

2.3.1 Выбор наилучших данных для прогноза

2.3.2 Выбор наилучшей модели для прогноза

2.4 Выводы

3 Алгоритмы генеративного дизайна и оптимизации временных рядов сложной природы

3.1 Оптимизационные задачи на временных рядах сложной природы

3.1.1 Нахождение оптимального разложения многомерного временного ряда

3.1.2 Оптимизация зависящих друг от друга временных рядов спроса и цен на услуги

3.2 Алгоритм генеративного дизайна временных рядов сложной природы

3.3 Выводы

4 Прикладное использование разработанных методов и алгоритмов

4.1 Задачи на финансовых (транзакционных) данных

4.1.1 Повышение качества прогнозирования временных рядов транзакционной активности клиентов банка

4.1.2 Снижение ресурсоемкости прогнозирования финансово-экономических временных рядов

4.1.3 Генерация синтетических финансовых временных рядов

4.2 Билетные программы

4.2.1 Сбор данных

4.2.2 Описание и предварительный анализ данных

4.2.3 Суррогатные модели и их ошибки, используемые при моделировании

4.2.4 Динамическое ценообразование (оптимизация)

4.2.5 Анализ результатов

4.3 Потребительское поведение

4.4 Выводы

Заключение

СПИСОК СОКРАЩЕНИЙ И УСЛОВНЫХ ОБОЗНАЧЕНИЙ

ЛИТЕРАТУРА

Приложение А. Свидетельства о регистрации программ

Приложение Б. Тексты публикаций

Введение диссертации (часть автореферата) на тему «Оценка и повышение предсказуемости временных рядов сложной природы методами машинного обучения»

РЕФЕРАТ

Случайные процессы реального мира, которые порождают прогнозируемые исследователями временные ряды, формируются под влиянием множества факторов. Такими факторами могут являться различные кризисные явления, календарные особенности, наличие индивидуальных паттернов поведения (если речь идет о процессах, имеющих место на микромасштабе). Кроме того, наблюдаемому явлению могут быть присущи различные ритмики (так называемая многомасштабность) и эволюционная природа, при которой возможны нестабильные переходы между состояниями системы. В таких ситуациях повсеместно встает вопрос о сложности или невозможности задания вероятностной модели временного ряда. Именно в таких случаях и заходит речь о сложной природе временных рядов - отсутствии простой и единой вероятностной модели временного ряда.

Классический подход к оценке качества прогноза временного ряда заключается в анализе связи метрик качества и вероятностной модели ряда. Однако, в случае временных рядов сложной природы процесс задания вероятностной модели ряда может быть крайне трудоемким. Поэтому возникает необходимость в применении методов машинного обучения для прогнозирования упомянутых временных рядов (например, рекуррентных нейронных сетей). Преимуществом данных методов является отсутствие необходимости знать вероятностную модель ряда. Что касается недостатков прогнозных моделей на данных, то ими без сомнения является ограниченность (как по области применения - модель, обученная на данных из определенной предметной области не является универсальной, так и по качеству - выводы о качестве определенной модели на данных не могут быть распространены на всевозможные наборы данных).

С ростом числа моделей выбор метода, обеспечивающего наилучшее качество прогнозирования на основе выбранных данных, становится все более сложным [75, 18]. Более того, эта задача требует нахождения разумного компромисса между сложностью модели и ее качественными характеристиками [89]

(это также называется компромиссом между смещением и дисперсией [32]). Однако недавние исследования показали, например, что с увеличением числа параметров нейронной сети (и, следовательно, с ростом сложности модели) как смещение, так и дисперсия начинают уменьшаться после локального максимума [65, 76]. Это вызвало практическую тенденцию выбора более сложных моделей, которые, однако, являются более дорогостоящими с точки зрения вычислений [13].

Процесс выбора модели (в частности, итерация по сложности выбранной модели) обычно включает в себя этапы оценки и контроля качества моделирования [10, 48]. Затем показатели качества оцениваются путем вычисления некоторых метрик для каждого экземпляра в тестовой выборке, а затем происходит усреднение полученных значений. Это справедливо также в случае оптимизации гиперпараметров и процедуры метаобучения, направленных на автоматическую настройку модели, см., например, [99, 59, 27, 53]. Однако это может вызвать проблему получения слишком усредненной картины в тех случаях, когда поведение каждого экземпляра данных является сложным. Это относится, например, к социоэкономическим процессам (например, клиенты с различными паттернами потребительского поведения, различные финансовые показатели в спокойной и кризисной экономических ситуациях и т. д.).

Чтобы получить четкую и емкую информацию о качественных показателях модели для таких процессов, можно измерить предсказуемость экземпляров данных (временных рядов) и выполнить стратификацию данных в соответствии с показателями предсказуемости. Существующие работы на тему предсказуемости временных рядов включают в себя несколько работ, посвященных стратификации временных рядов в соответствии с их предсказуемостью [51, 82], но эта стратификация пока не использовалась для повышения и контроля качества модели. При всем многообразии существующих подходов эта задача осталась нерешенной, и данное исследование направлено на восполнение этого пробела. Однако в данном случае возникает ряд вопросов в зоне научной дискуссии, а именно:

1. что использовать в качестве метрики предсказуемости временного ряда;

2. как определять предсказуемость временного ряда заблаговременно;

3. как выбрать наилучшие данные для прогноза определенной моделью / наи-

лучшую модель для прогноза определенного ряда?

Целью исследования является повышение качества прогнозирования временных рядов сложной природы, отражающих социоэкономические процессы реального мира, а также уменьшение вычислительной сложности их прогнозирования с помощью оценки предсказуемости временных рядов методами машинного обучения.

Задачи исследования:

1) анализ и обоснование требований к методам прогнозирования временных рядов сложной природы;

2) формализация постановки задачи оценки предсказуемости временных рядов сложной природы;

3) разработка и программная реализация методов априорного контроля качества прогноза временных рядов сложной природы с помощью метрик предсказуемости;

4) разработка и программная реализация алгоритмов генеративного дизайна и оптимизации временных рядов сложной природы;

5) проектирование и разработка программного комплекса для прогнозирования, оптимизации и генеративного дизайна временных рядов сложной природы, имплементируюгцего разработанные методы и алгоритмы;

6) апробация разработанных методов и алгоритмов на практических задачах.

Методы исследования включают в себя рекуррентные нейронные сети, графовые нейронные сети, генеративно-состязательные нейронные сети, численные методы решения экстремальных задач, эволюционные методы оптимизации, методы машинного обучения, а также инженерии программного обеспечения.

Научная новизна работы заключается в разработке метода априорной оценки предсказуемости временных рядов сложной природы с использованием методов машинного обучения, что позволило выделять классы предсказуемости данных, которые по некоторым причинам могут быть спрогнозированы моделью с более высоким качеством, а также проводить априорный подбор уровня

и

сложности модели, который наиболее подходит для прогнозирования конкретного экземпляра данных.

Теоретическая значимость работы состоит в развитии путей применения моделей МО на данных для априорной оценки предсказуемости временных рядов сложной природы, а также для контроля качества их прогноза.

Практическая значимость работы определяется набором программных средств, предназначенных для прогнозирования (с учетом предсказуемости), оптимизации и генеративного дизайна временных рядов сложной природы:

1) программная библиотека динамической классификации клиентов банка согласно индивидуальной предсказуемости их транзакционного поведения;

2) программная библиотека классификации временных рядов сложной природы согласно их индивидуальной предсказуемости, обеспечиваемой определенной прогнозной моделью на данных;

3) программная библиотека оптимизации прибыли (кэшбека), получаемой в результате совершения транзакций с помощью набора банковских карт;

4) программная библиотека оптимизации билетных программ в условиях динамического ценообразования;

5) программная библиотека генерации синтетических финансовых временных рядов.

Результаты работы внедрены в рамках практической деятельности Национального центра когнитивных разработок и ИЦ «Сильный искусственный интеллект в промышленности».

Положения, выносимые на защиту:

1) семейство алгоритмов априорной оценки предсказуемости с использованием методов машинного обучения, в том числе выделения классов предсказуемости данных и подбора уровня сложности модели для прогнозирования конкретного экземпляра данных (в отличие от известных решений, в основе алгоритмов лежит использование стратификации данных в соответствии с их предсказуемостью для повышения и контроля качества модели);

2) семейство алгоритмов для работы с временными рядами сложной природы: алгоритм нахождения оптимального разложения многомерного временного ряда (в отличие от известных решений, является точным и не имеет ограничения на количество признаков), алгоритм оптимизации зависящих друг от друга временных рядов (в отличие от известных решений, позволяет провести сравнение результатов оптимизации, полученных разными методами), алгоритм генеративного дизайна временных рядов (в отличие от известных решений, учитывает особенности временных рядов сложной природы).

Соответствие паспорту специальности 1.2.1:

п. 5 - Методы и технологии поиска, приобретения и использования знаний и закономерностей, в том числе - эмпирических, в системах искусственного интеллекта. Исследования в области совместного применения методов машинного обучения и классического математического моделирования. Методы и средства использования экспертных знаний.

п. 7 - Разработка специализированного математического, алгоритмического и программного обеспечения систем искусственного интеллекта и машинного обучения. Методы и средства взаимодействия систем искусственного интеллекта с другими системами и человеком-оператором.

п. 17 - Исследования в области многослойных алгоритмических конструкций, в том числе - многослойных нейросетей.

Внедрение результатов работы. Результаты использованы при выполнении следующих ИИОКР: ИАО «Банк «Санкт-Петербург», «Исследование и разработка прикладных сервисов анализа и предсказательного моделирования финансовых процессов на основе больших данных», договор №221027, 2017-2023 гг.; Российский научный фонд, «Интеллектуальные технологии больших данных для поддержки принятия решений в финансовой сфере на основе предсказательного моделирования», соглашение №17-71-30029-П, 2017-2023 гг.; Фонд поддержки проектов Национальной технологической инициативы, Государственная поддержка центра компетенций НТИ «Национальный центр когнитивных разработок», договор №70-2021-00187, 2018-2022 гг.; Аналитический центр при Правительстве Российской Федерации, Реализация программы исследовательского центра в сфере искусственного интеллекта «Сильный искусственный интеллект в промышленности» в целях достижения результата федерального проекта «Искусственный интеллект» национальной программы

«Цифровая экономика Российской Федерации», договор №70-2021-00141, 20212024 гг.

Достоверность результатов подтверждается корректным использованием математических методов, обоснованием постановки задач, а также экспериментальными исследованиями, покрывающими разработанные технологии и алгоритмы в части оценки их качества на обучающих и тестовых выборках в соответствии с рекомендациями ГОСТ Р 59898-2021.

Апробация результатов работы. Основные результаты исследования обсуждались на международных и российских научно-практических конференциях и семинарах, совещаниях и круглых столах, включая: International Young Scientists Conference in Computational Science (2019, 2020, 2021, 2022), IEEE International Conference on Data Mining Workshop (2021, 2022), The International Conference on Computational Science (2021, 2022), Конгрессе молодых ученых (2019, 2021, 2023), The International Conference on Complex Networks and Their Applications (2021), International Conference on Computer Science and Information Technology (2023).

Публикации. По материалам диссертационного исследования опубликовано 14 печатных работ объёмом 166 печатных листов (вклад соискателя составляет 75 печатных листов), из них в рецензируемых научных журналах из перечня ВАК РФ и WbS Scopus - 14, свидетельств о регистрации программ для ЭВМ - 6.

Публикации в научных изданиях, входящих в перечень ВАК и WoS/Scopus:

1) Stavinova Е.А., Bochenina К.О. Forecasting of foreign trips by transactional data: A comparative study//Procedia Computer Science, 2019, Vol. 156, pp. 225-234

2) Stavinova E., Shikov E., Vaganov D. From temporal to spatial networks: on inferring missing coordinates of debit card transactions//Procedia Computer Science, 2020, Vol. 178, pp. 172-181

3) Stavinova E., Bochenina K., Chunaev P. Predictability Classes for Forecasting Clients Behavior by Transactional Data//Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 2021, Vol. 12744, pp. 187-199

4) Lytkin Y., Stavinova E. The mathematically best way to spend your money: An algorithm for optimising the cashback profit Procedia Computer Science, 2021, Vol. 193, pp. 343-350

5) Stavinova E., Chunaev P., Bochenina K. Forecasting railway ticket dynamic price with Google Trends open data Procedia Computer Science, 2021, Vol. 193, pp. 333-342

6) Stavinova E., Timoshina A., Chunaev P. Forecasting the volume of mortgage loans with open Internet data in the period of noticeable changes in the Russian mortgage market//Procedia Computer Science, 2021, Vol. 193, pp. 266-275

7) Stavinova E., Evmenova E., Antonov A., Chunaev P. Link predictability classes in complex networks//Studies in Computational Intelligence, 2022, Vol. 1015, pp. 376-387

8) Provalov V.E., Stavinova E., Chunaev P. SynEvaRec: A Framework for Evaluating Recommender Systems on Synthetic Data Classes//2021 International Conference on Data Mining Workshops (ICDMW), 2021, pp. 55-64

9) Bezbochina A., Stavinova E., Kovantsev A., Chunaev P. Dynamic Classification of Bank Clients by the Predictability of Their Transactional Behavior//Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 2022, Vol. 13350, pp. 502515

10) Antonov A., Stavinova E., Evmenova E., Chunaev P. Link predictability classes in large node-attributed networks//Social Network Analysis and Mining, 2022, Vol. 12, No. 1, pp. 81

11) Varshavskiy I., Stavinova E., Chunaev P. Forecasting railway ticket demand with search query open data Procedia Computer Science, 2022, Vol. 212, pp. 132-141

12) Stavinova E., Gurov A., Lysenko A., Chunaev P. Performance Ranking of Recommender Systems on Simulated Data Procedia Computer Science, 2022, Vol. 212, pp. 142-151

13) Shumkovskii P., Kovantsev, A., Stavinova, E., Chunaev, P. MetaSieve: Performance vs. Complexity Sieve for Time Series Forecasting 2022 IEEE International Conference on Data Mining Workshops (ICDMW), 2022, pp. 1-10

14) Stavinova E., Varshavskiy I., Chunaev P., Derevitskii I., Boukhanovsky A. Dynamic Pricing for the Open Online Ticket System: A Surrogate Modeling Approach//Smart Cities, 2023, Vol. 6, No. 3, pp. 1303-1324

РИД - получено 6 свидетельств о регистрации программ для ЭВМ:

1) Свидетельство о регистрации № 2019664070 от 30.10.2019 «Программная библиотека агентного моделирования покупок в ритейл-сетях с разделением сфер влияния» // Ваганов Д.А., Гулева В.Ю., Ставинова Е.А.

2) Свидетельство о регистрации № 2020660995 от 16.09.2020 «Программная библиотека прогнозирования событий по несбалансированным цифровым следам клиентов» // Боченина К.О., Шиков Е.Н., Ставинова Е.А.

3) Свидетельство о регистрации № 2020619733 от 21.08.2020 «Программная библиотека восстановления геокоординат событий по частично размеченным транзакционным данным» // Ваганов Д.А., Шиков Е.Н., Ставинова Е.А.

4) Свидетельство о регистрации № 2021662499 от 29.07.2021 «Программная библиотека для тестирования рекомендательных систем на синтетических данных социо-экономической сферы» // Провалов В.Е., Ставинова Е.А., Чунаев П.В.

5) Свидетельство о регистрации № 2021667027 от 23.10.2021 «Программная библиотека для оценки предсказуемости финансовых временных рядов путем анализа их графов состояний» // Боченина К.О., Кованцев А.Н., Ставинова Е.А., Чунаев П.В.

6) Свидетельство о регистрации № 2023662683 от 09.06.2023 «Программная библиотека условной генерации синтетических транзакционных данных» // Ставинова Е.А., Захаров К.А.

Личный вклад автора в работах, выполненных в соавторстве, заключается в проведении литературного обзора в проблемной области диссертационного исследования, обработке и анализе данных, разработке и программной реализации методов машинного обучения для априорного контроля качества прогноза временных рядов сложной природы, а также методов оптимизации и генеративного дизайна временных рядов сложной природы. Из работ, выполненных в соавторстве, в диссертацию включены результаты, которые соответствуют личному участию автора.

Чунаев П.В. во всех работах, выполненных в соавторстве, осуществлял постановку научных задач, выбор и обоснование теоретических основ научного исследования. Боченина К.О. во всех работах, выполненных в соавторстве, осуществляла рекомендации по постановке задач и консультировала при написании статей. Лыткиным Ю.В. в работе 1 была сформулирована математическая постановка задачи. Бухипоискии А.В. во всех работах, выполненных в соавторстве, осуществлял рекомендации по выбору методологии исследования и консультирование при обсуждении результатов. Евменовой Е.О. во всех работах, выполненных в соавторстве, был проведен обзор литературы и формализация постановки задачи. Антоновым А.А. в работах 2 3 была выполнена программная реализация метода выделения классов предсказуемости узлов сети. Кован-цевым А.И. во всех работах, выполненных в соавторстве, были реализованы алгоритмы классификации временных рядов. Безбочина А.А. в 4 реализовала динамическое обновление весов моделей машинного обучения. Шумковским П.А. в работе 5 была выполнена программная реализация моделей машинного обучения для прогнозирования временных рядов. Варшавским И.Е. во всех работах, выполненных в соавторстве, был проведен обзор литературы и выполнена визуализация полученных результатов экспериментов. Захаров К.А. в

1Lytkin Y., Stavinova Е. The mathematically best way to spend your money: An algorithm for optimising the cashback profit//Procedia Computer Science, 2021, Vol. 193, pp. 343-350

2Stavinova E., Evmenova E., Antonov A., Chunaev P. Link predictability classes in complex networks//Studies in Computational Intelligence, 2022, Vol. 1015, pp. 376-387

3Antonov A., Stavinova E., Evmenova E., Chunaev P. Link predictability classes in large node-attributed networks//Social Network Analysis and Mining, 2022, Vol. 12, No. 1, pp. 81

4Bezbochina A., Stavinova E., Kovantsev A., Chunaev P. Dynamic Classification of Bank Clients by the Predictability of Their Transactional Behavior//Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 2022, Vol. 13350, pp. 502-515

5Shumkovskii P., Kovantsev, A., Stavinova, E., Chunaev, P. MetaSieve: Performance vs. Complexity Sieve for Time Series Forecasting//2022 IEEE International Conference on Data Mining Workshops (ICDMW), 2022, pp. 1-10

работе 6, написанной в соавторстве, выполнил программную реализацию моделей генерации синтетических временных рядов.

Структура и объем диссертации

Диссертация состоит из введения, четырых глав, заключения, списка литературы, включающего 105 источников, и перечня используемых сокращений, содержит 141 страницу текста, включая 44 рисунка и 10 таблиц. Во введении обосновывается актуальность выбранной тематики исследования, определяется степень ее разработанности и потенциала, определяются цели и задачи, предмет и объект исследования, а также основные положения, которые выносятся на защиту. В первой главе приводится аналитический обзор общих вопросов, связанных с прогнозированием временных рядов и особенностями временных рядов сложной природы, рассматриваются методы прогнозирования временных рядов на данных, методы априорной и апостериорной оценки качества прогноза, а также описывается мотивация исследования. Во второй главе описывается математическая постановка задачи определения предсказуемости, вводится необходимая для этого терминология. Рассматриваются различные варианты постановки задачи, исходя из искомого результата. Демонстрируются алгоритмы и особенности практической реализации разработанных для решения поставленных задач методов. В третьей главе описана математическая постановка и методы решения частных задач оптимизации (нахождение оптимального разложения / оптимизация зависящих друг от друга временных рядов) и генерации временных рядов сложной природы. В четвертой главе описаны результаты применения разработанных методов и алгоритмов для задач реального мира, а именно результаты решения таких прикладных задач как задачи на финансовых (транзакционных) данных, задачи, связанные с оптимизацией билетных программ, а также потребительского поведения. В заключении приведены основные результаты диссертационного исследования.

Заключение диссертации по теме «Другие cпециальности», Ставинова Елизавета Алексеевна

Заключение

В ходе выполнения диссертационной работы:

1) проанализированы и обоснованы требования к методам прогнозирования временных рядов сложной природы;

2) формализована постановка задачи оценки предсказуемости временных рядов сложной природы;

3) разработаны методы априорного контроля качества прогноза временных рядов сложной природы с помощью метрик предсказуемости, в том числе:

- метод определения наилучших данных для прогноза заданной моделью, позволяющий улучшить качество прогнозирования временных рядов за счет выделения высокопредсказуемых экземпляров данных (абсолютная разница составляет 0,19 в терминах площади под кривыми Precision-Recall для рядов транзакционной активности клиентов банка);

- метод определения наилучшей модели из заданных для прогноза каждого временного ряда из набора, позволяющий уменьшить вычислительную сложность поиска модели до 65% по сравнению с методом перебора при малой потере качества (0,38 п.п. sMAPE в случае синтетических рядов и 1,1 • 10-3 RMSE для финансово-экономических рядов реального мира);

4) разработаны алгоритмы генеративного дизайна и оптимизации временных рядов сложной природы;

5) спроектирован и разработан программный комплекс для прогнозирования, оптимизации и генеративного дизайна временных рядов сложной природы, имплементирующего разработанные методы и алгоритмы;

6) исследованы характеристики разработанных методов на основе численных экспериментов;

7) выполнена апробация разработанных методов и алгоритмов на практических задачах.

Результаты экспериментальных исследований показывают, что разработанные по результатам работы методы и алгоритмы демонстрируют гибкость и адаптивность, позволяющие применять их к широкому кругу реальных задач.

Основные результаты работы обсуждались на международных и всероссийских конференциях, семинарах, совещаниях и круглых столах, включая:

1) International Young Scientists Conference in Computational Science (YSC 2019, 2020, 2021, 2022);

2) IEEE International Conference on Data Mining Workshop (ICDMW 2021, 2022);

3) The International Conference on Computational Science (ICCS 2021, 2022);

4) The International Conference on Complex Networks and Their Applications (Complex Networks 2021);

5) The 16th International Conference on Computer Science and Information Technology (ICCSIT 2023);

6) Конгресс молодых ученых (КМУ 2019, 2021, 2023).

По материалам диссертационного исследования опубликована 14 печатных работ объёмом 166 печатных листов (вклад соискателя составляет 75 печатных листов), из них в рецензируемых научных журналах из перечня ВАК РФ и WoS/Scopus - 14, свидетельств о регистрации программ для ЭВМ - 6.

Список литературы диссертационного исследования кандидат наук Ставинова Елизавета Алексеевна, 2023 год

Литература

[1] Alaa Ahmed, Chan Alex James, van der Schaar Mihaela. Generative time-series modeling with fourier flows // International Conference on Learning Representations. — 2020.

[2] Andersen Erling D, Andersen Knud D. The mosek interior point optimizer for linear programming: an implementation of the homogeneous algorithm // High performance optimization. — Springer, 2000. — Cc. 197-232.

[3] Bahdanau Dzmitry, Cho Kyunghyun, Bengio Yoshua. Neural machine translation by jointly learning to align and translate // arXiv preprint arX-iv:1409.0473. — 2014.

[4] Baillie Richard T. Predictions from armax models // Journal of Econometrics. - 1980. - T. 12, № 3. - Cc. 365-374.

[5] Bandt Christoph, Pompe Bernd. Permutation entropy: a natural complexity measure for time series // Physical review letters. — 2002. T. 88. A'0 17. — С. 174102.

[6] Benevenuta Silvia, Fariselli Piero. On the upper bounds of the real-valued predictions // Bioinformatics and Biology Insights. — 2019. — T. 13. — C. 1177932219871263.

[7] Bertsimas Dimitris, Perakis Georgia. Dynamic pricing: A learning approach // Mathematical and computational models for congestion charging. — 2006. — Cc. 45-79.

[8] Bollerslev Tim. A conditionally heteroskedastic time series model for speculative prices and rates of return // The review of economics and statistics. — 1987. - Cc. 542-547.

[9] Bollerslev Tim,, Engle Robert F, Nelson Daniel B. Arch models // Handbook of econometrics. - 1994. - T. 4. - Cc. 2959-3038.

[10] Brooks Roger J, Tobias Andrew M. Choosing the best model: Level of detail, complexity, and model performance // Mathematical and computer modelling. - 1996. - T. 24, № 4. - Cc. 1-14.

[11] Chon Ki H, Cohen Richard J, Holstein-Rathlou Niels-Henrik Compact and accurate linear and nonlinear autoregressive moving average model parameter estimation using laguerre functions // Annals of biomedical engineering. — 1997. -T. 25. — Cc. 731-738.

[12] Clements Michael, Hendry David. Forecasting economic time series. — Cambridge University Press, 1998.

[13] The computational limits of deep learning / Neil C Thompson, Kristjan Greenewald, Keeheon Lee, Gabriel F Manso // arXiv preprint arXiv:2007.05558. — 2020.

[14] Costa Madalena, Goldberger Ary L, Peng C-K. Multiscale entropy analysis of complex physiologic time series // Physical, review letters. — 2002. — T. 89, № 6. -C. 068102.

[15] Croston John D. Forecasting and stock control for intermittent demands // Journal of the Operational Research Society. — 1972. — T. 23, № 3. — Cc. 289303.

[16] Day-ahead electricity price forecasting using the wavelet transform and arima models / Antonio J Conejo, Miguel A Plazas, Rosa Espinola, Ana B Molina // IEEE transactions on power systems. — 2005. — T. 20, № 2. — Cc. 1035-1042.

[17] Differential pricing strategies of high speed railway based on prospect theory: An empirical study from china / Jin Qin, Wenxuan Qu, Xuanke Wu, Yijia Zeng // Sustamability. - 2019. - T. 11, № 14. - C. 3804.

[18] Ding Jie, Tarokh, Vahid, Yang Yuhong. Model selection techniques: An overview // IEEE Signal Processing Magazine. — 2018. — T. 35, № 6. — Cc. 16-34.

[19] Drossu Radu, Obradovic Zoran. Regime signaling techniques for non-stationary time series forecasting // Proceedings of the Thirtieth Hawaii International Conference on System Sciences / IEEE. — T. 5. — 1997. — Cc. 530-538.

[20] Durbin James, Koopman Siem Jan, Time series analysis by state space methods. - OUP Oxford, 2012. - T. 38.

[21] Durlauf Steven N, Phillips Peter CB. Trends versus random walks in time series analysis // Econometriea: Journal of the Econometric Society. — 1988. — Cc. 1333-1354.

[22] Dynamic classification of bank clients by the predictability of their transactional behavior / Alexandra Bezbochina, Elizaveta Stavinova, Anton Kovant-sev, Petr Chunaev // International Conference on Computational Science / Springer. - 2022. - Cc. 502-515.

[23] Dynamic pricing for the open online ticket system: A surrogate modeling approach / Elizaveta Stavinova, Ilyas Varshavskiy, Petr Chunaev et al. // Smart Cities. - 2023. - T. 6, № 3. - Cc. 1303-1324.

[24] Econophysics review: I. empirical facts / Anirban Chakraborti, Ioane Muni Toke, Marco Patriarca, Frédéric Abergel // Quantitative Finance. — 2011. — T. 11, № 7.-Cc. 991-1012.

[25] Efron Bradley. Bootstrap methods: another look at the jackknife // Breakthroughs in statistics: Methodology and distribution.^ Springer, 1992. — Cc. 569-593.

[26] Ensemble deep learning for regression and time series forecasting / Xue-heng Qiu, Le Zhang, Ye Ren et al. // 2014 IEEE symposium on computational intelligence in ensemble learning (CIEL) / IEEE. — 2014. — Cc. 1-6.

[27] A feature subset selection algorithm automatic recommendation method / Guangtao Wang, Qinbao Song, Heli Sun et al. // Journal of Artificial Intelligence Research. — 2013. — T. 47. — Cc. 1-34.

[28] Features selection procedure for prognostics: An approach based on predictability / Kamran Javed, Rafael Gouriveau, Ryad Zemouri, Noureddine Zerhouni // IFAC Proceedings Volumes. - 2012. - T. 45, № 20. - Cc. 25-30.

[29] Ferreira Marco Antonio Rosa, Lee Herbert KH. Multiscale modeling: a Bayesian perspective. — Springer, 2007. — T. 2.

[30] Forecasting of preprocessed daily solar radiation time series using neural networks / Christophe Paoli, Cyril Voyant, Marc Muselli, Marie-Laure Nivet // Solar energy. - 2010. - T. 84, № 12. - Cc. 2146-2160.

[31] Garland Joshua, James Ryan, Bradley Elizabeth. Model-free quantification of time-series predictability // Physical, Review E. — 2014. T. 90. A'0 5. — C. 052910.

[32] Geman Stuart, Bienenstock Elie, Doursat René. Neural networks and the bias/variance dilemma // Neural computation. — 1992. — T. 4, № 1. — Cc. 1-58.

[33] Gers Felix A, Schraudolph Nicol N, Schmidhuber Jiirgen Learning precise timing with lstm recurrent networks // Journal of machine learning research. — 2002. - T. 3, № Aug. - Cc. 115-143.

[34] Goerg Georg. Forecastable component analysis // International conference on machine learning / PMLR. - 2013. - Cc. 64-72.

[35] Granger Clive, Newbold Paul Forecasting economic time series: Tech. rep.: Elsevier, 1986.

[36] Granger Clive William John, Ap Andersen. An introduction to bilinear time series models. — 1978.

[37] Gt-gan: General purpose time series synthesis with generative adversarial networks / Jinsung Jeon, Jeonghak Kim, Haryong Song et al. // Advances in Neural Information Processing Systems. — 2022. — T. 35. — Cc. 36999-37010.

[38] Hansun Seng. A new approach of moving average method in time series analysis // 2013 conference on new media studies (CoNMedia) / IEEE. — 2013. — Cc. 1-4.

[39] Heterogeneous time series learning for crisis monitoring / William H Hsu, Nathan D Gettings, Victoria E Lease et al. // Proceedings of the International Workshop on Multistrategy Learning (MSL-98), Milan, Italy / Citeseer. — 1998. ^Cc. 53-91.

[40] Hochreiter Sepp, Schmidhuber J Urgen Long short-term memory / / Neural computation. - 1997. - T. 9, № 8. - Cc. 1735-1780.

[41] Hopfield John J. Neurons with graded response have collective computational properties like those of two-state neurons. // Proceedings of the national academy of sciences. - 1984. - T. 81, № 10. - Cc. 3088-3092.

[42] Hyndman Rob J, Athanasopoulos George. Forecasting: principles and practice. - OTexts, 2018.

[43] Improving data-driven prognostics by assessing predictability of features. / Kamran Javed, Rafael Gouriveau, Ryad Zemouri, Noureddine Zerhouni // Proceedings of the Annual Conference of the Prognostics and Health Management Society, PHM'll.- 2011.- Cc. 555-560.

[44] The intrinsic predictability of ecological time series and its potential to guide forecasting / Frank Pennekamp, Alison C lies, Joshua Garland et al. // Ecological Monographs. - 2019. - T. 89, № 2. - C. e01359.

[45] Juang Biing Hwang, Rabiner Laurence R. Hidden markov models for speech recognition // Technometrics. - 1991. - T. 33, № 3. - Cc. 251-272.

[46] Juban Jeremie, Fugon Lionel, Kariniotakis Georges. Probabilistic short-term wind power forecasting based on kernel density estimators // European Wind Energy Conference and exhibition, EWEC 2007. — 2007. — Cc. http-ewec2007proceedings.

[47] Kaboudan MA. A measure of time series' predictability using genetic programming applied to stock returns // Journal of Forecasting. — 1999. — T. 18, № 5. - Cc. 345-357.

[48] Kaeck Andreas, Rodrigues Paulo, Seeger Norman J. Model complexity and out-of-sample performance: Evidence from s&p 500 index returns // Journal of Economic Dynamics and Control. — 2018. — T. 90. — Cc. 1-29.

[49] Killick Rebecca, Fearnhead Paul, Eckley Idris A. Optimal detection of change-points with a linear computational cost // Journal of the American Statistical Association. - 2012. - T. 107, № 500. - Cc. 1590-1598.

[50] Kovantsev Anton, Chunaev Petr, Bochenina Klavdiya. Evaluating time series predictability via transition graph analysis // 2021 International conference on data mining workshops (ICDMW) / IEEE. — 2021. — Cc. 1039-1046.

[51] Kovantsev Anton, Gladilin Peter. Analysis of multivariate time series predictability based on their features // 2020 International conference on data mining workshops (ICDMW) / IEEE. - 2020. - Cc. 348-355.

[52] Kureyehiek VM, Kaplunov TG. Time series forecasting method based on genetic algorithm for predicting the conditions of technical systems // Journal of Physics: Conference Series / IOP Publishing. - T. 1333. - 2019. - C. 032046.

[53] Learning to optimize in swarms / Yue Cao, Tianlong Chen, Zhangyang Wang, Yang Shen // Advances in neural information processing systems. — 2019. — T. 32.

[54] Libal Urszula, Johansson Karl H. Yule-walker equations using higher order statistics for nonlinear autoregressive model // 2019 Signal Processing Symposium (SPSympo) / IEEE. — 2019. — Cc. 227-231.

[55] Lim Bryan, Zohren Stefan. Time-series forecasting with deep learning: a survey // Philosophical Transactions of the Royal Society A — 2021.— T. 379, ..V" 2194. - C. 20200209.

[56] Limits of predictability in human mobility / Chaoming Song, Zehui Qu, Nicholas Blumm, Albert-Laszlo Barabasi // Science. — 2010. — T. 327, № 5968.-Cc. 1018-1021.

[57] Link predictability classes in complex networks / Elizaveta Stavinova, Elizaveta Evmenova, Andrey Antonov, Petr Chunaev // Complex Networks & Their Applications X: Volume 1, Proceedings of the Tenth International Conference on Complex Networks and Their Applications COMPLEX NETWORKS 2021 10 / Springer. - 2022. - Cc. 376-387.

[58] Link predictability classes in large node-attributed networks / Andrey Antonov, Elizaveta Stavinova, Elizaveta Evmenova, Petr Chunaev // Social Network Analysis and Mining. — 2022. — T. 12, № 1. — C. 81.

[59] A literature survey and empirical study of meta-learning for classifier selection / Irfan Khan, Xianchao Zhang, Mobashar Rehman, Rahman Ali // IEEE Access. - 2020. - T. 8. - Cc. 10262-10281.

[60] Lytkin Yuriy, Stavinova Elizaveta. The mathematically best way to spend your money: an algorithm for optimising the cashback profit // Procedia Computer Science. - 2021. - T. 193. - Cc. 343-350.

[61] Masters Timothy. Neural, novel and hybrid algorithms for time series prediction. — John Wiley & Sons, Inc., 1995.

[62] Measuring complexity and predictability of time series with flexible multiscale entropy for sensor networks / Renjie Zhou, Chen Yang, Jian Wan et al. // Sensors. - 2017. - T. 17, № 4. - C. 787.

[63] Metasieve: Performance vs. complexity sieve for time series forecasting / Pavel Shumkovskii, Anton Kovantsev, Elizaveta Stavinova, Petr Chunaev // 2022 IEEE International Conference on Data Mining Workshops (ICDMW) / IEEE. _ 2022. — Cc. 1-10.

[64] Modeling heterogeneous time series dynamics to profile big sensor data m complex physical systems / Bin Liu, Haifeng Chen, Abhishek Sharma et al. // 2013 IEEE International Conference on Big Data / IEEE. — 2013. — Cc. 631— 638.

[65] A modern take on the bias-variance tradeoff in neural networks / Brady Neal, Sarthak Mittal, Aristide Baratin et al. // arXiv preprint arXiv:1810.08591. — 2018.

[66] Multi-horizon time series forecasting with temporal attention learning / Cheny-ou Fan, Yuze Zhang, Yi Pan et al. // Proceedings of the 25th ACM SIGKDD International conference on knowledge discovery & data mining. — 2019. — Cc. 2527-2535.

[67] Multi-scale and hidden resolution time series models / Marco AR Ferreira, David M Higdon, Herbert KH Lee, Mike West // Bayesian Anal. — 2006.

[68] Multiscale transforms for filtering financial data streams / G Zheng, JL Star-ck, JG Campbell, F Murtagh // Journal of Computational Intelligence in Finance. - 1999. - T. 7, № 18-35.

[69] A natural upper bound to the accuracy of predicting protein stability changes upon mutations / Ludovica Montanucci, Pier Luigi Martelli, Nir Ben-Tal, Piero Fariselli // Bioinformatics. - 2019. - T. 35, № 9. - Cc. 1513-1517.

[70] Oblique random forest ensemble via least square estimation for time series forecasting / Xueheng Qiu, Le Zhang, Ponnuthurai Nagaratnam Suganthan, Gehan AJ Amaratunga // Information Sciences. — 2017. — T. 420. — Cc. 249 262.

[71] Paliari Iliana, Karanikola Aikaterini, Kotsiantis Sotiris. A comparison of the optimized lstm, xgboost and arima in time series forecasting // 2021 12th International Conference on Information, Intelligence, Systems & Applications (USA) / IEEE. — 2021. — Cc. 1-7.

[72] Precision as a measure of predictability of missing links in real networks / Guillermo Garcia-Perez, Roya Aliakbarisani, Abdorasoul Ghasemi, M Ángeles Serrano // Physical Review E. - 2020. - T. 101, № 5. - C. 052318.

[73] Prusskiy Dmitriy, Kovantsev Anton, Chunaev Petr. Dynamic transition graph for estimating the predictability of financial and economical processes // International Conference on Complex Networks and Their Applications / Springer. - 2022. - Cc. 478-489.

[74] Quant gans: deep generation of financial time series / Magnus Wiese, Robert Knobloch, Ralf Korn, Peter Kretschmer // Quantitative Finance. — 2020. - T. 20, № 9. - Cc. 1419-1440.

[75] Raschka Sebastian. Model evaluation, model selection, and algorithm selection in machine learning // arXiv preprint arXiv.l81L12808. — 2018.

[76] Reconciling modern machine-learning practice and the classical bias-variance trade-off / Mikhail Belkin, Daniel Hsu, Siyuan Ma, Soumik Mandal // Proceedings of the National Academy of Sciences. — 2019.^ T. 116, № 32.^ Cc. 15849-15854.

[77] Richman Joshua S, Moorman J Randall. Physiological time-series analysis using approximate entropy and sample entropy // American Journal of Physiology-Heart and Circulatory Physiology. — 2000.

[78] Richthofer Stefan, Wiskott Laurenz. Predictable feature analysis // 2015 IEEE 14th international conference on machine learning and applications (ICMLA) / IEEE. - 2015. - Cc. 190-196.

[79] Sagheer Alaa, Kotb Mostafa. Time series forecasting of petroleum production using deep lstm recurrent networks // Neurocomputing. — 2019. — T. 323. — Cc. 203-213.

[80] Schuster Mike, Paliwal Kuldip K. Bidirectional recurrent neural networks // IEEE transactions on Signal Processing. — 1997. T. 45. 11. — Cc. 26732681.

[81] Stavinova Elizaveta, Bochenina Klavdiya. Forecasting of foreign trips by transactional data: a comparative study // Procedia Computer Science. — 2019. — T. 156. - Cc. 225-234.

[82] Stavinova Elizaveta, Bochenina Klavdiya, Chunaev Petr. Predictability classes for forecasting clients behavior by transactional data // International Conference on Computational Science / Springer. — 2021. — Cc. 187-199.

[83] Stavinova Elizaveta, Chunaev Petr, Bochenina Klavdiya. Forecasting railway ticket dynamic price with google trends open data // Procedia Computer Science. - 2021. - T. 193. - Cc. 333-342.

[84] Stone Mervyn. Cross-validatory choice and assessment of statistical predictions // Journal of the royal statistical society: Series B (Methodological).— 1974. T. 36. ..V" 2. — Cc. 111-133.

[85] Storn Rainer, Price Kenneth. Differential evolution-a simple and efficient heuristic for global optimization over continuous spaces // Journal of global optimization. — 1997. — T. 11. — Cc. 341-359.

[86] Time series analysis: forecasting and control / George EP Box, Gwilym M Jenkins, Gregory C Reinsel, Greta M Ljung. — John Wiley & Sons, 2015.

[87] Time series analysis using composite multiscale entropy / Shuen-De Wu, Chiu-Wen Wu, Shiou-Gwo Lin et al. // Entropy. - 2013. - T. 15, № 3. - Ce. 10691084.

[88] Tong Howell. Threshold models in non-linear time series analysis. — Springer Science & Business Media, 2012. — T. 21.

[89] Vapnik Vladimir. The nature of statistical learning theory. — Springer science & business media, 1999.

[90] Vecchia AV. Periodic autoregressive-moving average (parma) modeling with applications to water resources 1 // JAWRA Journal of the American Water Resources Association. - 1985. - T. 21, № 5. - Cc. 721-730.

[91] Wavelet entropy-based evaluation of intrinsic predictability of time series / Ravi Kumar Guntu, Pavan Kumar Yeditha, Maheswaran Rathinasamy et al. // Chaos: An Interdisciplinary Journal of Nonlinear Science — 2020. — T. 30, № 3.

[92] Wavenet: A generative model for raw audio / Aaron van den Oord, Sander Dieleman, Heiga Zen et al. // arXiv preprint arXiv:1609.034 99. — 2016.

[93] Weghenkel Björn, Fischer Asja, Wiskott Laurenz Graph-based predictable feature analysis // Machine Learning. — 2017. — T. 106. — Cc. 1359-1380.

[94] Weighted-permutation entropy: A complexity measure for time series incorporating amplitude information / Bilal Fadlallah, Badong Chen, Andreas Keil, José Principe // Physical Review E. - 2013. - T. 87, № 2. - C. 022911.

[95] Wilinski Antoni. Time series modeling and forecasting based on a markov chain with changing transition matrices // Expert Systems with Applications. — 2019. — T. 133. — Cc. 163-172.

[96] Wiskott Laurenz, Sejnowski Terrence J. Slow feature analysis: Unsupervised learning of invariances // Neural computation. — 2002.^ T. 14, № 4.— Cc. 715-770.

[97] Xu Xiaojie, Hung Pi-Fang, Ye Yinyu. A simplified homogeneous and self-dual linear programming algorithm and its implementation // Annals of Operations Research. - 1996. - T. 62, № 1. - Cc. 151-171.

[98] Yang Jing-fei Application of svm to power system short-term load forecast // Power Syst. Autom. Equip. Chin2004. - T. 24, № 4. - Cc. 30-32.

[99] Yang Li, Shami Abdallah. On hyperparameter optimization of machine learning algorithms: Theory and practice // Neurocomputing. — 2020.^ T. 415. Cc. 295-316.

[100] Yoon Jinsung, Jarrett Daniel, Van der Schaar Mihaela. Time-series generative adversarial networks // Advances in neural information processing systems. — 2019. — T. 32.

[101] Zakharov Kirill, Stavinova Elizaveta, Boukhanovsky Alexander. Synthetic financial time series generation with regime clustering (in print) // Journal of Advances in Information Technology. — 2023.

[102] Zheng Jinzi, Liu Jun et a,I. The research on ticket fare optimization for china's high-speed train // Mathematical Problems in Engineering. — 2016. — T. 2016.

[103] Руководство по морским гидрологическим проточим. СПб: Гидрометеоиздат, 1994.

[104] Серяков Евгений Ильич. Долгосрочные прогнозы тепловых процессов в Северной Атлантике. — Гидрометеоиздат, 1979.

[105] Тихонов ЭЕ. Прогнозирование в условиях рынка. — Невинномысск, 2006.

[106] Вайповский П.А., Густоев Д.В. Статистическое прогнозирование гидрометеорологических временных рядов / Ed. by профессор РГГМУ В.Н. Малинин д.г.н. — СПб. РГГМУ, 2019.