Композитные методы автоматического машинного обучения для моделей временных рядов тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Ревин Илья Евгеньевич

• Ревин Илья Евгеньевич
• кандидат наук
• 2024

Оглавление диссертации кандидат наук Ревин Илья Евгеньевич

ОГЛАВЛЕНИЕ

РЕФЕРАТ

SYNOPSIS

ВВЕДЕНИЕ

1 ПОДХОДЫ К РЕШЕНИЮ ЗАДАЧ НА ДАННЫХ, ПРЕДСТАВЛЕННЫХ ВРЕМЕННЫМИ РЯДАМИ, С ПОМОЩЬЮ МЕТОДОВ

МАШИННОГО ОБУЧЕНИЯ

1.1 Виды задач на данных, представленных временными рядами

1.2 Подходы к построению моделей для решения задач на данных, представленных временными рядами

1.3 Подходы к автоматизации построения моделей машинного обучения для решения задач на данных, представленных временными рядами

1.4 Методы построения композитных моделей машинного обучения

1.5 Выводы к главе

2 МЕТОД И РЕАЛИЗУЮЩИЕ ЕГО АЛГОРИТМЫ АВТОМАТИЧЕСКОГО ПОСТРОЕНИЯ ПРИЗНАКОВЫХ ОПИСАНИЙ ВРЕМЕННОГО РЯДА

2.1 Метод автоматического построения признакового описания временного ряда, используемый при создании композитных моделей машинного обучения

2.1.1. Алгоритм создания признакового пространства, описывающего временной ряд, на основании статистических признаков

2.1.2. Алгоритм создания признакового пространства, описывающего временной ряд, на основании частотных преобразований

2.1.3. Алгоритм создания признакового пространства, описывающего

временной ряд, на основании топологического преобразования

2.2 Алгоритм создания признакового пространства, описывающего временной ряд, на основании спектральных признаков

2.3 Алгоритм низкоранговой аппроксимации траекторной матрицы временного ряда

2.4 Экспериментальные исследования разработанного алгоритма низкоранговой аппроксимации траекторной матрицы временного ряда

2.5 Выводы к главе

3 МЕТОД АВТОМАТИЧЕСКОГО ПОСТРОЕНИЯ КОМПОЗИТНЫХ МОДЕЛЕЙ С АДАПТИВНЫМ ПОДБОРОМ ПРИЗНАКОВОГО ОПИСАНИЯ ВРЕМЕННОГО РЯДА

3.1 Автоматическое создание композитных моделей

машинного обучения

3.2 Постановка задачи построения признакового описания временного ряда с адаптивным подбором числа моделей

3.3 Метод автоматического построения композитных моделей на признаковом пространстве

3.4 Экспериментальные исследования разработанного метода для решения задачи прогнозирования временных рядов

3.5 Выводы к главе

4 ОЦЕНКА И ПРИЛОЖЕНИЕ МЕТОДА ПОСТРОЕНИЯ

КОМПОЗИТНЫХ МОДЕЛЕЙ

4.1 Оценка возможности применения при решения типовых задач моделирования связности временных рядов

4.2 Оценка возможности применения разработанного метода для решения

задачи классификации временных рядов

4.3 Оценка применимости разработанного метода для решения задачи прогнозирования временных рядов

4.4 Решение прикладных задач моделирования на данных

4.5 Выводы к главе

ЗАКЛЮЧЕНИЕ

СПИСОК ЛИТЕРАТУРЫ

ПРИЛОЖЕНИЕ А. СВИДЕТЕЛЬСТВА О РЕГИСТРАЦИИ

ПРОГРАММ ДЛЯ ЭВМ

ПРИЛОЖЕНИЕ Б. ТЕКСТЫ ПУБЛИКАЦИЙ

Введение диссертации (часть автореферата) на тему «Композитные методы автоматического машинного обучения для моделей временных рядов»

РЕФЕРАТ

Актуальность темы. В последние годы актуальной задачей является автоматизация процессов создания математических моделей основанных на данных и их программной реализации с помощью методов искусственного интеллекта. Для решения этой задачи развиваются технологии автоматического машинного обучения (далее AutoML), основанные на принципах эволюционной оптимизации, обучения с подкреплением и классических методах оптимизации. Эти технологии уже успешно применяются при создании систем корпоративного AutoML, например, в Альфа-банке или ЗАО "ЕВРАЗ ". Данное направление представлено, например, в работах научных школ, руководимых Nick Erickson и Alexander Shirkov (фреймворк AutoGluon). Композитные модели развиваются в мире научными школами Randal S. Olson и Jason H. Moore (фреймворк TPOT), а в РФ - научной школой А.В. Бухановского. Одной из ключевых проблем развития систем AutoML является ограниченность класса задач и типов данных, с которыми они могут взаимодействовать. По-видимому, разумным способом преодоления этой проблемы является переход к композитным моделям (КМ) с гетерогенной структурой, представленным в виде графов, в которых можно выделить функциональные блоки (модели и алгоритмы обработки данных), обрабатываемые в унифицированном виде. Такой подход позволяет структуре КМ иметь более одной атомарной модели, предназначенной для решения различных задач (классификация, регрессии, прогнозирование и т. д.), и использовать данные разных "модальностей" (текст, изображения, таблицы и т. д.). Однако сложность состоит в отсутствии единого подхода, позволяющего строить модель оптимальной структуры. Особенно это касается работы со связными данными, например, в форме временных рядов или случайных полей, поскольку наличие сложных взаимосвязей приводит к множеству потенциально возможных вариантов композитных моделей. Потому создание композитных методов автоматического машинного обучения для моделей временных рядов является актуальной задачей.

Объект исследования: многомерные временные ряды сложной1 природы и иные сводящиеся к ним структуры данных.

Предмет исследования: методы и алгоритмы автоматического построения композитных моделей МЬ на временных рядах для задач классификации, моделирования зависимостей и прогнозирования.

Цель исследования - повышение качества2 1 композитных моделей МЬ на временных рядах за счет совместной оптимизации признакового пространства и пространства структур моделей.

Для достижения указанной цели в рамках проведенного исследования поставлены и решены задачи:

1) обоснования направления исследований и разработок на основе анализа предметной области;

2) разработки метода и реализующих его алгоритмов автоматического построения признакового описания временных рядов, с адаптивным подбором количества моделей;

3) разработки метода А^оМЬ для построения КМ с помощью алгоритмов эволюционной оптимизации;

4) экспериментального исследования и оценки качества КМ, созданных разработанными методами, на бенчмарках;

5) возможности применения метода для прикладных задач моделирования на данных, в частности классификации данных мониторинга дефектов в роторе асинхронных двигателей, применяемых в нефтяной и газовой промышленности.2

Методы и средства исследования. При решении задач исследования применялись методы машинного обучения и искусственного интеллекта, теории

1 Сложная природа может определяться нестационарностью общего вида, сочетанием непрерывных и дискретных элементов, неоднородностью, обусловленной нелинейным порождающим процессом, и др.

2 В соответствии с ГОСТ 59898-2021, метрики точности моделей ИИ (например, MAE, F1 и пр.) должны быть выше, чем у SOTA-решений, созданных вручную, при меньшем времени создания и обучения модели.

вероятностей и математической статистики, эволюционных вычислений и оптимизации, теории графов, разработки программного обеспечения.

Научная новизна работы: для временных рядов сложной природы впервые предложен комбинированный метод AutoML для решения задач классификации, восстановления зависимостей и прогнозирования на временных рядах, сочетающий построение признакового пространства посредством низкоранговой аппроксимации траекторной матрицы и генерацию оптимальной структуры КМ с помощью эволюционного алгоритма.

Теоретическая значимость исследования заключается в развитии перспективного подхода к AutoML, реализующего логику генеративного ИИ и потенциально расширяемого для обучения больших фундаментальных моделей в различных предметных отраслях.

Практическая значимость исследования заключается в создании программных комплексов для автоматического построения моделей на мультимодальных данных Fedot.Multimodal (свидетельство 2021666448 от 14.10.21) и автоматического машинного обучения для промышленных задач с элементами сильного ИИ в промышленности Fedot.Industrial (свидетельство 2022685782 от 27.12.22). Доступных по адресу https://github.com/aimclub/Fedot и https://github.com/aimclub/Fedot.Industrial имеющих 642 и 86 звезд соответственно.

На защиту выносятся:

1) метод автоматического построения признакового пространства с адаптивным подбором предназначенных для этого моделей и реализующие его алгоритмы, отличающиеся тем, что предложенная постановка задачи оптимизации для построения такого пространства обеспечивает более эффективное признаковое представление исходного временного ряда, что позволяет более точно решать поставленные задачи;

2) метод автоматического построения композитной модели с использованием эволюционной оптимизации и реализующие его алгоритмы,

отличающиеся тем, что объединение пространств поиска моделей, предназначенных для различных операций над данными в единое пространство искомых структур КМ, позволяет значительно ускорять процесс решения поставленных задач на временных рядах.

Содержание диссертации соответствует паспорту специальности 1.2.1 «Искусственный интеллект и машинное обучение», п. 7 - "Разработка специализированного математического, алгоритмического и программного обеспечения систем искусственного интеллекта и машинного обучения. Методы и средства взаимодействия систем искусственного интеллекта с другими системами и человеком-оператором".

Степень достоверности и апробации результатов. Достоверность научных положений и выводов, полученных в диссертационной работе, подтверждается экспериментальными исследованиями, их соответствием аналогичным результатам, полученным ранее в данной предметной области, успешным представлением основных положений в докладах на международных и российских конференциях, а также публикациями в рецензируемых изданиях.

Основные результаты работы докладывались и обсуждались на следующих конференциях: IEEE Congress on Evolutionary Computation, 2021; 12th International Young Scientists Conference in Computational Science (YSC'2023).

Публикации. Основное содержание диссертации опубликовано в 9 статьях, из них 9 публикаций в изданиях, рецензируемых Web of Science или Scopus. Кроме того, по теме диссертационной работы зарегистрировано 5 охранных документов на результаты интеллектуальной деятельности.

Внедрение результатов работы. Отдельные результаты диссертационной работы использовались при выполнении НИР «Методы и алгоритмы устойчивого получения и анализа моделей композитного ИИ» (номер государственной регистрации 14028), НИР «Технологии сильного искусственного интеллекта в промышленности» (номер государственной регистрации 321315), НИР «Методы и

алгоритмы генерации моделей композитного ИИ с учётом априорных знаний предметной области» (номер государственной регистрации 12282); внедрены в рамках деятельности ООО "ИТМО.ИСКИН" в работу таких предприятий, как ООО "ЛАВЕ", ООО "Лиман-трейд", ЗАО "Полинформ"

Личный вклад автора. Автор разработал эволюционные методы автоматического машинного обучения позволяющие выполнять анализ структурной чувствительности для композитных моделей [1, 5, 6]; использовал один из предложенных методов для разработки композитной модели, которая является частью диагностической методики выявления неисправностей в подшипниках асинхронного двигателя [2]. В работе [3] автор разработал автоматический подход к созданию композитных моделей классификации временных рядов с использованием эволюционной оптимизации, обеспечивающий повышение точности и производительности моделей, что позволяет более эффективно решать задачи на временных рядах в разных областях. В исследовании [7] автор занимался разработкой моделей связанных с краткосрочным прогнозирований наводнений реки Лена с использованием композитных моделей и автоматического машинного обучения. Результаты исследования демонстрируют, как такие подходы могут повысить точность прогнозов и помочь в управлении водными ресурсами и снижении рисков. Разработаны архитектуры программных комплексов [1, 3, 4] обеспечивающего автоматическое построение КМ для данных, представленных как временными рядами, так и в виде данных других модальностей.

Структура и объем диссертации. Диссертация состоит из введения, четырех глав и заключения. Полный объем диссертации 166 страниц текста с 31 рисунком и 17 таблицами. Список литературы содержит 93 наименования.

Заключение диссертации по теме «Другие cпециальности», Ревин Илья Евгеньевич

ЗАКЛЮЧЕНИЕ

В рамках диссертационного исследования решены следующие задачи:

- обосновано направление исследований и разработок на основе анализа предметной области, выполненного на базе 90 публикаций

- разработаны метод и реализующие его алгоритмы автоматического построения признакового пространства, с адаптивным подбором моделей, предназначенных для этой задачи, включая алгоритм низкоранговой аппроксимации траекторной матрицы временного ряда;

- разработаны метод и реализующие его алгоритмы автоматического построения композитных моделей с помощью методов эволюционной оптимизации.

Экспериментальные исследования продемонстрировали ускорение в 4-15 раз процесса создания и обучения КМ машинного обучения на временных рядах. Наблюдаемые метрики качества, такие как RMSE, Fl-мера, SMAPE, превышают SOTA на 38-65 % (в зависимости от решаемой задачи). Полученные выводы свидетельствуют о достижении цели диссертационной работы.

Дальнейшее развитие результатов исследования может включать в себя развитие предложенных методов для «больших данных», экспериментальные исследования для проблемно-ориентированных коллекций данных важных прикладных областей, а также математические исследования предложенных методов в области статистики, топологии, функционального анализа и других областях, ориентированных на решение задач искусственного интеллекта и машинного обучения.

Список литературы диссертационного исследования кандидат наук Ревин Илья Евгеньевич, 2024 год

СПИСОК ЛИТЕРАТУРЫ

1. Господариков А.П., Ревин И.Е., Морозов К.В. Композитная модель анализа данных сейсмического мониторинга при ведении горных работ на примере Кукисвумчоррского месторождения АО «Апатит» = Composite model of seismic monitoring data analysis during mining operations on the example of the Kukisvumchorrskoye deposit of AO Apatit // Записки Горного института = Journal of Mining Institute -2023. - Т. 262. - С. 571-580

2. Abanda H., Mori U., Lozano J. A. A review on distance based time series classification // Data Mining and Knowledge Discovery. - 2019. - Vol. 33. - N 2. - P. 378412.

3. Bagnall A., Lines J., Bostrom A., Large J., Keogh E. The great time series classification bake off: a review and experimental evaluation of recent algorithmic advances // Data Mining and Knowledge Discovery. - 2017. - Vol. 31. - P. 606-660.

4. Bagnall A., Lines J., Bostrom A., Large J., Keogh E. The great time series classification bake off: a review and experimental evaluation of recent algorithmic advances // Data Mining and Knowledge Discovery. - 2017. - Т. 31. - №. 3. - С. 606-660.

5. Bagnall A., Lines J., Hills J., Bostrom A. Time-series classification with COTE: the collective of transformation-based ensembles // International Conference on Data Engineering, IEEE. - 2016. - P. 1548-1549.

6. Baydogan M. G., Runger G., Tuv E. A bag-of-features framework to classify time series // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2013. - Vol. 35. - N 11. - P. 2796-2802.

7. Benidis K., Bohlke-Schneider M., Flunkert V., Gasthaus J., Januschowski T. GluonTS: Probabilistic and Neural Time Series Modeling in Python // Journal of Machine Learning Research. - 2020. - Vol. 21. - N 116. - P. 1-6.

8. Benidis K., Rangapuram S. S., Flunkert V., Wang Y., Maddix D., Turkmen C., Gasthaus J., Bohlke-Schneider M., Salinas D., Stella L. Deep learning for time series forecasting: Tutorial and literature survey // ACM Computing Surveys. - 2022. - Vol. 55. -N 6. - P. 1-36.

9. Caggarwal C. C., Hinneburg A., Keim D.A. On the surprising behavior of distance metrics in high dimensional space // Lecture Notes in Computer Science. - 2001. - N 1973.

- P. 420-451.

10. Campos-Taberner M., Meraner A., Vuolo F., et al. Understanding deep learning in land use classification based on Sentinel-2 time series // Scientific Reports. - 2020. - Vol. 10. - N 1.

11. Challu C., Flunkert V., Gasthaus J., et al. Nhits: Neural hierarchical interpolation for time series forecasting // Proceedings of the AAAI Conference on Artificial Intelligence.

- 2023. - Vol. 37. - N 6. - P. 6989-6997.

12. Chen Y., Keogh E., Hu B., Begum N., Bagnall A., Mueen A., Batista G. The UCR time series classification archive // 2015.

13. Chen Y., Keogh E., Hu B., Begum N., Bagnall A., Mueen A., Batista G. The UCR time series classification archive. — 2015.

14. Cheng D., Jiang K., Tong Y., et al. Financial time series forecasting with multi-modality graph neural network // Pattern Recognition. - 2022. - Vol. 121. - P. 108218.

15. Ciaburro G., Iannace G. Machine learning-based algorithms to knowledge extraction from time series data: A review // Data. - 2021. - Vol. 6. - N 6. - P. 55.

16. Cortes C., Vapnik V. Support-vector networks // Machine Learning. - 1995. - Vol. 20. - P. 273-297.

17. Dau H. A., Bagnall A., Kamgar K., Yeh C.-C. M., Zhu Y., Gharghabi S., Ratanamahatana C. A., Keogh E. The ucr time series archive // IEEE/CAA Journal of Automatica Sinica. - 2019. - Vol. 6. - N 6. - P. 1293-1305.

18. Deep learning for time series classification and extrinsic regression: A current survey / N. M. Foumani, L. Miller, C. W. Tan, G. I. Webb, G. Forestier, and M. Salehi // ACM Computing Surveys. — 2023.

19. Deep Learning for Time Series Classification and Extrinsic Regression: A Current Survey / Navid MF, Lynn M. Tan, G.I. Webb // ACM Comput. Surv. — 2024. — Vol. 56. — N 9. — P. 217.

20. Dempster A., Petitjean F., Webb G. I. Rocket: exceptionally fast and accurate time series classification using random convolutional kernels // Data Mining and Knowledge Discovery. - 2020. - Vol. 34. - N 5. - P. 1454-1495.

21. Deng H., Runger G., Tuv E., Vladimir M. A time series forest for classification and feature extraction // Information Sciences. - 2013. - Vol. 239. - P. 142-153.

22. Detection of doh tunnels using time-series classification of encrypted traffic / MontazeriShatoori M. et al. // 2020 IEEE Intl Conf on Dependable, Autonomic and Secure Computing, Intl Conf on Pervasive Intelligence and Computing, Intl Conf on Cloud and Big Data Computing, Intl Conf on Cyber Science and Technology Congress (DASC/PiCom/CBDCom/CyberSciTech). — IEEE. — 2020. — P. 63-70.

23. Efficient Similarity Search In Sequence Databases / Rakesh Agrawal, Christos Faloutsos, and Arun N. Swami // Proceedings of the 4th International Conference of Foundations of Data Organization and Algorithms (FODO). — Chicago, Illinois. — Springer Verlag. — 1993. — P. 69-84.

24. Ensafi Y., Behmanesh A., Ghaemi R., et al. Time-series forecasting of seasonal items sales using machine learning - A comparative analysis // International Journal of Information Management Data Insights. - 2022. - Vol. 2. - N 1. - P. 100058

25. Faouzi J., Janati H. pyts: A python package for time series classification // Journal of Machine Learning Research. - 2020. - Vol. 21. - N 46. - P. 1-6.

26. Farahani M. A., Azadeh A., Sabri M. Time-series classification in smart manufacturing systems: An experimental evaluation of state-of-the-art machine learning

algorithms // Robotics and Computer-Integrated Manufacturing. - 2025. - Vol. 91. - P. 102839.

27. Friedman J. H. Greedy function approximation: A gradient boosting machine // Annals of Statistics. - 2001. - Vol. 29. - N 5. - P. 1189-1232.

28. Gamboa J. C. B. Deep learning for time-series analysis // arXiv preprint arXiv:1701.01887. - 2017.

29. Graubner, K, J. Pathak, M. Mardani, M. Pritchard, K. Kashinath, A. Anandkumar. Calibration of large neural weather models // NeurIPS. Workshop on Tackling Climate Change with Machine Learning. - 2022.

30. Harvey D., Leybourne S., Newbold P. Testing the equality of prediction mean squared errors // International Journal of Forecasting. - 1997. - Vol. 13. - N 2. - P. 281291.

31. Higgins I., Matthey L., Pal A., Burgess C., Glorot X., Botvinick M., Mohamed S., Lerchner A. beta-vae: Learning basic visual concepts with a constrained variational framework // International Conference on Learning Representations. - 2016.

32. Hills J., Lines J., Baranauskas E., Mapp J., Bagnall A. Classification of time series by shapelet transformation // Data Mining Knowledge Discovery. - 2014. - Vol. 28. - N 4.

- P. 851-881.

33. Hinton G., Deng L., Yu D., Dahl G. E., Mohamed A. R., Jaitly N., Senior A., Vanhoucke V., Nguyen P., Sainath T. N., Kingsbury B. Deep neural networks for acoustic modeling in speech recognition: the shared views of four research groups // IEEE Signal Process Mag. - 2012. - Vol. 29. - N 6. - P. 82-97.

34. Hochreiter S., Schmidhuber J. Long Short-term Memory // Neural Computation.

- 1997. - Vol. 9. - P. 1735-80.

35. Ismail Fawaz H., Lucas B., Forestier G., Pelletier C., Schmidt D. F., Weber J., Webb G. I., Idoumghar L., Muller P.-A., Petitjean F. Inceptiontime: Finding alexnet for time

series classification // Data Mining and Knowledge Discovery. - 2020. - Vol. 34. - N 6. -P. 1936-1962.

36. Isolating Sources of Disentanglement in Variational Autoencoders / Ricky T. Q. Chen, Xuechen Li, Roger B Grosse, and David K Duvenaud // Advances in Neural Information Processing Systems. — 2018. — Vol. 31.

37. Iwana B. K., Uchida S. An empirical survey of data augmentation for time series classification with neural networks // PLOS ONE. - 2021. - Vol. 16. - N 7. - P. e0254841.

38. Jadon A., Patil A., Jadon S. A comprehensive survey of regression-based loss functions for time series forecasting // International Conference on Data Management, Analytics & Innovation. - Singapore Springer Nature Singapore. - 2024. - P. 117-147.

39. Kevin Beyer, Jonathan Goldstein, Raghu Ramakrishnan, and Uri Shaft. When is "nearest neighbor" meaningful? // Lecture Notes in Computer Science. - 1999. - Vol. 1540.

- P. 217-235.

40. Kien Do and Truyen Tran. Theory and Evaluation Metrics for Learning Disentangled Representations // arXiv: 1908.09961. - March 2021.

41. Klindt D., Schott L., Sharma Y., Ustyuzhaninov I., Brendel W., Bethge M., Paiton D. Towards nonlinear disentanglement in natural data with temporal sparse coding // arXiv preprint arXiv:2007.10930. - 2020.

42. L. Jokin, Z. Ekhi, and D. C. Xabier. Contrastive explanations for a deep learning model on time-series data // Springer. - 2020. - T. 12393.

43. LeCun Y, Bengio Y, Hinton G. Deep learning // Nature. - 2015. - Vol. 521. - P. 436-444.

44. Lee Z., Lindgren T., Papapetrou P. Z-time: efficient and effective interpretable multivariate time series classification // Data Mining and Knowledge Discovery. — 2024.

— Vol. 38(1). — P. 206-236.

45. Lim B, Zohren S. Time-series forecasting with deep learning: a survey // Phil. Trans. R. Soc. - 2021.

46. Lines A., Taylor S., Alexandrov A., Benidis K., Bohlke-Schneider M., Flunkert V., Gasthaus J., Januschowski T., Maddix D. C., Rangapuram S., Salinas D., Schulz J., Stella L., Turkmen A. C., Wang Y. Conference on data mining (ICDM) // IEEE. - 2016. - P. 10411046.

47. Lines J, Bagnall A. Time series classification with ensembles of elastic distance measures // Data Mining Knowledge Discovery. - 2015. - Vol. 29. - N 3. - P. 565-592.

48. Lines J, Taylor S, Bagnall A. Time series classification with HIVE-COTE: the hierarchical vote collective of transformation-based ensembles // ACM Trans Knowl Discov Data. - 2018. - Vol. 12. - N 5. - P. 52:1-52:35.

49. Liu Y. et al. DSTP-RNN: A dual-stage two-phase attention-based recurrent neural network for long-term and multivariate time series prediction // Expert Systems with Applications. - 2020. - Vol. 143. - P. 113082.

50. Liu Y. et al. itransformer: Inverted transformers are effective for time series forecasting // arXiv preprint arXiv:2310.06625. - 2023.

51. Liu Y. et al. Non-stationary transformers: Exploring the stationarity in time series forecasting // Advances in Neural Information Processing Systems. - 2022. - Vol. 35. - P. 9881-9893.

52. Livieris I. E., Pintelas E., Pintelas P. A CNN-LSTM model for gold price time-series forecasting // Neural Computing and Applications. - 2020. - Vol. 32. - P. 1735117360.

53. M. Dai, J. Yuan, H. Liu, and J. Wang. Tscf: An improved deep forest model for time series classification // Neural Processing Letters. - 2024. - Vol. 56. - N 1. - P. 1-23.

54. M. Khashei and M. Bijari. A new class of hybrid models for time series forecasting // Expert Systems with Applications. - 2012. - Vol. 39. - N 4. - P. 4344-4357.

55. M. Kollovieh, A. F. Ansari, M. Bohlke-Schneider, J. Zschiegner, H. Wang, and Y. B. Wang. Predict, refine, synthesize: Self-guiding diffusion models for probabilistic time series forecasting // Advances in Neural Information Processing Systems. - 2024. - Vol. 36.

56. Machine learning advances for time series forecasting / Masini, R. P., Medeiros, M. C., & Mendes, E. F. // J. Econ. Surv. — 2023. — Vol. 37— P. 76-111.

57. Megha, S, Mittal N., Anukram Time-series forecasting of power consumption and feature extraction in agriculture sector using machine learning // International Journal of Power and Energy Systems. — 2023. — Vol. 43. — P. 1-11.

58. Monash University, UEA, UCR Time Series Regression Archive / Tan, CW, Bergmeir C., Petitjean, F. — 2020.

59. Neural network and fuzzy logic statistical downscaling of atmospheric circulation-type specific weather pattern for rainfall forecasting / M.C. Valverde, Ernesto Araujo, H. Campos Velho // Applied Soft Computing. - 2014. - Vol. 22.

60. Nikitin N., Pinchuk M., Pokrovskii V., Shevchenko P., Getmanov A., Aksenkin Y., Revin I., Stebenkov A., Poslavskaya E., Kalyuzhnaya A. Integration Of Evolutionary Automated Machine Learning With Structural Sensitivity Analysis For Composite Pipelines////Knowledge-Based Systems, Vol. 302, pp. 112363, 2023

61. Nikitin N.O., Revin I., Hvatov A., Vychuzhanin P., Kalyuzhnaya A.V. Hybrid and Automated Machine Learning Approaches for Oil Fields Development: the Case Study of Volve Field, North Sea//Computers and Geosciences, 2022, Vol. 161, pp. 105061

62. Nikitin N.O., Vychuzhanin P., Sarafanov M., Polonskaia I.S., Revin I., Barabanova I.V., Kaluzhnaya A.V., Boukhanovsky A. Automated Evolutionary Approach for the Design of Composite Machine Learning Pipelines//Future Generation Computer Systems, 2022, Vol. 127, pp. 109-125

63. Polonskaia I.S., Nikitin N.O., Revin I., Vychuzhanin P., Kaluzhnaya A.V. Multi-Objective Evolutionary Design of Composite Data-Driven Models//IEEE Congress on Evolutionary Computation, CEC 2021, 2021, pp. 926-933

64. Predictive Maintenance in IoT Devices Using Time Series Analysis and Deep Learning / Raparthy M., Dodda B // Dandao Xuebao/Journal of Ballistics. — 2022. — Vol. 35.— P. 01-10.

65. Quality detection and classification for ultrasonic welding of carbon fiber composites using time-series data and neural network methods / Sun L. et al. // Journal of Manufacturing Systems. — 2021. — Vol. 61.— P. 562-575.

66. Revin I., Balabanov N., Litvintseva A. Light-weight ensembling of deep neural models for object recognition in remote sensing data//Procedia Computer Science, 2023, Vol. 229, pp. 18-27

67. Revin I., Potemkin V., Balabanov N., Nikitin N.O. Automated machine learning approach for time series classification pipelines using evolutionary optimization//Knowledge-Based Systems, 2023, Vol. 268, pp. 110483

68. Roth K., Ibrahim M., Akata Z., Vincent P., Bouchacourt D. Disentanglement of Correlated Factors via Hausdorff Factorized Support // arXiv:2210.07347. - February 2023.

69. Sarafanov M.I., Borisova Y., Maslyaev M., Revin I., Maximov G., Nikitin N.O. Short-Term River Flood Forecasting Using Composite Models and Automated Machine Learning: The Case Study of Lena River//Water, 2021, Vol. 13, No. 24, pp. 3482

70. Singular spectrum analysis with R / N. Golyandina, A. Korobeynikov, and A. Zhigljavsky // Springer. — 2018. (rogaTantCTBo)

71. Tealab A. Time series forecasting using artificial neural networks methodologies: A systematic review // Future Computing and Informatics Journal. - 2018. - Vol. 3. - N 2. - P. 334-340.

72. The BOSS is concerned with time series classification in the presence of noise / Schäfer P. // Data Mining Knowledge Discovery. 2015. — Vol. 29. — N 6.-P. 15051530.

73. The great multivariate time series classification bake off: a review and experimental evaluation of recent algorithmic advances / Ruiz A. P. et al. // Data Mining and Knowledge Discovery. — 2021. — Vol. 35. — N 2.— P. 401-449.

74. Thirunavukarasu AJ et al. Clinical performance of automated machine learning: A systematic review // Ann Acad Med Singap. - 2024.

75. Time series analysis and forecast of the COVID-19 pandemic in India using genetic programming / Salgotra R., Gandomi M., Gandomi A. H. // Chaos, Solitons & Fractals. — 2020. — Vol. 138.— P. 109945.

76. Time Series Analysis and Forecasting with Automated Machine Learning on a National ICD-10 Database / Olsavszky V, Dosius M, Vladescu C, Benecke J // Int J Environ Res Public Health. — 2020.

77. Time series extrinsic regression: Predicting numeric values from time series data / Tan CW, Bergmeir C, Petitjean F, Webb GI // Data Min Knowl Discov. — 2021.

78. Wang J, Chen Y, Hao S, Peng X, Hu L Deep learning for sensor-based activity recognition: a survey // Pattern Recognition Letters. - 2018.(добавить номер и том)

79. Wang L. et al. Evaluation of a deep-learning model for multispectral remote sensing of land use and crop classification // The Crop Journal. - 2022. - Vol. 10. - N 5. -P. 1435-1451.

80. Woo G. et al. Etsformer: Exponential smoothing transformers for time-series forecasting // arXiv preprint arXiv:2202.01381. - 2022.

81. Wu Y.-L., Agrawal D., El Abbadi A. A comparison of DFT and DWT based similarity search in time-series databases // CIKM. — 2000. — P. 488-495.

82. X. Liu, F. Zhang, Z. Hou, L. Mian, Z. Wang, J. Zhang, and J. Tang. Self-supervised learning: Generative or contrastive // IEEE Transactions on Knowledge and Data Engineering. - 2023. - Vol. 35. - N 1. - P. 857-876.

83. XGBoost: A Scalable Tree Boosting System / T. Chen and C. Guestrin // Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. — 2016. — P. 785-794.

84. Xu X., Zhang Y. Individual time series and composite forecasting of the Chinese stock index // Machine Learning with Applications. — 2021. — Vol. 5. — P. 100035.

85. Yadav A., Jha C. K., Sharan A. Optimizing LSTM for time series prediction in Indian stock market // Procedia Computer Science. — 2020. — Vol. 167. — P. 2091-2100.

86. Yan Li, Xinjiang Lu, Yaqing Wang, Dejing Dou. Generative Time Series Forecasting with Diffusion, Denoise, and Disentanglement, January 2023. URL http://arxiv.org/abs/2301.03028. arXiv:2301.03028 cs.

87. Yang Q., Wu X. 10 challenging problems in data mining research // Information Technology and Decision Making. — 2006. — Vol. 5(04). — P. 597-604.

88. Yi, Xiao, Jin, Xiao, Wang Shouyang. A hybrid model for time series forecasting // Human Systems Management. — 2012. — Vol. 31. — P. 133-143.

89. Zhang P., Zhang G.P. Time Series Forecasting Using a Hybrid ARIMA and Neural Network Model // Neurocomputing. — 2003. — Vol. 50. — P. 159-175.

90. Zhang X. et al. Tapnet: Multivariate time series classification with attentional prototypical network // Proceedings of the AAAI Conference on Artificial Intelligence. — 2020. — Vol. 34. — N 04. — P. 6845-6852.

91. Zhang Y. et al. Multi-scale signed recurrence plot based time series classification using inception architectural networks // Pattern Recognition. — 2022. — Vol. 123. — P. 108385.

92. Zhang, J, Gui J. et al. A Survey on Self-supervised Learning: Algorithms, Applications, and Future Trends //IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2024.

93. Zhukovskiy Y., Buldysko A., Revin I. Induction Motor Bearing Fault Diagnosis Based on Singular Value Decomposition of the Stator Current//Energies, 2023, Vol. 16, No. 8, pp. 3303

ПУБЛИКАЦИИ АВТОРА ПО ТЕМЕ ДИССЕРТАЦИИ

Свидетельство о государственной регистрации программы для ЭВМ:

1. Свидетельство о государственной регистрации программы для ЭВМ № 2021666448 от 14.10.2021 " Программный комплекс для автоматического построения моделей на мультимодальных данных Fedot.Multimodal "

2. Свидетельство о государственной регистрации программы для ЭВМ № 20226859658 от 29.12.2022 " Программный комплекс создания композитных моделей компьютерного зрения LightObjRecEnsembler "

3. Свидетельство о государственной регистрации программы для ЭВМ № 2022685782 от 27.12.2022" Программный комплекс автоматического машинного обучения для промышленных задач с элементами сильного ИИ в промышленности Fedot.Industrial "

4. Свидетельство о государственной регистрации программы для ЭВМ № 22022685772 от 27.12.2022 " Программный комплекс OilFieldToolbox для предсказательного моделирования нефтяных месторождений "

5. Свидетельство о государственной регистрации программы для ЭВМ № 2022683545 от 05.12.2022" Программное обеспечение для предсказания обвалов в горных шахтах «RockBurst.AI» "

Публикации в изданиях, индексируемых в Scopus, Web of science, а также входящих в списки, рекомендованные ВАК:

1. Sarafanov M.I., Borisova Y., Maslyaev M., Revin I., Maximov G., Nikitin N.O. Short-Term River Flood Forecasting Using Composite Models and Automated Machine Learning: The Case Study of Lena River//Water, 2021, Vol. 13, No. 24, pp. 3482

2. Polonskaia I.S., Nikitin N.O., Revin I., Vychuzhanin P., Kaluzhnaya A.V. Multi-Objective Evolutionary Design of Composite Data-Driven Models//IEEE Congress on Evolutionary Computation, CEC 2021, 2021, pp. 926-933

3. Nikitin N.O., Revin I., Hvatov A., Vychuzhanin P., Kalyuzhnaya A.V. Hybrid and Automated Machine Learning Approaches for Oil Fields Development: the Case Study of Volve Field, North Sea//Computers and Geosciences, 2022, Vol. 161, pp. 105061

4. Nikitin N.O., Vychuzhanin P., Sarafanov M., Polonskaia I.S., Revin I., Barabanova I.V., Kaluzhnaya A.V., Boukhanovsky A. Automated Evolutionary Approach for the Design of Composite Machine Learning Pipelines//Future Generation Computer Systems, 2022, Vol. 127, pp. 109-125

5. Revin I., Potemkin V., Balabanov N., Nikitin N.O.Automated machine learning approach for time series classification pipelines using evolutionary optimization//Knowledge-Based Systems, 2023, Vol. 268, pp. 110483

6. Zhukovskiy Y., Buldysko A., Revin I. Induction Motor Bearing Fault Diagnosis Based on Singular Value Decomposition of the Stator Current//Energies, 2023, Vol. 16, No. 8, pp. 3303

7. Господариков А.П., Ревин И.Е., Морозов К.В. Композитная модель анализа данных сейсмического мониторинга при ведении горных работ на примере Кукисвумчоррского месторождения АО «Апатит» = Composite model of seismic monitoring data analysis during mining operations on the example of the Kukisvumchorrskoye deposit of AO Apatit // Записки Горного института = Journal of Mining Institute -2023. - Т. 262. - С. 571-580

8. Nikitin N., Pinchuk M., Pokrovskii V., Shevchenko P., Getmanov A., Aksenkin Y., Revin I., Stebenkov A., Poslavskaya E., Kalyuzhnaya A. Integration Of Evolutionary Automated Machine Learning With Structural Sensitivity Analysis For Composite Pipelines////Knowledge-Based Systems, Vol. 302, pp. 112363, 2023

9. Revin I., Balabanov N., Litvintseva A. Light-weight ensembling of deep neural models for object recognition in remote sensing data//Procedia Computer Science, 2023, Vol. 229, pp. 18-27