Методы и алгоритмы идентификации по данным физически обоснованных моделей в форме дифференциальных уравнений тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Масляев Михаил Александрович

• Масляев Михаил Александрович
• кандидат наук
• 2023

Оглавление диссертации кандидат наук Масляев Михаил Александрович

Оглавление

Стр.

Реферат

Synopsis

Введение

1. Современные методы получения структуры и коэффициентов моделей в виде дифференциальных уравнений

1.1 Оператор LASSO

1.2 Искусственные нейронные сети

1.3 Использование эволюционных алгоритмов

1.4 Прочие методы получения моделей динамических систем по данным

1.5 Выводы к главе

2. Метод машинного обучения модели в форме дифференциального уравнения

2.1 Постановка задачи обучения модели в форме дифференциального уравнения

2.2 Эволюционный алгоритм для обучения модели в форме дифференциального уравнения

2.3 Сходимость предложенного метода

2.3.1 Выбор функции приспособленности

2.3.2 Процедуры подготовки входных данных

2.3.3 Сходимость алгоритма эволюционной оптимизации

2.4 Выводы к главе

3. Метод для обучения модели в форме системы дифференциальных уравнений с использованием многокритериальной оптимизации

3.1 Общая постановка задачи многокритериальной оптимизации для

обучения модели в форме системы дифференциальных уравнений

3.2 Многокритериальный эволюционный алгоритм для обучения модели в форме системы дифференциальных уравнений

3.3 Выводы к главе

4. Валидация разработанных методов

4.1 Валидация однокритериального метода обучения модели в

форме дифференциального уравнения

4.1.1 Экспериментальное исследование метода обучения

модели в форме дифференциального уравнения

4.1.2 Синтетические наборы данных, заданные дифференциальными уравнениями в частных производных

4.1.3 Реальные данные: восстановление уравнения теплопроводности

4.2 Валидация многокритериального метода обучения модели в

форме системы дифференциальных уравнений

4.3 Выводы к главе

Заключение

Список сокращений и условных обозначений

Список литературы

Приложение А. ПРИЛОЖЕНИЕ А. СВИДЕТЕЛЬСТВА О

РЕГИСТРАЦИИ ПРОГРАММ ДЛЯ ЭВМ

Приложение Б. ПРИЛОЖЕНИЕ Б. ТЕКСТЫ ПУБЛИКАЦИЙ

Введение диссертации (часть автореферата) на тему «Методы и алгоритмы идентификации по данным физически обоснованных моделей в форме дифференциальных уравнений»

Реферат

Актуальность темы. В настоящее время в различных областях науки возникает запрос на методы машинного обучения, позволяющие получать компактные, но информационно-ёмкие модели. В частности решение задач на основе, явлений, описываемых в форме динамических систем, требует новых методов машинного обучения, т.к. подобные задачи являются традиционно сложными для существующих методов машинного обучения. Для построения моделей динамических систем традиционно применяют модели в форме дифференциальных уравнений, позволяющие не только анализировать текущее состояние динамической системы и предсказывать изменения в ней на некотором интервале, но и обобщать знание о ней - определять фундаментальные законы и описывать их в форме интерпретируемых математических моделей, в том числе в виде систем дифференциальных уравнений. Классические методы построения моделей динамических систем в форме дифференциальных уравнений и их систем основываются на использовании аппарата функционального анализа и принципов вариационного исчисления и законах сохранения, описывающих свойства исследуемого явления. Подобный подход помимо того, что имеет ограниченную применимость для неисследованных объектов, для которых не разработано аналитической модели, накладывает требования на квалификацию исследователя и степень владения математическим аппаратом. В случае, когда невозможно использовать классические методы (например, нет понимания о природе действующих на динамическую систему факторов), состояние системы всё ещё можно воспроизвести на основе массивов наблюдений, получив модель при помощи методов машинного обучения. Использование методов на данных, производящих обучение и поиск уравнений путём проб и ошибок, позволяет имитировать когнитивную деятельность специалиста в предметных областях, где используются модели на основе диффренциальных уравнений.

Использование уже существующих подходов, разработанных при решении обратных задач математической физики, и направления идентификации моделей динамических систем по данным, развивавшихся в рамках теории управления, допустимо лишь в случае, когда полностью известна информация о природе динамической системы, в частности аналитическая форма (хотя, возможно,

и с эмпирически подобранными параметрами) функционала действия или когда известна динамическая аналогия для задач теории управления. Описательные способности классических подходов ограничены, в том числе, количеством известных вариационных принципов и динамических аналогий, а значит и круг моделей, которые можно получить данными методами ограничен. Для современных методов определения структуры модели в виде дифференциальных уравнений по данным характерна повышенная гибкость и диапазон рассматриваемых структур моделей в виде дифференциальных уравнений (как обыкновенных, так и в частных производных) и их систем, однако необходимость задания значительного числа параметров в совокупности с набором ограничений к структуре искомого дифференциального уравнения приводят зачастую к задаче поиска в пространстве высокой размерности, содержащего все возможные структуры модели дифференциальных уравнений.

Высокая вычислительная сложность наивного подхода, в рамках которого рассматриваются все возможные структуры дифференциальных уравнений, составленных из ограниченного множества элементарных функций, для описания исследуемого процесса приводит к необходимости использования методов элиминации перебора. В задаче символьной регрессии, которая также подразумевает построение символьных моделей процессов, хотя и форме алгебраических выражений, распространенным подходом для сокращения пространства поиска являются генетические алгоритмы, оптимизирующие выражение как граф вычислений. При приложении генетических алгоритмов к задаче поиска структуры графа вычислений для дифференциальных уравнений оптимизация графа, соответствующего уравнению при отсутствии ограничений на структуру, приводит к переобучению, что в пространстве моделей соответствует громоздкому уравнению, которое не может быть проинтерпретировано экспертом. Задачу получения графа вычислений и его параметров (например, иногда удобно рассматривать узлы графа как параметризованные функции для снижения размерности задачи, а также удобно отдельно рассматривать числовые коэффициенты перед слагаемыми как параметры узла) назовём задачей обучения модели в форме дифференциальных уравнений. Данное исследование посвящено решению проблемы обучения по данным модели в форме дифференциальных уравнений с неизвестной структурой и неопределёнными коэффициентами, где искомая структура уравнения обучается при помощи алгоритма эволюцион-

ной оптимизации в пространстве элементарных операций (например, операций дифференцирования по заданной переменной), которое обладает меньшей размерностью, чем классическое пространство всевозможных слагаемых, при этом за счёт разработанного алгоритма оптимизации избегается переобучение структуры уравнения для возможности экспертной интерпретации процесса.

Объект исследования - модели машинного обучения в форме дифференциальных уравнений с неизвестной структурой и коэффициентами.

Предметом исследования являются методы обучения моделей в форме дифференциальных уравнений с неизвестной структурой и коэффициентами.

Целью работы является повышение качества 1 получения структуры и коэффициентов дифференциальных уравнений с помощью методов машинного обучения за счёт за счет использования эволюционного алгоритма с расширенным пространством поиска элементов структуры дифференциальных уравнений (которое состоит из комбинаций токенов - элементарных действий, например, операций дифференцирования до заданного порядка или функций от сетки) и применения физически-обоснованных нейронных сетей (PINN) для вычисления функции приспособленности модели.

Для достижения поставленной цели необходимо было решить следующие задачи:

1. Обосновать требования и направление исследований на основе аналитического обзора современных методов получения структуры и коэффициентов моделей в форме дифференциальных уравнений.

2. Разработать метод и алгоритм обучения модели в форме дифференциального уравнения (как обыкновенного, так и в частных производных), соответствующего наблюдаемому состоянию динамической системы.

3. Разработать метод и алгоритм обучения модели в форме системы дифференциальных уравнений (как обыкновенных, так и в частных производных), основанный на многокритериальной оптимизации.

4. Провести валидацию разработанных алгоритмов на основе экспериментальных исследований их качества на уравнениях-бенчмарках, признан-

1 Качество оценивается через метрики точности получения структуры и коэффициентов и робастности получения структуры и коэффициентов на зашумленных данных. Оценка качества определения структуры ДУ проводится при помощи расстояния Хэмминга (Structural Hamming distance, SHD) между строковыми представлениями.

ных международным сообществом, а также сравнений с ближайшими аналогами.

На защиту выносятся:

1. Метод и реализующий его алгоритм обучения модели в форме дифференциальных уравнений с неизвестными структурой и коэффициентами на основе эволюционного алгоритма оптимизации и метода численного решения начально-краевых задач физически-обоснованными нейронными сетями (PINN) для вычисления функции приспособленности.

2. Метод и реализующий его алгоритм обучения моделей в форме систем обыкновенных дифференциальных уравнений и уравнений в частных производных на основе алгоритма многокритериальной эволюционной оптимизации с независимым получением структуры и коэффициентов модели для каждого из уравнений системы с учетом возможности задания критериев точности относительно наблюдаемых параметров динамических систем и структурной сложности модели.

Научная новизна представленной работы заключается в том, что впервые были предложены методы обучения моделей в форме дифференциальных уравнений и систем дифференциальных уравнений (как обыкновенных, так и в частных производных) на основе алгоритмов эволюционной оптимизации, позволяющих использовать априорные знания об исследуемой динамической системе (в виде набора исходных токенов) и выполнять обучение моделей в многокритериальной постановке. Подобный подход позволяет воспроизводить элементы когнитивной деятельности исследователя-теоретика, на основе экспериментальных данных формирующего гипотезы о форме представления фундаментальных законов в виде дифференциальных уравнений.

Теоретическая значимость определяется тем, что предложенные мето-

ды позволяют свести задачи построения моделей в форме дифференциальных уравнений к постановке, привычной для машинного обучения (при наличии данных в виде наблюдаемых характеристик динамических систем). То есть, результаты полученные в работе расширяют возможный набор моделей, применяемых в задачах машинного обучения, включая в него модели в виде дифференциальных уравнений и их систем, тем самым расширяя теоретический класс задач, решаемых методами автоматического машинного обучения.

Практическая значимость выполненной работы заключается в том, что разработанный алгоритм обучения модели в форме дифференциальных уравнений, соответствующих наблюдаемому состоянию динамической системы, может применяться в прикладных задачах для построения интерпретируемых моделей машинного обучения на основе массивов данных о состояниях динамической системы. Инструмент использовался в экспериментах по обучению моделей для задач в прикладных областях: тепло-массо обмена (моделирование динамики плазмы, температуры в сплошной среде), океанологии (моделирование океанического льда), робототехнике (воспроизведение динамики мягкой активной среды, soft active matter). В рамках исследования была создана библиотека с открытым исходным кодом EPDE (https://github.com/ITMO-NSS-team/EPDE), включающая в себя функциональность разработанного алгоритма, совмещенную со вспомогательными инструментами.

Достоверность полученных результатов обеспечивается корректной постановкой задачи, использованием математических подходов для разработки метода обучения в форме дифференциальных уравнений и экспериментальным исследованием его составных элементов, в первую очередь процедур подготовки данных и оценки качества дифференциальных уравнений, получаемых в процессе обучения. Была проведена валидация, в рамках которой проверялась способность метода определять фундаментальные законы и соответствующие им дифференциальные уравнения на синтетических данных, и на данных, описывающих реальные явления. Также было проведено сравнение с альтернативными подходами получения моделей машинного обучения в форме дифференциальных уравнений.

Соответствие паспорту специальности 1.2.1:

— п. 5. Методы и технологии поиска, приобретения и использования знаний и закономерностей, в том числе - эмпирических, в системах искусственного интеллекта. - в части создания методов и алгоритмов обучения структуры и параметров моделей машинного обучения моделей в форме дифференциальных уравнений на данных. Обучение модели в форме дифференциальных уравнений предложенным методом допускает использование экспертных знаний разного уровня при введении ограничений на структуру уравнений и направлении поиска, выполняемого при эволюционной оптимизации.

— п. 16. Исследования в области специальных методов оптимизации, проблем сложность и элиминации перебора, снижения размерности. -в части разработки алгоритмов эволюционной оптимизации как метода элиминации перебора в задаче построения дифференциального уравнения и использования пространства сниженной размерности, состоящего из элементарных функций. Применение оптимизационного алгоритма в задаче обучения модели в форме дифференциальных уравнений по данным позволяет избавиться от необходимости перебора всех комбинаций элементов из множества допустимых функций при построении структуры.

Внедрение результатов работы. Результаты диссертационной работы частично финансировались Министерством науки и высшего образования российской федерации в рамках проекта "Методы и алгоритмы генерации моделей композитного ИИ с учётом априорных знаний предметной области" (FSER-2021-0012), частично финансировались и внедрены в рамках реализации программы исследовательского центра в сфере искусственного интеллекта «Сильный искусственный интеллект в промышленности» в целях достижения результата федерального проекта «Искусственный интеллект» национальной программы «Цифровая экономика Российской Федерации», договор №70-2021-00141 от 02.11.2021.

Апробация работы. Основные результаты, полученные в процессе исполнения работы, докладывались на следующих научных конференциях: GECCO 2020 (The Genetic and Evolutionary Computation Conference, Кан-кун, Мексика) (CORE A rank), 13th The Majorov International Conference on Software Engineering and Computer Systems (MICSECS 2021, Санкт-Петербург), IEEE Congress on Evolutionary Computation (CEC 2021, Краков, Польша) (CORE B rank), OL2A: International Conference on Optimization, Learning Algorithms and Applications 2021 (Браганса, Португалия), IEEE Congress on Evolutionary Computation, CEC 2022 (Падуя, Италия) (CORE B rank), GECCO 2023 (The Genetic and Evolutionary Computation Conference, Лиссабон (гибридный формат), Португалия) (CORE A rank), воркшоп AI4Science конференции NeurIPS2023 (CORE A* rank).

Личный вклад. Автор лично провёл обоснование направления исследо-

ваний на основе аналитического обзора существующих современных методов

получения по данным структуры и коэффициентов дифференциальных уравнений. На основе проведённого анализа и предположений о постановке практических задач были предложены методы, выносимые на защиту, а также разработаны соответсвующие алгоритмы. Автор реализовал генетический алгоритм обучения модели в виде дифференциального уравнения в работе [1]. Для работы [2] автор реализовал строковое представление кандидатных особей и провёл исследование эффективности подхода. В статьях [3, 8] автор проводил разработку концепции обучения моделей в виде дифференциальных уравнений по данным, выполнял валидацию исполненного подхода на синтетических наборах данных. Автором был разработан программный комплекс, содержащий представленный метод и адаптированный под специфику практических задач по моделированию динамических систем по данным. В работе [4] автор провёл апробацию предложенного метода на данных гидрометеорологического реанализа. В работе [5] автор исследовал применимость подхода в концепции моделирования на основе обобщённых графовых моделей. В работе [6] автором был проведён анализ применимости функции приспособленности на основе методов автоматического решения дифференциальных уравнений. Автор подготовил алгоритмическую и программную сторону (интерфейс) для использования комплекса решения дифференциальных уравнений на основе методов оптимизации. Для работы [7] автор разработал метод обучения моделей в форме одиночных дифференциальных уравнений на основе многокритериальной эволюционной оптимизации, и провёл эксперименты, валидирующие эффективность метода. При подготовке работы [9] автор участвовал в разработке метода и реализующего его алгоритма обучения моделей в форме систем дифференциальных уравнений по данным на основе многокритериальной оптимизации. В работе [10] автор подготовил блок методов обучения моделей в форме дифференциальных уравнений в рамках вычислительно-эффективного построения моделей машинного обучения на основе эволюционных алгоритмов. Для исследования в статье [12] автор подготовил программный комплекс и выполнял ряд экспериментов по обработке данных для использования в алгоритме обучения моделей в форме дифференциальных уравнений.

Публикации. Основные результаты по теме диссертации изложены в 11 печатных изданиях, из которых 7 —в тезисах докладов [1—7] и 4 в журналах, индексируемых в системе SCOPUS: [8—11].

Заключение диссертации по теме «Другие cпециальности», Масляев Михаил Александрович

Заключение

При выполнении диссертационного исследования было предложено решение существующим проблемам и противоречиям в области обучения модели в форме дифференциальных уравнений. Метод на основе эволюционной оптимизации не ставит жёсткие ограничения на структуры определяемых уравнений и, соответственно, может быть применён в более широком классе задач.

В результате диссертационного исследования:

1. Исследовано современное состояние области методов получения структуры и коэффициентов моделей в форме дифференциальных уравнений и выдвинута гипотеза, что задача символьной регрессии по расширенной библиотеке слагаемых может быть заменена на более гибкий эволюционный алгоритм;

2. Разработан метод и реализующий его алгоритм обучения модели в форме дифференциальных уравнений с неизвестными структурой и коэффициентами на основе эволюционных алгоритмов оптимизации и метода численного решения начально-краевых задач физически-обоснованными нейронными сетями (PINN) для вычисления функции приспособленности.

3. Разработан метод и реализующий его алгоритм обучения моделей в форме систем обыкновенных дифференциальных уравнений и уравнений в частных производных на основе алгоритма многокритериальной эволюционной оптимизации с независимым обучением структуры и коэффициентов модели для каждого из уравнений системы с учетом возможности задания критериев точности относительно наблюдаемых параметров динамических систем и структурной сложности модели, который не ограничивает системы формой векторных уравнений и который можно распространить на задачи обучения модели в форме одиночного дифференциального уравнения для унификации метода и улучшения сходимости эволюционного алгоритма.

4. Проведена валидация разработанных методов на синтетических и реальных данных, отражающих широкий класс дифференциальных уравнений. В частности на бенчмарках, принятых в сообществе: обыкно-

венных дифференциальных уравнениях (нелинейных, неоднородных), уравнений в частных производных второго порядка (гиперболические, параболические, эллиптические) и третьего порядка (на примере соли-тонного и неоднородного случая уравнения Кортевега-де Фриза). Также были рассмотрены системы ОДУ (система Лотка-Вольтерра и Лоренца) и система уравнений в частных производных на примере уравнений Навье-Стокса. Также, проведено исследование элементов метода обучения модели в форме дифференциальных уравнений: используемой в эволюционной оптимизации функции приспособленности кан-дидатных дифференциальных уравнений, методов устойчивого дифференцирования.

Метод обучения модели в форме дифференциальных уравнений (как обыкновенных, так и в частных производных) позволяет повысить точность определения структуры (ЭЫЭ) на уравнениях-бенчмарках от 20 % (уравнение Бюргерса) до 5 раз (400 %) (уравнение Кортевега - де Фриза) со средним значением прироста точности по всем бенчмаркам в 2 раза (100 %) и увеличить робастность обучения, в виде максимальной дисперсии шума, с 0.5 % (у ближайшего конкурента) до 10 % (для разработанного метода) , при которой может быть получена структура уравнения с точностью не менее 50%.

Метод обучения модели в форме системы дифференциальных уравнений позволяет повысить точность определения структуры (8ЫЭ) на уравнениях-бенчмарках на рассмотренных системах до 70 % в зависимости от уровня шума и повысить робастность обучения в виде максимальной дисперсии шума с 2.5 % (у ближайшего конкурента) до 8 % (для разработанного метода) для систем первого порядка и с 0 % (у ближайшего конкурента) до 5 % (для разработанного метода) для систем второго и выше порядков, при которой может быть получена структура уравнения с точностью не менее 50%.

Дальнейшее развитие области диссертационного исследования может быть связано с обучением моделей в форме стохастических дифференциальных уравнений, а также с добавлением оператора интегрирования, который позволит идентифицировать по данным интегро-дифференциальные уравнения. Отдельным вопросом является дальнейшее улучшение шумоустойчивости алгорит-

ма как за счёт инструментов дифференцирования, так и за счёт адаптированных операций разреживания структуры уравнения, вычисления коэффициентов и оценки его приспособленности.

Список литературы диссертационного исследования кандидат наук Масляев Михаил Александрович, 2023 год

Список литературы

1. Hvatov A., Maslyaev M. The data-driven physical-based equations discovery using evolutionary approach // GECCO 2020 - Proceedings of the Genetic and Evolutionary Computation Conference Companion. — 2020. — P. 129130.

2. Grigoriev V., Maslyaev M., Hvatov A. String-based and graph-based genotype representations for evolutionary differential equations discovery on an example of the heat equation // Proceedings of the 13th Majorov International Conference on Software Engineering and Computer Systems, — 2021.

3. Maslyaev M., Hvatov A., Kalyuzhnaya A. Data-Driven Partial Differential Equations Discovery Approach for the Noised Multi-dimensional Data // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 12138 LNCS. — 2020. — P. 86-100.

4. Maslyaev M., Hvatov A., Kalyuzhnaya A. Discovery of the data-driven models of continuous metocean process in form of nonlinear ordinary differential equations // Procedia Computer Science. Vol. 178. — 2020. — P. 18-26.

5. Model-Agnostic Multi-objective Approach for the Evolutionary Discovery of Mathematical Models / A. Hvatov [et al.] // Communications in Computer and Information Science. Vol. 1488. — 2021. — P. 72-85.

6. Maslyaev M., Hvatov A. Solver-Based Fitness Function for the Data-Driven Evolutionary Discovery of Partial Differential Equations // IEEE Congress on Evolutionary Computation CEC. — 2022. — P. 1-8.

7. Maslyaev M, Hvatov A. Comparison of Single- and Multi- Objective Optimization Quality for Evolutionary Equation Discovery // Genetic and Evolutionary Computation Conference Companion (GECCO). — 2023.

8. Maslyaev M., Hvatov A. Partial differential equations discovery with EPDE framework: application for real and synthetic data // Journal of Computational Science. — 2021. — P. 101345.

9. Maslyaev M., Hvatov A. Multiobjective evolutionary discovery of equation-based analytical models for dynamical systems // Scientific and Technical Journal of Information Technologies, Mechanics and Optics. — 2023. — Vol. 23, no. 1. — P. 97-104.

10. Towards generative design of computationally efficient mathematical models with evolutionary learning / A. Kalyuzhnaya [et al.] // Entropy. — 2021. — Vol. 23, no. 1. — P. 28.

11. Hybrid modeling of gas-dynamic processes in AC plasma torches. / N. Bykov [h gp.] // Materials Physics & Mechanics. — 2022. — T. 50, № 2.

12. Hochreiter S., Schmidhuber J. Long Short-Term Memory // Neural Computation. — 1997. — hoh6. — T. 9, № 8. — C. 1735—1780. — DOI: 10.1162/neco.1997.9.8.1735.

13. Elsworth S., GUttel S. Time Series Forecasting Using LSTM Networks: A Symbolic Approach. — 2020. — arXiv: 2003.05672 [cs.LG].

14. Machine learning assisted prediction of exhaust gas temperature of a heavy-duty natural gas spark ignition engine / J. Liu [h gp.] // Applied Energy. —

2021. — T. 300. — C. 117413.

15. PySINDy: A comprehensive Python package for robust sparse system identification / A. A. Kaptanoglu [h gp.] // Journal of Open Source Software. —

2022. — T. 7, № 69. — C. 3994. — DOI: 10.21105/joss.03994. — URL: https: //doi.org/10.21105/joss.03994.

16. Data-driven discovery of partial differential equations / S. H. Rudy [h gp.] // Science Advances. — 2017. — T. 3, № 4. — e1602614.

17. Data-Driven Identification of Parametric Partial Differential Equations / S. H. Rudy [h gp.] // SIAM Journal on Applied Dynamical Systems. — 2019. — T. 18, № 2. — C. 643—660.

18. Learning partial differential equations via data discovery and sparse optimization / H. Schaeffer [h gp.] // Proceedings of the Royal Society A: Mathematical, Physical and Engineering Science, publisher: Royal Society. — 2017. — DOI: 473(2197):20160446.

19. Schaeffer H., McCalla S. G. Sparse model selection via integral terms // Physical Review E. — 2017. — T. 96, № 2.

20. Brunton S. L, Proctor J. L, Kutz J. N. Discovering governing equations from data by sparse identification of nonlinear dynamical systems // Proceedings of the National Academy of Sciences. — 2016.

21. Loiseau J. C, Brunton S. L. Constrained sparse Galerkin regression systems // Journal of Fluid Mechanics. — 2018. — T. 838. — C. 42—67.

22. Kaiser E., Kutz J. N., Brunton S. L. Sparse identification of nonlinear dynamics for model predictive control in the low-data limit. — 2017. — URL: https://arxiv.org/abs/1711.05501.

23. Sparse Identification of Nonlinear Dynamics for Rapid Model Recovery / M. Quade [h gp.]. — 2018. — URL: https://arxiv.org/abs/1803.00894v2.

24. Hirsh S. M, Barajas-Solano D. A., Kutz J. N. Sparsifying priors for Bayesian uncertainty quantification in model discovery // Royal Society Open Science. — 2022. — T. 9, № 2. — C. 211823.

25. Park J.-H, Dunson D. B. Bayesian generalized product partition model // Statistica Sinica. — 2010. — C. 1203—1226.

26. Tran G., Ward R. Exact recovery of chaotic systems from highly corrupted data // Multiscale Modeling and Simulation. — 2017. — T. 15. — C. 1108— 1129.

27. Raissi M. Deep hidden physics models: Deep learning of nonlinear partial differential equations. — 2018. — URL: https://arxiv.org/abs/1801.06637.

28. Berg J., Nystrom K. Data-driven discovery of PDEs in complex datasets. —

2018. — URL: https://arxiv.org/abs/1808.10788.

29. Berg J., Nystrom K. Neural network augmented inverse problems for PDEs. — 2017. — URL: https://arxiv.org/abs/1712.09685.

30. Pde-net: Learning pdes from data / Z. Long [h gp.] // International Conference on Machine Learning. — PMLR. 2018. — C. 3208—3216.

31. Long Z., Lu Y., Dong B. PDE-Net 2.0: Learning PDEs from data with a numeric-symbolic hybrid deep network // Journal of Computational Physics. —

2019. — T. 399. — C. 108925.

32. Stephany R., Earls C. PDE-READ: Human-readable partial differential equation discovery using deep learning // Neural Networks. — 2022. — T. 154. — C. 360—382.

33. Chen J., Wu K. Deep-OSG: Deep Learning of Operators in Semigroup // Journal of Computational Physics. — 2023. — C. 112498.

34. Qin T., Wu K., Xiu D. Data driven governing equations approximation using deep neural networks // Journal of Computational Physics. — 2019. — T. 395. — C. 620—635.

35. Wu K., Xiu D. Data-driven deep learning of partial differential equations in modal space // Journal of Computational Physics. — 2020. — T. 408. — C. 109307.

36. Raissi M., Perdikaris P., Karniadakis G. Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations // Journal of Computational Physics. — 2019. — T. 378. — C. 686—707. — DOI: https://doi.org/10.1016/jjcp.2018.10. 045.

37. Physics-informed neural networks for solving forward and inverse problems in complex beam systems / T. Kapoor [h gp.]. — 2023. — arXiv: 2303.01055 [cs.LG].

38. Physics-informed neural networks for inverse problems in supersonic flows / A. D. Jagtap [h gp.] // Journal of Computational Physics. — 2022. — T. 466. — C. 111402.

39. Data-Driven Discovery of Fokker-Planck Equation for the Earth's Radiation Belts Electrons Using Physics-Informed Neural Networks / E. Camporeale [h gp.] // Journal of Geophysical Research: Space Physics. — 2022. — T. 127, № 7. — e2022JA030377. — DOI: https://doi.org/10.1029/2022JA030377.

40. Discovering a universal variable-order fractional model for turbulent Couette flow using a physics-informed neural network / P. P. Mehta [h gp.] // Fractional Calculus and Applied Analysis. — 2019. — T. 22, № 6. — C. 1675—1688.

41. Abdellaoui I. A., Mehrkanoon S. Symbolic regression for scientific discovery: an application to wind speed forecasting // 2021 IEEE Symposium Series on Computational Intelligence (SSCI). — 2021. — C. 01—08. — DOI: 10.1109/ SSCI50451.2021.9659860.

42. Data-driven discovery of free-form governing differential equations / S. Atkinson [h gp.]. — 2019. — URL: https://arxiv.org/abs/1910.05117.

43. Vaddireddy H, San O. Equation Discovery Using Fast Function Extraction: a Deterministic Symbolic Regression Approach // Fluids. — 2019. — T. 4, № 2. — DOI: 10.3390/fluids4020111.

44. Hoffman M. D., Johnson M. J. Elbo surgery: yet another way to carve up the variational evidence lower bound // Workshop in Advances in Approximate Bayesian Inference, NIPS. — 2016. — T. 1, № 2.

45. Data-based Discovery of Governing Equations / W. Subber [h gp.]. — 2020. — arXiv: 2012.06036 [cs.LG].

46. Xu H., Chang H., Zhang D. DLGA-PDE: Discovery of PDEs with incomplete candidate library via combination of deep learning and genetic algorithm // Journal of Computational Physics. — 2020. — T. 418. — C. 109584.

47. Symbolic genetic algorithm for discovering open-form partial differential equations (SGA-PDE) / Y. Chen [h gp.] // Physical Review Research. — 2022. — T. 4, № 2. — C. 023174.

48. Deep learning and symbolic regression for discovering parametric equations / M. Zhang [h gp.] // IEEE Transactions on Neural Networks and Learning Systems. — 2023.

49. Kondrashov D., Chekroun M. D., Ghil M. Data-driven non-Markovian closure models // Physica D: Nonlinear Phenomena. — 2015. — T. 297. — C. 33—55.

50. al D. K. et. Data-adaptive harmonic decomposition and stochastic modeling of Arctic sea ice // Advances in Nonlinear Geosciences. — 2018. — C. 179—205.

51. Chekroun M. D., Kondrashov D. Data-adaptive harmonic spectra and multilayer Stuart-Landau models. — 2017. — DOI: hal-01537797v2.

52. Schmid P. J. Dynamic mode decomposition of numerical and experimental data // Journal of fluid mechanics. — 2010. — T. 656. — C. 5—28.

53. Alla A., Kutz J. N. Nonlinear model order reduction via dynamic mode decomposition. — 2016. — URL: https://arxiv.org/abs/1602.05080.

54. Schmid P. J. Dynamic mode decomposition and its variants // Annual Review of Fluid Mechanics. — 2022. — T. 54. — C. 225—254.

55. Zhang Z. J., Duraisamy K. Machine learning methods for data-driven turbulence modeling // 22nd AIAA Computational Fluid Dynamics Conference. — 2015. — C. 2460.

56. Zhang Z, Singh A. New Approaches in Turbulence and Transition Modeling Using Data-driven Techniques // AIAA Modeling and Simulation Technologies Conference. — 2015.

57. Tracey B., Duraisamy K., Alonso J. Machine Learning Strategy to Assist Turbulence Model Development // Proc. AIAA Scitech conference. — 2015.

58. Parish E., Duraisamy K. Quantification of Turbulence Modeling Uncertainties Using Full Field Inversion // 15th AIAA Aviation Technology, Integration, and Operations Conference. — 2015.

59. Hvatov A. Automated differential equation solver based on the parametric approximation optimization // Mathematics. — 2023. — T. 11, № 8. — C. 1787.

60. Ramm A., Smirnova A. On stable numerical differentiation // Mathematics of computation. — 2001. — T. 70, № 235. — C. 1131—1153.

61. Savitzky A., Golay M. J. Smoothing and differentiation of data by simplified least squares procedures. // Analytical chemistry. — 1964. — T. 36, № 8. — C. 1627—1639.

62. Schmid M, Rath D., Diebold U. Why and how Savitzky-Golay filters should be replaced // ACS Measurement Science Au. — 2022. — T. 2, № 2. — C. 185— 196.

63. Johnson S. G. Notes on FFT-based differentiation // MIT Applied Mathematics, Tech. Rep. — 2011.

64. Nix A. E., Vose M. D. Modeling genetic algorithms with Markov chains // Annals of mathematics and artificial intelligence. — 1992. — T. 5, № 1. — C. 79—88.

65. He J., Yu X. Conditions for the convergence of evolutionary algorithms // Journal of systems architecture. — 2001. — T. 47, № 7. — C. 601—612.

66. An evolutionary many-objective optimization algorithm based on dominance and decomposition / K. Li [h gp.] // IEEE transactions on evolutionary computation. — 2014. — T. 19, № 5. — C. 694—716.

67. Das I., Dennis J. E. Normal-boundary intersection: A new method for generating the Pareto surface in nonlinear multicriteria optimization problems // SIAM journal on optimization. — 1998. — T. 8, № 3. — C. 631— 657.

68. Van der Pol B. A theory of the amplitude of free and forced triode vibrations, Radio Rev. 1 (1920) 701-710, 754-762 // Selected scientific papers. — 1960. — T. 1.

Публикации автора по теме диссертации

Свидетельства автора о регистрации программ для ЭВМ:

1. Свидетельство о регистрации № 2020660871 от 15.09.2020 "Программный комплекс для управляемого данными вывода дифференциальных уравнений EPDE" // Масляев М.А., Калюжная А.В., Хватов А.А.

2. Свидетельство о регистрации № 2021666447 от 21.02.2022 "Программный комплекс для многокритериальной идентификации систем дифференциальных уравнений EPDE.Sys" // Масляев М.А., Калюжная А.В., Хватов А.А.

Публикации в изданиях, индексируемых в Scopus, Web of science, а также входящих в списки, рекомендованные ВАК:

1. Hvatov A., Maslyaev M. The data-driven physical-based equations discovery using evolutionary approach // GECCO 2020 - Proceedings of the Genetic and Evolutionary Computation Conference Companion. — 2020. — P. 129-130.

2. Grigoriev V., Maslyaev M., Hvatov A. String-based and graph-based genotype representations for evolutionary differential equations discovery on an example of the heat equation // Proceedings of the 13th Majorov International Conference on Software Engineering and Computer Systems, — 2021.

3. Maslyaev M., Hvatov A., Kalyuzhnaya A. Data-Driven Partial Differential Equations Discovery Approach for the Noised Multidimensional Data // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 12138 LNCS. — 2020. — P. 86-100.

4. Maslyaev M., Hvatov A., Kalyuzhnaya A. Discovery of the data-driven models of continuous metocean process in form of nonlinear ordinary differential equations // Procedia Computer Science. Vol. 178. — 2020. — P. 18-26.

5. Maslyaev M. [et al.] Model-Agnostic Multi-objective Approach for the Evolutionary Discovery of Mathematical Models // Communications in Computer and Information Science. Vol. 1488. — 2021. — P. 72-85.

6. Maslyaev M., Hvatov A. Solver-Based Fitness Function for the Data-Driven Evolutionary Discovery of Partial Differential Equations // IEEE Congress on Evolutionary Computation CEC. — 2022. — P. 1-8.

7. Maslyaev M., Hvatov A. Comparison of Single- and Multi- Objective Optimization Quality for Evolutionary Equation Discovery // Genetic and Evolutionary Computation Conference Companion (GECCO). — 2023.

8. Maslyaev M., Hvatov A. Partial differential equations discovery with EPDE framework: application for real and synthetic data // Journal of Computational Science. — 2021. — P. 101345.

9. Maslyaev M., Hvatov A. Multiobjective evolutionary discovery of equation-based analytical models for dynamical systems // Scientific and Technical Journal of Information Technologies, Mechanics and Optics. — 2023. — Vol. 23, no. 1. — P. 97-104.

10. Maslyaev M. [et al.] Towards generative design of computationally efficient mathematical models with evolutionary learning // Entropy. — 2021. — Vol. 23, no. 1. — P. 28.

11. Maslyaev M. [et al.] Hybrid modeling of gas-dynamic processes in AC plasma torches // Materials Physics & Mechanics. — 2022. — T. 50, No 2.