Применение нейросетевых методов в теории функционала плотности тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Рябов Александр Александрович

• Рябов Александр Александрович
• кандидат наук
• 2024

Оглавление диссертации кандидат наук Рябов Александр Александрович

Введение

Глава 1 Методы расчёта электронной структуры и свойств молекул

1.1 Многоэлектронное уравнение Шрёдингера

1.2 Метод Хартри-Фока

1.3 Теория функционала плотности

1.3.1 Решение проблемы "экспоненциальной ямы" с помощью DFT

1.3.2 Вычислительная сложность методов DFT в сравнении с методами Хартри-Фока

1.3.3 Локальная аппроксимация плотности

1.3.4 Обобщённое градиентное приближение

1.3.5 Метаградиентное приближение

1.3.6 Гибридные функционалы

Глава 2 Принципы применения нейросетей для интерполяции и экстраполяции

2.1 Основные понятия и определения машинного обучения

2.2 Нейросети и глубокое обучение

2.3 Алгоритмы обучения

2.4 Регуляризация нейросетей

Глава 3 Применение нейросетей к задаче построения обменно-корреляционного функционала

3.1 Существующие базы данных квантово-химических расчётов

3.1.1 nablaDFT

3.1.2 Базы данных с наличием электронных плотностей

3.1.3 Выводы

3.2 Обучение нейросетей на основе квантово-химических данных

3.3 Проверка концепции нейросетевой интерполяции

обменно-корреляционного потенциала

3.3.1 Постановка задачи

3.3.2 Подготовка входных данных

3.3.3 Эксперимент

3.3.4 Выводы

3.3.5 Исходный код полученных программ

3.4 Применение двухкомпонентной нейронной сети для совместной аппроксимации обменно-корреляционного функционала и потенциала

3.4.1 Постановка задачи

3.4.2 Нейросетевая архитектура

3.4.3 Процедура обучения

3.4.4 Подготовка входных данных

3.4.5 Эксперимент

3.4.6 Важность физических ограничений

3.4.7 Выводы

3.4.8 Исходный код полученных программ

3.5 Проблемы нейросетевых функционалов и пути их решения на примере функционала DM21

3.5.1 Краткое описание анализируемой работы

3.5.2 Основные проблемы функционала DM21

3.5.3 Выводы

Заключение

Список литературы

Список рисунков

Список таблиц

Введение диссертации (часть автореферата) на тему «Применение нейросетевых методов в теории функционала плотности»

Введение

Теория функционала плотности, обычно именуемая в международной литературе как DFT (англ. density functional theory), является одним из самых популярных методов для расчёта физико-химических свойств в многоэлектронных системах, что имеет огромное значение в химии и физике конденсированного состояния. Она основана на переформулировании многоэлектронной задачи решения уравнения Шрёдингера с помощью электронной плотности. Многоэлектронная волновая функция требует учета 4N переменных, принимая во внимание спины и три пространственные координаты для каждого из N электронов. В отличие от этого, электронные плотности спина вверх и вниз требуют учёта только трёх пространственных координат, что упрощает вычислительный процесс. Точность DFT в основном определяется корректностью аппроксимации обменно-корреляционного функционала, то есть отображения электронной плотности в обменно-корреляционную энергию. Важная проблема состоит в том, что в теории функционала плотности не существует гарантированного способа получить точный обменно-корреляционный функционал, несмотря на наличие теоремы о его существовании. Приближения к точному функционалу в рамках DFT позволяют выполнять квантово-химические расчёты с хорошей точностью, при этом используя приемлемые вычислительные ресурсы, в сравнении с более точными методами квантовой химии. Хотя эти аппроксимации имеют ограниченный круг применения и не всегда достигают химической точности по энергии (менее 1 ккал/моль), в определенных случаях приближенные функционалы DFT демонстрируют результаты, близкие к этому порогу точности, что делает их весьма полезными для широкого спектра квантово-химических задач. Стоит отметить, что точный обменно-корреляционный функционал должен удовлетворять физическим асимптотикам и ограничениям (иначе называемым констрейнами, англ. constraints). При создании обменно-корреляционных функционалов зачастую многие ограничения игнорируются и не накладываются в силу нетривиальности их наложения. Однако, методы машинного обучения, а в особенности нейронные сети, являющиеся универсальными аппроксиматорами, могут быть полезны в аппроксимации функционала плотности и в наложении многих таких ограничений

автоматизированным способом через средства машинного обучения, такие как функция ошибки, архитектура нейронной сети, обучающие данные.

Целью данной работы является исследование применимости нейросетевого подхода в теории функционала плотности для аппроксимации обменно-корреляционных функционала и потенциала.

Для достижения поставленной цели необходимо было решить следующие задачи:

1. Провести анализ литературы по теме диссертации, выделить ключевые работы в этой области и определить, в чём будет состоять специфика текущей работы.

2. Проверить работоспособность концепции нейросетевой аппроксимации обменно-корреляционного потенциала с использованием синтетических данных, а также работоспособность нейросетевой аппроксимации в самосогласованном цикле.

3. Создать базу данных для обучения тандемного нейросетевого функционала (функционал + потенциал).

4. Разработать архитектуру нейросети для данной задачи, а также способ представления входных и выходных данных.

5. Обучить нейросетевой функционал на полученном наборе данных (п.3).

6. Провести анализ работы нейросетевого функционала в процессе самосогласованного цикла.

7. Оценить качество полученного нейросетевого функционала.

8. Исследовать проблему некорректного тестирования нейросетевых функционалов на примере функционала DM21 от Deepmind и дать рекомендации по устранению данной проблемы при разработке нейросетевых функционалов в будущем.

Научная новизна:

1. Разработана методика создания обменно-корреляционных функционала и потенциала для программного пакета расчётов теории функционала плотности для трёхмерных систем.

2. Исследована методика и потенциальные проблемы построения такого рода функционалов и потенциалов. Численными экспериментами и результатами расчётов подтверждено, что полученные нейросетевые функционалы и потенциалы применимы для квантово-химических расчётов.

3. Проанализирован метод введения ограничений исходя из физической логики в нейросетевой обменно-корреляционный функционал, определены ограничения данного метода и указаны направления для его дальнейшего совершенствования.

4. Впервые исследована важность использования несамосогласованных (промежуточных в процессе самосогласованного цикла DFT) плотностей при обучении нейросетевого функционала. Это может способствовать более устойчивой сходимости нейросетевых обменно-корреляционных функционалов в процессе нахождения энергии основного состояния в самосогласованном цикле DFT.

5. Разработан программный код для интеграции полученных нейросетевых функционалов и потенциалов в программный пакет Octopus, предназначенный для расчётов в рамках теории функционала плотности.

6. Предложена и исследована тандемная архитектура нейросети для совместной аппроксимации обменно-корреляционных функционала и потенциала, которая аппроксимирует функциональную связь между обменно-корреляционной энергией и потенциалом. Эта архитектура является альтернативой автоматическому дифференцированию и позволяет избежать вычисления нетривиальных функциональных производных, возникающих при использовании полулокальных, глобальных и неявно зависящих от электронной плотности признаков.

Практическая значимость

Практическая значимость данной диссертационной работы заключается в разработке нового подхода нейросетевой аппроксимации обменно-корреляционных функционалов и потенциалов для теории функционала плотности. Данная методика была реализована в программном пакете Octopus как модуль, что делает возможность её применения в различных квантовохимических расчётах. Новая архитектура нейросети также предоставляет основу для интеграции с другими программными решениями, расширяя область применения теории функционала плотности в квантово-химических расчётах. Метод DFT отличается эффективностью использования вычислительных ресурсов, обеспечивая баланс между точностью и затратами на расчеты. Это делает его более доступным в сравнении с более ресурсоемкими методами квантовой химии, несмотря на то, что

последние могут обеспечить более высокую точность. Использование машинного обучения, в частности нейросетей, в DFT позволяет достигнуть "химической точности" по энергии, то есть точности, сравнимой с экспериментальными физическими или химическими измерениями. Применение нейросетей для аппроксимации функционала плотности способно в целом ускорить разработку новых обменно-корреляционных функционалов.

Методология и методы исследования. Ключевые методы и подходы, использованные в рамках данной работы, представлены ниже:

- Основы теории функционала плотности (DFT): Применяются для анализа и интерпретации результатов данной работы.

- Методы функционального анализа: Применяются для работы с функциональными производными и их преобразованием в локальные выражения на расчётной сетке, что позволяет сформировать необходимую основу для последующего моделирования обменно-корреляционной энергии и построения релевантных для данной задачи входных признаков нейросети.

- Методы машинного обучения: Применяются для определения структуры данных, формирования обучающих, валидационных и тестовых наборов, обучения нейросетевых моделей машинного обучения, а также для анализа и интерпретации результатов. Также эти методы включают в себя методы оптимизации, а также регуляризации моделей.

- Численные методы: Используются для решения матричных уравнений, возникающих в самосогласованном цикле теории функционала плотности.

- Подходы объектно-ориентированного программирования: Разработка программного кода с использованием языка программирования Python 3, а также библиотек TensorFlow и PyTorch для реализации и обучения нейронных сетей.

В ходе работы над диссертацией вышеуказанные методы и подходы были использованы для создания согласованной и эффективной методики, направленной на решение актуальных задач в области квантовой химии и глубокого обучения. Основные положения, выносимые на защиту:

1. Разработан метод нейросетевой аппроксимации обменно-корреляционных функционала и потенциала для сетки в действительном пространстве в трёхмерном случае.

2. Предложен метод добавления физических ограничений (асимптотик на однородный электронный газ и асимптотики при нулевой плотности)

WW W W 1

в разработанный нейросетевой обменно-корреляционный функционал. Проанализированы его ограничения и возможные доработки в будущем.

3. Разработана архитектура нейросетевого обменно-корреляционного потенциала, учитывающая нелокальность в трёхмерном случае, а также выполнен анализ её обобщающей способности и корректности работы в расчётах реальных химических систем.

4. Разработана и исследована тандемная нейросетевая архитектура для аппроксимации обменно-корреляционных функционала и потенциала. Эта архитектура может быть использована как альтернатива методам нейросетевой аппроксимации обменно-корреляционных функционалов на основе автоматического дифференцирования, поскольку позволяет эффективно использовать информацию из нелокальных входных признаков, что особенно важно, поскольку в таком случае может быть невозможно записать явную аналитическую связь между обменно-корреляционным функционалом и потенциалом.

5. Разработаны модули для программного обеспечения Octopus расчётов теории функционала плотности. Эти модули интегрируют в себя как предсказание плотности обменно-корреляционной энергии нейронной сетью, так и предсказание соответствующего обменно-корреляционного потенциала.

6. Была подчеркнута значимость тщательного тестирования нейросетевых моделей функционалов, а также указаны потенциальные сложности при формировании обучающих и тестовых наборов данных. Указанные проблемы могут привести к искусственному улучшению показателей эффективности нейросетевых моделей, как это было проиллюстрировано на примере функционала DM21, разработанного DeepMind.

Обоснование достоверности результатов достигается через проведение численных экспериментов, которые включают сравнение выходных данных нейросети с эталонными значениями и анализ функционирования нейросети в рамках физических ограничений. Кроме того, подтверждение надёжности усиливается использованием разработанных нейросетевых алгоритмов для анализа реальных систем, оценкой метрик качества работы этих алгоритмов

и сопоставлением полученных результатов с данными из предыдущих квантовохимических исследований. Все результаты данного диссертационного исследования опубликованы в международных научных изданиях первого квартиля (включая Science), что является дополнительным подтверждением достоверности результатов.

Апробация результатов. Результаты работы демонстрировались и обсуждались на докладах в Сколковском институте науки и технологий, МФТИ (Физтех), а также на следующих конференциях:

1. 2020 - Школа-семинар «Современное состояние и перспективы атомистического компьютерного моделирования материалов для фундаментальных научных и технологических приложений» при поддержке международной лаборатории суперкомпьютерного атомистического моделирования и многомасштабного анализа НИУ ВШЭ

2. 2021 - 64-я Всероссийская научная конференция МФТИ (награждён дипломом за лучший устный доклад среди аспирантов)

3. 2022 - XXXVII Фортовская международная конференция «Уравнения состояния вещества», Эльбрус

4. 2022 - XIX конференция «Сильно коррелированные электронные системы и квантовые критические явления», Москва, ФИАН

5. 2022 - Конференция AIRI по искусственному интеллекту в научно-технологическом университете «Сириус»

6. 2023 - Летняя школа Института искусственного интеллекта AIRI в Иннополисе для студентов и аспирантов (в рамках преподавательской деятельности)

Личный вклад. Разработка и обоснование методов нейросетевой аппроксимации обменно-корреляционных функционалов (потенциалов) и добавления физических ограничений, написание программного кода для нейросетевых функционалов и связанных с ними экспериментов, интеграция полученного кода в программные пакеты для расчётов, а также оформление публикаций по этой части работы совершены автором лично. Проблема некорректного тестирования функционала DM21 от Deepmind выявлена и исследована в соавторстве с коллегами, где вклад автора заключался в методологической проработке экспериментов с точки зрения машинного обучения,

формулировке и проверке гипотез, подготовке соответствующей публикации (в соавторстве). В рамках создания базы данных nablaDFT автор выполнил сравнительный анализ базы данных nablaDFT с уже существующими до этого базами данных, проработку теоретической части соответствующей публикации, а также участвовал в общем процессе подготовки публикации, в том числе на этапе рецензирования.

Публикации. Основные результаты по теме диссертации изложены в 4 рецензируемых журналах, входящих в Собственный перечень журналов МФТИ, а также индексируемых SCOPUS и Web of Science.

Объём и структура работы. Диссертация состоит из введения, 3 глав, заключения и 0 приложений. Полный объём диссертации составляет 119 страниц, включая 17 рисунков и 10 таблиц. Список литературы содержит 109 наименований.

Глава 1

Методы расчёта электронной структуры и свойств молекул

1.1 Многоэлектронное уравнение Шрёдингера

В случае неподвижных ядер динамика электронов описывается временным уравнением Шрёдингера [1]:

дФ(гЬ5Ь . . . ,гм ,5м ЪлЪ( л п 1Л

гП-—- = НЪ(т1,в1,... ,гм,5м(1.1)

В данном случае, Ф(г1,й1 ,...,гм,вм, £) представляет собой волновую функцию электронов, которая зависит от М координат (где г, обозначает радиус-вектор частицы) и спинов вм, где М - количество электронов, а Н является оператором Гамильтона, причём £ - время.

В случае, если оператор Гамильтона не изменяется с течением времени, волновую функцию можно представить в следующем формате:

Ф(гЬ 5Ь ...,гм ,5м , *) = в-гШ/ПЪ(г1,в1, ...,гм ,5м) (1.2)

где Е - энергия системы.

Оператор Гамильтона для многоэлектронной системы имеет следующий вид:

Н= £V,2-£^ + £ £ а.3)

г г <г,3>

N-1 N

£ = £ £ (1.4)

<'г,3> г=1 з=г+1

Первый элемент суммы включает в себя кинетическую энергию М электронов, следующий элемент представляет движение электронов в полях ядер, а заключительный элемент относится к взаимодействию вида "электрон-электрон".

Точное аналитическое решение уравнения Шрёдингера возможно только в определённых случаях, например, для атома водорода. Даже прямое численное решение путем интегрирования на практике часто неосуществимо, особенно

в системах с более чем одной частицей. Однако существуют эффективные приближённые методы, которые во многих случаях могут свести всю задачу к гораздо более простой. Зачастую эти методы базируются на приближении среднего поля. Основная идея этого приближения заключается в том, что систему N электронов заменяют одночастичной задачей с некоторым самосогласованным эффективным внешним потенциалом, который описывает действие всех других частиц на рассматриваемую. В следующей главе рассматривается один из базовых подходов приближения среднего поля: метод Хартри-Фока.

1.2 Метод Хартри-Фока

Здесь и далее рассмотрение будет вестись в рамках приближения Борна-Оппенгеймера, в котором электронная волновая функция является медленно меняющейся функцией координат ядер, что позволяет расписывать полную энергию как сумму электронной энергии, вычисленной при фиксированной конфигурации ядер, и колебательно-вращательной энергии ядер, а также рассматривать электронное уравнение Шрёдингера для фиксированных ядерных конфигураций. Ключевая характеристика волновой функции, которую требуется принимать во внимание при её физически-обоснованном построении - это антисимметричность. Важным требованием к описанию многоэлектронных систем является также принцип неотличимости электронов: перестановка координат двух электронов не должна влиять на физические свойства системы. Это достигается за счёт представления волновой функции в форме детерминанта, известного как детерминант Слэтера, где перестановка координат двух электронов приводит к изменению знака волновой функции, но не её вероятностных свойств. Однако следует помнить, что использование детерминантов Слэтера для представления волновой функции также является приближением. Волновая функция в методе Хартри-Фока аппроксимируется

именно через детерминант Слейтера, который в простейшем случае составляется из занятых электронами молекулярных спин-орбиталей:

Следует подчеркнуть, что дальнейшее изложение представлено для случая без спиновой поляризации (то есть, для систем с замкнутыми электронными оболочками), что было выбрано для упрощения математических выкладок и лучшего понимания основ теории. Давайте рассмотрим гамильтониан Н и волновую функцию Ф. Волновую функцию можно произвольно варьировать, но она должна сохранять норму [2]. Среднее значение энергии для такой функции (которая не обязательно является собственной функцией Н) определяется как:

где V представляет все координаты интегрирования.

В соответствии с вариационным принципом, если (Н) является минимальным для выбранного Ф, то Ф представляет собой волновую функцию основного состояния системы. Вариационное условие, в этом контексте, может быть понято как условие стационарности для (Н), при котором собственные значения энергии соответствуют точкам стационарности.

Покажем справедливость вариационного принципа [2]. Поскольку произвольное изменение волновой функции в общем случае нарушает ее нормировку, удобно использовать более общее определение математического ожидания, справедливое и для ненормированных функций:

... Мх)

(1.5)

(1) ... (X)

(1.6)

(Н)

/ Ф*НФ^

(1.7)

Проварьируем Ф как Ф + 6Ф, таким образом, матожидание становится следующим выражением:

(Н) + 6(Н)

/ (Ф* + 6Ф*) Н(Ф + 6Ф)^

V

§ (Ф* + 6Ф*) (Ф + 6Ф)^У Ф*НФ^у + / 6Ф*НФ^у + / Ф*Н6Ф^у = / Ф*Ф^у + / 6Ф*Ф<^и + / Ф*6Ф<^и (1 8)

= ^ Ф*НФ^у ^ 6Ф*НФ^у + У Ф*Н6Ф^ х

1 / / 6Ф*Ф^у / Ф*6Ф^у \ / Ф*Ф^у \ / Ф*Ф^у / Ф*Ф^у у

где члены второго порядка у 6Ф были опущены и была использована аппроксимация 1/(1 + х) ~ 1 — х, верная при х << 1. Опуская члены более высокого порядка:

ГбФ*НФ^у ГФ*Н6, / Г6Ф*Ф^у Г Ф*6

6(Н) = + J --(НИ \ т т , + ^ т т . (1.9)

х 7 / Ф*Ф^у / Ф*Ф^у ' \ / Ф*Ф^у / Ф*Ф^у У

Одно слагаемое в скобках представляет собой комплексное сопряжение другого, и это утверждение справедливо также для двух других слагаемых, учитывая, что Н является эрмитовым оператором.

а*НМу = ^ 6*На^ (1.10)

для любой пары функций а и Ь. Таким образом, мы можем упростить приведенное выше выражение как:

е/ х /Г6Ф*Н Ф^у \ , х/[6 Ф*Ф^у \

6(Н) = п + с.с. — (НИ \ т т т + с.с. (1.11)

^ ' \ / ф*Ф^у у ^ 7 V / Ф*Ф^у у

Давайте предположим, что функция Ф обеспечивает стационарность среднего значения оператора (Н) при всех возможных её вариациях, что приводит к условию

5(Н) = 0.

J 5Ф*[Н - (Н)]Ф(1у + с.с. = 0 (1.12)

для произвольного изменения 5Ф. Таким образом,

[Н - (Н)]Ф = 0 (1.13)

то есть Ф является решением уравнения Шредингера:

НФ = ЕФ (1.14)

Применим вариационный принцип к волновой функции в методе Хартри-Фока. В соответствии с вариационным принципом, оптимальным набором спин-орбиталей является тот, который минимизирует математическое ожидание энергии Хартри-Фока:

Е = (Ф(1,..., N)|Н|Ф(1,..., N)) (1.15)

Оптимизация этой энергии с помощью вариационного принципа приводит к уравнениям на собственные значения, известным как уравнения Хартри - Фока:

Р (г,) ф, (г,) = е,ф, (г,) г = 1, 2,..., N (1.16)

В полном виде они записываются как:

N

+£

3=1

Н, (г,) ф, (г,) +

ф (гз) Г1 ф3 (гз) ¿гз) -( \ф) (г3 ) I1 ф* (г3 ) ^Г3

3

г,3

ф, (г,) =

= £,ф, (г,) .

(1.17)

Первое и второе слагаемые в сумме соответствуют кулоновскому и обменному операторам.

К, =

1

ф) (т) ф) (т1) —фг (т3) (т3) атг &т3 гъз

(1.18)

Jгj =

ф* (тг) фг (тг) — ф) (Tj ) фj (Tj ) ^ ^

2 ^б2 Лг = - ~ V2--

2 ' г

Гг

(1.19)

(1.20)

^ = фг* (тг) Лгфг (тг) ^

(1.21)

Чтобы решить задачу в рамках метода Хартри-Фока в практических приложениях зачастую переходят к базису атомных орбиталей. Эта процедура была разработана Клеменсом Рутааном из Чикагского университета в 1950-х годах. Стоит отметить, что этот метод является приближением, поскольку в данном подходе неизвестные одноэлектронные функции-орбитали ищутся в виде линейных комбинаций функций определенного вида - атомных орбиталей, а также допускаются некоторые предположения: рассматриваются только валентные электроны, атомы считаются изолированными, потенциалы атомов экспоненциально убывают с ростом расстояния от ядер атомов и не зависят от других атомов в молекуле. Рутаан выразил атомные орбитали фг как линейные комбинации функций фу (г), V = 1,... ,К:

к

ф = ^2 Су Ф (1.22)

У = 1

Эти атомные орбитали можно использовать в качестве Слэтеровских орбиталей. Подставляя 1.22 в 1.16, вводя матрицу перекрывания:

= I ¿Ггф* (гг) (гг)

(1.23)

и матрицу Фока:

= I ^гф^ (гг) Р (гг) фу (гг)

(1.24)

j

получаем уравнения Хартри-Фока-Рутана:

^ = с М = 1,2,..., К

(1.25)

V

V

Они же, полностью в матричной форме:

Ре = еБе

(1.26)

Хотя на первый взгляд полученное уравнение может показаться простым уравнением для собственных значений, на самом деле оно носит нелинейный характер, и его решение может быть эффективно найдено только с использованием метода самосогласованного поля, который включает следующие шаги:

1. Выбор начального приближения для коэффициентов е.

2. Вычисление матрицы Фока на основе этих коэффициентов.

3. Получение нового набора коэффициентов е как решения этой системы.

4. Повторять шаги 2 и 3 до достижения сходимости.

Подход Хартри-Фока не обеспечивает абсолютную точность, поскольку в большинстве случаев система не может быть адекватно описана волновой функцией в форме детерминанта Слэтера. Разница в энергии между точным решением и полученным по методу Хартри-Фока определяется как корреляционная энергия. Наименование корреляционная энергия отражает особенность подхода Хартри-Фока: он не учитывает в полной мере электронную корреляцию, то есть взаимное влияние электронов друг на друга. В рамках Хартри-Фока это взаимодействие представлено через обменные и электростатические силы, но более сложные эффекты корреляции остаются вне рассмотрения из-за ограничений на форму волновой функции и структуру гамильтониана.

1.3 Теория функционала плотности

Уравнения Хартри-Фока описывают невзаимодействующие электроны под действием потенциала среднего поля, состоящего из классического кулоновского потенциала и нелокального обменного потенциала. Отталкиваясь от этого, можно

разрабатывать улучшенные приближения, однако, стоимость вычислений для таких улучшений значительно возрастает и экспоненциально увеличивается с ростом числа электронов. Более того, точные решения требуют особого подхода к описанию пространственного изменения волновой функции, то есть необходимы обширные базисные наборы, что в свою очередь увеличивает вычислительную стоимость расчётов. Для молекулярных расчетов был разработан целый ряд коррелированных методов [3], таких как МР2, МР3, МР4, ОКБ, ССББ, СС8Б(Т), сложность которых пропорциональна [4] 5, 6, 7, 6, 6, 7 степени числа электронов, соответственно. В большинстве ситуаций, СС8Б(Т) расчёты обеспечивают химическую точность, однако из-за вычислительных затрат применение таких методов часто не является практичным для систем с большим числом атомов, даже при быстром развитии компьютерных технологий.

Для расчёта полной энергии системы достаточно знания двухчастичной плотности вероятности - вероятности найти электрон в Г1 и другой электрон в г2

Запишем матрицу плотности второго порядка, которая определяется как:

Диагональные элементы, часто называемые двухчастичной матрицей плотности, равны:

Это требуемая двухэлектронная функция вероятности, которая полностью определяет все двухчастичные операторы. Матрица плотности первого порядка определяется аналогичным образом и может быть записана в терминах Р2 как:

[4].

Ф* (г1, Г1, . . . , г'м) Ф (Г1, Г2, . . . , гм) ¿Гз^Г4 . . .

(1.27)

Р2 (Г1, Г2) = Р2 (Г1, Г2; Г1, Г2)

(1.28)

/

Р2 (г1, Г2; Г1, Г2) ^Г2

(1.29)

Таким образом, полную энергию можно записать как:

¿Г1 +

п =г£

+ / 1-1-ГР2 (Г1, Г2) ^Г1 ¿Г2 (1.30)

] |Г1 - Г2|

Диагональные элементы матриц плотности первого и второго порядков определяют полную энергию. В подходах, основанных на прямой минимизации Е, существует необходимость обеспечения корректности матриц плотности, т. е. их конструируемости по антисимметричному Ф. Наложение этого ограничения нетривиально и в настоящее время является нерешенной задачей.

Центральной идеей теории функционала плотности является понимание, что полная энергия основного состояния системы может быть выражена через электронную плотность, то есть через диагональные элементы матрицы плотности первого порядка.

В 1964 г. Хоэнберг и Кон доказали два утверждения [5]. Первое из них может быть сформулировано следующим образом:

е = а(нр) =

N

- 2 V?

|Г1 - К |

Р1 (г1, Г1)

Внешний потенциал является функционалом от электронной плотности, соответствующей решению уравнения Шрёдингера в основном состоянии, и этот функционал единственен (с точностью до аддитивной константы).

(1.31)

Из этого утверждения сразу следует, что электронная плотность однозначно определяет оператор Гамильтона. Это следует из того, что гамильтониан определяется внешним потенциалом и общим числом электронов К, которое можно вычислить из плотности простым интегрированием по всему пространству. Доказательство этой теоремы было впоследствии обобщено Леви в 1979 г. на системы с вырожденными состояниями. Следовательно, все химические свойства системы в основном состоянии могут быть получены из электронной плотности, которая соответствует этому состоянию.

Список литературы диссертационного исследования кандидат наук Рябов Александр Александрович, 2024 год

Используя

получаем:

да дп

= 2Уп,

д^хс Ъ д^хс г—,

= 2—— Уп

дУп да

Теперь раскроем член с дивергенцией:

(3.11)

У • (п^) = 2Уп • Уп + 2пУ •(д£хс

дУп да да

Получаем:

п

(3.12)

Ухс(г) = £хс + п^Х — 2адх — 2пУ • ( Уп у ] х дп да \ да

Раскрывая член с дивергенцией дальше:

(3.13)

-2пУ • ( ^Уп^ =-2п(У^ • Уп + ^У2п

да

да

да

(3.14)

•г—,д£хс д £хс^ д £хс-т—,

У^Г" = тг^Т" Уп + У а да дпда да2

Теперь подставляем это в выражение для дивергенции:

(3.15)

2п

(п + ^УаУ Уп + ^у2п

дпда

да2

да

После раскрытия скобок получаем:

—2пдЩс(Уп • Уп) — 2пд^с(Уа • Уп) — 2пд£хсУ2п дпда да2 да

(3.16)

(3.17)

Теперь, учитывая, что а = |У п|2, то У п • Уп можно заменить на а, и мы получаем:

—2п|%а — 2п^(Уа • Уп) — 2пд£хсУ2п дпда да2 да

Подставляем в выражение для Ухс(г):

(3.18)

т г / \ , д^хс Ъ ( д^хг д £хс \

Ухс(г) = £хс+п—--2 ( —--+ п— I

дп

д2£ д£ о ■ -о о , а—2пд-хсУп У а—2пд-хсУ2п (3.19)

да дпда да2 да

Стоит отметить, что в широком смысле в data-driven постановке в машинном обучении зачастую выбор признаков является произвольным, и единственным критерием успеха является улучшение метрик качества нейросети. Однако обусловленнами некими явными аналитическими паттернами структура входных признаков упрощает задачу нейросети по аппроксимации столь сложной, а иногда и неизвестной, зависимости, как зависимость обменно-корреляционного потенциала от плотности обменно-корреляционной энергии.

3.4.3 Процедура обучения

На первом этапе обучается только часть нейросети ККУ. В этом случае энергия, поступающая на вход ККУ, получается с помощью пакета НЬХС [84]. Первый этап направлен на обучение отображению между ехс и соответствующим потенциалом, и используется известная заранее плотность обменно-корреляционной энергии ехс, которая может быть предпосчитана аналитически. Так как отображение, которое аппроксимирует NN-4 универсально для функционалов ввЛ, выбор аналитической формы плотности обменно-корреляционной энергии тут не имеет значения. На данном этапе применяется следующая функция потерь:

1 N

Loss = ]v [i] - Vprdicted[i]f (3.20)

i=i

На втором этапе веса NN-V фиксируются, а обучается только часть NN-E, в то время как функция потерь зависит от выхода NN-V (VXc). Второй этап направлен на обучение нейронной сети отображению электронной плотности и а в Vxc. Одновременно с этим фиксированная предобученная часть NN-V обеспечивает правильную связь между ехс и Vxc.

На этом этапе дополнительно включается граничное условие в функцию потерь:

1N

Loss = ]v E[(Vx^E[i] - Vxpcredicted[i])2+

i=i

(eXrcedicted (0, a)[i] - 0)2+ (sxjcedicted(n, 0)[i] - 4°>)М)2] (3.21)

Первое граничное условие основано на том, что ехс равен нулю при нулевой плотности с любым входом а. Второе граничное условие следует из того, что при нулевом а и любой плотности ехс равен соответствующей энергии приближения LDA.

3.4.4 Подготовка входных данных

Для получения обучающей выборки были проведены расчёты DFT [5; 7] для кремния, бензола и аммиака. Расчёты были проведены с помощью программного пакета Octopus [73-75]. Используется обменно-корреляционный функционал PBE [17; 82]. Для всех атомов используются псевдопотенциалы SG15 [85]. Общее число расчётов составляет 10 для каждого химического вещества. Атомные конфигурации в этих расчётах отличаются применяемой деформацией ±5%. Используется сетка 64 х 64 х 64 для кремния и бензола и сетка 65 х 65 х 65 для аммиака. Размер сетки для аммиака немного больше из-за технических особенностей, связанных с непериодическими граничными условиями. Для избежания некорректного подсчёта градиента на границах из обучающей выборки удаляются точки сетки, находящиеся на расстоянии 4 (в соответствии с численной схемой дифференцирования) или менее от границ параллелепипеда. В итоге размер набора данных составил около 5,2 миллиона образцов.

3.4.5 Эксперимент

Для обучений нейронной сети был использован программный пакет машинного обучения Pytorch [86]. Для обучения был выбран алгоритм Adam с константой скорости обучения, равной 0.001, которая уменьшалась в процессе обучения по расписанию на 25 процентов каждые 20 эпох. Использованная функция потерь - среднеквадратичная ошибка (MSE). Архитектура нейронной сети (NN-E) - это полносвязная сеть с двумя входными нейронами, одним линейным выходным нейроном и четырьмя скрытыми слоями по 100 нейронов с функциями активации ELU [87]. NN-V имела ту же архитектуру, за исключением того, что число входных нейронов увеличено до 5.

Для реализации граничных условий (3.21) было включено 2 дополнительных батча в каждый шаг обучения. Первый состоит из нулевой плотности электронов и ненулевых градиентов с соответствующим нулевым exc. Второй содержит ненулевую плотность электронов и нулевые градиенты с соответствующим Таким

образом, с одной стороны, граничные условия были включены в рассмотрение непосредственно в функцию потерь; с другой стороны, граничные условия были добавлены с помощью релевантных данных.

Обучение нейронной сети было проведено на бензоле, кремнии и аммиаке. Для каждого вещества было выполнено десять самосогласованных расчётов. В каждом расчёте система была растянута или сжата на ±5% от постоянной решетки, чтобы получить плотности электронов в более широком диапазоне.

Кривые обучения для NN-V и NN-E представлены на рисунке 3.9. Функция потерь на обучении и валидации достигает плато после 300000 итераций для NN-V и 200000 итераций для NN-E соответственно. Каждый батч в итерациях состоял из 32 образцов. Конечная функция потерь достигла значений около 10-6 Ha2 х а6 в обоих случаях.

Распределения входных признаков для обучающего набора данных представлены на рисунке 3.10. Индивидуальные распределения для каждого из веществ, включенных в набор обучающих данных, нормированы на общее количество элементов в обучающей выборке, соответствующее данному веществу. В дополнение к признакам на рисунке показаны распределения радиуса

Вигнера-Зейтца т8 = (3/(4пп))1/3 и нормированного градиента плотности 8 = |Уп|/2крп = |Уп|/(2^3п2/3п4/3). Полученные распределения строго не являются равномерными в силу того, что в обучающей выборке представлены реальные системы. Распределения локализованы вокруг значений, характерных для рассматриваемых систем. Анализ таких распределений крайне важен для определения границ применимости нейросетевых обменно-корреляционных функционалов, т.е. для выявления случаев, когда нейросетевой функционал заведомо не сработает из-за отсутствия таких данных в обучающей выборке. Это особенно важно для случая тяжелых атомов, в которых электронная плотность может иметь большие производные.

Рисунок 3.9 - Кривые обучения нейронной сети XC. Левая кривая соответствует обучению NN-V, где log(Loss) - это логарифм функции потерь (3.20). Правая кривая соответствует обучению NN-E, где log(Loss) - это логарифм функции потерь с граничными условиями (3.21). Выбросы на кривых обучения связаны с настраиваемым коэффициентом обучения, используемым в алгоритме оптимизации.

Для оценки нейросети используются такие метрики, как среднеквадратичная ошибка (MSE) и средняя абсолютная ошибка (MAE):

N

MSE(x) = - )

n=1 N

MAE(x) = nN ^ |Xn - xn| ,

(3.22)

(3.23)

n=1

2

где xn - истинное значение целевой переменной, xn - предсказанное значение целевой переменной, N - общее количество элементов выборки. Полученные значения MSE и MAE для обучающего набора данных представлены в таблице 3.6. Минимум MAE(exc) и MSE(exc) получаются на бензоле, максимумы достигаются на кремнии. Ошибка MSE на граничных условиях составляет порядка 10-10, что значительно меньше суммарной ошибки MSE на обучающих данных.

г* s 1°Э10(\&п\)

Рисунок 3.10 - Распределения входных признаков. Каждая кривая нормируется на общее число элементов в соответствующем наборе данных. Можно заметить, что у кристаллического кремния относительно небольшие градиенты электронной плотности и нет областей с низкой электронной плотностью из-за его периодической структуры. Если нейронная сеть получает входное значение, существенно выходящее за пределы распределения данных, её качество работы может снизиться, что и наблюдается в экспериментах.

Таблица 3.6 - MSE и MAE для £xc и Vxc на обучающей выборке. Единицы измерения для MSE Ha2 х a[j, для MAE Ha х а§.

MSE (sxc) MAE (sxc) MSE (Vxc) MAE (Vxc)

Бензол 4 • 10-7 2 • 10-4 1 • 10-6 6 • 10-4

Кремний 2 • 10-5 1 • 10-3 1 • 10-6 4 • 10-4

Аммиак 2- 10-6 4• 10-4 3 • 10-6 1 • 10-3

На рисунке 3.10 видно, что распределение кремния значительно отличается от общего распределения обучающего набора данных. Видно, что кристаллический кремний имеет относительно малые градиенты электронной плотности и не имеет области низкой электронной плотности из-за его периодической структуры. Поэтому максимальная ошибка £xc в кремнии объясняется тем фактом, что его характерные значения электронной плотности и её производных фактически имеют меньшую долю в обучающем наборе данных по сравнению с бензолом и аммиаком.

Также было отдельно проанализировано пространственное распределение ошибки на примере бензола. На рисунке 3.11 показано распределение относительной локальной ошибки |(x — x)/x| х 100% в плоскости бензола как для sxc, так и для Vxc. Пространственное распределение ошибки ясно показывает, что она имеет наибольшие значения в области ядер и на границе. Опять же, высокая локальная ошибка в этих участках может быть связана с недостаточным количеством соответствующих данных в обучающей выборке. Если бы в обучающем наборе данных было больше экстремальных примеров с высокой и низкой плотностью, то ошибки в области ядер и на границе должны были бы упасть.

Lx = 13.125 A Lx = 13.125 А

Рисунок 3.11 - Пространственное распределение относительной ошибки для бензола: (а) пространственное распределение относительной ошибки для exc, (б) пространственное распределение относительной ошибки для VXc. Относительные локальные ошибки имеют наибольшие значения в области ядер и на границе.

Разработанный нейросетевой обменно-корреляционный функционал был интегрирован в код Octopus и были произведены расчёты самосогласованного цикла. Все расчеты были проведены до сходимости, после чего были рассчитаны

относительные ошибки полной и обменно-корреляционной энергий. В качестве эталона для подсчёта ошибок был взят функционал РВЕ, который использовался для обучения нейросети. Результаты представлены в таблице 3.7. Видно, что наибольшая погрешность достигается для атомарного и молекулярного кислорода.

Таблица 3.7 - Результаты тестирования нейросетевого обменно-корреляционного функционала на поднаборе данных датасета 1Р13/03. и Exc означают полную и обменно-корреляционную энергии, полученные после сходимости.

(Еша1), % (Ехс), %

С 0.052 0.287

8 0.015 0.102

8Ы 0.021 0.007

С1 0.010 0.035

ОН 0.554 1.036

012 0.001 0.035

О 1.556 4.029

Р 0.008 0.071

Э2 0.646 2.482

РЫ 0.014 0.050

PH2 0.011 0.023

Э2 0.023 0.040

81 0.003 0.253

Были проанализированы причины больших ошибок на кислороде. Основной причиной такого расхождения по некоторым веществам, в том числе по кислороду, являются промежуточные плотности, возникающие в процессе самосогласованного цикла, которые нейронная сеть не получила в качестве выборки в процессе обучения. Проблема заключается в том, что такие плотности могут быть сколь угодно разнообразными. Распределения максимальных плотностей электронов в некоторых случаях представлены на рисунке 3.12 вместе с обучающим распределением. Было установлено, что хвосты этих распределений связаны с промежуточными плотностями, возникающими в процессе самосогласованного цикла. Аналитический обменно-корреляционный

функционал содержит асимптотику на бесконечности, что позволяет корректно обрабатывать такие случаи. Однако в тренировочном цикле нейросетевого функционала использовались лишь граничные условия в нуле, а асимптотика на бесконечности не использовалась. Этот факт объясняет полученное несоответствие и дает надежду на дальнейшее развитие и совершенствование нейросетевых обменно-корреляционных функционалов за счет включения таких асимптотик [88; 89].

Рисунок 3.12 - Сравнение распределения несамосогласованной (промежуточной в самосогласованном цикле) электронной плотности атомарного кислорода (а), молекулярного кислорода (б), сероводорода и самосогласованной электронной плотности из обучения (а0 обозначает радиус Бора). Видно, что атомарный и молекулярный кислород имеют значительную долю образцов вне распределения обучающей выборки. Для всех веществ выбран шаг самосогласованного цикла с максимальной электронной плотностью. Этот пример подчеркивает важность включения широкого диапазона электронной плотности и её производных в обучающий набор данных, поскольку во время самосогласованного цикла могут возникать значения, выбивающиеся за обычный диапазон.

Чтобы показать эффективность разработанного нейросетевого функционала в отношении предсказания химических энергий, было проведено тестирование на датасете Alkisomerll [90] (см. таблицу 3.8), для которого было проведено сравнение энергий изомеризации PBE и предсказанных нейросетью. Полученная нейросетевая модель демонстрирует результаты, сопоставимые с PBE, средняя абсолютная ошибка (MAE) для PBE составляет 1.6 ккал/моль, а MAE для NN XC составляет 1.7 ккал/моль. Как выяснилось в результате анализа, большие ошибки по изомерам октана даже в случае PBE объясняются тем, что соответствующие

геометрии, опубликованные в статье [90] не полностью срелаксированы.

Таблица 3.8 - Результаты тестирования нейросетевого обменно-корреляционного функционала на наборе данных Alkisomerii. IE обозначает энергию изомеризации.

IE(PBE) IE(NN) Абс. ошибка, ккал/моль

бутан ^ изобутан -0.996 -1.090 0.094

пентан ^ изопентан -0.788 -0.491 0.297

пентан ^ неопентан -2.315 -1.843 0.472

гексан ^ изогексан -2.563 -2.071 0.492

гексан ^ неогексан -2.516 -1.924 0.592

гексан ^ диизопропил -1.626 -0.896 0.730

гексан ^ 3-метилпентан -2.062 -1.409 0.653

гептан ^ изогептан -3.218 -2.916 0.302

гептан ^ неогептан -2.807 -2.746 0.061

октан ^ гексаметилэтан 5.224 6.326 1.102

октан ^ изооктан 0.725 1.292 0.567

Для проверки важности неравновесных плотностей для сходимости самосогласованного цикла, обучающий набор данных был расширен, в него были включены большие плотности, характерные для промежуточных плотностей атома кислорода (O), которые получаются в самосогласованном цикле. (см. рисунок 3.12). SCF цикл был приостановлен на 2, 4, 6, 8, 10, 12, 14, 16, 18 и 20 итерациях и 10 соответствующих результатов SCF были добавлены в обучающий набор данных. Был использован шаг 0.273 а0 и сетка 64 х 64 х 64. Полученная нейронная сеть улучшила результаты на молекулярном кислороде, относительная ошибка полной энергии упала с 0.646% до 0.023%, а относительная ошибка обменно-корреляционной энергии снизилась с 2.5% до 0.17%. Таким образом, было показано, что включение дополнительных данных, таких как неравновесные плотности (промежуточные плотности в SCF-цикле), позволяет повысить точность функционала.

Был также проанализирован коэффициент усиления Fxc(rs, s) = ехс/е1^,ВА

(англ. enhancement factor), полученный из прогноза NN-E, где s — нормированный

(1 )4/3| Vn|

градиент плотности s = | V n|/2kFn = ^Щп2/з . Было выполнено сравнение с

соответствующим Гхс, полученным из аналитического обменно-корреляционного функционала (РВЕ) с помощью НЬхе (см. рисунок 3.13). Существует большое сходство между коэффициентами при плотностях, которые точно соответствуют наиболее часто встречающимся плотностям в обучающей выборке (т8 = 2). Несколько меньшее сходство наблюдается при т3 = 10. Это можно объяснить уменьшением количества элементов с такой плотностью в обучающей выборке. Существенное расхождение наблюдается в предельных случаях высокой и низкой плотности. В случае высокой плотности (малых т8) это объясняется отсутствием асимптотики на бесконечности. Несмотря на наличие асимптотики при нулевых плотностях в процессе обучения нейронной сети, полученный результат показывает, что этой асимптотики может быть недостаточно для получения адекватного коэффициента.

Рисунок 3.13 - Коэффициент Ехс при фиксированных значениях т3: 0, 2, 10, 1000. й - приведенный градиент плотности. Наблюдается хорошее соответствие коэффициента при плотности т3 = 2, что близко к наиболее часто встречающимся плотностям в обучающей выборке. Также видно, что нейросетевой функционал плохо предсказывает асимптотику в низком (т8 = 1000) и высоком (т8 = 0) пределах электронной плотности.

3.4.6 Важность физических ограничений

Несмотря на то, что нейросетевая модель корректно воспроизводит энергии, точный обменно-корреляционный функционал должен удовлетворять многим важным физическим ограничениям. Поэтому очень важно обсудить, как такие ограничения могут быть добавлены в модель и процесс обучения нейросети в дальнейших исследованиях. Во-первых, важно отметить, что в ограничениях используются полные обменные или корреляционные энергии, поэтому корректная реализация ограничений может быть эффективно введена только при обучении модели на полных энергиях (или, что ещё эффективнее, на энергиях реакций). Одно из наиболее важных и фундаментальных ограничений на обменную энергию электронной системы вытекает из условия масштабирования плотности [91].

Рассмотрим распределение электронной плотности n(r) и масштабированную плотность nY(r) = y3n(Yr). В статье [92] было показано, что это свойство можно эффективно учитывать с помощью обучения с контрастным представлением (англ. contrastive representation learning). Применительно к нашей модели это означает, что плотности и все полученные из неё значения можно подавать в NN-E и NN-V не в «чистом» виде, а трансформировать с помощью отдельной обученной нейросети (кодировщика). В статье, упомянутой выше, используется такая функция ошибки, которая приводит к тому, что полученные кодировщиком представления немасштабированных и масштабированных плотностей одной и той же молекулы становятся близкими, а представления разных молекул отдаляются друг от друга. Таким образом, совместно с другим модулем нейросети, предсказывающим коэффициенты масштабирования, этот подход может помочь включить ограничение масштабирования плотности. В случае работы, описанной в текущей главе, наложение каких-либо ограничений активно не изучалось, но было проверено, что полученный функционал плотности не теряет точности при вращении молекулы SH (см. таблицу 3.9). В результате дополнительных расчётов было получено, что нейросетевая модель демонстрирует вращательную эквивариантность с ошибкой, значительно меньшей 1 ккал/моль.

Плотность обменно-корреляционной энергии и соответствующий обменно-корреляционный потенциал связаны функциональной производной (см. например

Таблица 3.9 - Сравнение энергий нейросети (ММ) и функционала РВЕ при ротации молекулы 8Ы. Все энергии представлены в Хартри

Ротация Полная энергия Полная энергия ХС энергия ХС энергия

(deg.) (РВЕ) (ММ) (РВЕ) (ММ)

0 -10.69546 -10.69320 -2.48893 -2.48901

11.25 -10.69546 -10.69321 -2.48891 -2.48911

22.5 -10.69542 -10.69314 -2.48890 -2.48892

45 -10.69544 -10.69314 -2.48892 -2.48905

90 -10.69546 -10.69321 -2.48893 -2.48901

3.6). Поэтому было выполнено сравнение обменно - корреляционного потенциала, предсказанного частью нейросети ККУ, и соответствующего потенциала, рассчитанного с помощью функциональной производной. Косвенно то, что аналитическая связь между ехс и Ухс сохраняется, может подтвердить тот факт, что погрешности как по энергии, так и по потенциалу при этом достаточно малы. Если бы нейросеть неправильно воспроизвела эту связь, то, соответственно, ошибка на потенциале была бы достаточно большой. Дополнительно эта связь была проверена на молекуле водорода и были построены распределения гхс и Ухс вдоль линии, соединяющей атомы водорода (см. рисунок 3.14).

3.4.7 Выводы

В контексте кодов для квантово-химических расчётов теории функционала плотности точное и эффективное представление обменно-корреляционного потенциала является критически важным. Во многих современных исследованиях предпринимается попытка минимизировать необходимость в явном моделировании этого потенциала, используя только одну нейросеть и автоматическое дифференцирование для представления потенциала как функциональной

производной от обменно-корреляционного функционала [63; 67].

0.02

-0.07

-0.15

^ -0.24 <о

VU5 -0.31 -0.41 -0.49 -0.58

-13Л2 -7^29 ' -1.46 1.46 7^29 ' 13.12 -13il2 " -7.29 ' -1.46 1.46 7.29 ' 13.12

r[a0] г [а0]

Рисунок 3.14 - Срезы £xc и Vxc вдоль линии связи атомов в молекуле водорода. Синие линии показывают значения, прогнозируемые нейросетью, красные линии - значения, полученные с помощью кода Octopus (где - это корректная функциональная производная)

Автоматическое дифференцирование, безусловно, представляет собой мощный инструмент и активно используется в создании обменно-корреляционных функционалов на основе нейронных сетей. Однако вычисление функциональной производной, в особенности потенциала, является нетривиальной задачей. В процитированных выше двух работах нейросетевой функционал использовал достаточно простые фичи, явно выражающиеся через электронную плотность или только её. В рамках аппроксимаций LDA и GGA функциональную производную даже можно выразить аналитически неким выражением, содержашим частные производные. Однако, когда дело доходит до интеграции более сложных входных признаков, например полулокальных, глобальных, либо неявно зависящих от плотности, задача становится значительно сложнее и может быть порой нерешаемой.

В этом контексте прямая аппроксимация обменно-корреляционного потенциала с помощью второй нейронной сети может предложить элегантное решение. Это обходит проблему вычисления сложных функциональных производных, позволяя нам интегрировать разнообразные входные данные в схему машинного обучения. Например, представленная в данной работе

двухкомпонентная архитектура нейросети особенно актуальна для случаев, когда входные признаки зависят от величин, получающихся в процессе дополнительного расчёта и в связи с этим нетривиально связанных с электронной плотностью. Такие признаки уже использовались в работе про функционал DM21 (локальная обменная энергия Хартри-Фока) [83], где для целей подсчёта производных такой фичи по матрице плотности приходилось сохранять предпосчитанные значения, полученные после интегрирования, что в свою очередь увеличивало и без того большой объём датасета. Также входные признаки могут зависеть от орбиталей, которые неявно зависят от электронной плотности. Такие случаи создают проблемы для формирования графа вычислений, необходимого для автоматического дифференцирования, и зачастую заставляют разработчика внедрять способы подсчёта производных для таких фичей в код дополнительно. Наш подход предлагает альтернативу, напрямую аппроксимируя функциональные производные с помощью data-driven методологии, минуя необходимость в аналитических вычислениях или автоматическом дифференцировании и обеспечивая гибкость в выборе входных переменных.

Эта гибкость оказывается крайне полезной при разработке новых функционалов на основе данных из точных квантовохимических расчётов, для которых априорная информация о наиболее релевантных фичах может быть ограниченной. Предложенный подход предоставляет широкие возможности для адаптации и применения в разнообразных задачах материаловедения и квантовой химии.

В контексте интеграции разработанного метода в существующие программные пакеты для химических расчетов, одним из значительных преимуществ данной двухкомпонентной нейросетевой архитектуры является ее независимость от механизмов автоматического дифференцирования. Здесь компонент нейросети NN-V эффективно аппроксимирует функциональную производную, избавляя разработчика от необходимости разработки или поиска дополнительных модулей или библиотек для автоматического дифференцирования, применимых к рассматриваемому программному пакету квантовохимических расчётов. Это не только упрощает процедуру внедрения разработанного модуля, но и предоставляет гибкость для модификации и адаптации метода в различных вычислительных платформах и прикладных контекстах.

Кроме того, данная архитектура предлагает пути для создания полностью новых обменно-корреляционных функционалов. Электронную плотность можно получить из более точных методов, таких как СС8Б, и затем применить метод инверсии Кона-Шема для получения обменно-корреляционного потенциала. От этой отправной точки возможны два пути дальнейших действий. Если мы хотим использовать известные связи между Ехс и Ухс, как в аппроксимациях ЬБЛ или ввЛ, можно повторить описанную процедуру обучения, где для обучения не требуется знание Ехс, и локальная обменно-корреляционная энергия является промежуточным звеном общей тандемной нейросети.

Однако, если необходимо использовать сложные входные фичи и аналитический вид функциональной производной на сетке неизвестен, процедуру можно модифицировать. В этом случае, КК-Е можно обучить отдельно на Ехс, полученной, например, путем вычитания из Ешш1 СС§0 других компонент энергии, рассчитанных с использованием БРТ и не связанных с обменно-корреляционной энергией. Особенно полезно обучение на разностях ЕШй1СС§в, например, энергиях реакций. Затем КК-Е можно заморозить, и обучить только КК-У, у которого уже есть целевой потенциал для обучения, а в процессе новой итерации эта часть нейросети выучит функциональную связь с обменно-корреляционной энергией для этого набора фичей. Таким образом, предложенная архитектура не только упрощает интеграцию в существующие химические коды, но и открывает новые горизонты для разработки обменно-корреляционных функционалов.

В заключение, проанализируем полученные метрики качества и другие особенности. Сравнимая с аппроксимируемым функционалом ошибка на отложенном наборе данных указывает на то, что разработанный подход к архитектуре нейросетевого функционала хорошо интерполирует существующие функционалы и обладает высокой способностью к обобщению. Более того, в рамках предложенной архитектуры можно обучать КК-Е и КК-У отдельно, что делает ее гибкой в использовании. Может быть предложена следующая стратегия создания более точных функционалов в рамках предложенной архитектуры: первоначально обучается часть КК-У на определенном типе существующего функционала (ЬБЛ, ввЛ или ш^а-ввЛ), используя нужные входные фичи. Затем часть КК-Е нейронной сети обучается на данных, полученных с помощью точных методов пост-Хартри-Фока или квантового Монте-Карло.

В данной работе детально не проверялось, что полученный функционал полностью удовлетворяет всем физическим ограничениям [63; 93]. Однако все эти условия могут быть введены модификацией обучающего цикла или функции потерь и, следовательно, могут быть явно учтены в дальнейших исследованиях.

Основные результаты данного раздела опубликованы в работе [94].

3.4.8 Исходный код полученных программ

Оптимизированные веса нейросети и программный код для их использования в расчётах доступны по адресу: https://github.com/ Л1ехапёегРгеешап/осШрш-пп-2.

3.5 Проблемы нейросетевых функционалов и пути их решения на примере

функционала DM21

Настоящая глава диссертации направлена на анализ одной из ключевых работ [83], вышедших одновременно с исследованиями, проведёнными в настоящей диссертационной работе. Основные результаты данной главы были опубликованы в журнале Science [95]. Анализируемая работа, безусловно, представляет собой значительный вклад в область исследований диссертации. Однако, были обнаружены некоторые неточности, а также концептуальные и методологические ошибки, которые затрагивают результаты и выводы, представленные в статье.

Целью этой главы является изложение и критический анализ этих ошибок с целью не только указать на них, но и предложить возможные пути их устранения, а также улучшить методологию, применяемую в дальнейших исследованиях. Несмотря на то, что цель здесь не заключается в том, чтобы занижать достижения авторов работы [83], предполагается, что критическое обсуждение таких проблем является важным моментом в научном обсуждении, позволяющим ускорить развитие области знания, связанной с настоящей диссертационной работой.

Авторы статьи, Киркпатрик и др. (Deepmind) обучили функционал DFT на основе нейронной сети, названной авторами DM21, для систем с дробным зарядом (англ. fractional charge, FC) и дробным спином (англ. fractional spin, FS) и пришли к выводам о том, что он обладает выдающейся точностью для химических систем, демонстрирующих сильную корреляцию.

В данной главе будет показано, что способность DM21 обобщать поведение таких систем не следует из опубликованных результатов и требует пересмотра.

3.5.1 Краткое описание анализируемой работы

Одна из заявленных основных особенностей функционала DM21 заключается в том, что он способен хорошо описывать кривые диссоциации двухатомных молекул, что традиционно является очень сложной задачей. Основной вывод работы [83] заключается в том, что включение систем FC и FS в обучающую выборку достаточно гибкого функционала плотности позволяет ему демонстрировать хорошую точность даже для систем, близких по поведению к FC/FS, на которых теория функционала плотности обычно терпит неудачу. Чтобы доказать это, авторы построили локальный гибридный функционал с обучаемыми (на основе нейронной сети) коэффициентами усиления и обучили его одновременно аппроксимировать энергии и орбитали Кона-Шема целевых систем. Обучаюшая выборка состояла из 1161 энергии реакций/молекул, 1074 энергий систем FC/FS и 931 набора орбиталей Кона-Шема.

Результирующий нейросетевой функционал, который авторы назвали DM21, оказался значительно точнее, чем четыре других функционала в сравнении -SCAN-D3(BJ) [96; 97], wB97X-V [98], M06-2X [99], PW6B95-D3(0) [100], обычно используемые на эталонных наборах данных с разрывом химических связей (BBB), GMTKN55 [101] и QM9 [102]. Затем авторы продемонстрировали, что если исключить системы FC/FS из обучающего набора, получившийся функционал (DM21m) становится менее точным для набора данных BBB, но несколько точнее для наборов данных GMTKN55 и QM9.

3.5.2 Основные проблемы функционала DM21

Хотя вывод авторов данной статьи о роли систем FC/FS в обучающей выборке может быть правильным, объяснение этих результатов может быть иным. Как будет показано далее, улучшение производительности DM21 на тестовом наборе данных BBB по сравнению с DM21m (функционал, обученный без добавления FC/FS систем в обучающую выборку) может быть вызвано гораздо более прозаической причиной: непреднамеренным перекрытием распределений обучающего и тестового наборов данных. Действительно, тогда как набор данных BBB состоит из систем

H2, Li2, C2, N2, F2, H+, He+, Li+, B+, Ne2+, и Âl2+,

изолированные атомы, составляющие эти системы [самые проблемные случаи для DFT [104]] использовались для обучения DM21 (но не DM21m) в формах атомов с дробным зарядом или спином в обучающих наборах FS/FC (см. рисунок 3.15A). Примечательно, что плотности димеров, построенные из целочисленно занятых орбиталей, сходятся к плотностям суперпозиций атомов с нецелым зарядом FC (см. рисунок 3.15B). Таким образом, "плоская" область кривой диссоциации имеет волновую функцию и энергию, очень похожие на пару отдельных атомов FS/FC, поэтому можно сделать вывод о том, что самая нетривиальная часть набора данных BBB была значительно (косвенно) представлена в обучающей выборке. Иными словами, локальность взаимодействий в химии сводит описание димеров к описанию двух невзаимодействующих атомов. Именно такие атомы и были представлены в обучающих данных.

Эта ситуация подчёркивает разницу между тестированием модели в физике и в машинном обучении. В физике производительность модели на тестовом наборе данных показывает, насколько хорошо она представляет реальность; наоборот, в машинном обучении, где модель обучается на обучающем наборе данных, ее производительность на тестовом наборе данных показывает способность модели к обобщению. Иначе говоря, в физике модель интегрирует в себя "понимание" реальности, а в машинном обучении это понимание интегрируется неявным образом, в связи с чем могут быть проблемы при обобщении. В связи с тем, что модели машинного обучения обычно имеют склонность к "запоминанию" [106], важно

тестировать их на системах, отличных от тех, на которых они были обучены [107; 108]. В противном случае, так называемая "утечка данных" может искусственно завысить показатели производительности.

Рисунок 3.15 - Утечка систем FS/FC в тестовый набор данных BBB (A). Типичная кривая диссоциации для системы в тестовом наборе данных BBB. В пределе диссоциации соответствует паре систем FC или FS, обе из которых использовались для обучения DM21 (но не DM21m). (B) Сходство электронных плотностей димерных катионов (с целочисленными заселенностями орбит) и суперпозиций атомов FC; меры разности электронных плотностей [103] представляют собой интеграл квадратов ошибок (красный) и интеграл абсолютных ошибок (синий). Для наглядности все функции нормированы по абсолютным значениям при равновесной геометрии. Расчеты выполнены с помощью HF для H, He+, и H+, и с помощью CCSD для He and He2+, используя базис aug-cc-pV5Z.

Несмотря на то, что тестовый набор данных DM21 имеет лишь небольшое общее перекрытие с обучающим набором [см. рисунок S2 в [83]], подмножество BBB в значительной степени неявно пересекается с обучающим набором, примерно на 50 процентов (см. рисунок 3.15). В связи с этим, сложно считать его справедливым тестом. Помимо набора данных BBB, авторы также продемонстрировали отличную производительность DM21 на других системах, где ожидается поведение, очень близкое к FS/FC системам. Тем не менее, все эти тесты не позволяют сделать однозначные выводы относительно "понимания" систем FS/FC функционалом DM21. Далее детально разберём отдельные случаи.

1. Для аденин-тиминовой пары референсный метод, использованный авторами, оказывается неверным, так как полностью игнорирует водородные связи, которые могли бы перераспределять электронную плотность между частями пары. В связи с этим, распределение зарядов между двумя молекулами становится неопределённым. Также, на данной системе отсутствует сравнение между DM21 и DM21m.

2. Применительно к реакции бициклобутана DM21 превосходит DM21m по двум конротаторным переходным состояниям, причём характеристики функционалов по дисротаторным переходным состояниям очень близки (таблица S4 в [83]). Эта тенденция является неожиданной, поскольку именно дисротаторный путь имеет высокую нединамическую корреляцию [109]; однако DM21m не испытывает проблем с ним, несмотря на отсутствие обучения на системах FS/FC.

3. Сжатая цепочка атомов водорода. Авторы утверждают, что функционал DM21 показывает лучшее качество по сравнению с другими функционалами DFT, поскольку для цепочки атомов водорода он даёт основное состояние без нарушения спиновой симметрии. Они объясняют это тем, что пост-Хартри-Фоковские методы не дают спин-поляризованных решений, и делают вывод, что отсутствие спиновой симметрии в решениях традиционных функционалов может быть следствием ошибок. Это утверждение является спорным, так как авторы DM21 не предоставляют убедительных доказательств в поддержку этого вывода. На данный момент нет твёрдых доказательств того, что конечная цепочка атомов водорода не может иметь волновую функцию Кона-Шема с нарушенной спиновой симметрией. Следовательно, поведение DM21 лишь демонстрирует его отличия от других функционалов, но не доказывает его превосходство.

Более того, сам факт наличия спин-симметричной волновой функции для DM21 нуждается в дополнительной проверке. Свести DM21 для H24, используя опубликованный авторами программный код, не удалось; однако, для DM21m были найдены решения как с сохранением симметрии, так и без сохранения орбитальной симметрии, в зависимости от начального приближения (см. рисунок 3.16). Примечательно том числе и то, что настройки по умолчанию привели к решению с сохранением симметрии, которое на 44.4 ккал/моль менее стабильно, чем решение без сохранения. Этот результат демонстрирует, что решение с сохранением симметрии, найденное авторами для DM21, может быть просто неправильной

стационарном точкой самосогласованного поля, и поэтому для доказательства того, что БМ21 не имеет решений с нарушением симметрии с более низкой энергией, требуется проверка стабильности волновой функции.

Рисунок 3.16 - Поведение функционалов БМ21. (А) Решения БМ21ш с сохранением симметрии и с нарушением симметрии для системы Н24. (В) Ошибки БМ21, БМ21ш и шКР16/В13 на системах из набора данных 8!Е4х4. Данные из [83] и [105].

4. Набор данных 81Е4х4 из вМТК^5. Он был разработан для проверки точности разработанного функционала на системах БС (где ошибка, связанная с взаимодействием электронов самими с собой, наиболее выражена) и содержит четыре системы, две из которых (Н+ и Не+) также присутствуют в наборе данных ВВВ (для которых соответствующие изолированные атомы были использованы для обучения БМ21; см. выше). БМ21 превосходит БМ21ш на всех системах из этого набора данных (см. рис. 3.16); однако, ошибка увеличивается по мере роста расстояния, и уже существующий функционал шКР16/В13 ([105]) превосходит по качеству БМ21.

3.5.3 Выводы

Анализ, проведённый в данной главе, показывает, что способность DM21 корректно обобщать информацию о FS/FC системах, полученную из обучающей выборки, не подтверждена теми экспериментами, что были представлены в статье. Чтобы доказать, что DM21 действительно обобщает (а не запоминает) поведение

систем Р8/РС, авторы должны построить независимый тестовый набор данных и сравнить на нём производительность (то есть способность к обобщению) БМ21 и БМ21ш.

В то же время, работоспособность идеи включения физических ограничений через обучающую выборку подтверждается тем, что функционал БМ21ши (отличающийся от БМ21ш только включением асимптотики однородного электронного газа в обучающий набор данных) значительно превосходит БМ21ш на всех трёх подмножествах тестового набора данных [рисунок 34 из [83]]. Этот результат наглядно демонстрирует важность внедрения асимптотики на однородный электронный газ для построения функционалов БРТ на основе нейронных сетей, что ранее уже было подтверждено при проведении моего исследования.

В заключение следует отметить, что проблема обобщения поведения систем с дробным зарядом с помощью функционала ББТ на основе нейронной сети остаётся открытой. Однако общий подход, заключающийся в наложении точных физически-корректных ограничений и асимптотик на нейросетевой функционал с помощью обучающих данных, определённо, будет играть важную роль в будущем развитии теории функционала плотности.

Заключение

Основные результаты работы заключаются в следующем:

1. В ходе исследования был разработан метод нейросетевой аппроксимации обменно-корреляционных функционала и потенциала для сетки в действительном пространстве в трёхмерном случае.

2. Численные эксперименты и результаты в самосогласованном цикле подтвердили корректность работы полученных нейросетевых функционалов и потенциалов в квантово-химических расчётах.

3. Был проведен анализ метода введения физических ограничений в

w w У w 1 Т1 _

нейросетевой обменно-корреляционный функционал. Были определены ограничения данного метода и указаны направления для его совершенствования.

4. Исследована новая тандемная нейросетевая архитектура для аппроксимации обменно-корреляционных функционала и потенциала, избегающая автоматического дифференцирования, которая может стать альтернативой существующим нейросетевым архитектурам.

5. В рамках работы был создан код для интеграции полученных нейросетевых функционалов и потенциалов в программный пакет Octopus, предназначенный для расчётов в рамках теории функционала плотности.

6. В процессе исследования была подчёркнута значимость тщательного тестирования нейросетевых моделей функционалов, а также указаны потенциальные сложности при формировании обучающих и тестовых наборов данных. Указанные проблемы могут привести к искусственному улучшению показателей эффективности нейросетевых моделей, как это было проиллюстрировано на примере функционала DM21, разработанного DeepMind.

В целом, разработанная методика нейросетевой аппроксимации обменно-корреляционных функционалов и потенциалов открывает новые возможности для более точных квантово-химических расчётов в рамках теории функционала плотности (DFT). Она обеспечивает методологический прогресс, предлагая альтернативу автоматическому дифференцированию и тем самым облегчая

интеграцию совершенно произвольных входных признаков. Это, в свою очередь, увеличивает гибкость процесса создания новых нейросетевых функционалов и имеет потенциал для улучшения точности DFT-расчётов в дальнейших исследованиях.

В качестве рекомендации можно предложить дальнейшую проверку и улучшение метода введения физических ограничений в нейросетевые модели обменно-корреляционных функционалов. Например, можно детально исследовать, когда и при каких условиях физические ограничения, внедрённые в нейросетвые функционалы, дают выйгрыш в сравении с моделями без ограничений. Также актуален анализ применимости предложенного метода для аппроксимации обменно-корреляционных функционалов на основе данных, полученных с использованием методов высокой точности, таких как CCSD. Это может привести к созданию новых функционалов, имеющих как известную, так и неизвестную связь между обменно-корреляционной энергией и потенциалом. Это может существенно расширить область применения теории функционала плотности.

Перспективы дальнейшего развития также включают в себя адаптацию методологии для больших и сложных систем, а также исследование возможности внедрения нейросетевых архитектур в другие программные пакеты. Другим направлением может стать разработка алгоритмов для автоматизированного независимого тестирования нейросетевых функционалов, особенно в свете выявленных проблем с функционалом DM21 от Deepmind.

Таким образом, результаты данной работы имеют как теоретическую, так и практическую значимость и предоставляют основу для дальнейших исследований в области DFT и машинного обучения.

Основные результаты опубликованы в работах [50; 72; 94; 95].

В заключение автор выражает благодарность и большую признательность научному руководителю Жиляеву Петру Александровичу за поддержку, помощь, обсуждение результатов и научное руководство. Также автор благодарит Медведева Михаила Геннадьевича, Герасимова Игоря Сергеевича и Лосева Тимофея Валерьевича за совместную работу над публикациями в соавторстве. Автор благодарит своих родителей, которые поддерживали и верили в успех данного исследования на всём этом долгом пути.

Список литературы

1. Сатанин, А. Введение в теорию функционала плотности / А. Сатанин // Интернет-издание Нижегородского госуниверситета. — 2009.

2. Giannozzi P. Numerical methods in quantum mechanics // University of Udine. -2013.-Т. 38.

3. Szabo A., Ostlund N. S. Modern quantum chemistry: introduction to advanced electronic structure theory. - Courier Corporation, 2012.

4. Harrison N. M. An introduction to density functional theory // Nato Science Series Sub Series III Computer and Systems Sciences. - 2003. - Т. 187. - С. 45-70.

5. Hohenberg P., Kohn W. Inhomogeneous electron gas // Physical review. - 1964. -Т. 136.-№. 3B.-C. B864.

6. Foley M., Madden P. A. Further orbital-free kinetic-energy functionals for ab initio molecular dynamics // Physical Review B. - 1996. - Т. 53. - №. 16. - C. 10589.

7. Kohn W., Sham L. J. Self-consistent equations including exchange and correlation effects // Physical review. - 1965. - Т. 140. - №. 4A. - C. A1133.

8. James H. M., Coolidge A. S. The ground state of the hydrogen molecule // The Journal of Chemical Physics. - 1933. - Т. 1. - №. 12. - C. 825-835.

9. Whitfield J. D., Love P. J., Aspuru-Guzik A. Computational complexity in electronic structure // Physical Chemistry Chemical Physics. - 2013. - Т. 15. - №. 2. - C. 397-411.

10. Vosko S. H., Wilk L., Nusair M. Accurate spin-dependent electron liquid correlation energies for local spin density calculations: a critical analysis // Canadian Journal of physics. - 1980. - Т. 58. - №. 8. - C. 1200-1211.

11. Perdew J. P., Zunger A. Self-interaction correction to density-functional approximations for many-electron systems // Physical review B. - 1981. - Т. 23. -№. 10. - C. 5048.

12. Perdew J. P., Wang Y. Accurate and simple analytic representation of the electron-gas correlation energy //Physical review B. - 1992. - Т. 45. - №. 23. - C. 13244.

13. Burke K. et al. The abc of dft // Department of Chemistry, University of California. - 2007. - Т. 40.

14. Нявро А. В. и др. Эволюция электронных состояний: атом-молекула-кластер-кристалл. - Томск : Издательский Дом Томского государственного университета, 2013. - 268 с.

15. Perdew J. P., Yue W. Accurate and simple density functional for the electronic exchange energy: Generalized gradient approximation // Physical review B. - 1986. -Т. 33.-№. 12.-С. 8800.

16. Perdew J. P. et al. Atoms, molecules, solids, and surfaces: Applications of the generalized gradient approximation for exchange and correlation // Physical review B. - 1992. - Т. 46. - №. 11.-С. 6671.

17. Perdew J. P., Burke K., Ernzerhof M. Generalized gradient approximation made simple // Physical review letters. - 1996. - Т. 77. - №. 18. - С. 3865.

18. Perdew J. P. et al. Accurate density functional with correct formal properties: A step beyond the generalized gradient approximation // Physical review letters. -1999. - Т. 82. - №. 12. - С. 2544.

19. Tao J. et al. Climbing the density functional ladder: Nonempirical meta-generalized gradient approximation designed for molecules and solids // Physical review letters. - 2003. - Т. 91. - №. 14. - С. 146401.

20. Weizsacker C. F. Zur theorie der kernmassen // Zeitschrift fur Physik. - 1935. - Т. 96. - №. 7.-С. 431-458.

21. Brack M., Jennings B. K., Chu Y. H. On the extended Thomas-Fermi approximation to the kinetic energy density // Physics Letters B. - 1976. - Т. 65. - №. 1. - С. 1-4.

22. Perdew J. P. et al. Meta-generalized gradient approximation: Explanation of a realistic nonempirical density functional // The Journal of chemical physics. -2004.-Т. 120.-№. 15.-С. 6898-6911.

23. Harris J., Jones R. O. The surface energy of a bounded electron gas // Journal of Physics F: Metal Physics. - 1974. - Т. 4. - №. 8. - С. 1170.

24. Gunnarsson O., Lundqvist B. I. Exchange and correlation in atoms, molecules, and solids by the spin-density-functional formalism // Physical Review B. - 1976. -Т. 13. - №. 10.-С. 4274.

25. Лей С. Основы и приложения теории функционала плотности : учебное пособие / С. Лэй, Д.В. Бухвалов, А.Ф. Зацепин, Т.В. Штанг // М-во наукии высш. образования РФ. — Екатеринбург : Изд-во Урал. ун-та, 2021.— 64 с.

26. Воронцов К. В. Машинное обучение [Электронный ресурс] : курс лекций.

URL: https://machinelearning.ru/ (дата обращения: 9.06.2024)

27. McCulloch W. S., Pitts W. A logical calculus of the ideas immanent in nervous activity // The bulletin of mathematical biophysics. - 1943. - Т. 5. - C. 115-133.

28. Hebb, D. O. The organization of behavior: a neuropsychological theory // J. Wiley; Chapman & Hall. - 1949.

29. Rosenblatt F. The perceptron: a probabilistic model for information storage and organization in the brain // Psychological review. - 1958. - Т. 65. - №. 6. - C. 386.

30. Rosenblatt F. Principles of Neurodynamics, Washington, D // DC: Spartan Books. - 1962.

31. Николенко C. Глубокое обучение / C. Николенко, А. Кадурин, Е. Архангельская // Cn6.: Питер. - 2018.

32. Bishop C. M. Pattern recognition and machine learning // Springer - 2006. - Т. 2. -C. 1122-1128.

33. Krogh A., Hertz J. A simple weight decay can improve generalization // Advances in neural information processing systems. - 1991. - Т. 4.

34. Polykovskiy D. et al. Molecular sets (MOSES): a benchmarking platform for molecular generation models // Frontiers in pharmacology. - 2020. - Т. 11. - C. 565644.

35. Irwin J. J. et al. ZINC: a free tool to discover chemistry for biology //Journal of chemical information and modeling. - 2012. - Т. 52. - №. 7. - C. 1757-1768.

36. Chanussot L. et al. Open catalyst 2020 (0C20) dataset and community challenges // Acs Catalysis. - 2021. - Т. 11. - №. 10. - C. 6059-6072.

37. Tran R. et al. The Open Catalyst 2022 (OC22) dataset and challenges for oxide electrocatalysts // ACS Catalysis. - 2023. - Т. 13. - №. 5. - C. 3066-3084.

38. Jain A. et al. Commentary: The Materials Project: A materials genome approach to accelerating materials innovation // APL materials. - 2013. - Т. 1. - №. 1.

39. Ruddigkeit L. et al. Enumeration of 166 billion organic small molecules in the chemical universe database GDB-17 // Journal of chemical information and modeling. - 2012. - Т. 52. - №. 11. - C. 2864-2875.

40. Smith J. S., Isayev O., Roitberg A. E. ANI-1, A data set of 20 million calculated off-equilibrium conformations for organic molecules // Scientific data. - 2017. -Т. 4. - №. 1.-C. 1-8.

41. Fink T., Bruggesser H., Reymond J. L. Virtual exploration of the small-molecule

chemical universe below 160 daltons // Angewandte Chemie International Edition. - 2005. - T. 44. - №. 10. - C. 1504-1508.

42. Fink T., Reymond J. L. Virtual exploration of the chemical universe up to 11 atoms of C, N, O, F: assembly of 26.4 million structures (110.9 million stereoisomers) and analysis for new ring systems, stereochemistry, physicochemical properties, compound classes, and drug discovery // Journal of chemical information and modeling. - 2007. - T. 47. - №. 2. - C. 342-353.

43. Chai J. D., Head-Gordon M. Systematic optimization of long-range corrected hybrid density functionals // The Journal of chemical physics. - 2008. - T. 128. -№. 8.

44. Mendez D. et al. ChEMBL: towards direct deposition of bioassay data // Nucleic acids research. - 2019. - T. 47. - №. D1. - C. D930-D940.

45. Grimme S., Bannwarth C., Shushkov P. A robust and accurate tight-binding quantum chemical method for structures, vibrational frequencies, and noncovalent interactions of large molecular systems parametrized for all spd-block elements (Z=1-86) // Journal of chemical theory and computation. - 2017. - T. 13. - №. 5. -C. 1989-2009.

46. Bannwarth C., Ehlert S., Grimme S. GFN2-xTB—An accurate and broadly parametrized self-consistent tight-binding quantum chemical method with multipole electrostatics and density-dependent dispersion contributions // Journal of chemical theory and computation. - 2019. - T. 15. - №. 3. - C. 1652-1671.

47. Grimme S. Exploration of chemical compound, conformer, and reaction space with meta-dynamics simulations based on tight-binding quantum chemical calculations // Journal of chemical theory and computation. - 2019. - T. 15. - №. 5. - C. 2847-2862.

48. Chai J. D., Head-Gordon M. Long-range corrected hybrid density functionals with damped atom-atom dispersion corrections // Physical Chemistry Chemical Physics. - 2008. - T. 10. - №. 44. - C. 6615-6620.

49. Weigend F., Ahlrichs R. Balanced basis sets of split valence, triple zeta valence and quadruple zeta valence quality for H to Rn: Design and assessment of accuracy // Physical Chemistry Chemical Physics. - 2005. - T. 7. - №. 18. - C. 3297-3305.

50. Khrabrov K. et al. nabladft: Large-scale conformational energy and hamiltonian prediction benchmark and dataset // Physical Chemistry Chemical Physics. - 2022.

- Т. 24. - №. 42. - C. 25853-25863.

51. Landrum G. et al. rdkit/rdkit: 2022_03_1 (Q1 2022) Release - Вер. Release_2022_03_1. — 03.2022. URL: https://doi.org/10.5281/zenodo.6388425 (дата обращения 9.06.2024).

52. Wang S. et al. Improving conformer generation for small rings and macrocycles based on distance geometry and experimental torsional-angle preferences //Journal of chemical information and modeling. - 2020. - Т. 60. - №. 4. - C. 2044-2058.

53. Barnard J. M., Downs G. M. Clustering of chemical structures on the basis of two-dimensional similarity measures // Journal of Chemical Information and Computer Sciences. - 1992. - Т. 32. - №. 6. - C. 644-649.

54. Smith D. G. A. et al. PSI4 1.4: Open-source software for high-throughput quantum chemistry // The Journal of chemical physics. - 2020. - Т. 152. - №. 18.

55. Brockherde F. et al. Bypassing the Kohn-Sham equations with machine learning // Nature communications. - 2017. - Т. 8. - №. 1. - C. 872.

56. Needs R. J. et al. Continuum variational and diffusion quantum Monte Carlo calculations // Journal of Physics: Condensed Matter. - 2009. - Т. 22. - №. 2. - C. 023201.

57. Kolorenc J., Mitas L. Applications of quantum Monte Carlo methods in condensed systems // Reports on Progress in Physics. - 2011. - Т. 74. - №. 2. - C. 026502.

58. Cremer D. M0ller-Plesset perturbation theory: from small molecule methods to methods for thousands of atoms // Wiley Interdisciplinary Reviews: Computational Molecular Science. - 2011. - Т. 1. - №. 4. - C. 509-530.

59. Cybenko G. Approximation by superpositions of a sigmoidal function // Mathematics of control, signals and systems. - 1989. - Т. 2. - №. 4. - C. 303-314.

60. Tozer D. J., Ingamells V. E., Handy N. C. Exchange-correlation potentials // The Journal of chemical physics. - 1996. - Т. 105. - №. 20. - C. 9200-9213.

61. Snyder J. C. et al. Finding density functionals with machine learning // Physical review letters. - 2012. - Т. 108. - №. 25. - C. 253002.

62. Nagai R. et al. Neural-network Kohn-Sham exchange-correlation potential and its out-of-training transferability // The Journal of chemical physics. -2018.-Т. 148.

- №. 24.

63. Schmidt J., Benavides-Riveros C. L., Marques M. A. L. Machine learning the

physical nonlocal exchange-correlation functional of density-functional theory // The journal of physical chemistry letters. - 2019. - Т. 10. - №. 20. - С. 6425-6431.

64. Gedeon J. et al. Machine learning the derivative discontinuity of density-functional theory // Machine Learning: Science and Technology. - 2021. - Т. 3. - №. 1. - С. 015011.

65. Zhao Q., Morrison R. C., Parr R. G. From electron densities to Kohn-Sham kinetic energies, orbital energies, exchange-correlation potentials, and exchange-correlation energies // Physical Review A. - 1994. - Т. 50. - №. 3. - С. 2138.

66. Nagai R., Akashi R., Sugino O. Completing density functional theory by machine learning hidden messages from molecules // npj Computational Materials. - 2020.

- Т. 6. - №. 1.-С. 43.

67. Li L. et al. Kohn-Sham equations as regularizer: Building prior knowledge into machine-learned physics // Physical review letters. - 2021. - Т. 126. - №. 3. - С. 036401.

68. Kasim M. F., Vinko S. M. Learning the exchange-correlation functional from nature with fully differentiable density functional theory // Physical Review Letters.

- 2021. - Т. 127. - №. 12. - С. 126403.

69. Dick S., Fernandez-Serra M. Highly accurate and constrained density functional obtained with differentiable programming // Physical Review B. - 2021. - Т. 104.

- №. 16.-С. L161109.

70. Pokharel K. et al. Exact constraints and appropriate norms in machine-learned exchange-correlation functionals // The Journal of Chemical Physics. - 2022. - Т. 157.-№. 17.

71. Nagai R., Akashi R., Sugino O. Machine-learning-based exchange correlation functional with physical asymptotic constraints // Physical Review Research. -2022. - Т. 4. - №. 1. - С. 013106.

72. Ryabov A., Akhatov I., Zhilyaev P. Neural network interpolation of exchange-correlation functional // Scientific reports. - 2020. - Т. 10. - №. 1. - С. 8000.

73. Andrade X. et al. Real-space grids and the Octopus code as tools for the development of new simulation approaches for electronic systems // Physical Chemistry Chemical Physics. - 2015. - Т. 17. - №. 47. - С. 31371-31396.

74. Andrade X. et al. Time-dependent density-functional theory in massively parallel computer architectures: the octopus project // Journal of Physics: Condensed

Matter. - 2012. - T. 24. - №. 23. - C. 233202.

75. Andrade X., Aspuru-Guzik A. Real-space density functional theory on graphical processing units: Computational approach and comparison to Gaussian basis set methods // Journal of chemical theory and computation. - 2013. - T. 9. - №. 10. -C. 4360-4373.

76. Dirac P. A. M. Note on exchange phenomena in the Thomas atom // Mathematical proceedings of the Cambridge philosophical society. - Cambridge University Press, 1930. - T. 26. - №. 3. - C. 376-385.

77. Bloch F. Bemerkung zur Elektronentheorie des Ferromagnetismus und der elektrischen Leitfahigkeit // Zeitschrift für Physik. - 1929. - T. 57. - №. 7. -C. 545-555.

78. Perdew J. P., Burke K., Ernzerhof M. Generalized gradient approximation made simple // Physical review letters. - 1996. - T. 77. - №. 18. - C. 3865.

79. Tang Y. TF. Learn: TensorFlow's high-level module for distributed machine learning // arXiv preprint arXiv:1612.04251. - 2016.

80. Abadi M. et al. TensorFlow: a system for Large-Scale machine learning // 12th USENIX symposium on operating systems design and implementation (OSDI16).

- 2016. - C. 265-283.

81. Nair V., Hinton G. E. Rectified linear units improve restricted boltzmann machines // Proceedings of the 27th international conference on machine learning (ICML-10).

- 2010. - C. 807-814.

82. Perdew J. P., Burke K., Ernzerhof M. Erratum: Generalized gradient approximation made simple // Physical review letters. - 1997. - T. 78. - №. 7. - C. 1396.

83. Kirkpatrick J. et al. Pushing the frontiers of density functionals by solving the fractional electron problem// Science. - 2021. - T. 374. -№. 6573. - C. 1385-1389.

84. Lehtola S. et al. Recent developments in libxc—A comprehensive library of functionals for density functional theory // SoftwareX. - 2018. - T. 7. - C. 1-5.

85. Schlipf M., Gygi F. Optimization algorithm for the generation of ONCV pseudopotentials // Computer Physics Communications. - 2015. - T. 196. -C. 36-44.

86. Paszke A. et al. PyTorch: An imperative style, high-performance deep learning library // Advances in neural information processing systems. - 2019. - T. 32.

87. Clevert D. A., Unterthiner T., Hochreiter S. Fast and accurate deep network

learning by exponential linear units (ELUs) // arXiv preprint arXiv:1511.07289. -2015.

88. Cuierrier E., Roy P. O., Ernzerhof M. Constructing and representing exchange-correlation holes through artificial neural networks // The Journal of Chemical Physics. - 2021. - T. 155. - №. 17.

89. Nagai R., Akashi R., Sugino O. Machine-learning-based exchange correlation functional with physical asymptotic constraints // arXiv preprint arXiv:2111.15593. — 2021.

90. Mardirossian N., Head-Gordon M. Thirty years of density functional theory in computational chemistry: an overview and extensive assessment of 200 density functionals // Molecular physics. - 2017. - T. 115. - №. 19. - C. 2315-2372.

91. Levy M., Perdew J. P. Hellmann-Feynman, virial, and scaling requisites for the exact universal density functionals. Shape of the correlation potential and diamagnetic susceptibility for atoms // Physical Review A. - 1985. - T. 32. - №. 4. -C. 2010.

92. Gong W. et al. Incorporation of density scaling constraint in density functional design via contrastive representation learning // Digital Discovery. - 2023. - T. 2. -№. 5.-C. 1404-1413.

93. Gaiduk A. P., Staroverov V. N. How to tell when a model Kohn-Sham potential is not a functional derivative // The Journal of chemical physics. - 2009. - T. 131. -№. 4.

94. Ryabov A., Akhatov I., Zhilyaev P. Application of two-component neural network for exchange-correlation functional interpolation // Scientific Reports. - 2022. - T. 12. - №. 1.-C. 14133.

95. Gerasimov I. S. et al. Comment on "Pushing the frontiers of density functionals by solving the fractional electron problem" //Science. - 2022. - T. 377. - №. 6606. - C. eabq3385.

96. Sun J., Ruzsinszky A., Perdew J. P. Strongly constrained and appropriately normed semilocal density functional // Physical review letters. - 2015. - T. 115. - №. 3. -C. 036402.

97. Sun J. et al. Accurate first-principles structures and energies of diversely bonded systems from an efficient density functional // Nature chemistry. - 2016. - T. 8. -№. 9.-C. 831-836.

98. Mardirossian N., Head-Gordon M. иB97X-V: A 10-parameter, range-separated hybrid, generalized gradient approximation density functional with nonlocal correlation, designed by a survival-of-the-fittest strategy // Physical Chemistry Chemical Physics. - 2014. - Т. 16. - №. 21. - C. 9904-9924.

99. Zhao Y., Truhlar D. G. The M06 suite of density functionals for main group thermochemistry, thermochemical kinetics, noncovalent interactions, excited states, and transition elements: two new functionals and systematic testing of four M06-class functionals and 12 other functionals // Theoretical chemistry accounts. -2008.-Т. 120.-C. 215-241.

100. Zhao Y., Truhlar D. G. Design of density functionals that are broadly accurate for thermochemistry, thermochemical kinetics, and nonbonded interactions // The Journal of Physical Chemistry A. - 2005. - Т. 109. - №. 25. - C. 5656-5667.

101. Goerigk L. et al. A look at the density functional theory zoo with the advanced GMTKN55 database for general main group thermochemistry, kinetics and noncovalent interactions // Physical Chemistry Chemical Physics. - 2017. - Т. 19. - №. 48.-C. 32184-32215.

102. Ramakrishnan R. et al. Quantum chemistry structures and properties of 134 kilo molecules // Scientific data. - 2014. - Т. 1. - №. 1. - C. 1-7.

103. Marjewski A. A. et al. Interplay between test sets and statistical procedures in ranking DFT methods: The case of electron density studies // Mendeleev Communications. - 2018. - Т. 28. - №. 3. - C. 225-235.

104. Cohen A. J., Mori-Sanchez P., Yang W. Insights into current limitations of density functional theory // Science. - 2008. - Т. 321. - №. 5890. - C. 792-794.

105. Proynov E., Kong J. Correcting the charge delocalization error of density functional theory // Journal of Chemical Theory and Computation. - 2021. - Т. 17. - №. 8. -C. 4633-4638.

106. Feldman V., Zhang C. What neural networks memorize and why: Discovering the long tail via influence estimation // Advances in Neural Information Processing Systems. - 2020. - Т. 33. - C. 2881-2891.

107. Samala R. K. et al. Hazards of data leakage in machine learning: a study on classification of breast cancer using deep neural networks // Medical Imaging 2020: Computer-Aided Diagnosis. - SPIE, 2020. - Т. 11314. - C. 279-284.

108. Kaufman S. et al. Leakage in data mining: Formulation, detection, and avoidance

// ACM Transactions on Knowledge Discovery from Data (TKDD). - 2012. - T. 6. - №. 4.-C. 1-21.

109. Berner R., Luechow A. Isomerization of bicyclo [1.1.0] butane by means of the diffusion quantum Monte Carlo method // The Journal of Physical Chemistry A. -2010.-T. 114.-№. 50.-C. 13222-13227.

Список рисунков

2.1 Модель нейрона Маккаллоха-Питтса .................43

3.1 Возможные подходы к прогнозу молекулярных свойств.......57

3.2 Структура разработанной нейронной сети включает два скрытых слоя с 1000 и 500 нейронами соответственно. К входным данным применяется логарифм по основанию 10, чтобы преобразовать их в диапазон, к которому наиболее чувствительна нейронная сеть. ... 67

3.3 Зависимость обменно-корреляционного потенциала в случае LDA от rs (a). Синяя кривая - нейросетевой обменно-корреляционный потенциал, оранжевая кривая - аналитический обменно-корреляционный потенциал. Разность между нейросетевым обменно-корреляционным потенциалом в случае LDA и аналитическим потенциалом LDA (b)..................68

3.4 Результаты применения нейросетевых обменно-корреляционных потенциалов к самосогласованной электронной плотности, полученной из решения уравнения Шрёдингера для 3 электронов в простом гармоническом осцилляторе. (a) и (d): срезы электронной плотности, полученной в DFT-расчете с использованием аналитических обменно-корреляционных функционалов LDA и GGA соответственно. (b) и (e): срезы обменно-корреляционных потенциалов, полученных в DFT-расчетах с теми же функционалами. (c) и (f): срезы нейросетевых обменно-корреляционных потенциалов, рассчитанных из электронной плотности, полученной в DFT-расчетах с использованием аналитических обменно-корреляционных функционалов LDA и GGA соответственно. Референсные результаты LDA и GGA Vxc получены с помощью программного пакета Octopus. Все представленные изображения представляют срез в плоскости z = 0..................69

3.5 Результаты применения нейросетевых обменно-корреляционных потенциалов к самосогласованной электронной плотности, полученной из решения уравнения Шрёдингера для алмазной структуры кремния с 8 атомами в кристаллической решетке. (a) и (d): срезы электронной плотности, полученной в DFT-расчете с использованием аналитических обменно-корреляционных функционалов LDA и GGA соответственно. (b) и (e): срезы обменно-корреляционных потенциалов, полученных в DFT-расчетах с теми же функционалами. (c) и (f): показаны срезы нейросетевых обменно-корреляционных потенциалов, рассчитанных из электронной плотности, полученной в DFT-расчетах с использованием аналитических обменно-корреляционных функционалов LDA и GGA соответственно. Референсные результаты LDA и GGA Vxc получены с помощью программного пакета Octopus. Все представленные изображения представляют срез в плоскости z = 0. 70

3.6 Результаты применения нейросетевых обменно-корреляционных функционалов к самосогласованной электронной плотности, полученной из решения уравнения Шрёдингера для молекулы бензола. (a) и (d): срезы электронной плотности, полученной в DFT-расчете с использованием аналитических обменно-корреляционных функционалов LDA и GGA соответственно. (b) и (e): показаны срезы обменно-корреляционных потенциалов, полученных в DFT-расчетах с теми же функционалами. (c) и (f): показаны срезы нейросетевых обменно-корреляционных потенциалов, рассчитанных из электронной плотности, полученной в DFT-расчетах с использованием аналитических обменно-корреляционных функционалов LDA и GGA соответственно. Референсные результаты LDA и GGA VXc получены с помощью программного пакета Octopus. Все представленные изображения представляют срез в плоскости z = 0..................71

3.7 Результаты использования нейросетевых потенциалов в самосогласованных расчетах (а и Ь). Обменно-корреляционная энергия вычислена с использованием аналитического функционала, который применяется для обучения нейросети; (а) - Зависимость полной энергии кремния от константы решетки для нейросетевого ЬБЛ, (Ь) - Зависимость полной энергии молекулы бензола от длины связи для нейросетевого ЬБЛ, (с) - Зависимость полной энергии кремния от константы решетки для нейросетевого ввЛ, (ф -Зависимость полной энергии молекулы бензола от длины связи для нейросетевого ввЛ............................74

3.8 Архитектура нейронной сети. Нейросеть состоит из двух частей: КК-Б предсказывает £хс, а КК-У предсказывает ухс. Каждая часть сети состоит из 4 слоев, содержащих 100 нейронов. Для обеих частей необходима информация о локальной плотности и её градиентах. . 77

3.9 Кривые обучения нейронной сети ХС. Левая кривая соответствует обучению КК-У, где ^(Ьобб) - это логарифм функции потерь (3.20). Правая кривая соответствует обучению КК-Б, где log(Loss) - это логарифм функции потерь с граничными условиями (3.21). Выбросы на кривых обучения связаны с настраиваемым коэффициентом обучения, используемым в алгоритме оптимизации..........83

3.10 Распределения входных признаков. Каждая кривая нормируется на общее число элементов в соответствующем наборе данных. Можно заметить, что у кристаллического кремния относительно небольшие градиенты электронной плотности и нет областей с низкой электронной плотностью из-за его периодической структуры. Если нейронная сеть получает входное значение, существенно выходящее за пределы распределения данных, её качество работы может снизиться, что и наблюдается в экспериментах.........84

3.11 Пространственное распределение относительной ошибки для бензола: (а) пространственное распределение относительной ошибки для £хс, (б) пространственное распределение относительной ошибки для Ухс. Относительные локальные ошибки имеют наибольшие значения в области ядер и на границе...........85

3.12 Cравнение распределения несамосогласованной (промежуточной в самосогласованном цикле) электронной плотности атомарного кислорода (а), молекулярного кислорода (б), сероводорода и самосогласованной электронной плотности из обучения (а0 обозначает радиус Бора). Видно, что атомарный и молекулярный кислород имеют значительную долю образцов вне распределения обучающей выборки. Для всех веществ выбран шаг самосогласованного цикла с максимальной электронной плотностью. Этот пример подчеркивает важность включения широкого диапазона электронной плотности и её производных в обучающий набор данных, поскольку во время самосогласованного цикла могут возникать значения, выбивающиеся за обычный диапазон. 87

3.13 Коэффициент Fxc при фиксированных значениях rs: 0, 2, 10, 1000. s - приведенный градиент плотности. Наблюдается хорошее соответствие коэффициента при плотности rs = 2, что близко к наиболее часто встречающимся плотностям в обучающей выборке. Также видно, что нейросетевой функционал плохо предсказывает асимптотику в низком (rs = 1000) и высоком (rs = 0) пределах электронной плотности..........................89

3.14 Cрезы £xc и Vxc вдоль линии связи атомов в молекуле водорода. ^ние линии показывают значения, прогнозируемые нейросетью, красные линии - значения, полученные с помощью кода Octopus (где

Vxc - это корректная функциональная производная).........92

3.15 Утечка систем FS/FC в тестовый набор данных BBB (A). Типичная кривая диссоциации для системы в тестовом наборе данных BBB. В пределе диссоциации соответствует паре систем FC или FS, обе из которых использовались для обучения DM21 (но не DM21m). (B) Сходство электронных плотностей димерных катионов (с целочисленными заселенностями орбит) и суперпозиций атомов FC; меры разности электронных плотностей [103] представляют собой интеграл квадратов ошибок (красный) и интеграл абсолютных ошибок (синий). Для наглядности все функции нормированы по абсолютным значениям при равновесной геометрии. Расчеты выполнены с помощью HF для H, He+, и H+, и с помощью CCSD

для He and He2+, используя базис aug-cc-pV5Z.............98

3.16 Поведение функционалов DM21. (A) Решения DM21m с сохранением симметрии и с нарушением симметрии для системы H24. (B) Ошибки DM21, DM21m и mKP16/B13 на системах из набора данных SIE4x4. Данные из [83] и [105].............100

Список таблиц

1.1 Отклонения, ккал/моль, между рассчитанными энергиями атомизации и экспериментом для LDA и функционала BLYP (гибридного)...............................37

3.1 Свойства, представленные в датасете nablaDFT............56

3.2 Сравнение датасетов DFT........................58

3.3 Общие сведения об обучении нейронных сетей для потенциалов: NN LDA - нейросетевой потенциал локального приближения плотности, NN GGA - нейросетевой потенциал обобщенного градиентного приближения................................67

3.4 Результаты для нейросетевого потенциала LDA, где Прост.гарм.осц.

- простой гармонический осциллятор, Si - кремний, САО - средняя абсолютная ошибка............................72

3.5 Результаты для нейросетевого потенциала GGA, где Прост.гарм.осц.

- простой гармонический осциллятор, Si - кремний, САО - средняя абсолютная ошибка............................72

3.6 MSE и MAE для £xc и Vxc на обучающей выборке. Единицы измерения для MSE Ha2 х а0 , для MAE Ha х а0...........84

3.7 Результаты тестирования нейросетевого обменно-корреляционного функционала на поднаборе данных датасета IP13/03. Etotai и Exc означают полную и обменно-корреляционную энергии, полученные после сходимости.............................86

3.8 Результаты тестирования нейросетевого обменно-корреляционного функционала на наборе данных Alkisomer11. IE обозначает энергию изомеризации...............................88

3.9 Сравнение энергий нейросети (NN) и функционала PBE при ротации молекулы SH. Все энергии представлены в Хартри..........91