Прогнозирование химических сдвигов ЯМР 13С производных фуллерена С60 с использованием искусственных нейронных сетей тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Кирьянов Илья Игоревич

• Кирьянов Илья Игоревич
• кандидат наук
• 2021

Оглавление диссертации кандидат наук Кирьянов Илья Игоревич

Введение

1 Литературный обзор

1.1 Искусственные нейронные сети

1.2 Искусственные нейронные сети в структурных ЯМР-исследованиях

2 Экспериментальная часть

3 Результаты и обсуждение

3.1 Обучающая выборка

3.2 Определение дескрипторов. Связь частичного атомного заряда и химического сдвига ЯМР 13С

3.3 Архитектура искусственной нейронной сети. Нормализация данных. Обучение и регуляризация

3.3.1 Определение количества скрытых слоев. Нормализация

3.3.2 Выбор активационной функции скрытых нейронов

3.3.3 Регуляризация

3.4 Оценка прогностической способности разработанных моделей

Выводы

Список сокращений и условных обозначений

Список литературы

Приложение А. Структуры молекул, входящие в выборку

Приложение Б. Значения RMSE для соединений

Приложение В. Диаграммы MAE для гибридных функционалов

Приложение Г. Диаграммы RMSE для гибридных функционалов

Приложение Д. Линейные регрессионные модели зависимости частичного

атомного заряда и ХС ЯМР 13С

В настоящее время для установления структуры и свойств новых производных фуллерена С60 в жидкой фазе широко используются современные одно- и двумерные методики ЯМР, основанные, прежде всего, на наблюдении ядер 13С. Одномерные спектры ЯМР 13С позволяют установить тип присоединения к фуллереновому каркасу, а также региоселективность и тип симметрии молекулы. Кроме того, применяется прецизионная методика ЯМР INADEQUATE для однозначного отнесения сигналов в углеродных спектрах ЯМР на обогащенных изотопом 13С образцах фуллерена С60. Вместе с тем, получение изотопно-обогащенных образцов требует достаточно большого количества времени. Кроме того, интерпретация спектров ЯМР часто осложняется неселективностью присоединения фрагмента к фуллереновому каркасу, из-за чего в литературе имеется ограниченное число работ в этом направлении.

В силу этого, на сегодняшний день широкое распространение получили теоретические методы расчета химических сдвигов (ХС) ЯМР 13С: квантовохимические и методы машинного обучения. Однако, анализ результатов квантовохимического вычислительного эксперимента для оценки ХС ЯМР 13С с высокой точностью ведет к существенному увеличению временных затрат ввиду большого размера молекулярных систем.

Проведенный анализ литературных данных показал, что применение искусственных нейронных сетей для прогнозирования ХС ЯМР органических, элементо- и металлорганических соединений является перспективным направлением. Существующие нейросетевые модели реализованы для конкретных классов органических соединений. Кроме того, обучающие выборки содержат десятки тысяч экспериментальных ХС ЯМР 13С, что в случае производных фуллерена Сбо неприменимо ввиду ограниченного набора однозначно отнесенных сигналов ЯМР 13С, известных в мировой литературе. По-видимому, именно этот факт является причиной того, что вплоть до начала настоящих работ в мировой литературе отсутствовали данные об использовании

искусственных нейронных сетей для идентификации производных фуллерена Сб0. В связи с этим разработка новых методов анализа результатов физико-химических исследований углеродных кластерных соединений, основанных на машинном обучении, представляется актуальным и важным для структурной химии соединений фуллерена Сбо.

Введение диссертации (часть автореферата) на тему «Прогнозирование химических сдвигов ЯМР 13С производных фуллерена С60 с использованием искусственных нейронных сетей»

Цель и задачи работы

Целью настоящей работы является разработка нового метода прогнозирования спектральных характеристик (ХС ЯМР 13С) и установление структуры фуллереновых производных с использованием искусственных нейронных сетей на примере моноаддуктов Сб0. Для реализации поставленной цели необходимо решить следующие задачи:

1) Формирование обучающей выборки, содержащей экспериментальные и теоретические ХС ЯМР 13С фуллереновых производных Сб0.

2) Выбор физико-химических и геометрических признаков для формирования представительного ряда дескрипторов атомов, определяющих значения ХС ЯМР 13С, которые будут использованы в качестве входных данных разрабатываемой искусственной нейронной сети (ИНС).

3) Выбор архитектуры, метода обучения, активационных функций ИНС и ее разработка.

4) Проверка прогностической способности разработанной модели путем прогнозирования спектральных характеристик (ХС ЯМР 13С) моноаддуктов фуллерена Сбо.

Научная новизна

Впервые разработана методика прогнозирования ХС ЯМР 13С каркасных атомов монопроизводных фуллерена Сб0 с использованием методов машинного обучения - искусственных нейронных сетей. Кроме того, впервые спрогнозированы ХС ЯМР 13С с помощью разработанной ИНС для 10 моноаддуктов Сбо.

Показана зависимость значения ХС ЯМР 13С от частичных атомных зарядов: Малликена, Хиршфилда и CM5 (Charge Model 5). На основе регрессионного анализа показано, что сочетание частичных зарядов Малликена, Хиршфилда и CM5 является одним из определяющих факторов, вляющих на значение ХС ЯМР 13С.

Впервые предложен набор из 104 дескрипторов для углеродных атомов фуллеренового каркаса, включающий в себя геометрические и физико-химические признаки, адекватно описывающие значения ХС ЯМР 13С.

Найден адекватный метод теоретической оценки ХС ЯМР 13С для атомов каркаса моноаддуктов фуллерена С60 с использованием теории функционала плотности (X3LYP/6-31 G(d)).

Показана эффективность применения параметрического линейного выпрямителя (parametric rectified linear unit) в качестве функции активации скрытых слоев искусственной нейронной сети в сочетании с Гауссовым исключающим слоем (Gaussian dropout layer), что позволяет избежать проблем переобучения и исчезающего градиента в условиях ограниченной обучающей выборки в прогнозировании ХС ЯМР 13С производных фуллерена С60.

Практическая значимость

Разработанная искусственная нейронная сеть позволяет прогнозировать значения химических сдвигов ЯМР 13С, необходимые для установления структуры и физико-химических свойств вновь синтезированных аддуктов фуллерена С60. Применение методов машинного обучения к структурным исследованиям расширяют возможности проектирования и синтеза новых фуллереновых структур, перспективных в качестве элементов солнечных батарей и молекулярной электроники. Вместе с тем, область применения разработанного метода прогнозирования ХС ЯМР 13С с помощью искусственных нейронных сетей не ограничивается монопроизводными фуллерена С60 и может быть расширена на другие классы сложных органических соединений, например,

региоизомерные бис-, трис-, тетракис-аддукты фуллерена С60, стероиды, экдистероиды, терпеноиды.

Личный вклад автора

Личный вклад автора заключается в постановке задачи, составлении плана работ и подборе методик исследований. Автором выполнены вычислительные эксперименты, разработана архитектура искусственных нейронных сетей, написаны исходные коды программ, проведен анализ полученных данных, сформулированы выводы и подготовлены публикации по теме диссертационной работы.

Связь с научными программами

Работа выполнена при поддержке гранта РФФИ 15-03-02487 А «Разработка метода прогнозирования химических сдвигов ЯМР 13С с использованием искусственных нейронных сетей и установление структуры новых производных фуллерена С60».

Публикации

По материалам работы опубликовано 4 тезиса докладов на международных конференциях и 3 статьи в международных изданиях, индексируемых в базе данных публикаций Web of Science и рекомендованных ВАК Российской Федерации.

Структура и объем работы

Диссертационная работа включает в себя введение, литературный обзор, экспериментальную часть, результаты и обсуждение, выводы, список литературы с 97-ю наименованиями и пять обязательных приложений. Объем диссертации составляет 109 страниц, включая 33 рисунка и 13 таблиц.

1 Литературный обзор

1.1 Искусственные нейронные сети

Искусственные нейронные сети (ИНС) представляют собой вычислительные системы, основанные на работе биологического нейрона, который является составной единицей нервной системы высших многоклеточных организмов.

Впервые термин «нейронные сети» сформировался в середине 1950-х годов. Основные результаты в области изучения нейронных сетей связаны с работами У. МакКалока, Д. Хебба, Ф. Розенблатта, М. Минского, и Дж. Хопфилда.

В 1943 г. МакКалок и Питтс предложили математическую модель искусственного нейрона [1] и сформулировали основные положения теории функционирования головного мозга. Схема персептрона МакКалока-Питтса представлена на рисунке 1.1.

X - 1-й входной сигнал нейрона, ^ - ¡-й вес связи входного сигнала х1 и нейрона, ^ - выходной сигнал сумматора, который подается на вход пороговой

функции активации Рисунок 1.1 - Структура искусственного нейрона МакКалока-Питтса

Порогом искусственного нейрона являлась кусочно-постоянная функция Хевисайда, имеющая следующий вид:

I (х) =

0 при х < 0

1 при х = 0 (1.1) 1 при х > 0

В 1949 г. Хебб выдвинул гипотезу [2], основанную на нейронной пластичности, которые были положены в основу B-машин Тьюринга [3]. Кроме того, Хеббом были впервые предложены правила обучения ИНС. В 1958 г. Розенблаттом разработаны принципы организации и функционирования искусственных персептронов [3], а также алгоритм распознавания образов. Минский и Паперт описали [4] принципиальную ограниченность персептронов (невозможность реализации логической схемы «НЕ-ИЛИ» с помощью искусственных нейронов) и показали, что компьютеры на тот момент не имели достаточной мощности для эффективных вычислений в случае с большими нейронными сетями. Позже, в 1975 г. интерес к ИНС вновь возрос после публикации Вербосом ключевой работы об алгоритме обратного распространения (backpropagation) [5], с помощью которого была решена проблема реализации логической схемы «НЕ-ИЛИ». Кроме того, алгоритм обратного распространения в значительной степени ускорил обучения многослойных нейронных сетей. В 1982-1985 гг. Хопфилд предложил архитектуру ИНС, моделирующую ассоциативную память [б]. Сеть Хопфилда представляет собой одну из первых рекуррентных архитектур ИНС, где все связи между нейронами симметричны. Пример схемы рекуррентной ИНС Хопфилда с четырьмя нейронами приведена на рисунке 1.2.

Рисунок 1.2 - Сеть Хопфилда с четырьмя нейронами

Дальнейшее бурное развитие компьютерных технологий в конце XX-начале XXI вв. привело к увеличению вычислительных мощностей компьютеров и изобретению новых гибридных вычислительных архитектур (вычисления на графических процессорах). Это спровоцировало резкий скачок эволюции различных архитектур ИНС, поскольку представилось возможным обрабатывать большие данные (big data), строить обучающие выборки на их основе и быстро обучать нейронные сети.

Наиболее распространенными современными архитектурами ИНС в настоящее время являются:

а) Многослойная нейронная сеть прямого распространения (FFN, feedforward neural network). Данная архитектура является классической и имеет очень широкий круг применения в различных сферах производства, бизнеса и науки для классификационных задач, а также задач аппроксимации неизвестных сложных зависимостей.

б) Рекуррентные нейронные сети долгой краткосрочной памяти (LSTM, long short-term memory) [7] и управляемых рекуррентных блоков (GRU, gated recurrent

unit) [8]. Используются в области обработки естественного языка и прогнозирования временных рядов.

в) Сверточная нейронная сеть (CNN, convolutional neural networks) [9]. В основном используются в области компьютерного зрения.

г) Сеть радиально-базисных функций (RBFN, radial-basis function network) [10]. FNN с одним скрытым слоем с функцией Гаусса в качестве активации скрытого слоя. Используется для прогнозирования временных рядов, задач классификации, аппроксимации функций.

д) Автоэнкодер [11] и более поздние варианты архитектуры: вариационный автоэнкодер [12], автоэнкодер с условием [13]. Используются в обработке изображений, естественного языка, а также для генерации новых данных.

е) Генеративно-состязательная сеть (GAN, generative adversarial network) [14]. GAN используется в генерации новых фотореалистичных изображений, моделировании паттернов движения объектов и видео.

Архитектуры вышеперечисленных нейронных сетей приведены на рисунке 1.3.

Нейрон входного слоя ) Нейрон выходного слоя ф Нейрон скрытого слоя Ядро свертки Нейрон выходного слоя автоэнкодера и GAN Ф Вероятностный нейрон

скрытого слоя О Сверточный нейрон Нейрон памяти

Рисунок 1.3 - Архитектуры ИНС

Следует отметить, что области применения нейронных сетей очень разнообразны. Несмотря на это, все задачи, решаемые с помощью ИНС сводятся к двум категориям: аппроксимация и классификация.

Согласно универсальной теореме аппроксимации [15], значения любой непрерывной функции на компактном пространстве Ж" можно приблизить с помощью ИНС с одним скрытым слоем, конечным числом скрытых нейронов и активационной функцией. Важным моментом в аппроксиматоре является нелинейность активации. В 1989 г. Цыбенко доказал универсальную теорему аппроксимации для сигмоидальной функции [16], которая имеет следующий вид:

(х) = (1.2)

Функция (1.2) позднее получила название «логистическая активационная функция» и активно используется вплоть до настоящего момента в построении скрытых слоев ИНС. Наиболее часто используемые активационные функции приведены в таблице 1.1.

Таблица 1.1 - Активационные функции

Название Форма функции Область значений функции

Логистическая (сигмоида) / (х) = 1 ^ 1 + е"х (0,1)

Гиперболический тангенс (ех _ е-х) /(х) = 1апЬ(х) = (^ _ ^_х> (-1,1)

Softsign [17] / (х) = 1 + х (_1,1)

Линейный выпрямитель (ReLU) [18] Г 0 при х < 0 / (х) = Г р [ х при х > 0 [0, да)

Продолжение таблицы 1.1

Название Форма функции Область значений функции

Линейный выпрямитель с утечкой (Leaky ReLU) [19, 20] Г0,01х при х < 0 Л*) Ч ' р > п [ х при х > 0 (—да, да)

Параметрический линейный выпрямитель (PReLU) [21] Гахс, ае^, а> 0 при х < 0 /(х) = 1 ^л [ х при х > 0 (—да, да)

Экспоненциальный линейный выпрямитель (ELU) [22] |а(ех -1), ае^, а>0 при х<0 / (х) = \ у х при х > 0 (—а, да)

Масштабированный экспоненциальный линейный выпрямитель (SELU) [23] \а(вх -1) при х < 0 /(х) = М , [ х при х > 0 Я = 1,0507 и а = 1,37326 (—Ла, да)

SoftPlus [24] / (х) = 1п(1 + ех) (0, да)

Гауссова функция / (х) = е-х (0,1]

Softmaxa) [25] и1 и (0,1)

a) В данном случае приводится форма функции для /-го выходного нейрона, количество выходных нейронов в ИНС N хг и х¡- - входы /-го иу-го выходных нейронов.

1.2 Искусственные нейронные сети в структурных ЯМР-исследованиях

Изначально целью ИНС являлось моделирование когнитивных процессов человеческого мозга [26]. Как показано выше, на сегодняшний день ИНС применяются для решения различного рода задач в областях компьютерного зрения, распознавания естественного языка, поиска новых лекарственных средств [27], и др. Вместе с тем, широкое применение ИНС нашли в хемометрике [28] и хемоинформатике [29]. В частности, в области структурных

ЯМР-исследований активно используется архитектура FFN для установления структуры органических соединений путем прогнозирования химических сдвигов (ХС) ЯМР 1Н и 13С.

Первые нейросетевые вещественнозначные модели для прогнозирования ХС ЯМР ^ были предложены для монозамещенных бензолов [30]. Одна из ИНС представляла с собой рекуррентную сеть с двумя скрытыми слоями. Вторая модель была реализована в виде FFN с одним скрытым слоем. Наряду с этим, FFN-модель с одним скрытым слоем была предложена для прогнозирования ХС ЯМР 13С кетостероидов [31].

В 1993 г. представлена [32] модель FFN с одним скрытым слоем. Модель включала в себя описание только ряд насыщенных алканов от C5 до Позднее была описана [33] FFN для прогнозирования ХС ЯМР 13С монозамещенных циклогексанов. В 1994 г. разработана [34] ИНС, аналогичная предыдущей архитектуре, которая была использована для прогнозирования ХС ЯМР 13С алканов. Трехслойные ИНС реализованы [35] для трех классов органических соединений: трисахаридов, рибонуклеазидов и дибензофуранов. Кроме того, была реализована [36] FFN-модель с одним скрытым слоем для ряда алканов. Также в литературе известны работы [37, 38], посвященные трехслойным ИНС для прогнозирования ХС в классах галоидметанов и моносахаридов.

Эффективность применения ИНС в прогнозировании ХС ЯМР 13С и 1Н было также показано рядом авторов. Так, опубликован ряд работ [39, 40], где точность прогнозирования ХС составила 1,79 м.д по величине средней абсолютной ошибки. Наибольшие ошибки наблюдались в случае с четвертичными атомами углерода и составляли 3,46 м.д. Следует отметить, что в отличие от более ранних моделей, данная ИНС обучалась на выборке, содержащей более полумиллиона атомов углерода с различной структурой, атомным окружением и экспериментально известными отнесениями ХС ЯМР 13С. В свою очередь, такая модель является одной из первых, реализующая на практике универсальную систему, включающую большое количество различных классов органических соединений, для которых осуществляются прогнозирования ХС. Вместе с тем,

предложенные ИНС могут применяться для органических соединений, которые содержат только атомы H, C, N, O, P, S и галогены.

Реализована модель ИНС для прогнозирования ХС ЯМР 1Н [41], основанная на нейронной сети Кохонена (counter propagation neural network, противодействующая ИНС) [42]. Исходная обучающая выборка содержала 120 органических соединений различного класса (всего 744 экспериментально известных ХС), включая природные. В тестовую выборку вошли 31 молекула (259 экспериментально известных ХС ЯМР 1Н). Средняя абсолютная ошибка прогноза составила 0,2 м.д.

Для прогнозирования ХС ЯМР 13С в классе лигнинов была предложена ИНС с использованием метода главных компонент [43]. Выборка содержала 15 модельных соединений с известными значениями ХС ЯМР 13С. Рассматриваемая ИНС также содержала один скрытый слой аналогично предыдущим архитектурам. Однако, в отличие от ранее известных методов, использовано малое количество скрытых нейронов (от двух до четырех).

Особый интерес представляет работа [44], в которой предложена ИНС с тремя скрытыми слоями для прогнозирования ХС ЯМР 13С и 1Н. Исходная выборка содержала 2 миллиона экспериментальных значений ХС ЯМР 13C и 1,2 миллиона - ЯМР 1Н. Авторам удалось достичь точности прогнозирования в 1,59 м.д. для ХС ЯМР 13С и 0,18 м.д. для ХС ЯМР 1Н, а также создать универсальную систему для прогнозирования ХС ЯМР простых органических соединений.

Общая информация по архитектурам, ошибкам прогнозирования ХС и области применения приведенных выше моделей ИНС представлена в таблице 1.2.

Таблица 1.2 - Общая информация об известных в литературе ИНС, применяемых для прогнозирования ХС ЯМР 13С

№ Автор Особенности архитектуры Размер выборки (количество соединений) Классы органических соединений Средняя абсолютная ошибка прогнозирования, м.д.

1 Квасничка рекуррентная ИНС 44 алканы 1,55

2 Анкер, Джурс 24 кетостероиды 1,50

3 Доучет 64 алканы C5-C9 0,50

4 Панаи 29 метил-замещенные циклогексаны 0,30

5 Мияшита 35 галоидметаны 3,55

6 Свозил FNN с одним 63 алканы С2-С9 1,0

7 Клоузер, Джурс скрытым 46 трисахариды 1,30б)

8 слоем 17 рибонуклеозиды 0,39б)

9 20 дибензофураны 1,18б)

10 Митчелл, Джурс 111 моносахариды 0,90б)

11 Иванчук 66 алканы 5,51а)

12 Мейлер ~40000 _в) 2,70а)

13 Ялали-Херави 15 лигнины 1,31

14 Смурный FFN с двумя скрытыми слоями 2 -106 г) _в) 1,59

а, б) По причине отсутствия в исходной литературе информации о средней абсолютной ошибке прогноза приведены: (а) стандартное отклонение, (б) среднеквадратичная ошибка. в) Автор(ы) не приводит(ят) конкретного перечня классов органических соединений, используемых в выборке для реализации ИНС. г) Приведено общее количество углеродных атомов в выборке.

Следует отметить, что несмотря на широкое распространение ИНС для прогнозирования ХС ЯМР 13С и 1Н активно изучалась возможность применения другой методики машинного обучения - регрессионное моделирование (в частности линейная регрессия наименьших квадратов (PLS-регрессия) [45]).

Так, наряду с FFN с одним скрытым слоем предложены две линейные регрессионные модели на основе PLS и QPLS регрессий [37, 46]. Автор отмечает, что применение вышеприведенных регрессий не приводит к удовлетворительной точности аппроксимации зависимости значения ХС ЯМР 13С от количества атомов галогенов в молекуле. Автор приводит величину абсолютных ошибок аддитивной схемы для шести галоидметанов. Величины абсолютных ошибок прогноза ХС ЯМР 13С с помощью ИНС и линейной QPLS регрессии представлены в таблице 1.3.

Таблица 1.3 - Абсолютные ошибки и стандартное отклонение прогноза ХС ЯМР 13С для шести галоидметанов

Номер галоид метана в QPLS-регрессия ИНС

тестовой выборкеа) Абсолютная ошибка прогнозирования, м.д.

36 5,8 6,7

37 5,4 2,3

38 15,3 6,4

39 22,4 0,5

40 7,3 1,9

41 6,4 3,5

Средняя абсолютная ошибка 10,43 3,55

прогнозирования, м.д.б)

а) Номера приводятся согласно первоисточнику [37]. б) Значения рассчитаны автором настоящей работы, исходя из

экспериментальных данных первоисточника [37].

В данной работе также сделан вывод, что ошибки, полученные из PLS и QPLS моделей, по всей видимости, связаны с нелинейной характеристикой ХС (нелинейной зависимостью физико-химических факторов и собственно ХС).

Постулируется [36], что существуют ряд методов, которые могут быть использованы в качестве альтернативы FFN моделям: многомерная линейная регрессия, PLS-регрессия, метод главных компонент (PCA) [47]. Однако, использование ИНС имеет значительные преимущества:

а) не требуется явного приведения математической формы зависимости входной информации и гипотезы;

б) ИНС нечувствительны к шуму в исходных данных (в задачах прогнозирования ХС ЯМР 13С);

в) ИНС аппроксимируют сложные нелинейные зависимости. Выполнено сравнение эффективности применения многомерных линейных

регрессионных моделей и FNN [35] для трех классов органических соединений, включающих в себя дибензофураны, трисахариды и рибонуклеозиды. Сравнение показало преимущество ИНС над многомерной регрессионной моделью в двух первых случаях. Точность прогноза для FNN и линейных регрессионных моделей представлены в таблице 1.4. В данной таблице приведены минимальные значения ошибок прогнозирования ХС, указанные в первоисточниках, поскольку в рамках одного класса соединений авторы проводили более одного вычислительного эксперимента.

Таблица 1.4 - Сравнение эффективности линейных регрессионных и FNN моделей по результатам Клоузера и Джурса

№ Класс органических соединений Многомерная линейная регрессия ИНС

Среднеквадратичное отклонение прогнозирования, м.д.

1 рибонуклеозиды 0,48 0,98

2 трисахариды 1,65 1,30

3 дибензофураны 1,38 1,18

Отмечается [39], что инкрементные многомерные линейные модели в значительной степени более просты, по сравнению с ИНС. Вместе с тем, каждая многомерная линейная регрессионная модель ограничена применением исключительно в узком классе органических соединений.

Наряду с ИНС построена PLS-регрессия для прогнозирования ХС атомов углерода и водорода [44]. Точность прогноза ХС ЯМР 1Н PLS-регрессией составила 0,18 м.д. по величине средней абсолютной ошибки. Однако, была

получена меньшая средняя абсолютная ошибка прогнозирования ХС ЯМР 13С с помощью ИНС по сравнению с линейной регрессионной моделью: 1,59 м.д. для 13С и 1,71 м.д. для 1Н соответственно. Результаты, полученные с помощью PLS-регрессии и ИНС представлены в таблице 1.5.

Таблица 1.5 - Ошибки прогноза ХС ЯМР 13С и 1Н для PLS и нейросетевых моделей Смурного

Тип ХС Метод прогнозирования Средняя абсолютная ошибка, м.д. Стандартное отклонение, м.д. Максимальная ошибка прогнозирования, м.д.

13С PLS-регрессия 1,71 2,61 51,57

ИНС 1,59 2,45 85,82

1Н PLS-регрессия 0,18 0,26 2,72

ИНС 0,18 0,26 3,71

Позднее реализована PLS-регрессия для прогнозирования ХС ЯМР 13С [48]. В отличие от моделей, предложенных ранее, линейная регрессионная модель Блинова имеет среднюю абсолютную ошибку 1,85 м.д. и стандартное отклонение 2,76 м.д. PLS-модель Блинова позиционируется как универсальная компьютерная система прогнозирования ХС для различных классов органических соединений. В то же время, автор отмечает, что в ряде случаев средняя абсолютная ошибка прогноза составляет более 10 м.д., а максимальная - 48 м.д. По-видимому, это связано с очень большим разнообразием органических соединений, для которых была построена данная модель, что подтверждает заключения Мейлера о применимости регрессионного моделирования для прогнозирования ХС. Пример соединений с наибольшей величиной средней абсолютной ошибки приводится автором в его работе и представлен на рисунке 1.4. Кроме того, на основании вычислительного эксперимента, проведенного автором, можно заключить, что модель, использующая линейную регрессию, «недообучена» (ипёегШеё). Или же это свидетельствует о явно нелинейной зависимости значения ХС от набора факторов (предикторов), влияющих на него. Ввиду этого, в терминах машинного

обучения обобщающая способность (generalization ability) [49] такой модели заметно снижена. В это же время ИНС показывают в значительной степени лучший результат прогнозирования ХС ЯМР 1Н и 13С.

Стрелками указана величина ошибки для углеродных атомов, имеющих наибольшее отклонение от экспериментальных данных Рисунок 1.4 - Пример структур с максимальной средней абсолютной ошибкой

прогнозирования ХС ЯМР 13С

Вплоть до настоящего времени, несмотря на большое количество классов органических соединений, для которых решалась задача прогнозирования ХС, нами не было обнаружено литературных источников, касающихся применения методов машинного обучения в области структурных ЯМР-исследований производных фуллерена

Открытие фуллерена С60 в 1985 году [50] ознаменовало появление радикально нового класса органических соединений. Области применения производных фуллерена С60 включают в себя: фуллереновые атомные кластеры, оптоэлектронику, солнечные батареи и лекарственные средства нового

поколения. Изучения физико-химических свойств данного ряда соединений представляет собой актуальную задачу современной физической химии.

На сегодняшний день существует два основных подхода в исследовании структур фуллереновых производных:

а) натурный ЯМР-эксперимент. Одно- и двумерные методики ЯМР и 13С исследования структуры вновь синтезированных соединений;

б) теоретический подход, включающий в себя квантовохимические расчеты физико-химических параметров фуллереновых соединений: ХС ядер, входящих в состав молекул производных фуллерена С60, поляризуемость, электронное строение и реакционная способность и пр.

Основной и наиболее точной методикой ЯМР для установления структуры фуллереновых производных является INADEQUATE (Incredible Natural Abundance DoublE QUAntum Transfer Experiment) [51], позволяющая наблюдать прямые константы спин-спинового взаимодействия (КССВ) lJc_c в обогащенных изотопом 13С образцах, что существенно облегчает отнесение сигналов и, соответственно, установление структуры искомого соединения. Поскольку каркас фуллерена С60 является депротонированным, двумерные методики ЯМР (COSY, HMBC, NOESY, HSQC) применимы только для отнесения сигналов присоединенного фрагмента и ближайших к нему атомов углерода фуллеренового остова. Как отмечалось выше, наблюдение прямой КССВ 1JC_C является главным преимуществом INADEQUATE методики в структурных ЯМР-исследованиях фуллереновых соединений.

На сегодняшний день, известно 11 производных фуллерена С60 для которых был проведен INADEQUATE. Впервые получен C60(0s04)(4-mpem-бутилпиридин)2 в кристаллической форме в 1992 году (рисунок 1.5, соединение 1) [52] и описал его структуру методом ЯМР 13С INADEQUATE. Выделено еще одного монопроизводного фуллерена Сб0 (рисунок 1.5, соединение 2) с помощью обогащенного 13С образца [53] и установлена его структура.

1 2

Рисунок 1.5 - Монопроизводные фуллерена С60 1 и 2

Установлена структура фуллероциклопропана (рисунок 1.6, соединение 3) [54], а также структуры [2+2]- и [2+3]-циклоаддуктов (рисунок 1.6, соединения 4 и 5) [54]. Кроме того, были проведены INADEQUATE эксперименты и отнесение сигналов ЯМР 13С

для монопроизводного 6 (рисунок 1.6) [55].

3 4 5 Ь

Рисунок 1.6 - Производные фуллерена С60 3-6

Успешно описаны структуры простейших гидрофуллеренов (фуллераны) С60Н2 и С60Н6 (соединения 7 и 8, приведенные на рисунке 1.7) [56] и 1,16-

диалкиладдукта 9 (рисунок 1.7) с помощью двумерных ЯМР-методик INADEQUATE [57].

Рисунок 1.7 - Гидрофуллерены 7, 8 и 1,16-диалкилпроизводное 9

Представлены структуры [58] двух региоизомерных бис-аддуктов фуллерена С6о (соединения 10 и 11, рисунок 1.8), полученные из одно- и двумерных спектров ЯМР 13С на обогащенных 13C образцах.

Рисунок 1.8 - Региоизомерные бис-аддукты 10 и 11

Однако, несмотря на преимущества данного подхода ЯМР-исследований структуры и свойств производных фуллерена С60, имеется ряд недостатков, препятствующих широкомасштабному применению INADEQUATE. Одним из главных лимитирующих факторов является высокая стоимость исходного обогащенного фуллерена С60. На данный момент стоимость 1 г обогащенного вещества составляет 4000 долларов США, что резко увеличивает затраты на синтез, выделение и структурные исследования производных фуллерена С60. Вторым фактором, негативно сказывающимся на сложность проведения ЯМР эксперимента, является низкая растворимость фуллереновых производных. Это, в свою очередь, ограничивает применение INADEQUATE и стандартных двумерных методик ЯМР, поскольку концентрация исследуемого вещества определяет разрешимость сигналов в ЯМР спектре.

Список литературы диссертационного исследования кандидат наук Кирьянов Илья Игоревич, 2021 год

Список литературы

1 McCulloch, W. S. A logical calculus of the ideas immanent in nervous activity / W. S. McCulloch, W. Pitts // The bulletin of mathematical biophysics - 1943. - Т. 5 -№ 4 - С. 115-133.

2 Hebb, D. O. Organization of behavior / D. O. Hebb - New York, NY, USA: Wiley, 1949. - 335 c.

3 Webster, C. S. Alan Turing's unorganized machines and artificial neural networks: his remarkable early work and future possibilities / C. S. Webster // Evolutionary Intelligence - 2012. - Т. 5 - № 1 - С. 35-43.

4 Minsky, M. Perceptrons. An Introduction to Computational Geometry / M. Minsky, S. Papert - Cambridge: M.I.T. Press, 1969. - 258 c.

5 Werbos, P. J. Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences / P. J. Werbos - Harvard University, 1975.

6 Sathasivam, S. Logic Learning in Hopfield Networks / S. Sathasivam, W. A. T. W. Abdullah // CoRR - 2008.

7 Hochreiter, S. Long Short-Term Memory / S. Hochreiter, J. Schmidhuber // Neural Computation - 1997. - Т. 9 - № 8 - С. 1735-1780.

8 Cho, K. Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation / K. Cho, B. van Merrienboer, Q. Gul?ehre, F. Bougares, H. Schwenk, Y. Bengio // CoRR - 2014.

9 Lecun, Y. Gradient-based learning applied to document recognition / Y. Lecun, L. Bottou, Y. Bengio, P. Haffner // Proceedings of the IEEE - 1998. - Т. 86 - № 11 -

C. 2278-2324.

10 Wu, Y. Using Radial Basis Function Networks for Function Approximation and Classification / Y. Wu, H. Wang, B. Zhang, K.-L. Du // ISRN Applied Mathematics -2012. - Т. 2012 - С. 1-34.

11 Liou, C.-Y. Autoencoder for words / C.-Y. Liou, W.-C. Cheng, J.-W. Liou,

D.-R. Liou // Neurocomputing - 2014. - Т. 139 - С. 84-96.

12 Doersch, C. Tutorial on Variational Autoencoders // ArXiv e-prints [Электронный

ресурс]. URL: http://arxiv.org/abs/1606.05908 (дата обращения: 14.08.2017).

13 Sohn, K. Learning Structured Output Representation using Deep Conditional Generative Models / под ред. C. Cortes, N.D. Lawrence, D.D. Lee, M. Sugiyama, R. Garnett. Curran Associates, Inc., 2015. - 3483-3491с.

14 Goodfellow, I. J. Generative Adversarial Networks [Электронный ресурс]. URL: http://arxiv.org/abs/1406.2661 (дата обращения: 19.07.2017).

15 Hornik, K. Multilayer feedforward networks are universal approximators / K. Hornik, M. Stinchcombe, H. White // Neural Networks - 1989. - Т. 2 - № 5 -С. 359-366.

16 Cybenko, G. Approximation by superpositions of a sigmoidal function / G. Cybenko // Mathematics of Control, Signals and Systems - 1989. - Т. 2 - № 4 - С. 303-314.

17 Glorot, X. Understanding the difficulty of training deep feedforward neural networks , 2010. - 249-256с.

18 Nair, V. Rectified Linear Units Improve Restricted Boltzmann Machines ICML'10 / USA: Omnipress, 2010. - 807-814с.

19 Maas, A. L. Rectifier Nonlinearities Improve Neural Network Acoustic Models, 2013.

20 Graham, B. Spatially-sparse convolutional neural networks [Электронный ресурс]. URL: http://arxiv.org/abs/1409.6070 (дата обращения: 08.06.2017).

21 He, K. Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification / K. He, X. Zhang, S. Ren, J. Sun - 2015.

22 Clevert, D.-A. Fast and Accurate Deep Network Learning by Exponential Linear Units (ELUs) / D.-A. Clevert, T. Unterthiner, S. Hochreiter - 2015.

23 Klambauer, G. Self-Normalizing Neural Networks / G. Klambauer, T. Unterthiner, A. Mayr, S. Hochreiter // CoRR - 2017.

24 Glorot, X. Deep Sparse Rectifier Neural Networks , 2011. - 315-323с.

25 Bishop, C. Pattern Recognition and Machine Learning / C. Bishop - New York: Springer-Verlag, 2006.

26 Gerven, M. van Computational Foundations of Natural Intelligence / M. van Gerven // Frontiers in Computational Neuroscience - 2017. - Т. 11 - С. 112.

27 Kadurin, A. The cornucopia of meaningful leads: Applying deep adversarial autoencoders for new molecule development in oncology / A. Kadurin, A. Aliper, A. Kazennov, P. Mamoshina, Q. Vanhaelen, K. Khrabrov, A. Zhavoronkov // Oncotarget - 2017. - Т. 8 - № 7 - С. 10883-10890.

28 Wold, S. Chemometrics; what do we mean with it, and what do we want from it? / S. Wold // Chemometrics and Intelligent Laboratory Systems - 1995. - Т. 30 - № 1 -

C. 109-115.

29 Brown, F. K. Chapter 35 - Chemoinformatics: What is it and How does it Impact Drug Discovery. Annual Reports in Medicinal Chemistry / / под ред. J.A. Bristol. Academic Press, 1998. - 375-384с.

30 Kvasnicka, V. Application of recurrent neural networks in chemistry. Prediction and classification of 13C NMR chemical shifts in a series of monosubstituted benzenes / V. Kvasnicka, S. Sklenak, J. Pospichal // Journal of Chemical Information and Modelling - 1992. - Т. 32 - № 6 - С. 742-747.

31 Anker, L. S. Prediction of carbon-13 nuclear magnetic resonance chemical shifts by artificial neural networks / L. S. Anker, P. C. Jurs // Analytical Chemistry - 1992. -Т. 64 - № 10 - С. 1157-1164.

32 Doucet, J. P. Neural networks and carbon-13 NMR shift prediction / J. P. Doucet, A. Panaye, E. Feuilleaubois, P. Ladd // Journal of Chemical Information and Modelling

- 1993. - Т. 33 - № 3 - С. 320-324.

33 Panaye, A. Artificial neural network simulation of 13C NMR shifts for methyl substituted cyclohexanes / A. Panaye, J. P. Doucet, B. T. Fan, E. R. Feuilleaubois, S. Rahali El Azzouzi // Chemometrics and Intelligent Laboratory Systems - 1994. -Т. 24 - № 2 - С. 129-135.

34 Svozil, D. Neural network prediction of carbon-13 NMR chemical shifts of alkanes /

D. Svozil, J. Pospichal, V. Kvasnicka // Journal of Chemical Information and Modelling

- 1995. - Т. 35 - № 5 - С. 924-928.

35 Clouser, D. L. Simulation of the 13C Nuclear Magnetic Resonance Spectra of Trisaccharides Using Multiple Linear Regression Analysis and Neural Networks / D. L. Clouser, P. C. Jurs // Analytica Chimica Acta - 1996. - Т. 321 - № 2 - С. 168-

36 Ivanciuc, O. 13C NMR chemical shift sum prediction for alkanes using neural networks / O. Ivanciuc, J. P. Rabine, D. Cabrol-Bass // Computers & Chemistry - 1997. - T. 31 - № 6 - C. 437-443.

37 Miyashita, Y. Non-linear modelling of 13C NMR chemical shift data using artificial neural networks and partial least squares method / Y. Miyashita, H. Yoshida, O. Yaegashi, T. Kimura, H. Nishiyama, S. Sasaki // Journal of Molecular Structure -1994. - T. 311 - C. 241-245.

38 Mitchell, B. E. Computer Assisted Simulation of 13C Nuclear Magnetic Spectra of Monosaccharides / B. E. Mitchell, P. C. Jurs // Journal of Chemical Information and Computer Sciences - 1996. - T. 36 - № 1 - C. 58-64.

39 Meiler, J. Fast Determination of 13C NMR Chemical Shifts Using Artificial Neural Networks / J. Meiler, R. Meusinger, M. Will // Journal of Chemical Information and Modelling - 2000. - T. 40 - C. 1168-1176.

40 Meiler, J. Using Neural Networks for 13C NMR Chemical Shift Prediction-Comparison with Traditional Methods / J. Meiler, W. Maier, M. Will, R. Meusinger // Journal of Magnetic Resonance - 2002. - T. 157 - № 2 - C. 242-252.

41 Aires-de-Sousa, J. Prediction of 1H NMR Chemical Shifts Using Neural Networks / J. Aires-de-Sousa, M. C. Hemmer, J. Gasteiger // Analytical Chemistry - 2002. -T. 74 - № 1 - C. 80-90.

42 Kohonen, T. Self-organized formation of topologically correct feature maps / T. Kohonen // Biological Cybernetics - 1982. - T. 43 - № 1 - C. 59-69.

43 Jalali-Heravi, M. Simulation of 13C nuclear magnetic resonance spectra of lignin compounds using principal component analysis and artificial neural networks / M. Jalali-Heravi, S. Masoum, P. Shahbazikhah // Journal of Magnetic Resonance -2004. - T. 171 - № 1 - C. 176-185.

44 Smurnyy, Y. D. Toward More Reliable 13C and 1H Chemical Shift Prediction: A Systematic Comparison of Neural-Network and Least-Squares Regression Based Approaches / Y. D. Smurnyy, K. A. Blinov, T. S. Churanova, M. E. Elyashberg, A. J. Williams // Journal of Chemical Information and Modeling - 2008. - T. 48 -

№ 1 - C. 128-134.

45 Frank, lldiko E. A Statistical View of Some Chemometrics Regression Tools / lldiko E. Frank, J. H. Friedman // Technometrics - 1993. - T. 35 - № 2 - C. 109-135.

46 Wold, S. Nonlinear PLS modeling / S. Wold, N. Kettaneh-Wold, B. Skagerberg // Chemometrics and Intelligent Laboratory Systems - 1989. - T. 7 - № 1 - C. 53-65.

47 Abdi, H. Principal component analysis / H. Abdi, L. J. Williams // Wiley Interdisciplinary Reviews: Computational Statistics - 2010. - T. 2 - № 4 - C. 433-459.

48 Blinov, K. A. Development of a fast and accurate method of 13C NMR chemical shift prediction / K. A. Blinov, Y. D. Smurnyy, T. S. Churanova, M. E. Elyashberg, A. J. Williams // Chemometrics and Intelligent Laboratory Systems - 2009. - T. 97 - № 1 - C. 91-97.

49 S. Abu-Mostafa, Y. Learning From Data / Y. S. Abu-Mostafa, M. Magdon-Ismail, L. Hsuan-Tien - AMLBook, 2012. - 213 c.

50 Kroto, H. W. C60: Buckminsterfullerene / H. W. Kroto, J. R. Heath, S. C. O'Brien, R. F. Curl, R. E. Smalley // Nature - 1985. - T. 318 - C. 162.

51 Keeler, J. Understanding NMR Spectroscopy / J. Keeler - Wiley, 2011. - 526 c.

52 Hawkins, J. M. 2D nuclear magnetic resonance analysis of osmylated C60 / J. M. Hawkins, S. Loren, A. Meyer, R. Nunlist // Journal of the American Chemical Society - 1991. - T. 113 - № 20 - C. 7770-7771.

53 Burley, G. A. Unequivocal assignment of the fullerene carbons of diethyl 1,2-methano [60]fullerene 61,61-dicarboxylate using 2D INADEQUATE NMR spectroscopy / G. A. Burley, P. A. Keller, S. G. Pyne, G. E. Ball // Magnetic Resonance in Chemistry - 2001. - T. 39 - № 8 - C. 466-470.

54 Meier, M. S. Trends in Chemical Shift Dispersion in Fullerene Derivatives. Local Strain Affects the Magnetic Environment of Distant Fullerene Carbons / M. S. Meier, H. P. Spielmann, R. G. Bergosh, M. C. Tetreau // The Journal of Organic Chemistry -2003. - T. 68 - № 20 - C. 7867-7870.

55 Ball, G. E. Structural Reassignment of the Mono- and Bis-Addition Products from the Addition Reactions of N-(Diphenylmethylene)glycinate Esters to [60]Fullerene under Bingel Conditions / G. E. Ball, G. A. Burley, L. Chaker, B. C. Hawkins,

J. R. Williams, P. A. Keller, S. G. Pyne // The Journal of Organic Chemistry - 2005. -T. 70 - № 21 - C. 8572-8574.

56 Meier, M. S. A 13C INADEQUATE and HF-GIAO Study of C60H2 and C60H6 Identification of Ring Currents in a 1,2-Dihydrofullerene / M. S. Meier, H. P. Spielmann, R. G. Bergosh, R. C. Haddon // Journal of the American Chemical Society - 2002. - T. 124 - № 27 - C. 8090-8094.

57 Ford, W. T. Structure Determination and Electrochemistry of Products from the Radical Reaction of C60 with Azo(bisisobutyronitrile) / W. T. Ford, T. Nishioka, F. Qiu, F. D'Souza, J. Choi, W. Kutner, K. Noworyta // The Journal of Organic Chemistry - 1999. - T. 64 - № 17 - C. 6257-6262.

58 Burley, G. A. Synthesis and Characterization of Mono- and Bis-methano[60]fullerenyl Amino Acid Derivatives and Their Reductive Ring-Opening Retro-Bingel Reactions / G. A. Burley, P. A. Keller, S. G. Pyne, G. E. Ball // The Journal of Organic Chemistry - 2002. - T. 67 - № 24 - C. 8316-8330.

59 Becke, A. D. Perspective: Fifty years of density-functional theory in chemical physics / A. D. Becke // The Journal of Chemical Physics - 2014. - T. 140 - № 18 -C. 18-301.

60 Sun, G. Theoretical 13C NMR Spectra of IPR Isomers of Fullerenes C60, C70, C72, C74, C76, and C78 Studied by Density Functional Theory / G. Sun, M. Kertesz // The Journal of Physical Chemistry A - 2000. - T. 104 - № 31 - C. 7398-7403.

61 Hauke, F. Complete Assignment of All 13C NMR Signals of Cs Symmetric Monoazafullerene Derivatives by Comparison of Experimental and Calculated Spectra / F. Hauke, Z.-F. Chen, A. Hirsch // Polish Journal of Chemistry - 2007. - T. 81 -№ 5-6 - C. 971-983.

62 Fileti, E. E. The 13C NMR properties of low hydroxylated fullerenes with density functional theory / E. E. Fileti, R. Rivelino // Chemical Physics Letters - 2009. - T. 467 - № 4 - C. 339-343.

63 Tulyabaev, A. R. 13C NMR in Fullerene Chemistry: Structure/Shift Relationship and Quantum-Chemical Predictions Nova Science Publishers, 2014. - 95-122c.

64 Laikov, D. N. PRIRODA-04: a quantum-chemical program suite. New possibilities

in the study of molecular systems with the application of parallel computing / D. N. Laikov, Y. A. Ustynyuk // Russian Chemical Bulletin - 2005. - Т. 54 - № 3 -С. 820-826.

65 Kiryanov, I. I. Prediction of 13C NMR chemical shifts by artificial neural network. I. Partial charge model as atomic descriptor / I. I. Kiryanov, F. H. Mukminov, A. R. Tulyabaev, L. M. Khalilov // Chemometrics and Intelligent Laboratory Systems -2016. - Т. 152 - С. 62-68.

66 Frisch, M. J. Gaussian 09 // - 2009.

67 Meschiari, S. latex2exp: Use LaTeX Expressions in Plots / S. Meschiari - R Foundation for Statistical Computing, 2015.

68 Walt, S. van der The NumPy Array: A Structure for Efficient Numerical Computation / S. van der Walt, S. C. Colbert, G. Varoquaux // Computing in Science & Engineering - 2011. - Т. 13 - № 2 - С. 22-30.

69 O'Boyle, N. M. Pybel: a Python wrapper for the OpenBabel cheminformatics toolkit / N. M. O'Boyle, C. Morley, G. R. Hutchison // Chemistry Central Journal - 2008. -Т. 2 - № 1 - С. 5.

70 O'Boyle, N. M. Open Babel: An open chemical toolbox / N. M. O'Boyle, M. Banck, C. A. James, C. Morley, T. Vandermeersch, G. R. Hutchison // Journal of Cheminformatics - 2011. - Т. 3 - № 1 - С. 33.

71 Cook, S. CUDA Programming: A Developer's Guide to Parallel Computing with GPUs / S. Cook - San Francisco, CA, USA: Morgan Kaufmann Publishers Inc., 2013. Вып. 1st.

72 Smith, A. B. 1,2-Methanobuckminsterfullerene (C61H2), the parent fullerene cyclopropane: synthesis and structure / A. B. Smith, R. M. Strongin, L. Brard, G. T. Furst, W. J. Romanow, K. G. Owens, R. C. King // Journal of the American Chemical Society - 1993. - Т. 115 - № 13 - С. 5829-5830.

73 Smith, A. B. Synthesis of Prototypical Fullerene Cyclopropanes and Annulenes. Isomer Differentiation via NMR and UV Spectroscopy / A. B. Smith, R. M. Strongin, L. Brard, G. T. Furst, W. J. Romanow, K. G. Owens, R. J. Goldschmidt, R. C. King // Journal of the American Chemical Society - 1995. - Т. 117 - № 20 - С. 5492-5502.

74 Keshavarz-K, M. Linear free energy relation of methanofullerene C61-substituents with cyclic voltammetry: Strong electron withdrawal anomaly / M. Keshavarz-K, B. Knight, R. C. Haddon, F. Wudl // Tetrahedron - 1996. - T. 52 - № 14 - C. 51495159.

75 Zhang, X. [2 + 2] Cycloaddition of Fullerenes with Electron-Rich Alkenes and Alkynes / X. Zhang, A. Fan, C. S. Foote // The Journal of Organic Chemistry - 1996. -T. 61 - № 16 - C. 5456-5461.

76 Khalilov, L. M. Synthesis and 13C NMR features of N-substituted aziridino[60]fullerenes / L. M. Khalilov, A. R. Tulyabaev, A. R. Akhmetov, A. R. Tuktarov // Russian Chemical Bulletin - 2015. - T. 64 - № 11 - C. 2725-2730.

77 Tulyabaev, A. R. Are there reliable DFT approaches for 13C NMR chemical shift predictions of fullerene C60 derivatives? / A. R. Tulyabaev, I. I. Kiryanov, I. S. Samigullin, L. M. Khalilov // International Journal of Quantum Chemistry -2017. - T. 117 - № 1 - C. 7-14.

78 Priddy, K. L. Artificial neural networks: an introduction / K. L. Priddy, P. E. Keller -Bellingham, Washington: SPIE Press, 2005.

79 Kvasnicka, V. Application of neural networks with feedback connections in chemistry: prediction of 13C NMR chemical shifts in a series of monosubstituted benzenes / V. Kvasnicka, S. Sklenak, J. Pospichal // Journal of Molecular Structure: THEOCHEM - 1992. - T. 277 - C. 87-107.

80 Bremser, W. Hose — a novel substructure code / W. Bremser // Analytica Chimica Acta - 1978. - T. 103 - № 4 - C. 355-365.

81 Marenich, A. V Charge Model 5: An Extension of Hirshfeld Population Analysis for the Accurate Description of Molecular Interactions in Gaseous and Condensed Phases / A. V Marenich, S. V Jerome, C. J. Cramer, D. G. Truhlar // Journal of Chemical Theory and Computation - 2012. - T. 8 - № 2 - C. 527-541.

82 Hu, H. Fitting Molecular Electrostatic Potentials from Quantum Mechanical Calculations / H. Hu, Z. Lu, W. Yang // Journal of Chemical Theory and Computation -2007. - T. 3 - № 3 - C. 1004-1013.

83 Cramer, C. J. J. Essentials of Computational Chemistry: Theories and Models /

C. J. J. Cramer - John Wiley & Sons, 2013. - 564 c.

84 Pankratyev, E. Y. How reliable are GIAO calculations of 1H and 13C NMR chemical shifts? A statistical analysis and empirical corrections at DFT (PBE/3z) level / E. Y. Pankratyev, A. R. Tulyabaev, L. M. Khalilov // Journal of Computational Chemistry - 2011. - Т. 15 - № 9 - С. 1993-1997.

85 Moreau, G. Atomic Chirality, a Quantitative Measure of the Chirality of the Environment of an Atom / G. Moreau // Journal of Chemical Information and Computer Sciences - 1997. - Т. 37 - № 5 - С. 929-938.

86 Mcnaught, A. D. IUPAC. Compendium of Chemical Terminology / A. D. Mcnaught, A. Wilkinson - Oxford: Blackwell Scientific Publications, 1997. Вып. 2.

87 Philipp, G. Gradients explode - Deep Networks are shallow - ResNet explained / G. Philipp, D. Song, J. G. Carbonell // CoRR - 2017. - Т. abs/1712.0.

88 Kolen, J. F. Gradient Flow in Recurrent Nets: The Difficulty of Learning LongTerm Dependencies Wiley-IEEE Press, 2001. - 464-с.

89 Wilamowski, B. M. Challenges in applications of computational intelligence in industrial electronics , 2010. - 15-22с.

90 Vapnik, V. N. The Nature of Statistical Learning Theory / V. N. Vapnik - New York, NY, USA: Springer-Verlag New York, Inc., 1995.

91 Doukim, C. A. Finding the number of hidden neurons for an MLP neural network using coarse to fine search technique , 2010. - 606-609с.

92 Hunter, D. Selection of Proper Neural Network Sizes and Architectures -A Comparative Study / D. Hunter, H. Yu, M. S. P. III, J. Kolbusz, B. M. Wilamowski // IEEE Transactions on Industrial Informatics - 2012. - Т. 8 - № 2 - С. 228-240.

93 Samarasinghe, S. Neural Networks for Applied Sciences and Engineering: From Fundamentals to Complex Pattern Recognition / S. Samarasinghe - CRC Press, 2016.

94 Kingma, D. P. Adam: A Method for Stochastic Optimization San-Diego, 2015.

95 Srivastava, N. Dropout: A Simple Way to Prevent Neural Networks from Overfitting / N. Srivastava, G. Hinton, A. Krizhevsky, I. Sutskever, R. Salakhutdinov // Journal of Machine Learning Research - 2014. - Т. 15 - С. 1929-1958.

96 Xiong, H. Y. Bayesian prediction of tissue-regulated splicing using RNA sequence

and cellular context / H. Y. Xiong, Y. Barash, B. J. Frey // Bioinformatics - 2011. -T. 27 - № 18 - C. 2554-2562.

97 Salakhutdinov, R. Bayesian probabilistic matrix factorization using Markov chain Monte Carlo ACM Press, 2008. - 880-887c.

(обязательное) Структуры молекул, входящие в выборку

Рисунок А.1

- Структуры производных фуллерена С60, входящие в выборку

Рисунок А.2 - Структуры производных фуллерена С60, входящие в выборку

(продолжение)

Рисунок А.3 - Структуры производных фуллерена С60, входящие в выборку

(продолжение)

(обязательное) Значения ЯМЗЕ для соединений 1-5

Таблица Б.1 - RMSE расчетных ХС ЯМР 13С для соединений 1-5 (рисунок 3.1)

Базисный набор

Функционал Соединение 3-2Ш 6-3Ш^) 6-31G(d,2p) 6-3Ш(ад 6-3Ш LanL2DZ SDDAll

1 11,382 4,110 1,760 2,044 0,630 5,991 5,559

2 11,301 3,886 1,703 1,949 0,744 6,322 5,673

B3LYP 3 10,977 3,542 1,715 1,869 1,231 7,084 5,360

4 11,238 3,821 1,700 1,924 1,170 6,449 5,633

5 11,804 4,507 2,856 3.000 2,764 6,342 6,494

1 12,636 4,406 2,545 2,491 1,164 3,897 4,561

2 12,549 4,193 2,419 2,367 1,237 4,096 4,734

B3PW91 3 12,243 3,857 2,254 2,206 1,370 4,862 4,423

4 12,554 4,199 2,462 2,404 1,560 4,241 4,788

5 12,980 4,711 3,267 3,218 2,944 4,298 5,647

1 14,370 6,206 4,259 4,219 2,978 1,541 2,042

2 14,240 5,908 3,998 3,957 2,969 1,787 2,253

B97-2 3 13,951 5,548 3,716 3,677 2,747 2,664 2,023

4 14,257 5,909 4,016 3,975 3,075 2,281 2,447

5 14,663 6,301 4,568 4,520 4,133 2,617 3,736

1 12,193 3,909 2,118 2,001 0,499 4,325 3,717

2 12,123 3,685 1,947 1,837 0,632 4,527 3,950

mPW1PW91 3 11,828 3,371 1,832 1,747 1,021 5,207 3,621

4 12,155 3,782 2,154 2,051 1,284 4,621 4,052

5 12,665 4,420 3,097 3,016 2,841 4,627 5,110

Продолжение таблицы Б.1

Базисный набор

Функционал Соединение 3-2Ш 6-31ОД 6-31G(d,2p) 6-3Ш^) 6-3Ш LanL2DZ SDDAll

1 12,747 4,252 2,538 2,387 0,978 3,813 3,620

2 12,669 4,015 2,344 2,198 1,082 4,003 3,854

PBE1PBE 3 12,374 3,690 2,162 2,037 1,162 4,689 3,517

4 12,716 4,111 2,525 2,385 1,542 4,122 3,967

5 13,218 4,722 3,393 3,279 3,064 4,226 5,067

1 11,164 3,895 1,491 1,812 0,422 6,303 5,488

2 11,079 3,652 1,410 1,686 0,522 6,575 5,589

X3LYP 3 10,760 3,321 1,513 1,665 1,154 7,314 5,273

4 11,027 3,624 1,513 1,747 1,131 6,692 5,563

5 11,627 4,364 2,756 2,901 2,756 6,572 6,462

(обязательное) Диаграммы МАЕ для гибридных функционалов

Рисунок В.1 - Диаграмма величин MAE для функционала B3LYP

Рисунок В.2 - Диаграмма величин MAE для функционала B3PW91

Рисунок В.3 - Диаграмма величин MAE для функционала B97-2

Рисунок В.4 - Диаграмма величин MAE для функционала mPW1PW91

Рисунок В.5 - Диаграмма величин MAE для функционала PBE1PBE

(обязательное) Диаграммы ЯМЗЕ для гибридных функционалов

Рисунок Г.1 - Диаграмма величин RMSE для функционала B3LYP

Рисунок Г.2 - Диаграмма величин RMSE для функционала B3PW91

Рисунок Г.3 - Диаграмма величин RMSE для функционала B97-2

Рисунок Г.4 - Диаграмма величин RMSE для функционала mPW1PW91

Рисунок Г.5 - Диаграмма величин RMSE для функционала PBE1PBE

(обязательное)

Линейные регрессионные модели зависимости частичного атомного заряда и

ХС ЯМР 13С

Рисунок Д.1 - Одномерные линейные регрессионные модели зависимости «частичный атомный заряд-ХС ЯМР 13С» (алканы)

МС С5=М+735.90 + С*-1269.88 + 24.46

20 30

Частичный атомный заряд

МН СЗ=М*594.24 + Н*-1779.57+ 241.68

20 30

Частичный атомный заряд

Рисунок Д.2 - Многомерные линейные регрессионные модели зависимости «частичный атомный заряд-ХС ЯМР 13С» (алканы)

Рисунок Д.3 - Одномерные линейные регрессионные модели зависимости «частичный атомный заряд-ХС ЯМР 13С» (терминальные алкены)

Рисунок Д.4 - Многомерные линейные регрессионные модели зависимости «частичный атомный заряд-ХС ЯМР 13С» (терминальные алкены)

Рисунок Д.5 - Одномерные линейные регрессионные модели зависимости «частичный атомный заряд-ХС ЯМР 13С» (терминальные алкины)

Рисунок Д.6 - Многомерные линейные регрессионные модели зависимости «частичный атомный заряд-ХС ЯМР 13С» (терминальные алкины)

Рисунок Д.7 - Одномерные линейные регрессионные модели зависимости «частичный атомный заряд-ХС ЯМР 13С» (эфиры и кетоны)

Рисунок Е.8 - Многомерные линейные регрессионные модели зависимости «частичный атомный заряд-ХС ЯМР 13С» (эфиры и кетоны)