Предсказательное моделирование процессов в комплексных сетях посредством методов машинного обучения на основе неполных данных тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Шиков Егор Николаевич

• Шиков Егор Николаевич
• кандидат наук
• 2022

Оглавление диссертации кандидат наук Шиков Егор Николаевич

Оглавление

РЕФЕРАТ

SYNOPSIS

ВВЕДЕНИЕ

1 Аналитический обзор и обоснование постановки задачи

1.1 Комплексные сети

1.1.1 Терминология теории графов

1.1.2 Характеристики графов и их элементов

1.1.3 Генеративные модели КС

1.1.4 Моделирование динамических процессов

1.2 Аппарат предсказательного моделирования процессов в КС на данных

1.2.1 Методы на основе векторных представлений и матричной факторизации

1.2.2 Графовые сверточные сети

1.2.3 Нейросетевые рекуррентные модели

1.2.4 Точечные случайные процессы

1.2.5 Нейросетевые подходы для динамических графов

1.2.6 Учет неполноты данных

1.3 Библиотеки анализа и моделирования КС

1.3.1 Инструменты сетевого анализа

1.3.2 Фреймворки компартментных моделей КС

1.3.3 Фреймворки МО для КС

1.4 Постановка задачи и основные компоненты предполагаемого решения

1.4.1 Ограничения традиционных подходов

1.4.2 Математическая постановка

1.4.3 Основные операции

1.4.4 Пайплайны

1.5 Выводы

2 Восстановление топологии и атрибутов вершин КС на основе данных

2.1 Восстановление топологии сети

2.1.1 Метрики схожести для слабоструктурированных данных

2.1.2 Использование методов МО для восстановления атрибутов рёбер

2.2 Восстановление атрибутов вершин

2.2.1 Восстановление атрибутов на основе процедуры распространения по графу

2.2.2 Восстановление атрибутов на сети на основе графовых нейронных сетей

2.3 Примеры использования

2.3.1 Восстановление графа КС сущностной модели данных

2.3.2 Восстановление положений торгово-сервисных точек и расстояний между ними

2.3.3 Восстановление атрибутов на основе графовых нейронных сетей

2.3.4 Интеграция разнородных данных

2.4 Выводы

3 Предсказательное моделирования динамики событий на комплексных сетях на основе данных

3.1 Предобработка событий

3.2 Временной кодировщик TemporalEncoder

3.2.1 Дискретные временные интервалы

3.2.2 Непрерывное время

3.3 Агрегация на графе GraphEncoder

3.3.1 Декодер прогнозируемых связей

3.4 Примеры использования

3.4.1 Прогнозирование в дискретных интервалах

3.4.2 Точечные процессы

3.4.3 Результаты предсказания связей

3.5 Выводы

4 Библиотека предсказательного моделирования процессов в КС144

4.1 Экосистема библиотеки СКр^

4.2 Структура библиотеки СNpгed

4.3 Использование библиотеки

4.4 Сопровождение библиотеки

4.5 Примеры применения библиотеки

4.6 Выводы

Заключение

СПИСОК СОКРАЩЕНИЙ И УСЛОВНЫХ ОБОЗНАЧЕНИЙ

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

Приложение Л. Тексты публикаций

Введение диссертации (часть автореферата) на тему «Предсказательное моделирование процессов в комплексных сетях посредством методов машинного обучения на основе неполных данных»

РЕФЕРАТ

Развитие методов машинного обучения (МО) на данных позволило кардинально изменить логику прогнозирования процессов реального мира. В ситуациях, когда причинно-следственные законы не известны или находятся под гнетом неопределенности, МО позволяет на основе косвенных признаков воспроизвести их прогностические свойства через модели на данных.

Наибольшей востребованностью пользуются задачи прогнозирования временных рядов, описывающих эволюцию систем, в дискретные моменты времени представимых некоторым (в общем случае - нескалярным) математическим объектом. В простейшем случае, для временных рядов скалярных величин и абстрактных векторов в метрических пространствах успешно применяются классические методы, основанные на вероятностной модели многомерной случайной функции (например, ARIMA, марковские цепи, случайные точечные процессы и другие).

Усложнение структуры объекта требует применения специфических подходов. Для ряда канонических вероятностных моделей - например, случайных геометрических векторов или пространственных полей, возможно экстенсивное усложнение классических моделей. Однако в ряде случаев, когда объекты имеют высокую размерность и сложную внутреннюю структуру (например, видео), их возможностей недостаточно. Потому применяются альтернативные механизмы для прогнозирования на основе искусственных нейронных сетей (ИНС), которые адаптируются на структуру объекта и учитывают временные зависимости (например, посредством сверточных сетей, LSTM).

Отдельный класс задач прогнозирования связан с предсказательным моделированием процессов в комплексных сетях (КС), эволюция которых в каждый момент времени описывается графом определенной структуры. В том случае, когда невозможно использовать причинно-следственные модели эволюции графов (например, привычные в эпидемиологии модели SIR, SIS, SEIR и пр.), для этого привлекаются разного рода имитационные модели, трактующие граф как отражение мультиагентной системы. В этом случае изменение его структуры определяется правилами поведения агентов, которые косвенно оцениваются на основе данных. Однако такая процедура, как правило, ресурсоемка и не гарантирует устойчивый результат.

Как следствие, в качестве альтернативы можно рассмотреть подход, к

прогнозированию состояния систем, описываемых КС, по аналогии с ИНС-подходом для временных рядов сложных многомерных объектов. Однако в данном случае возникает ряд вопросов в зоне научной дискуссии, а именно:

1. как обосновать выбор архитектуры ИНС, эффективной для описания динамики таких объектов в форме КС;

2. как оптимизировать процессы обучения таких сетей, особенно на неполных данных (т. к. сами КС, как правило, велики по размерам);

3. какие особенности применения предсказательных моделей на основе ИНС для КС отличны от того, что мы имеем для обычных временных рядов?

Целью исследования является повышение качества1 и снижение вычислительной ресурсоемкости предсказательного моделирования процессов в КС, описывающих объекты реального мира за счет применения графовых нейронных сетей (СКК), обеспечивающих эффективный механизм учета информации о связности между объектами. Задачи исследования:

1. анализ и обоснование требований к подходам к предсказательного моделирования динамики КС посредством методов МО на основе данных;

2. формализация постановки задачи предсказательное моделирование процессов в комплексных сетях посредством методов машинного обучения на основе неполных данных;

3. разработка и программная реализация алгоритмов восстановления сетевой структуры и атрибутов КС на основе данных;

4. разработка и программная реализация алгоритмов предсказательного моделирования динамики событий в КС на основе данных;

5. проектирование и разработка открытой программной библиотеки предсказательного моделирования процессов в КС, имплементирующей разработанные подходы и алгоритмы;

ХВ соответствии с ГОСТ Р 59898-2021

6. экспериментальное исследование характеристик разработанных методов и алгоритмов.

Методы исследования включают в себя графовые нейронные сети, ИНС для работы с последовательностями, модели, основанные на применении точечных случайных процессов, методы машинного обучения, теории вероятностей и математической статистики, имитационного моделирования, а также инженерии программного обеспечения.

Научная новизна работы заключается в том, что в данной работе для предсказания динамики процессов в КС впервые совмещены аппарат ИНС для обработки последовательностей событий, а также графовые нейронные сети и методы восстановления топологии сети, что позволило создать отчуждаемую библиотеку алгоритмов МО, которая применима в произвольных отраслях, допускающих представление своих процессов в форме динамических КС.

Теоретическая значимость работы состоит в развитии путей применения моделей МО на данных для предсказательного моделирования разнородных событий в динамических системах на основе данных, изменчивость которых описывается временными рядами нескалярных объектов, обладающих выраженной топологической структурой.

Практическую значимость работы составляет программная библиотека СЫргвй для предсказательного моделирования процессов в КС, включающая в себя следующие инструменты:

1. модуль восстановления топологии сети, позволяющий восстанавливать топологию сети на основе данных;

2. модуль агрегации информации по графу КС, реализующий алгоритмы кодирования топологии в представления вершин;

3. модуля кодирования временной информации, осуществляющий прогнозирование последовательностей векторных величин в произвольные промежутки времени.

Результаты работы внедрены в рамках практической деятельности Национального центра когнитивных разработок и ИЦ «Сильный искусственный интеллект в промышленности».

Положения, выносимые на защиту:

1. семейство алгоритмов реконструкции топологии и атрибутов узлов КС на основе данных, обеспечивающих восстановление сети на основе набора мер схожести объектов и восстановление атрибутов на основе аппарата графовых нейронных сетей и оптимизации на графе, реализованных в форме компонентов открытой библиотеки СКргеф

2. семейство алгоритмов предсказательного моделирования динамики событий на комплексных сетях на основе аппарата ИНС и точечных процессов на данных, позволяющий строить прогнозы для множественных вершин на основе агрегирования статистик взаимодействий по временным промежуткам, реализованных в форме компонентов открытой библиотеки СКрге^

Соответствие паспорту специальности 1.2.1:

п. 5 - Методы и технологии поиска, приобретения и использования знаний и закономерностей, в том числе - эмпирических, в системах искусственного интеллекта. Исследования в области совместного применения методов машинного обучения и классического математического моделирования. Методы и средства использования экспертных знаний.

п. 7 - Разработка специализированного математического, алгоритмического и программного обеспечения систем искусственного интеллекта и машинного обучения. Методы и средства взаимодействия систем искусственного интеллекта с другими системами и человеком-оператором.

п. 17 - Исследования в области многослойных алгоритмических конструкций, в том числе - многослойных нейросетей.

Внедрение результатов работы. Результаты использованы при выполнении следующих НИОКР: Российский научный фонд, «Интеллектуальные технологии больших данных для поддержки принятия решений в финансовой сфере на основе предсказательного моделирования», соглашение №17-71-30029-П от 19.03.2021; Аналитический Центр при Правительстве РФ, «Технологии сильного искусственного интеллекта в промышленности», договор №70-2021-00141 от 02.11.2021 г.

Достоверность результатов подтверждается корректным использованием математических методов, обоснованием постановки задач, а также экспериментальными исследованиями, покрывающими разработанные технологии и алгоритмы в части оценки их качества на обучающих и тестовых выборках в

соответствии с рекомендациями ГОСТ Р 59898-2021.

Апробация результатов работы. Основные результаты исследования обсуждались на международных и российских научно-практических конференциях и семинарах, совещаниях и круглых столах, включая: ICCS-2019 International Conference on Computational Science (Фару, 2019), IX Конгрессе молодых ученых (Россия, Санкт-Петербург, 2020), 10th International Young Scientists Conference in Computational Science (YSC 2021), 9th International Young Scientists Conference in Computational Science (YSC 2020),1th International Conference on Operations Research and Enterprise Systems (IC0RES-2022).

Публикации. По материалам диссертационного исследования опубликовано 13 печатных работ объёмом 7 печатных листов (вклад соискателя составляет 5 печатных листа), из них в рецензируемых научных журналах из перечня ВАК РФ и WoS/Scopus - 7, свидетельств о регистрации программ для ЭВМ - 4. Публикации в научных изданиях, входящих в перечень ВАК и WoS/Scopus:

1. Kalinin A., Vaganov D.A., Shikov E. Relations Reconstruction in a Knowledge Graph of a Socioeconomic System//Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 2022, Vol. 13088, pp. 150-161

2. Lysenko A., Deeva I., Shikov E. MVAESynth: a unified framework for multimodal data generation, modality restoration, and controlled generation//Procedia Computer Science, 2021, Vol. 193, pp. 422-431

3. Shikov E., Bardina M., Vaganov D. Predicting customer flow for the selected location based on transactional data//Procedia Computer Science, 2021, Vol. 193, pp. 361-370

4. Stavinova E., Shikov E., Vaganov D. From temporal to spatial networks: on inferring missing coordinates of debit card transactions//Procedia Computer Science, 2020, Vol. 178, pp. 172-181

5. Shikov E.N., Bochenina K.O. Forecasting Purchase Categories by Transactional Data: A Comparative Study of Classification Methods//Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 2019, Vol. 11538, pp. 249-262

6. Lysenko A.V., Shikov E.N., Bochenina K.O. Temporal point processes for purchase categories forecasting//Procedia Computer Science, 2019, Vol. 156, pp. 255-263

7. Guleva V.Y., Shikov E., Bochenina K.O., Kovalchuk S.V., Alodjants A.P., Bukhanovsky A.V. Emerging complexity in distributed intelligent systems//Entropy, 2020, Vol. 22, No. 12, pp. 1437

РИД - получено 4 свидетельства о регистрации программ для ЭВМ:

1. Свидетельство о регистрации № 2021681302 от 20.12.2021 "Программная библиотека агентного моделирования проектной деятельности в распределённых интеллектуальных системах"// Гулева В.Ю., Шиков Е.Н., Кондаков М.В.

2. Свидетельство о регистрации № 2020619733 от 21.08.2020 "Программная библиотека восстановления геокоординат событий по частично размеченным транзакционным данным" // Ваганов Д.А., Шиков Е.Н., Ставинова Е.А.

3. Свидетельство о регистрации № 2020660069 от 27.08.2020 "Программная библиотека прогнозирования потока клиентов в торгово-сервисных точках городской среды" // Ваганов Д.А., Шиков Е.Н.

4. Свидетельство о регистрации № 2020660995 от 16.09.2020 "Программная библиотека прогнозирования событий по несбалансированным цифровым следам клиентов" // Боченина К.О., Шиков Е.Н., Ставинова Е.А.

Публикации в иных изданиях:

1. Лысенко А.В., Шиков Е.Н., Боченина К.О. Прогнозирование цепочек трат с использованием точечных случайных процессов//Сборник тезисов докладов конгресса молодых ученых. Электронное издание. - 2019

2. Лысенко А.В., Шиков Е.Н. Композиция вариационных автоэнкодеров для задачи мультимодального моделирования профиля клиента//Сборник тезисов докладов международной школы-конференции "Высокопроизводительные вычисления и искусственный интеллект 2019

Личный вклад автора в работах, выполненных в соавторстве, заключается в проведении литературного обзора в проблемной области диссертационного исследования, обработке и анализе данных, разработке и программной реализации методов машинного обучения и имитационных моделей на КС. Из работ, выполненных в соавторстве, в диссертацию включены результаты, которые соответствуют личному участию автора.

Боченина К.О. во всех работах, выполненных в соавторстве, осуществляла постановку научных задач и консультировала при написании статей. Буханов-ский А.В. в работе 2, выполненных в соавторстве, осуществлял рекомендации по постановке задач, выбору и обоснованию теоретических основ научного исследования. Вагановым Д.А. во всех работах, выполненных в соавторстве, был проведен обзор литературы и консультирование при обсуждении результатов. Лысенко А.В. в работах 3 4 была выполнена программная реализация моделей точечных процессов. Ставиновой Е.А. в 5 была реализована модель машинного обучения для восстановления весов графа. Гулевой В.Ю. в 6 была сформулирована математическая постановка задачи. Калининым в была выполнена программная реализация моделей глубокого обучения для кодирования графов знания. Бардина М.Г. в 7 проводила настройку параметров разработанных алгоритмов.

Структура и объем диссертации

Диссертация состоит из введения, четырых глав, заключения, списка литературы, включающего 110 источников, и перечня используемых сокращений, содержит 139 страниц текста, включая 31 рисунок и 10 таблиц. В первой главе приводится аналитический обзор методов предсказательного моделирования процессов в КС на данных, алгоритмов реконструкции сетевой структуры системы, алгоритмов восстановления атрибутов объектов сети, моделирования динамики эволюции КС, а также программных библиотек, реализующих ча-

2Guleva V.Y., Shikov E., Bochenina K.O., Kovalchuk S.V., Alodjants A.P., Bukhanovsky A.V. Emerging complexity in distributed intelligent systems//Entropy, 2020, Vol. 22, No. 12, pp. 1437

3Lysenko A.V., Shikov E.N., Bochenina K.O. Temporal point processes for purchase categories forecasting//Procedia Computer Science, 2019, Vol. 156, pp. 255-263

4Lysenko A., Deeva I., Shikov E. MVAESynth: a unified framework for multimodal data generation, modality restoration, and controlled generation//Procedia Computer Science, 2021, Vol. 193, pp. 422-431

5Stavinova E., Shikov E., Vaganov D. From temporal to spatial networks: on inferring missing coordinates of debit card transactions//Procedia Computer Science, 2020, Vol. 178, pp. 172-181

6Guleva V.Y., Shikov E., Bochenina K.O., Kovalchuk S.V., Alodjants A.P., Bukhanovsky A.V. Emerging complexity in distributed intelligent systems//Entropy, 2020, Vol. 22, No. 12, pp. 1437

7Shikov E., Bardina M., Vaganov D. Predicting customer flow for the selected location based on transactional data//Procedia Computer Science, 2021, Vol. 193, pp. 361-370

стично данные алгоритмы, а также производится постановка задачи и приводятся основные пайплайны программной реализации. Во второй главе описан аппарат реконструкции топологии и атрибутов узлов КС на основе данных, обеспечивающий восстановление сети на основе набора мер схожести объектов и восстановление атрибутов на основе аппарата графовых нейронных сетей и оптимизации на графе. В третьей главе описан аппарат предсказательного моделирования динамики событий на комплексных сетях на основе аппарата ИНС и точечных процессов на данных, позволяющий строить прогнозы для множественных вершин на основе агрегирования статистик взаимодействий по временным промежуткам. Приводятся сведения о реализованных в рамках него подходов и возможности их применения в конкретных ситуациях. Четвертая глава посвящена программной библиотеке анализа и моделирования КС СКрге^ приведено описание ее возможностей и характеристик, а также примеров использования. В заключении приведены основные результаты диссертационного исследования.

Заключение диссертации по теме «Другие cпециальности», Шиков Егор Николаевич

Заключение

В ходе выполнения диссертационной работы:

1. обоснованы требования к методам и алгоритмам предсказательного моделирования процессов в КС с помощью методов машинного обучения на основе неполных данных;

2. разработана общая модель процессов в КС с применением машинного обучения на основе неполных данных;

3. разработан набор алгоритмов реконструкции топологии и атрибутов узлов КС на основе данных, обеспечивающий восстановление сети на основе набора мер схожести объектов и восстановление атрибутов на основе аппарата графовых нейронных сетей и оптимизации на графе;

4. разработан набор алгоритмов предсказательного моделирования динамики событий на комплексных сетях на основе аппарата ИНС и точечных процессов на данных, позволяющий строить прогнозы для множественных вершин на основе агрегирования статистик взаимодействий по временным промежуткам;

5. разработана открытая программная библиотека предсказательного моделирования процессов в КС СКрге^ содержащая разработанные подходы и алгоритмы;

6. исследованы характеристики разработанных методов на основе численных экспериментов;

7. выполнена апробация разработанных методов для исследования финансовых и торговых систем города.

Результаты экспериментальных исследований показывают, что разработанный по результатам работы программный комплекс демонстрирует гибкость

и адаптивность, позволяющие применять его к широкому кругу реальных задач. Основные результаты работы обсуждались на международных и всероссийских конференциях, семинарах, совещаниях и круглых столах, включая:

— ICCS-2019 International Conference on Computational Science (Фару, 2019),

— IX Конгрессе молодых ученых (Россия, Санкт-Петербург, 2020),

— 10th International Young Scientists Conference in Computational Science (YSC 2021),

— 9th International Young Scientists Conference in Computational Science (YSC 2020),

— 1th International Conference on Operations Research and Enterprise Systems (IC0RES-2022)

По материалам диссертационного исследования опубликовано 13 печатных работ общим объёмом 7 п.л. (вклад соискателя — 5 п.л.), из них в рецензируемых научных журналах (из перечня ВАК РФ) опубликовано 7; свидетельство о регистрации программы для ЭВМ — 4.

Список литературы диссертационного исследования кандидат наук Шиков Егор Николаевич, 2022 год

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

[1] A. Vaswani. Attention is all you need.

[2] Albert R., Barabasi A. Statistical mechanics of complex networks // Reviews of modern physics. — 2002. — T. 74. — C. 1.

[3] Attention is all you need / Ashish Vaswani, Noam Shazeer, Niki Parmar et al. // arXiv preprint arXiv:1706.03762. — 2017.

[4] Backstrom Lars, Leskovec Jure. Supervised random walks: predicting and recommending links in social networks // Proceedings of the fourth ACM international conference on Web search and data mining. — 2011. — Cc. 635-644.

[5] Barabasi Albert-Laszlo, Albert Reka. Emergence of scaling in random networks // science.— 1999.— T. 286, № 5439. — Cc. 509-512.

[6] Bhagat Smriti, Cormode Graham, Muthukrishnan S. Node classification in social networks // Social Network Data Analytics. — 2011.

[7] Brandl Georg. Sphinx Documentation // URL http://sphinx-doc. org/sphinx. pdf. — 2010.

[8] C. Macal, M North. Introductory tutorial // Agent-based modeling and simulation // Proceedings of the winter simulation conference 2014.— 2014.— C. 6-20.

[9] Chen Tianqi, Guestrin Carlos. Xgboost: A scalable tree boosting system // Proceedings of the 22nd acm sigkdd international conference on knowledge discovery and data mining. — 2016. — Cc. 785-794.

[10] Cichocki Andrzej, Phan Anh-Huy. Fast local algorithms for large scale nonnegative matrix and tensor factorizations // IEICE transactions on fundamentals of electronics, communications and computer sciences. — 2009. — T. 92, № 3. — Cc. 708-721.

[11] Clifford P., Sudbury A. model for spatial conflict // Biometrika.— Cc. 581— 588.

[12] Csardi G., Nepusz T. The igraph software package for complex network research // InterJournal, Complex Systems. — 2006. — T. 1695. — C. 5.

[13] Cython: The best of both worlds / S. Behnel, R. Bradshaw, C. Citro et al. // Computing in Science & Engineering. — 2011.— T. 13, № 2.— Cc. 31-39.

[14] D. Luo. Parameterized explainer for graph neural network //. — arXiv Prepr. arXiv2011.04573.

[15] D. Yu. Graph-revised convolutional network // lect // Notes Comput. Sci. (including Subser. Lect. Notes Artif. Intell. Lect. Notes Bioinformatics. — T. 12459 LNAI. P. — C. 378-393.

[16] Daley Daryl J, Vere-Jones David. An introduction to the theory of point processes: volume II: general theory and structure. — Springer Science & Business Media, 2007.

[17] Deep graph library: A graph-centric / Minjie Wang, D Zheng, Z Ye et al. // Highly-Performant Package for Graph Neural Networks. — 2019.

[18] Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting / Yaguang Li, Rose Yu, Cyrus Shahabi, Yan Liu // International Conference on Learning Representations. — 2018.

[19] Dropout: A Simple Way to Prevent Neural Networks from Overfitting / Ni-tish Srivastava, Geoffrey Hinton, Alex Krizhevsky et al. // The Journal of Machine Learning Research. — 2014. — T. 15, № 1. — Cc. 1929-1958.

[20] Dysat: Deep neural representation learning on dynamic graphs via self-attention networks / Aravind Sankar, Yanhong Wu, Liang Gou et al. // Proceedings of the 13th International Conference on Web Search and Data Mining. — 2020. — Cc. 519-527.

[21] Efficient estimation of word representations in vector space / Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean // arXiv preprint arXiv:1301.3781.— 2013.

[22] Emerging complexity in distributed intelligent systems / Valentina Guleva, Egor Shikov, Klavdiya Bochenina et al. // Entropy. — 2020. — T. 22, № 12. — C. 1437.

[23] Erdos Paul, Rényi Alfréd et al. On the evolution of random graphs // Publ. Math. Inst. Hung. Acad. Sci. — 1960. — T. 5, № 1. — Cc. 17-60.

[24] Evolvegcn: Evolving graph convolutional networks for dynamic graphs / Aldo Pareja, Giacomo Domeniconi, Jie Chen et al. // Proceedings of the AAAI Conference on Artificial Intelligence. — T. 34 04. — 2020. — Cc. 5363-5370.

[25] Févotte Cédric, Idier Jérôme. Algorithms for nonnegative matrix factorization with the ß-divergence // Neural computation. — 2011.— T. 23, № 9.— Cc. 2421-2456.

[26] Fey Matthias, Lenssen Jan E. Fast Graph Representation Learning with Py-Torch Geometric // ICLR Workshop on Representation Learning on Graphs and Manifolds. — 2019.

[27] G.G Sempson. Holarctic mammalian faunas and continental relationships during the cenozoic // geol // Soc. Am. Bull. Geological Society of America. — T. 58. — C. 613-688.

[28] Gnnexplainer: Generating explanations for graph neural networks / Rex Ying, Dylan Bourgeois, Jiaxuan You et al. // Advances in neural information processing systems. — 2019. — T. 32. — C. 9240.

[29] Graph attention networks / Petar Velickovic, Guillem Cucurull, Aran-txa Casanova et al. // arXiv preprint arXiv:1710.10903. — 2017.

[30] Graph attention networks / Petar Velickovic, Arantxa Casanova, Pietro Lio et al. // 6th International Conference on Learning Representations, ICLR 2018 - Conference Track Proceedings. — 2018. — Cc. 1-12.

[31] Graph kernels / Karsten Borgwardt, Elisabetta Ghisu, Felipe Llinares-Lopez et al. // Foundations and Trends in Machine Learning. — 2020. — T. 13, № 56. —Cc. 531-712.

[32] Grassberger P. On the critical behavior of the general epidemic process and dynamical percolation // math // Biosci. Elsevier. — T. 63. — C. 2 157-172.

[33] Grover Aditya, Leskovec Jure. node2vec: Scalable feature learning for networks // Proceedings of the 22nd ACM SIGKDD international conference on Knowledge discovery and data mining. — 2016. — Cc. 855-864.

[34] Grover Aditya, Leskovec Jure. node2vec: Scalable feature learning for networks // Proceedings of the 22nd ACM SIGKDD international conference on Knowledge discovery and data mining. — 2016. — Cc. 855-864.

[35] Hagberg Aric, Swart Pieter, S Chult Daniel. Exploring network structure, dynamics, and function using networkx: Tech. rep.: Los Alamos National Lab.(LANL), Los Alamos, NM (United States), 2008.

[36] Halko Nathan, Martinsson Per-Gunnar, Tropp Joel A. Finding structure with randomness: Probabilistic algorithms for constructing approximate matrix decompositions // SIAM review. — 2011. — T. 53, № 2. — Cc. 217-288.

[37] Hamilton William L., Ying Rex, Leskovec Jure. Inductive representation learning on large graphs // Advances in Neural Information Processing Systems. — 2017. — T. 2017-Decem, № Nips. — Cc. 1025-1035.

[38] Hamilton William L, Ying Rex, Leskovec Jure. Inductive representation learning on large graphs // arXiv preprint arXiv:1706.02216. — 2017.

[39] Hamilton William L., Ying Rex, Leskovec Jure. Representation learning on graphs: Methods and applications // ArXiv. — 2017. — T. abs/1709.05584.

[40] Hochreiter Sepp, Schmidhuber Jiirgen. Long short-term memory // Neural computation. — 1997. — T. 9, № 8. — Cc. 1735-1780.

[41] Holley R., Liggett T. Ergodic theorems for weakly interacting infinite systems and the voter model // Ann. Probab. — 1975. — T. 3. — Cc. 643-663.

[42] H.W Hethcote. The mathematics of infectious diseases // SIAM rev // Society for Industrial and Applied Mathematics (SIAM. — T. 42. — C. 4 599-653.

[43] I. Sutskever, O. Vinyals, V Le Q. Sequence to sequence learning with neural networks.

[44] Information diffusion in complex networks: The active/passive conundrum / L. Milli, G. Rossetti, D. Pedreschi, F. Giannotti. — Complex Networks, 2017.

[45] J. Huang. Taxonomy-aware multi-hop reasoning networks for sequential recommendation // // Proceedings of the Twelfth ACM International Conference on Web Search and Data Mining. — 2019. — C. 573-581.

[46] J.G. Gooijer, R.J Hyndman. 25 years of time series forecasting // int // J. Forecast. Elsevier. — T. 22, № 3. — C. 443-473.

[47] Jointly predicting links and inferring attributes using a social-attribute network (san) / Neil Zhenqiang Gong, Ameet Talwalkar, Lester Mackey et al. // arXiv preprint arXiv:1112.3265. — 2011.

[48] Kalinin Alexander, Vaganov Danila, Shikov Egor. Relations reconstruction in a knowledge graph of a socioeconomic system // International Conference on Advanced Data Mining and Applications / Springer, Cham. — 2022. — Cc. 150161.

[49] Karrer Brian, Newman Mark EJ. Stochastic blockmodels and community structure in networks // Physical review E. — 2011. — T. 83, № 1. — C. 016107.

[50] Kermack W. O., McKendrick A. Contribution to the mathematical theory of epidemics // Proceedings of the Royal Society of London Series A, Containing Papers of a Mathematical and Physical Character.— 1927.— T. 115.— Cc. 700-721.

[51] Kingma Diederik, Ba Jimmy. Adam: A Method for Stochastic Optimization // Proceedings of the 3rd International Conference on Learning Representations. — 2015.

[52] Kipf Thomas N, Welling Max. Semi-supervised classification with graph con-volutional networks // arXiv preprint arXiv:1609.02907. — 2016.

[53] Krapivsky P. L., Redner S., Ben-Naim E.: A. kinetic view of statistical physics. — Cambridge University Press, 2010.

[54] Kunegis J. Konect: the koblenz network collection // Proceedings of the 22nd international conference on World Wide Web companion. — International World Wide Web Conferences Steering Committee, 2013. — Cc. 1343-1350.

[55] The kuramoto model in complex networks / Francisco A. Rodrigues, Thomas K. DM. Peron, Peng Ji, Jürgen Kurths // Physics Reports. — 2016.— T. 610. — Cc. 1-98. — The Kuramoto model in complex networks. https://www. sciencedirect.com/science/article/pii/S0370157315004408.

[56] La Fond Timothy, Neville Jennifer. Randomization tests for distinguishing social influence and homophily effects // Proceedings of the 19th international conference on World wide web. — 2010. — Cc. 601-610.

[57] Learning phrase representations using rnn encoder-decoder for statistical machine translation / Kyunghyun Cho, Bart Van Merrienboer, Caglar Gulcehre et al. // arXiv preprint arXiv:14 06.1078. — 2014.

[58] Leskovec Jure, Sosic Rok. A general purpose network analysis and graph mining library // ACM Trans. Intell. Syst. Technol. — 2014. — № 8.

[59] A limited memory algorithm for bound constrained optimization / Richard H Byrd, Peihuang Lu, Jorge Nocedal, Ciyou Zhu // SIAM Journal on scientific computing. — 1995. — T. 16, № 5.— Cc. 1190-1208.

[60] Line: Large-scale information network embedding / Jian Tang, Meng Qu, Mingzhe Wang et al. // Proceedings of the 24th International Conference on World Wide Web.— WWW '15.— Republic and Canton of Geneva, CHE: International World Wide Web Conferences Steering Committee, 2015.— C. 1067-1077. https://doi.org/10.1145/2736277.2741093.

[61] Link prediction in relational data / Ben Taskar, Ming-Fai Wong, Pieter Abbeel, Daphne Koller // Advances in neural information processing systems. — 2003. — T. 16.

[62] Linkrec: a unified framework for link recommendation with user attributes and graph structure / Zhijun Yin, Manish Gupta, Tim Weninger, Jiawei Han // Proceedings of the 19th international conference on World wide web. — 2010. — Cc. 1211-1212.

[63] Linkrec: a unified framework for link recommendation with user attributes and graph structure / Zhijun Yin, Manish Gupta, Tim Weninger, Jiawei Han //

Proceedings of the 19th international conference on World wide web. — 2010. — Cc. 1211-1212.

[64] Luxen Dennis, Vetter Christian. Real-time routing with openstreetmap data // Proceedings of the 19th ACM SIGSPATIAL International Conference on Advances in Geographic Information Systems. — GIS '11.— New York, NY, USA: ACM, 2011.—Cc. 513-516. http://doi.acm.org/10.1145/2093973. 2094062.

[65] Lysenko Anton, Shikov Egor, Bochenina Klavdiya. Temporal point processes for purchase categories forecasting // Procedia Computer Science. — 2019.— T. 156. —Cc. 255-263.

[66] Lysenko Anton, Shikov Egor, Bochenina Klavdiya. Combination of individual and group patterns for time-sensitive purchase recommendation // International Journal of Data Science and Analytics. — 2020. — Cc. 1-10.

[67] M. Schlichtkrull. Modeling relational data with graph convolutional networks // // European semantic web conference. — C. 593-607.

[68] Manessi Franco, Rozza Alessandro, Manzo Mario. Dynamic graph convolutional networks // Pattern Recognition. — 2020. — T. 97. — C. 107000.

[69] Manzoor Emaad, Akoglu Leman. Rush!: Targeted time-limited coupons via purchase forecasts // Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining / ACM. — 2017.— Cc. 1923-1931.

[70] A matrix alignment approach for link prediction / Jerry Scripps, Pang-Ning Tan, Feilong Chen, Abdol-Hossein Esfahanian // 2008 19th international conference on pattern recognition / IEEE. — 2008. — Cc. 1-4.

[71] Menon Aditya Krishna, Elkan Charles. Link prediction via matrix factorization // Joint european conference on machine learning and knowledge discovery in databases / Springer. — 2011. — Cc. 437-452.

[72] Michael W. An Introduction to MultiAgent Systems. — John Wiley & Sons. — C. 348.

[73] Miller Kurt, Jordan Michael, Griffiths Thomas. Nonparametric latent feature models for link prediction // Advances in neural information processing systems. — 2009. — T. 22.

[74] Mixed membership stochastic blockmodels / Edoardo M. Airoldi, David M. Blei, Stephen E. Fienberg, Eric P. Xing // Journal of machine learning research. — 2008. — Sep. — T. 9. — Cc. 1981-2014.

[75] Nair Vinod, Hinton Geoffrey E. Rectified Linear Units Improve Restricted Boltzmann Machines // Proceedings of the 27th International Conference on International Conference on Machine Learning. — 2010. — Cc. 807-814.

[76] Newman Mark EJ. Mixing patterns in networks // Physical review E. — 2003. — T. 67, № 2. — C. 026126.

[77] The pagerank citation ranking: Bringing order to the web / Lawrence Page, Sergey Brin, Rajeev Motwani, Terry Winograd.— Technical report, Stanford InfoLab.

[78] Panagopoulos George, Nikolentzos Giannis, Vazirgiannis Michalis. Transfer Graph Neural Networks for Pandemic Forecasting // Proceedings of the 35th AAAI Conference on Artificial Intelligence. — 2021.

[79] Peixoto Tiago P. The graph-tool python library // figshare.— 2014. http: //figshare.com/articles/graph_tool/1164194.

[80] Perozzi Bryan, Al-Rfou Rami, Skiena Steven. Deepwalk: Online learning of social representations // Proceedings of the 20th ACM SIGKDD international conference on Knowledge discovery and data mining. — 2014.— Cc. 701-710.

[81] Perozzi Bryan, Al-Rfou Rami, Skiena Steven. DeepWalk: Online learning of social representations // Proceedings of the ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. — 2014. — Cc. 701-710.

[82] PyTorch: An Imperative Style, High-Performance Deep Learning Library / Adam Paszke, Sam Gross, Francisco Massa et al. // Advances in Neural Information Processing Systems. — 2019. — Cc. 8024-8035.

[83] R. Trivedi. Dyrep: Learning representations over dynamic graphs // // International conference on learning representations. — 2019.

[84] Rasmussen CE., Williams CKI. Gaussian Processes for Machine Learning / Max-Planck-Gesellschaft. Adaptive Computation and Machine Learning.— Cambridge, MA, USA: MIT Press, 2006. — jan. — C. 248.

[85] S. Hochreiter, J Schmidhuber, P. Long short-term memory // Neural Com-put. — MIT Press. — T. 9. — C. 8.

[86] Semi-supervised learning with graph learning-convolutional networks / Bo Jiang, Ziyan Zhang, Doudou Lin et al. // Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. — 2019. — T. 2019-June. — Cc. 11305-11312.

[87] Shikov Egor, Bardina Mariia, Vaganov Danila. Predicting customer flow for the selected location based on transactional data // Procedia Computer Science. — 2021. — T. 193. — Cc. 361-370.

[88] Shikov Egor, Bochenina Klavdiya. Forecasting purchase categories by transactional data: A comparative study of classification methods // International Conference on Computational Science / Springer. — 2019. — Cc. 249-262.

[89] Siegelmann Hava T, Sontag Eduardo D. On the computational power of neural nets // Journal of computer and system sciences. — 1995.— T. 50, № 1.— Cc. 132-150.

[90] Siek J.G., Lee L.Q., Lumsdaine A. The Boost Graph Library: User Guide and Reference Manual, Portable Documents. C++ In-Depth Series. — Pearson Education, 2001. https://books.google.ru/books7idCPi7g1hjyIYC.

[91] Staudt Christian L, Sazonovs Aleksejs, Meyerhenke Henning. Networkit: A tool suite for large-scale complex network analysis // Network Science. — 2016. — T. 4, № 4. — Cc. 508-530.

[92] Stavinova Elizaveta, Shikov Egor, Vaganov Danila. From temporal to spatial networks: on inferring missing coordinates of debit card transactions // Procedia Computer Science. — 2020. — T. 178. — Cc. 172-181.

[93] Stavinova Elizaveta, Shikov Egor, Vaganov Danila. From temporal to spatial networks: on inferring missing coordinates of debit card transactions // Procedia Computer Science. — 2020.— T. 178.— Cc. 172-181.— 9th International Young Scientists Conference in Computational Science, YSC2020, 0512 September 2020. https://www.sciencedirect.com/science/article/ pii/S1877050920323930.

[94] Stochastic relational models for discriminative link prediction / Kai Yu, Wei Chu, Shipeng Yu et al. // Advances in neural information processing systems. — 2006. — T. 19.

[95] Structure and evolution of blogspace / Ravi Kumar, Jasmine Novak, Prab-hakar Raghavan, Andrew Tomkins // Communications of the ACM. — 2004. — T. 47, № 12.—Cc. 35-39.

[96] Structured sequence modeling with graph convolutional recurrent networks / Youngjoo Seo, Michael Defferrard, Pierre Vandergheynst, Xavier Bresson // International Conference on Neural Information Processing / Springer. — 2018. —Cc. 362-373.

[97] Symeonidis Panagiotis. Matrix and tensor decomposition in recommender systems // Proceedings of the 10th ACM conference on recommender systems. — 2016. — Cc. 429-430.

[98] Sznajd-Weron K., Sznajd J. Opinion evolution in closed community // International Journal of Modern Physics C. — 2001.— T. 11.— Cc. 1157-1165.

[99] T. Zhao. Data augmentation for graph neural networks.

[100] Van Der Walt Stefan, Colbert S Chris, Varoquaux Gael. The NumPy Array: a Structure for Efficient Numerical Computation // Computing in science & engineering. — 2011. — T. 13, № 2. — Cc. 22-30.

[101] VERSE: Versatile graph embeddings from similarity measures / Anton Tsit-sulin, Davide Mottin, Panagiotis Karras, Emmanuel Müller // The Web Conference 2018 - Proceedings of the World Wide Web Conference, WWW 2018.— 2018. —Cc. 539-548.

103

104

105

106

107

108

109

110

Watts Duncan J, Strogatz Steven H. Collective dynamics of 'small-world'networks // nature. — 1998. — Т. 393, № 6684. — Сс. 440-442.

Wavenet: A generative model for raw audio / Aaron van den Oord, Sander Dieleman, Heiga Zen et al. // arXiv preprint arXiv:1609.03499. — 2016.

W.L. Hamilton, R. Ying, J Leskovec. Inductive representation learning on large graphs.

X. Wang. Am-gcn: Adaptive multi-channel graph convolutional networks // proc // ACM SIGKDD Int. Conf. Knowl. Discov. Data Mm. — С. 1243-1253.

X. Zhang, M Zitnik. Gnnguard: Defending graph neural networks against adversarial attacks // adv // Neural Inf. Process. Syst. — Т. 2020-Decem.

Yu Fisher, Koltun Vladlen. Multi-scale context aggregation by dilated convolutions // arXiv preprint arXiv:1511.07122. — 2015.

Z. Sun. Rotate: Knowledge graph embedding by relational rotation // Complex Space // International Conference on Learning Representations. — 2019.

Zhu Xiaojin, Lafferty John, Rosenfeld Ronald. Semi-supervised learning with graphs: Ph.D. thesis / Carnegie Mellon University, language technologies institute, school of____— 2005.

Анализ и моделирование темпоральных комплексных сетей / Боченина К.О., Бутаков Н.А., Бухановский А.В. et al. — ФГАОУ высшего образования "Национальный исследовательский университет ИТМ0 2017.