Управление эффектами коллективной динамики в клиент-ориентированных организационных системах на основе данных тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Глухов Глеб Игоревич

• Глухов Глеб Игоревич
• кандидат наук
• 2023

Оглавление диссертации кандидат наук Глухов Глеб Игоревич

Оглавление

Реферат

Synopsis

Введение

Глава 1. Клиент-ориентированные организационные системы и модели на основе данных

1.1. Клиент-ориентированные организационные системы

1.2. Управление клиент-ориентированными организационными системами

1.3. Моделирование и прогноз поведения клиентов с учетом коллективной динамики

1.3.1. Векторные представления клиентов

1.3.2. Методы сегментирования клиентов

1.3.3. Предсказательное моделирование поведения клиентов на данных

1.4. Управление клиентами на основе рекомендательных систем

1.5. Выводы и постановка задачи диссертационного исследования

Глава 2. Метод и алгоритм моделирования эффектов коллективной динамики в клиент-ориентированных организационных системах с неизвестной структурой взаимодействия между клиентами

2.1. Общий метод моделирования коллективной динамики клиентов

2.2. Модификации методов моделирования коллективной динамики на данных сложной структуры

2.2.1. Модели коллективной динамики для графов знаний

2.2.2. Альтернативные методы построения векторных представлений агентов

2.3. Динамические рекомендательные системы, учитывающие коллективное поведение клиентов

2.3.1. Метод скользящего окна

2.3.2. Алгоритм постфильтрации

2.4. Выводы по главе

Глава 3. Программный комплекс предсказательного моделирования эффектов коллективной динамики для решения прикладных задач прогнозирования на данных

3.1. Компонент предобработки и извлечения признаков

3.2. Компонент моделирования эффектов коллективной динамики

3.3. Компонент построения векторных представлений

3.4. Компонент управления поведением агентов на данных

3.5. Экспериментальные исследования производительности и масштабируемости программной системы

3.6. Выводы по главе

Глава 4. Применение метода, алгоритма и программного комплекса для решения прикладных задач прогнозирования и поддержки принятия решений в клиент-ориентированных системах

4.1. Прогнозирование категорий покупок клиентов банка по данным их транзакционной

активности с учетом согласованного поведения

4.2. Прогнозирование совершения покупок клиентами банка в торгово-сервисных точках мегаполиса с учетом согласованного поведения

4.3. Прогнозирование совершения покупок клиентами банка в торгово-сервисных точках мегаполиса с известными геолокциями с учетом согласованного поведения и формирование персонализированных рекомендаций

4.4. Система рекомендаций ресторанов в условиях изменения экономической ситуации

4.4.1. Метод скользящего окна

4.4.2. Метод постфильтрации рекомендаций ресторанов

4.5. Выводы по главе

Заключение

Список литературы

Приложение 1. Акт о внедрении

Приложение 2. Свидетельство о регистрации программы для ЭВМ

Приложение 3. Свидетельство о регистрации программы для ЭВМ

Приложение 4. Свидетельство о регистрации программы для ЭВМ

Приложение 5. Тексты публикаций по теме диссертации

Введение диссертации (часть автореферата) на тему «Управление эффектами коллективной динамики в клиент-ориентированных организационных системах на основе данных»

Реферат

Актуальность темы. Клиент-ориентированные организационные системы, такие как банки, ретейлеры, хорошо управляются на макроуровне. Однако появление новых клиентов на рынке вызывает конкуренцию между различными организациями, поэтому необходимо налаживать более эффективную работу с текущими клиентами, поскольку привлечение новых клиентов обходится значительно дороже, чем удержание текущих. Это требует прогнозирования и управления поведением клиентов на микроуровне, за счет учета индивидуальных особенностей клиентов. Такой подход достаточно трудоемок, так как необходимо собирать данные о каждом клиенте и формировать индивидуальные механизмы управления, такие как персональные программы лояльности, реализуемые с помощью рекомендательных систем. В современных условиях из-за большого количества клиентов и связанных с этим сложностей такие подходы применяются преимущественно для премиум-сегмента. В противном случае используются различные приближенные подходы, основанные, например, на таргетировании клиентов.

Подходы к таргетированию клиентов основаны, как правило, на статических данных (пол, возраст, социальное положение), а активности клиента учитывают параметрически (например, по интересам). В отдельных случаях применяются подходы, отражающие эффекты коллективной динамики1, когда действия одних клиентов могут явным или неявным образом повлиять на намерения других. Однако это возможно только в том случае, когда механизмы взаимодействия клиентов определены и наблюдаемы (например, в социальных сетях). Однако для подавляющего большинства клиент-ориентированных организационных систем сведения о механизмах взаимодействия отдельных клиентов отсутствуют. Потому актуально развитие методического аппарата, который в клиент-ориентированных системах позволяет восстановить эффекты коллективной динамики по фрагментарным данным в отсутствие наблюдаемых связей. Эффекты коллективной динамики отражают согласованное поведение клиентов. Учет согласованного поведения клиентов может являться базой для повышения эффективности управления клиентами за счет повышения качества прогнозирования их поведения и формирования персонализированных рекомендаций на его основе.

1 Термин «коллективная динамика» (collective dynamics) в теории сложных систем обозначает эффекты, связанные с групповым, согласованным поведением различных элементов системы, см., например, Watts D. J., Strogatz S. H. Collective dynamics of 'small-world' networks // Nature. - 1998. - Vol. 393. - N. 6684. - P. 440-442. https://www.nature.com/articles/30918.

Степень разработанности проблемы. Анализ и управление клиент-ориентированными организационными системами являются массовым и активно развивающимся предметом исследований, имеющим очевидное прикладное значение. В частности, исследованиями по механизмам управления организационными системами занимались российские исследователи В.Н. Бурков, Н.А. Коргин, Д.А. Новиков, Ю.Г. Евтушенко и др. Предсказательным моделированием на основе данных с применением методов искусственного интеллекта и моделированием сложных систем для решения задач, связанных с прогнозированием поведения клиентов, занимались Н.П. Бусленко, А.А. Самарский, В.В. Воеводин, Б.В. Гнеденко, К.О. Боченина, Е.Н. Шиков, Д.А. Ваганов. Однако в этих исследованиях априори не учитывались эффекты коллективной динамики. Основателем научного направления, изучающего процессы коллективной динамики, считается К. Левин, который ввел термин «коллективная динамика» применительно к социальным системам. Для изучения этих явлений используется формализм комплексных сетей. Исследованиями сетей с известной топологией и путями взаимодействия между клиентами занимались такие ученые, как Ю. Морено, Л. Чжао, П. Мил. Однако, как отмечалось ранее, топология связей и путей взаимодействия между клиентами не всегда известна. Решением подобной проблемы при помощи сегментирования клиентов и построения их векторных представлений занимались М. Бегичева, О. Баркан. Рассматриваемая в работе концепция подталкивания (наджинга) была предложена Р. Талером и К. Санстейном. Исследованиями применения рекомендательных систем с целью подталкивания занимались М. Джесси и Д. Яннак, а одними из наиболее известных авторов исследований, посвященных рекомендательным системам, являются Ю. Корен, Г. Адомавикус и А. Тужилин. В основном существующие методы решают конкретные прикладные задачи, относящиеся к отдельным частям организационных систем и механизмам управления. Можно выделить некоторые недостатки исследований, например, не было предложено методов учета коллективной динамики для организационных систем с неизвестными механизмами взаимодействия клиентов. Рассматриваемые в литературе способы построения векторных представлений, используемых для предсказательного моделирования, не учитывают эти эффекты и не являются интерпретируемыми. Не все алгоритмы рекомендательных систем применимы в условиях нестационарных данных, так как теряют способность к построению качественных рекомендаций. Можно заключить, что методы эффективны для решения отдельных прикладных задач, однако и они не лишены недостатков. Кроме того, для повышения эффективности управления необходимо рассматривать и решать вышеперечисленные задачи в совокупности, а таких методов не существует либо они слабо развиты.

Объектом исследования являются клиент-ориентированные организационные системы.

Предметом исследования являются методы и алгоритмы прогнозирования и управления поведением клиентов посредством рекомендательных систем и сервисов.

Целью работы является увеличение качества прогнозирования поведения клиентов в клиент-ориентированных организационных системах путем учета эффектов коллективной динамики для повышения эффективности управления2 клиентами, в т.ч. с использованием рекомендательных систем. Для достижения цели, исследования и разработки методов и алгоритмов, позволяющих прогнозировать и управлять клиентами, ставятся следующие задачи работы:

— исследование эффектов коллективной динамики агентов в клиент-ориентированных организационных системах;

— разработка процедуры агентного моделирования согласованного поведения клиентов, отражающего эффекты коллективной динамики;

— разработка и реализация программной системы предсказательного моделирования коллективной динамики в клиент-ориентированных организационных системах на данных;

— проведение экспериментальных исследований применения программной системы в прикладных задачах управления клиент-ориентированными организационными системами на данных;

— оценка повышения эффективности управления клиент-ориентированными организационными системами, по сравнению с существующими методами.

Методы исследования включают в себя методы машинного обучения, методы построения клиентских эмбеддингов, методы предсказательного моделирования, методы кластеризации, а также методы и модели построения рекомендательных систем и систем поддержки принятия решений.

Научная новизна работы заключается в том, что: предложен метод моделирования согласованного поведения клиентов, когда априорные сведения о механизмах взаимодействия между ними отсутствуют. Он основан на определении устойчивых состояний в пространстве динамических профилей активностей3 клиентов, на основе которых формируются векторные

2 Под управлением в данном контексте понимается поддержка принятия решений одного или нескольких ЛПР, работающих с клиентами (менеджера, операциониста и пр.) или формирование персонализированных рекомендаций клиенту в интересах оператора клиент-ориентированной организационной системы (например, банка).

3 Под активностью понимаются фиксируемые цифровым образом действия клиента, направленные на реализацию функций взаимодействия с клиент-ориентированной системой.

представления индивидуального поведения клиентов, допускающие интерпретацию ЛПР4 или механизмом рекомендательной системы.

Теоретическая значимость работы состоит в развитии теоретических основ управления в клиент-ориентированных организационных системах при помощи выделения скрытых механизмов согласованного поведения клиентов и построения моделей индивидуального поведения клиентов, которые учитывают эффекты коллективной динамики в условиях, когда априорные сведения о способах взаимодействия клиентов отсутствуют.

Практическую значимость работы составляет программный комплекс сценарного моделирования эффектов коллективной динамики в клиент-ориентированных организационных системах на данных, основными компонентами которого являются:

- программный компонент моделирования эффектов коллективной динамики в клиент-ориентированных организационных системах на основе согласованного поведения клиентов, позволяющий строить модели в условиях, когда априорные сведения о способах взаимодействия клиентов отсутствуют;

- программный компонент построения интерпретируемых векторных представлений клиентов на основе моделей их индивидуального поведения;

- программный компонент управления поведением агентов на данных через механизм подталкивания, реализованный при помощи рекомендательных систем;

- программный комплекс защищен тремя свидетельствами о регистрации программ для ЭВМ.

На защиту выносятся

1. Метод и алгоритм моделирования эффектов коллективной динамики (согласованного поведения клиентов) в клиент-ориентированных организационных системах с неизвестной структурой взаимодействия между клиентами, в том числе в условиях нестационарного поведения клиентов.

2. Программный комплекс предсказательного моделирования эффектов коллективной динамики для реализации управляющих воздействий за счет поддержки принятия решений ЛПР или выработки персонализированных рекомендаций.

Апробация работы. Основные результаты работы докладывались и обсуждались на следующих конференциях:

1) 12th International Young Scientists Conference in Computational Science (YSC 2023), 09.10.202314.10.2023;

4 В качестве ЛПР выступают менеджеры по работе с клиентами, операционисты банков и пр., задачей которых является удержание и стимулирование клиентов к потреблению определенных продуктов и услуг.

2) XII Конгресс молодых ученых, СПб, Университет ИТМО, 03.04.2023-03.05.2023;

3) Пятьдесят вторая (LII) научная и учебно-методическая конференция Университета ИТМО, магистрантов и аспирантов. СПб: Университет ИТМО, 31.01.2023-03.02.2023;

4) 11th International Young Scientists Conference in Computational Science (YSC 2022), 10.09.202217.09.2022;

5) The 2022 IEEE 2nd Conference on Information Technology and Data Science (CITDS 2022), 16.05.2022-18.05.2022;

6) Пятьдесят первая (LI) научная и учебно-методическая конференция Университета ИТМО, магистрантов и аспирантов. СПб: Университет ИТМО, 02.02.2022-05.02.2022;

7) The Tenth IEEE International Workshop on Semantic Computing for Social Networks and Organization Sciences: from user information to social knowledge (SCSN 2022), 26.01.202228.01.2022;

8) The 15th IEEE International Conference on Application of Information and Communication Technologies (AICT2021), 13.10.2021-15.10.2021.

Достоверность научных результатов. Степень достоверности научных достижений подтверждается корректным использованием методов, обоснованием постановки задач, экспериментальными исследованиями на реальных массивах данных, покрывающими разработанные технологии и алгоритмы.

Личный вклад автора в работах, выполненных в соавторстве, заключается в построении моделей, разработке и реализации методов и алгоритмов, разработке программного обеспечения, проведении вычислительных экспериментов и подготовке обзоров литературы. В совместной статье с Егоровой Е.Е. автор выполнил обзор литературы стандартных методов матричной факторизации для построения векторных представлений, а также занимался разработкой, реализацией этих методов и интерпретацией результатов, полученных при их применении.

Деревицкий И.В. во всех работах, выполненных в соавторстве, участвовал в постановке задач и разработке концепций решений, обеспечивал доступ к данным, а также участвовал в интерпретации результатов исследований. Боченина К.О. в работе, выполненной в соавторстве, осуществляла постановку задач и консультировала при написании. Шиков Е.Н. во всех работах, выполненных в соавторстве, консультировал при обсуждении результатов и участвовал в разработке концепций решений. Жданов П.С. в совместных работах проводил обзоры литературы и настройку параметров разработанных алгоритмов.

Внедрение результатов работы. Результаты были внедрены в рамках выполнения следующих проектов:

1) Исследование и разработка прикладных сервисов анализа и предсказательного моделирования финансовых процессов на основе больших данных, ПАО "Банк "Санкт-Петербург", 2017-2023 гг.;

2) Интеллектуальные технологии больших данных для поддержки принятия решений в финансовой сфере на основе предсказательного моделирования (РНФ 30029), Российский научный фонд, 2017-2023 гг.;

3) Метакогнитивные технологии системного искусственного интеллекта, Министерство науки и высшего образования РФ, 2020-2024 гг.;

4) Государственная поддержка центра компетенций НТИ "Национальный центр когнитивных разработок", Фонд поддержки проектов Национальной технологической инициативы, 20182022 гг.;

5) Реализация программы исследовательского центра в сфере искусственного интеллекта «Сильный искусственный интеллект в промышленности» в целях достижения результата федерального проекта «Искусственный интеллект» национальной программы «Цифровая экономика Российской Федерации», Аналитический центр при Правительстве Российской Федерации, 2021-2024 гг.

Публикации. Основные результаты по теме диссертации изложены в 4 публикациях, опубликованных в изданиях, индексируемых в базе цитирования Scopus и Web of Science. Также имеются 3 свидетельства о государственной регистрации программ для ЭВМ.

Структура и объем диссертации. Во введении сформулированы цель и задачи исследования, обоснованы актуальность и научная новизна работы. Кроме того, во введении перечислены основные выносимые на защиту положения диссертационной работы и представлены теоретическая и практическая значимость. В первой главе предоставлен литературный обзор по теме диссертации. Показаны состояние предметной области, а также недостатки существующих подходов. Во второй главе описана модель индивидуального поведения клиентов на данных, описаны методы получения интерпретируемых векторных представлений клиентов, методы кластеризации и построения моделей коллективной динамики на данных. В третьей главе описывается программная система сценарного моделирования коллективной динамики в клиент-ориентированных организационных системах. Описаны постановка задачи, структура программной системы, а также экспериментальные исследования программной системы, такие как тесты производительности и масштабируемости. В четвертой главе описаны экспериментальные исследования эффективности предложенной программной системы и предложенного метода для прикладных задач управления в клиент-ориентированных организационных системах.

Соответствие паспорту специальности 2.3.4 (в порядке степени соответствия)

8. Разработка проблемно-ориентированных систем управления и оптимизации организационных систем.

9. Разработка методов и алгоритмов интеллектуальной поддержки принятия управленческих решений в организационных системах.

Заключение диссертации по теме «Другие cпециальности», Глухов Глеб Игоревич

Заключение. В результате диссертационной работы:

— проведено исследование эффектов коллективной динамики агентов в клиент-ориентированных организационных системах, на основе которого выявлены недостатки существующих решений и сформулирован подход к проведению исследований;

— разработан метод моделирования индивидуального поведения клиентов с учётом эффектов коллективной динамики, поддерживающий различные модификации методов моделирования коллективной динамики на данных сложной структуры (графы, текстовые данные) и позволяющий получать векторные представления клиентов, пригодные для интерпретации ЛПР или механизмов рекомендательных систем;

— спроектирован и разработан программный комплекс предсказательного моделирования коллективной динамики в клиент-ориентированных организационных системах на основе данных, позволяющий собирать и обрабатывать данные, строить модели эффектов коллективной динамики, решать

прикладные задачи прогнозирования на основе данных, а также формировать списки рекомендаций для клиентов;

— проведены экспериментальные исследования применения программного комплекса в прикладных задачах управления клиент-ориентированными организационными системами на основе данных, показывающие повышение эффективности решения задач управления с использованием предложенного метода моделирования;

— на основе обобщения данных литературных источников проведена оценка степени повышения эффективности управления клиент-ориентированными организационными системами на основе реализованного метода моделирования по сравнению с традиционно используемыми методами.

Результаты экспериментальных исследований показывают, что в задачах прогнозирования категорий покупок клиентов банка в различных категориях магазинов разработанная программный комплекс позволяет строить в среднем на ~7 % более точные прогнозы (для всех рассмотренных примеров), что дает увеличение вероятности совершения покупки в рассматриваемых магазинах для ~5 % клиентов. В задачах прогнозирования совершения покупок клиентами банка в торгово-сервисных точках и формирования персонализированных рекомендаций клиентам обучение моделей на векторных представлениях с учетом согласованного поведения более чем на 20 % увеличивает шанс посещения и совершения покупки в торгово-сервисной точке из списка рекомендаций, по сравнению со списками рекомендаций, сформированными на основе векторных представлений без учета согласованного поведения. В задачах рекомендаций ресторанов в нестационарный период COVID-19 в среднем в два раза повышается вероятность одобрения рекомендации клиентом.

Дальнейшие исследования, связанные с методом моделирования эффектов коллективной динамики, могут включать в себя:

— исследование и выявление эффектов, оказавших влияние на согласованное поведение клиентов и последующее восстановление связей между клиентами для получения топологии организационной системы;

— адаптация предлагаемого метода к различным видам последовательных данных;

— анализ предсказуемости разных групп пользователей, характеризующихся согласованным поведением;

— использование временных характеристик транзакций и дополнительных пользовательских данных и данных из открытых источников для улучшения качества модели.

Список литературы диссертационного исследования кандидат наук Глухов Глеб Игоревич, 2023 год

Список публикаций по теме диссертации, индексируемых в Scopus/Wos:

1. Zhdanov P.S., Glukhov G., Derevitskii I. Machine Learning Approach to Optimal Restaurant Location Search // 16th IEEE International Conference on Semantic Computing, ICSC 2022. 2022. P. 263-268.

2. Shikov E., Glukhov G., Egorova E. Customer transactional behaviour analysis through embedding interpretation // Procedia Computer Science. 2022. Vol. 212. P. 284-294.

3. Glukhov G., Bochenina K. Clustering-based customer representation learning from dynamic transactional data // 2nd IEEE Conference on Information Technology and Data Science, CITDS 2022. 2022. P. 92-97.

4. Glukhov G., Derevitskii I. Points-of-Interest Recommendation Algorithms for a COVID-19 Restrictions Scenario in the Catering Industry // 15th IEEE International Conference on Application of Information and Communication Technologies, AICT 2021. 2021. P. 1-6.

РИД - получено 3 свидетельства о регистрации программ для ЭВМ:

1. Глухов Г.И., Деревицкий И.В. Разработка и реализация программного комплекса для прогнозирования динамики использования финансовых инструментов, № 2020666032 от 03.12.2020.

2. Глухов Г.И., Деревицкий И.В. Программная реализация метода рекомендации точек интереса в условиях резких изменений доступности точек, № 2021667028 от 23.10.2021.

3. Андреева П.О., Глухов Г.И., Егорова Е.Е., Шиков Е.Н. Программный комплекс глубокого обучения с подкреплением на динамических (временных) графах знаний для задач поддержки принятия решений, № 2022685896 от 28.12.2022.