Анализ и прогнозирование оттока клиентов в телекоммуникационных компаниях на основе технологии Data Mining тема диссертации и автореферата по ВАК РФ 05.13.13, кандидат технических наук Пальмов, Сергей Вадимович

• Пальмов, Сергей Вадимович
• кандидат технических наук
• 2005

Оглавление диссертации кандидат технических наук Пальмов, Сергей Вадимович

ВВЕДЕНИЕ.

ГЛАВА 1. CRM-СТРАТЕГИЯ В ТЕЛЕКОММУНИКАЦИЯХ.

1.1. Применение CRM для персонификации клиентов.

1.2. Биллинговая система: описание, назначение, функции.

1.2.1. Процедуры тарификации и биллинга.

1.2.2. Структура и функции биллинговой системы.

1.2.3. История развития биллипговых систем.

1.2.4. Тенденции и перспективы развития биллинговых систем.

1.2.5. Требования, предъявляемые к современным биллинговым системам.

1.2.6. Характеристика современного рынка биллинговых систем.

1.3. Выводы.

ГЛАВА 2. ТЕХНОЛОГИЯ DATA MINING - АНАЛИТИЧЕСКИЙ ИНСТРУМЕНТАРИЙ CRM-CHCTEM.

2.1. Определение Data Mining.

2.2. Процесс обнаружения новых знаний с помощью технологии Data Mining.

2.3. Классы систем Data Mining.

2.4. Модели Data Mining.

2.5. Задачи Data Mining.

2.6. Классификация и регрессия.

2.6.1 Постановка задачи.

2.6.2. Представление результатов.

2.6.3. Деревья решений.

2.7. Кластеризация.

2.7.1. Алгоритмы кластеризации.

2.8. Поиск ассоциативных правил (ограниченный перебор).

2.8.1. Постановка задачи.

2.8.2. Алгоритмы поиска ассоциативных правил.

2.8.3. Сиквенциальный анализ.

2.9. Примеры практического применения Data Mining.

2.10. Data Mining в телекоммуникациях.

2.11. Выводы.

ГЛАВА 3. АНАЛИЗ ПЕРСПЕКТИВНОСТИ ИСПОЛЬЗОВАНИЯ АЛГОРИТМОВ ДЕРЕВЬЕВ РЕШЕНИЙ И АССОЦИАТИВНЫХ ПРАВИЛ ДЛЯ ПРОГНОЗИРОВАНИЯ ОТТОКА КЛИЕНТОВ.

3.1. Постановка задачи.

3.2. Моделирование базы данных персонифицированного трафика клиентов.

3.3. Краткое описание программы моделирования баз данных персонифицированного трафика («Генератор»).

3.3.1. Рабочее окно программы.

3.3.2. Алгоритм работы программы «Генератор».

3.4. Прогноз лояльности потенциального клиента при помощи алгоритма поиска ассоциативных правил (алгоритм Apriori - система WizWhy).

3.5. Прогноз лояльности потенциального клиента при помощи алгоритма деревьев решений.

3.5.1. Выбор типа алгоритма деревьев решений.

3.5.2. Бинарное дерево решений (алгоритм CART).

3.5.3. Не бинарное дерево решений (алгоритмы ID3 и С4.5).

3.5.4. Прогноз лояльности потенциального клиента.

3.6. Выводы.

ГЛАВА 4. РАЗРАБОТКА СИСТЕМЫ ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ ДЛЯ ПРОГНОЗИРОВАНИЯ ОТТОКА КЛИЕНТОВ НА ОСНОВЕ ТЕХНОЛОГИИ DATA MINING.

4.1. Описание разработанного алгоритма и системы «Forecaster».

4.2. Структура рабочего окна системы Forecaster.

4.3. Пример прогнозирования лояльности потенциального клиента системой Forecaster.ПО

4.4. Сравнение систем WizWhy и Forecaster.

4.5. Выводы.

Введение диссертации (часть автореферата) на тему «Анализ и прогнозирование оттока клиентов в телекоммуникационных компаниях на основе технологии Data Mining»

В настоящее время наблюдается интенсивное развитие телекоммуникационных систем, сопровождающееся жёсткой конкурентной борьбой за клиента. При таком состоянии рынка телекоммуникационных услуг, одной из главных проблем компаний-операторов является отток клиентов (churn) [66]. Традиционные способы предотвращения вышеуказанного явления (ценовые войны и массовая реклама) уже не эффективны. Поэтому, в последние годы для привлечения и удержания клиентов всё чаще используется концепция CRM (Customer Relationship Management - Управление Взаимоотношениями с Клиентами; её основателями являются Д. Пепперс, М. Роджерс и Ф. Райчхелд).

Вероятность того, что клиент откажется от услуг компании определяется его лояльностью (loyalty) компании [34]. Чтобы спрогнозировать этот показатель необходимо выявить скрытые закономерности между лояльностью и персонифицированным трафиком, который содержит личностные характеристики клиента. В CRM, анализ данных, направленный на выявление скрытых закономерностей, реализуется при помощи методов современной информационной технологии Data Mining (Интеллектуальный Анализ Данных). Одним из её основателей является Г. Пиатецкий-Шапиро. Data Mining является мультидисциплинарной областью, возникшей и развивающейся на основе достижений статистики, распознавания образов, методов искусственного интеллекта, теории баз данных и др. Большой вклад в развитие внесли работы М. Бонгарда, Ф. Розенблатта, Мак-Каллока, Питса, Е.Фикса, Д. Ходжеса, Г.С. Лбова, Фогеля (Fogel), Уолша (Walsh), А.Г. Ивахненко, Бреймана (Breiman), Рипли (Repley), Фрейдмана (Freidman), Олшена (Olshen), Стоуна (Stone).

В настоящее время различные методы технология Data Mining (алгоритмы поиска ассоциативных правил, нейронные сети, деревья решений, эволюционные алгоритмы и т.д.) широко применяются для прогнозирования лояльности клиентов в телекоммуникационных компаниях. Наиболее известными являются разработки Сриканта Рамакришнана (Ramakrishnan Srikant), Ракеша Агравала (Rakesh Agraval), А. Мейдана, Б. де Виля, В. Дюка, М. Куприянова, В. Степаненко, а также компаний SPSS, StatSoft, WizSoft, Megaputer, BaseGroup, Integral Solutions, Microsoft. Однако эти разработки обладают недостатками (невысокая точность прогнозов, низкая скорость работы, высокая стоимость), что не позволяет широко и в полной мере использовать их для прогнозирования лояльности клиентов. Кроме того, низкая скорость работы препятствуют применению существующих аналитических систем для прогнозирования лояльности на этапе заключения договора с клиентом (обработка данных и формирование прогноза должны производится в реальном масштабе времени). В связи с этим, решение проблемы прогнозирования оттока клиентов в телекоммуникационных системах, является актуальной.

Объектом исследования является персонифицированный трафик клиентов телекоммуникационной компании-оператора.

Целью работы является разработка методов прогнозирования оттока клиентов в телекоммуникациях с использованием технологии Data Mining (интеллектуального анализа данных).

Для достижения поставленной цели требуется решить следующие задачи:

1. Разработать имитационную модель для генерации баз данных на основе выявления скрытых закономерностей.

2. Выявить наиболее перспективные алгоритмы технологии Data Mining для анализа персонифицированного трафика.

3. Проанализировать выявленные алгоритмы с целью определения лучшего из них.

4. Модифицировать выбранный алгоритм для обеспечения большей скорости и точности прогноза.

5. Разработать программное обеспечение системы поддержки принятия решений относительно лояльности клиента, реализующей модифицированный алгоритм.

6. Провести сравнительный анализ разработанной системы с существующими, построенными на базе алгоритмов Data Mining.

Методы исследования

Основные теоретические и экспериментальные исследования диссертационной работы выполнены с применением методов комбинаторного анализа, математической статистики, деревьев решений, ограниченного перебора; статистического пакета STATISTICA 6.0 (StatSoft); аналитических систем WizWhy 3.08 (WizSoft) и Deductor (BaseGroup).

Научная новизна заключается в следующем:

1. Разработана имитационная модель, генерирующая базу данных прецедентов на основе выявления скрытых закономерностей.

2. Предложен новый алгоритм определения лояльности клиента, созданный на основе расслоения базы данных прецедентов с использованием трёх количественных критериев: поддержка (support), достоверность (confidence) и улучшение (improvement).

3. Разработано программное обеспечение системы поддержки принятия решений относительно лояльности клиента, реализующей алгоритм расслоения.

Практическая ценность работы

Разработана система поддержки принятия решений, позволяющая прогнозировать лояльность потенциального клиента по его личностным характеристикам (для различных тарифных планов) на этапе заключения договора.

Реализация результатов работы

Разработанный в работе алгоритм определения лояльности клиента, а также программное обеспечение системы поддержки принятия решений относительно лояльности клиента приняты к использованию Самарским филиалом ОАО «ВолгаТелеком», внедрены в учебный процесс в Поволжской государственной академии телекоммуникаций и информатики г.Самара; система поддержки принятия решений «Forecaster» зарегистрирована в отраслевом фонде алгоритмов и программ Государственного координационного центра информационных технологий.

Апробация работы

Отдельные законченные этапы работы докладывались и обсуждались на международном форуме «Новые инфокоммуникационные технологии: достижения, проблемы, перспективы» (Новосибирск, 2003), 5й многопрофильной международной конференции молодых учёных и студентов «Актуальные проблемы современной науки» (Самара, 2004), 5й международной научно-технической конференции «Проблемы техники и технологии телекоммуникаций» (Самара, 2004), международной научно-практической конференции «Экономика и менеджмент: проблемы и перспективы» (Санкт-Петербург, 2005), 10й (2003 г.), 11й (2004 г.) и 12й (2005 г.) Российских научных конференциях профессорскопреподавательского состава, научных сотрудников и аспирантов (Самара), межвузовском научно-практическом семинаре «Экономика и конкурентоспособность России» (Санкт-Петербург, 2004).

Публикации

Основное содержание диссертации отражено в 11 опубликованных работах. Публикации включают 3 статьи в научных изданиях и 8 материалов докладов.

На защиту выносятся:

- Алгоритм прогнозирования лояльности клиентов телекоммуникационной компании-оператора.

- Система поддержки принятия решений относительно лояльности клиента, построенная на базе вышеуказанного алгоритма.

- Результаты сравнительного анализа работы разработанной и существующей систем прогнозирования.

Структура и объём работы

Диссертационная работа состоит из введения, четырёх глав, заключения, списка литературы и приложений. Основная часть работы содержит 117 страниц машинописного текста, 28 рисунков, 18 таблиц. Список литературы содержит 94 наименования.

Заключение диссертации по теме «Телекоммуникационные системы и компьютерные сети», Пальмов, Сергей Вадимович

4.5. Выводы

1) Программные продукты, построенные на основе алгоритмов поиска ассоциативных правил (ограниченного перебора), не могут быть использованы с полной эффективностью для прогнозирования лояльности потенциального клиента на этапе заключения договора из-за ряда недостатков (см. 4.1 и 4.4).

2) Система Forecaster лишена подобных недостатков; она позволяет формировать точные прогнозы за достаточно короткое время.

3) При прогнозировании системой Forecaster значения целевого показателя на основании обнаруженных ассоциативных правил, учитывается не только их достоверность, поддержка и улучшение, но и количество условий в условной части правил.

4) Учёт количества условий в условной части правил положительно сказывается на скорости получения результата и его точности, поскольку в этом случае при формировании прогноза используется меньше правил (они удовлетворяют следующим условиям: DF=XuY> 1, Confmin = 1 и ImprXs>Y >\), чем в WizWhy.

5) Система Forecaster предпочтительна для использования её при прогнозировании лояльности потенциального клиента на этапе заключения договора.

ЗАКЛЮЧЕНИЕ

В заключении сформулированы результаты работы. В работе показано, что при современной ситуации на рынке телекоммуникационных услуг, использование CRM-стратегии для прогнозирования оттока клиентов (в т.ч. прогнозирования их лояльности) является необходимым условием успешной деятельности компании, предоставляющей услуги связи.

Выполнен аналитический обзор методов технологии интеллектуального анализа данных (Data Mining), с помощью которой, в большинстве случаев, реализуются аналитические функции CRM. По результатам обзора было установлено, что наиболее перспективными, при решении задачи прогнозирования лояльности клиентов телекоммуникационной компании на этапе заключения договора, являются алгоритмы деревьев решений и ассоциативных правил (ограниченного перебора).

С целью определения наиболее перспективного алгоритма, проведено исследование прогностических возможностей алгоритмов деревьев решений и ограниченного перебора. В качестве материала, на котором выполнялся анализ, использовались БД персонифицированного трафика клиентов телекоммуникационной компании. Эти данные были сформированы разработанной автором программой имитационного моделирования баз данных персонифицированного трафика клиентов («Генератор»). По результатам исследования наиболее перспективными (обладающими лучшими прогностическими возможностями) являются алгоритмы ограниченного перебора.

Разработан модифицированный алгоритм ограниченного перебора (алгоритм определения лояльности клиента), который лишён недостатков «традиционных» алгоритмов такого типа. Это достигнуто за счёт того, что все возможные (для заданных условий) ассоциативные правила (наборы личностных характеристик) с ограниченным набором условий идентификации заранее введены в систему.

На базе модифицированного алгоритма разработана система поддержки принятия решений («Forecaster»).

Список литературы диссертационного исследования кандидат технических наук Пальмов, Сергей Вадимович, 2005 год

1. Албитов А., Соломатин Е. CRM (Customer Relationship Management).: www.cfin.ru/itm/crm-review.shtml.

2. Алексеев А.П., Камышенков Г.Е. Использование ЭВМ для математических расчётов: Учебное пособие для вузов и средних спец. учебных заведений. Самара, ПГАТИ, 1998.-стр. 130-131.

3. Арсеньев С.Б., Бритков В.Б., Маленкова Н.А. Использование технологии анализа данных в интеллектуальных информационных системах.: www.kit.ru.

4. Барсегян А.А., Куприянов М.С. и др. Методы и модели анализа данных: OLAP и Data Mining. СПб.: БХВ-Петербург, 2004.

5. Биллинговые системы.: www.comprice.ru/link/1801.phtml.

6. Биллинговые системы в телекоммуникациях основные тенденции развития (обзор АСР «ГРАД-2.0»).: www.gradsoft.kiev.ua.

7. Биллинговые системы в условиях эволюции мобильных сетей.: www.amobile.ru/billing/development.htm.

8. Биллинговые системы: жизнь в эпоху перемен.: www.connect.ru/article.asp?id=2268.

9. Варко И. Экспертиза клиентов.: www.terrasoft.com.ua.

10. Ю.Введение в анализ ассоциативных правил.: www.basegroup.ru.

11. Выявление знаний из опыта (эмпирических фактов) и интеллектуальный анализ данных (data mining).: www.lc.kubargo.ru/aidos/ASK-Analis/LK-14/lk-14.htm#Toc78426168 1.3.8.

12. Выявление обобщённых ассоциативных правил описание алгоритма. www.basegroup.ru.

13. Дадим слово критикам.: www.sas.com.

14. Деревья решений общие принципы работы.: www.basegroup.ru.

15. Деревья решений С4.5. Математический аппарат. Часть 1.: www.basegroup.ru.

16. Деревья решений С4.5. Математический аппарат. Часть 2.: www.basegroup.ru.

17. Деревья решений CART. Математический аппарат. Часть 1.: www.basegroup.ru.

18. Деревья решений CART. Математический аппарат. Часть 2.: www.basegroup.ru.

19. Дич JT.3. Биллинговые системы в телекоммуникациях. М.: Радио и связь, 2003.

20. Дюк В.А., Асеев М.Г. Поиск if-then правил в данных: проблемы и перспективы.: www.datadiver.nw.ru/Articles/Problems.htm.

21. Дюк В., Самойленко A. Data Mining: Учебный курс. СПб: Питер, 2001.

22. Елисеев И. Биллинг в бизнесе телекоммуникаций.: www.osp.ru/cw/2000/41/0360.htm.

23. Елманова Н. Введение в Data Mining.: www.compress.ru.

24. Киселёв М., Соломатин Е. Средства добычи знаний в бизнесе и финансах. // Открытые системы. 1997. - №4. - стр.41-44.

25. Кловский Д.Д., В.И. Коржик, М.В. Назаров. Теория электрической связи: Учебник для вузов; под ред. Кловского Д.Д. М. Радио и связь, 1998.-стр. 226.

26. Копытько Т. Прямой маркетинг универсальный ключ к лояльности клиента.: www.terrasoft.com.ua.

27. Костров Д. Мошенничество в телефонных сетях: возможные сценарии и методология борьбы. // Мобильные системы. 2004. - №11. - стр. 2126.

28. Костяков С. Анализ клиента и синтез бизнеса.: www.sas.com.

29. Красоткин А. Биллинг и термодинамика.: www.offline.computerra.ru/2004/565/36513/.

30. Кузнецов А., Люлькин Ю. и др. Сделайте правильный выбор. Биллинговые системы в России: состояние и тенденции развития.: www.cboss.ru/press/article5190.html.

31. Кузьменко В.Н. Тарификация в биллинговых системах. // Мобильные системы. 1998. -№3. - стр.28-30.

32. Мазитов Ю.И, Пуха Ю.В. Инновации в CRM: вызовы времени и выгоды реализации. // Вестник связи. 2005. - №3. - стр. 32-35.

33. Марданов А., Мунасыпов Р. Активизация программ лояльности с использованием CRM-систем.: www.terrasoft.com.ua.

34. Муссель K.M. Предоставление и биллинг услуг связи. Системная интеграция. М.: Эко-Трендз, 2003.

35. Назначение систем Data Mining.: www.iso.ru/journal/articles/276.html.

36. Назначение систем Data Mining.: www.citforum.ru.37.0рлов Д. Биллинг для всех, или Сокровенная суть современных биллинговых систем.: www.i2r.ru/static/346/out13035.shtml.

37. Определение Data mining.: www.interface.ru/datamining/datamining.htm.39.0собенности маркетинга в телекоммуникациях.: www.nii-ecos.ru.

38. Отношение с клиентами в практике российских операторов мобильной связи.: www.postyle7.narod.ru/183.htm.

39. Пальмов C.B. Анализ файла статистики переговорных процессов. // ПГАТИ X Российская научная конференция профессорско-преподавательского состава, научных сотрудников и аспирантов, тезисы докладов, Самара, 2003.

40. Пальмов C.B. Использование деревьев решений для анализа персонального трафика. // Международная научно-практическая конференция «Экономика и менеджмент: проблемы и перспективы», Санкт-Петербург, 2005, сборник трудов, стр. 676-681.

41. Пальмов C.B., Кораблин М.А. Разработка модели прогноза биллинговых услуг с использованием персонификации клиентов на основе технологии Data Mining. // Инфокоммуникационные технологии, Том 1. 2003. — 2. стр. 28-31.

42. Пальмов C.B., Кораблин М.А. Использование возможностей методов Data Mining для прогнозирования персонального трафика сиспользованием системы WizWhy. // Электронный журнал «Исследовано в России», стр.1717-1723, http://zhurnal.ape.relarn.ru.

43. Пальмов C.B., Кораблин М.А. Сравнение прогностических возможностей алгоритмов поддержки принятия решений при определении лояльности клиента компании-оператора сотовой связи. // Мобильные системы. 2005. -№8. - стр. 32-35.

44. Развитие безналичных форм расчётов на основе использования средств мобильной связи.: www.5ka.ru/8/26595/l 8.html.

45. Рамзаев М.Управляем клиентами.: www.cio-world.ru/offline/2002/2/23461/page2.html.

46. Русев Д. Мошенничество в мобильных сетях и средства борьбы с ним. // «Мобильные телекоммуникации». 2003. - №2. - стр. 26-33.

47. Рынок программных средств. Продукты для интеллектуального анализа данных.: www.app.rol.ru/it/press/cwm/1497/data.htm.

48. Самсонов М.С. О терминах real-time, prepaid и конвергентное решение. // Мобильные системы. 2005. - №1. стр. 44 - 49.

49. Сотовая связь: на двух россиян один абонент.: www.svyaz.kaliningrad.net.

50. Справочная система аналитического пакета Deductor 3.0 Lite.

51. Справочная система пакета WizWhy 3.08.

52. Справочная система статистического пакета STATGRAFICS Plus 5.0.

53. Справочная система статистического пакета STATISTICA 6.0.

54. Средства и методы анализа данных в технологиях директ маркетинга.: www.crmru.info/libraryarticleview.php?companyid=34&articleid= 101

55. Технологии интеллектуальных вычислений состояние проблемы, новые решения.: www.victoria.lviv.ua/html/oio/html/theme2rus.htm.

56. Технология DM и CRM-системы: синергический эффект.: www.snowcactus.ru/crm.htm.

57. Фелан С. Информация о клиенте стратегический ресурс.: www.citforum.ru.

58. Храбров. В Как удержать абонентов?.: www.sas.com.

59. Цой А. Конвергентный биллинг реального времени следующее поколение систем тарификации. // Вестник связи. - 2004. - №4. — стр. 32-35.

60. Что такое Data Mining.: www.citforum.ru.

61. Что такое Data Mining?.: www.russianenterpriseesolutions.com.

62. Что такое Data Mining?.: www.spc-consulting.ru/dms/aboutframe.htm.

63. Школин A. CRM: управление клиентами.: www.finansmag.ru/9186.

64. Щавелев JI.B. Способы аналитической обработки данных для поддержки принятия решений.: http://infovisor.ivanovo.ru/rus/press/paper04.htm.

65. Anticipating Consumer Behavior With analytics.: www.crm2day.com/library/EEplpkZllyASiURqyN.php.

66. Appendix: The Mathematics behind WizWhy.: www.wizsoft.com.

67. Apriori — масштабируемый алгоритм поиска ассоциативных правил.: www.basegroup.ru.

68. Data Mining в телекоммуникациях. М.: Megaputer Intelligence, 2001, www.megaputer.ru.

69. Data Mining в телекоммуникациях.: www.snowcactus.ru.

70. Data Mining and CRM.: www.crm2day.com/library/EpFEAkAFpuEZkNWvTr.php.

71. Data Mining and Knowledge Discovery.: www.dbmsmag.com/9807m01 .html.

72. Detailed Description.: www.sziami.cs.bme.hu/~bodon/en/apriori/Documetation/html/classApriori. html.

73. Doug Alexander. Data Mining.: www.eco.utexas.edu/~norman/BUS.FOR/course.mat/Alex/.82.1ncreasing Customer Value By Integrating Data Mining and Campaign Management Software.:www.crm2day.com/library/EpFkEEyAZZdwvuxtmS.php.

74. Oracle Data Mining Concepts.: www.docs.nojabrsk.ru/soll0/B1203701/ datamine. 101/bl 0698/4descrip.htm# 100585 7.

75. ГОСУДАРСТВЕННЫЙ КООРДИНАЦИОННЫЙ ЦЕНТР ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ

76. ОТРАСЛЕВОЙ ФОНД АЛГОРИТМОВ И ПРОГРАММ

77. СВИДЕТЕЛЬСТВО ОБ ОТРАСЛЕВОЙ РЕГИСТРАЦИИ РАЗРАБОТКИ5307

78. Настоящее свидетельство выдано на разработку:

79. Система принятия решений Forecasterзарегистрированную в Отраслевом фонде алгоритмов и программ. Дата регистрации: 21 октября 2005 года1. Автор: Пальмов С.В.1. Директор1. Руководитель О ФАЛ1. Е.Г. Калинксвич1. А.И.Галкина1. Дата выдачи /?/,

80. УТВЕРЖДАЮ» Заместитель начальника РСЦ Самарского филиала шгаТелеком»1. Иноземцев В.П.1. Актоб использовании

81. Заместитель начальника РСЦv1. Иноземцев В.П.

82. АКТ О ВНЕДРЕНИИ В УЧЕБНЫЙ ПРОЦЕСС

83. Заведующий кафедрой ИВТ д.т.н., профессор1. Акчурин Э.А./