Анализ и прогнозирование оттока клиентов в телекоммуникационных компаниях на основе технологии Data Mining

В настоящее время наблюдается интенсивное развитие телекоммуникационных систем, сопровождающееся жёсткой конкурентной борьбой за клиента. При таком состоянии рынка телекоммуникационных услуг, одной из главных проблем компаний-операторов является отток клиентов (churn) [66]. Традиционные способы предотвращения вышеуказанного явления (ценовые войны и массовая реклама) уже не эффективны. Поэтому, в последние годы для привлечения и удержания клиентов всё чаще используется концепция CRM (Customer Relationship Management — Управление Взаимоотношениями с Клиентамиеё основателями являются Д. Пепперс, М. Роджерс и Ф. Райчхелд).

Вероятность того, что клиент откажется от услуг компании определяется его лояльностью (loyalty) компании [34]. Чтобы спрогнозировать этот показатель необходимо выявить скрытые закономерности между лояльностью и персонифицированным трафиком, который содержит личностные характеристики клиента. В CRM, анализ данных, направленный на выявление скрытых закономерностей, реализуется при помощи методов современной информационной технологии Data Mining (Интеллектуальный Анализ Данных). Одним из её основателей является Г. Пиатецкий-Шапиро. Data Mining является мультидисциплинарной областью, возникшей и развивающейся на основе достижений статистики, распознавания образов, методов искусственного интеллекта, теории баз данных и др. Большой вклад в развитие внесли работы М. Бонгарда, Ф. Розенблатта, Мак-Каллока, Питса, Е. Фикса, Д. Ходжеса, Г. С. Лбова, Фогеля (Fogel), Уолша (Walsh), А. Г. Ивахненко, Бреймана (Breiman), Рипли (Repley), Фрейдмана (Freidman), Олшена (Olshen), Стоуна (Stone).

В настоящее время различные методы технология Data Mining (алгоритмы поиска ассоциативных правил, нейронные сети, деревья решений, эволюционные алгоритмы и т. д.) широко применяются для прогнозирования лояльности клиентов в телекоммуникационных компаниях. Наиболее известными являются разработки Сриканта Рамакришнана (Ramakrishnan Srikant), Ракеша Агравала (Rakesh Agraval), А. Мейдана, Б. де Виля, В. Дюка, М. Куприянова, В. Степаненко, а также компаний SPSS, StatSoft, WizSoft, Megaputer, BaseGroup, Integral Solutions, Microsoft. Однако эти разработки обладают недостатками (невысокая точность прогнозов, низкая скорость работы, высокая стоимость), что не позволяет широко и в полной мере использовать их для прогнозирования лояльности клиентов. Кроме того, низкая скорость работы препятствуют применению существующих аналитических систем для прогнозирования лояльности на этапе заключения договора с клиентом (обработка данных и формирование прогноза должны производится в реальном масштабе времени). В связи с этим, решение проблемы прогнозирования оттока клиентов в телекоммуникационных системах, является актуальной.

Объектом исследования является персонифицированный трафик клиентов телекоммуникационной компании-оператора.

Целью работы является разработка методов прогнозирования оттока клиентов в телекоммуникациях с использованием технологии Data Mining (интеллектуального анализа данных).

Для достижения поставленной цели требуется решить следующие задачи:

1. Разработать имитационную модель для генерации баз данных на основе выявления скрытых закономерностей.

2. Выявить наиболее перспективные алгоритмы технологии Data Mining для анализа персонифицированного трафика.

3. Проанализировать выявленные алгоритмы с целью определения лучшего из них.

4. Модифицировать выбранный алгоритм для обеспечения большей скорости и точности прогноза.

5. Разработать программное обеспечение системы поддержки принятия решений относительно лояльности клиента, реализующей модифицированный алгоритм.

6. Провести сравнительный анализ разработанной системы с существующими, построенными на базе алгоритмов Data Mining.

Методы исследования

Основные теоретические и экспериментальные исследования диссертационной работы выполнены с применением методов комбинаторного анализа, математической статистики, деревьев решений, ограниченного переборастатистического пакета STATISTICA 6.0 (StatSoft) — аналитических систем WizWhy 3.08 (WizSoft) и Deductor (BaseGroup).

Научная новизна заключается в следующем:

1. Разработана имитационная модель, генерирующая базу данных прецедентов на основе выявления скрытых закономерностей.

2. Предложен новый алгоритм определения лояльности клиента, созданный на основе расслоения базы данных прецедентов с использованием трёх количественных критериев: поддержка (support), достоверность (confidence) и улучшение (improvement).

3. Разработано программное обеспечение системы поддержки принятия решений относительно лояльности клиента, реализующей алгоритм расслоения.

Практическая ценность работы

Разработана система поддержки принятия решений, позволяющая прогнозировать лояльность потенциального клиента по его личностным характеристикам (для различных тарифных планов) на этапе заключения договора.

Реализация результатов работы

Разработанный в работе алгоритм определения лояльности клиента, а также программное обеспечение системы поддержки принятия решений относительно лояльности клиента приняты к использованию Самарским филиалом ОАО «ВолгаТелеком», внедрены в учебный процесс в Поволжской государственной академии телекоммуникаций и информатики г. Самарасистема поддержки принятия решений «Forecaster» зарегистрирована в отраслевом фонде алгоритмов и программ Государственного координационного центра информационных технологий.

Апробация работы

Отдельные законченные этапы работы докладывались и обсуждались на международном форуме «Новые инфокоммуникационные технологии: достижения, проблемы, перспективы» (Новосибирск, 2003), 5й многопрофильной международной конференции молодых учёных и студентов «Актуальные проблемы современной науки» (Самара, 2004), 5й международной научно-технической конференции «Проблемы техники и технологии телекоммуникаций» (Самара, 2004), международной научно-практической конференции «Экономика и менеджмент: проблемы и перспективы» (Санкт-Петербург, 2005), 10й (2003 г.), 11й (2004 г.) и 12й (2005 г.) Российских научных конференциях профессорскопреподавательского состава, научных сотрудников и аспирантов (Самара), межвузовском научно-практическом семинаре «Экономика и конкурентоспособность России» (Санкт-Петербург, 2004).

Публикации

Основное содержание диссертации отражено в 11 опубликованных работах. Публикации включают 3 статьи в научных изданиях и 8 материалов докладов.

На защиту выносятся:

— Алгоритм прогнозирования лояльности клиентов телекоммуникационной компании-оператора.

— Система поддержки принятия решений относительно лояльности клиента, построенная на базе вышеуказанного алгоритма.

— Результаты сравнительного анализа работы разработанной и существующей систем прогнозирования.

Структура и объём работы

Диссертационная работа состоит из введения, четырёх глав, заключения, списка литературы и приложений. Основная часть работы содержит 117 страниц машинописного текста, 28 рисунков, 18 таблиц.

Список литературы

содержит 94 наименования.

4.5. Выводы

1) Программные продукты, построенные на основе алгоритмов поиска ассоциативных правил (ограниченного перебора), не могут быть использованы с полной эффективностью для прогнозирования лояльности потенциального клиента на этапе заключения договора из-за ряда недостатков (см. 4.1 и 4.4).

2) Система Forecaster лишена подобных недостатковона позволяет формировать точные прогнозы за достаточно короткое время.

3) При прогнозировании системой Forecaster значения целевого показателя на основании обнаруженных ассоциативных правил, учитывается не только их достоверность, поддержка и улучшение, но и количество условий в условной части правил.

4) Учёт количества условий в условной части правил положительно сказывается на скорости получения результата и его точности, поскольку в этом случае при формировании прогноза используется меньше правил (они удовлетворяют следующим условиям: DF=XuY> 1, Confmin = 1 и ImprXs>Y >), чем в WizWhy.

5) Система Forecaster предпочтительна для использования её при прогнозировании лояльности потенциального клиента на этапе заключения договора.

ЗАКЛЮЧЕНИЕ

В заключении сформулированы результаты работы. В работе показано, что при современной ситуации на рынке телекоммуникационных услуг, использование CRM-стратегии для прогнозирования оттока клиентов (в т.ч. прогнозирования их лояльности) является необходимым условием успешной деятельности компании, предоставляющей услуги связи.

Выполнен аналитический обзор методов технологии интеллектуального анализа данных (Data Mining), с помощью которой, в большинстве случаев, реализуются аналитические функции CRM. По результатам обзора было установлено, что наиболее перспективными, при решении задачи прогнозирования лояльности клиентов телекоммуникационной компании на этапе заключения договора, являются алгоритмы деревьев решений и ассоциативных правил (ограниченного перебора).

С целью определения наиболее перспективного алгоритма, проведено исследование прогностических возможностей алгоритмов деревьев решений и ограниченного перебора. В качестве материала, на котором выполнялся анализ, использовались БД персонифицированного трафика клиентов телекоммуникационной компании. Эти данные были сформированы разработанной автором программой имитационного моделирования баз данных персонифицированного трафика клиентов («Генератор»). По результатам исследования наиболее перспективными (обладающими лучшими прогностическими возможностями) являются алгоритмы ограниченного перебора.

Разработан модифицированный алгоритм ограниченного перебора (алгоритм определения лояльности клиента), который лишён недостатков «традиционных» алгоритмов такого типа. Это достигнуто за счёт того, что все возможные (для заданных условий) ассоциативные правила (наборы личностных характеристик) с ограниченным набором условий идентификации заранее введены в систему.

На базе модифицированного алгоритма разработана система поддержки принятия решений («Forecaster»).