Особенности организации и технологии использования хранилищ данных в решении маркетинговых задач

Назначение и принципы построения хранилищ данных

Часто на предприятиях существует несколько ИС — системы складского учета, бухгалтерские системы, системы для автоматизации отдельных производственных процессов, системы сбора отчетности с подразделений, а также множество файлов, которые разбросаны по компьютерам сотрудников. Информация, распределенная по различным локальным БД, зачастую не согласована и противоречива. На ее основе бывает очень сложно получить ответы на ключевые вопросы деятельности предприятия и увидеть общую картину. Для обеспечения единого, полного и согласованного представления корпоративной информации применяются специальные технологические комплексы — хранилища данных (Data Warehouse).

В отличие от транзакционных БД, которые предназначены для обслуживания повседневной деятельности предприятия, хранилища данных (ХД) содержат собранные за много лет данные, предназначенные для их оперативного многомерного анализа с использованием OLAP-технологии (On-Line Analytical Processing — аналитическая обработка данных в реальном времени).

Если, например, продажа товара и выписка счетов производятся с использованием БД, предназначенной для обработки транзакций, то анализ динамики продаж за несколько лет, позволяющий спланировать работу с поставщиками, выполняется с помощью ХД и OLAP-технологии.

В основе концепции ХД лежит идея интеграции в единую БД ранее разрозненных и разбросанных по разным БД детализированных данных, поступающих из различных источников — транзакционных OLTPсистем, электронных архивов предприятия, внешней среды. Используя ХД, маркетологи получают быстрый доступ к информации, которую раньше необходимо было запрашивать от подразделений предприятия или его филиалов.

Накапливаемая в ХД маркетинговая информация может храниться (без удаления) и пополняться в течение десятков лет. Анализируя такие (исторические, ретроспективные) данные, можно выявлять сложные взаимосвязи между данными, оценивать состояние и динамику маркетинговой ситуации, делать обоснованные прогнозы ее развития и принимать адекватные маркетинговые решения.

Примечание

Автором концепции ХД является Б. Инмон, который определил ХД как множество наборов данных, характеризующихся предметной ориентацией, интегрированностью, неизменяемостью данных, поддержкой хронологии^[1].

Ориентация на предметную область. Хранилище данных должно разрабатываться с учетом специфики предметной области, а не приложений, оперирующих данными из ХД. Структура ХД должна отражать представления пользователя-аналитика об информации, с которой ему приходится работать. Например, если система обработки данных о поставщиках товаров работает с понятиями «сделка» и «заявка», то в ХД должны быть представлены и понятия «клиенты», «товары», «производители».

Интегрированность. Информация загружается в хранилище из приложений, созданных разными разработчиками. Необходимо объединить данные этих приложений, приведя их к единому синтаксическому и семантическому виду. Например, в таблицах БД, полученных из разных источников, могут встречаться атрибуты, которые определены на разных доменах, но обозначают одни и те же понятия. Например, месяц года может быть задан полным наименованием (январь, февраль и т. д.), сокращенным наименованием (янв, фев и т. д.) и номером (1, 2 и т. д.). В процессе загрузки хранилища требуется преобразовать эти атрибуты к единому представлению. Важно также провести проверку поступающих данных на целостность и непротиворечивость.

Характерный для информационных хранилищ прием — хранение агрегированных данных. Аналитика редко интересует информация о конкретных днях и часах, ему более важны данные о месяцах, кварталах и даже годах. Чтобы при выполнении аналитических запросов избежать выполнения операций группирования, данные должны обобщаться (агрегироваться) при загрузке хранилища.

Объем накопленных (агрегированных) данных должен быть достаточным для решаемых аналитических задач. Используемые в настоящее время ХД содержат информацию, накопленную за годы и даже десятилетия.

Неизменяемость данных. Важное отличие аналитических систем от OLTPсистем состоит в том, что данные после их загрузки в ХД считаются неизменными; внесения каких-либо изменений, кроме добавления записей, не предполагается.

Важное условие неизменности информации в ХД — использование для его реализации надежного оборудования, которое обеспечивает защиту от сбоев.

Поддержка хронологии. Для выполнения большинства аналитических запросов необходим анализ тенденций развития явлений или характера изменения значений переменных во времени. Учет хронологии достигается введением в структуры ХД ключевых атрибутов типа «ДАТА» и/или «ВРЕМЯ».

Время выполнения аналитических запросов можно уменьшить, если физически упорядочить записи по времени, т. е. расположить записи по возрастанию значений атрибута «ДАТА/ВРЕМЯ».

Структурно ХД состоят из центрального хранилища и киосков 0витрин) данных (рис. 4.28).

Рис. 4.28. Структурная схема и потоки информации в хранилищах данных.

Центральное хранилище размещается, как правило, на сетевом сервере и представляет собой одну или несколько связанных БД, функционирующих под управлением мощных многомерных СУБД. Хранилище обычно содержит:

• — базы исходных (первичных) данных;
• — базы агрегированных данных;
• — нормативно-справочные данные;
• — результаты обработки различных аналитических приложений;
• — архив (обеспечивающий сохранность ранее проанализированных первичных данных, потенциально полезных, но не требующихся в ближайшей перспективе);

— репозиторий метаданных (средств описания данных).

Киоски (витрины) данных (Data Marts) — это специализированные тематические хранилища данных, обеспечивающие решение аналитических задач конкретного подразделения предприятия (в частности, задач отдела маркетинга), или же задач конкретной функциональной области (например, анализ рынков, сбыт товаров, управление прибыльностью и пр.). Обычно киоски строятся для обслуживания нужд определенной группы пользователей, поэтому имеют существенно меньший объем, чем центральное хранилище, и значительно меньшие по мощности СУБД.

Доступ к данным центрального хранилища и витрин конечные пользователи (маркетологи-аналитики) осуществляют со своих компьютеров — клиентов сети через клиентские приложения.

Функционирование ХД обеспечивается программным обеспечением трех подсистем:

• • загрузки данных;
• • обработки запросов и представления данных;
• • администрирования ХД.

Подсистема загрузки данных в соответствии с установленным регламентом пополнения хранилища (или при возникновении заранее определенных внешних событий) извлекает исходные данные из различных источников (транзакционных БД, электронных архивов, внешней среды) и загружает их в центральное хранилище. Процесс загрузки обычно подразумевает решение следующих задач:

• • приведение исходных данных к единому формату (унификация типов данных и их представления);
• • первичная обработка данных (исключение дубликатов, устранение ошибочных значений, восстановление пропущенных значений);
• • агрегирование данных (вычисление обобщенных статистических показателей, консолидация данных по иерархическим уровням измерений).

Для киосков источником данных является центральное хранилище. В киоски могут помещаться как агрегированные и консолидированные данные, так и собственно первичные, детализированные данные. При необходимости в них могут находиться и ссылки на имеющиеся в хранилище конкретные данные.

Подсистема обработки запросов и представления данных служит для извлечения данных из хранилища, их визуализации, аналитической обработки и предоставления результатов конечным пользователям в удобном для них виде. Подсистема обеспечивает:

• • регламентированную отчетность, которая характеризуется заранее предопределенными запросами данных и заданным форматом отчетов (этот вид отчетности обычно не требует быстрого времени реакции системы на запрос);
• • произвольные информационные запросы, формат которых и состав результирующей информации не регламентированы заранее (так называемые аналитические запросы и отчеты). Это основной способ общения аналитиков с хранилищем, при котором каждый последующий запрос к данным и вид их представления определяются, как правило, по результатам предыдущего запроса (для отчетности данного типа требуется высокая скорость обработки запросов — единицы секунд);
• • многомерный и интеллектуальный (глубинный) анализ данных (Data Mining), который реализует сложные статистические алгоритмы и алгоритмы искусственного интеллекта, предназначенные для поиска скрытых в данных закономерностей, представления этих закономерностей в виде моделей и многовариантного прогнозирования по ним развития ситуаций по схеме «Что если???».

К ведению подсистемы администрирования относятся все задачи, связанные с поддерживанием системы ХД и обеспечением ее устойчивой работы и расширения. При этом существенно используется особая категории данных — метаданные, информирующие о структурировании данных в ХД.

Метаданные — высокоуровневые средства описания информационной модели ХД, которые содержат: описание структур данных хранилища и структур данных, импортируемых из разных источников; сведения о периодичности импортирования, методах загрузки и обобщения данных; описание средств доступа и правила представления информации; оценки приблизительных затрат времени на получение ответов на запросы.

Используя метаданные, СУБД ХД обеспечивают: загрузку, форматирование, агрегирование данных; управление доступом к ним; построение витрин данных.

Хранилище данных и OLAP-технология анализа данных, содержащихся в ХД, образуют единый комплекс, обеспечивая возможность изучать большие объемы взаимосвязанных данных при помощи быстрого интерактивного отображения информации на разных уровнях детализации с различных точек зрения.

Эти возможности позволяют эффективно использовать ХД и OLAP в корпоративных ИС и, в частности, для решения маркетинговых задач. Можно выделить следующие классы маркетинговых задач, наиболее успешно решаемых на основе ХД:

• — управление взаимоотношениями с клиентами (CRM — Customer Relationship Management);
• — анализ рентабельности с разделением по клиентам, продуктам и каналам сбыта;
• — увеличение доли в бюджете клиента;
• — повышение уровня продаж дополнительных продуктов наряду с основными;
• — правильное позиционирование товара на рынках;
• — выявление групп покупателей для целевой рекламы;
• — оптимизация ассортимента;
• — управление каналами дистрибьюции;

• — сравнительный анализ товарных групп, потребительских сегментов, каналов сбыта по прибыльности, доходности, оборачиваемости и другим финансово-экономическим показателям;
• — исследование изменений и прогноз финансово-экономических и маркетинговых показателей;
• — построение профиля потребительских сегментов и анализ их привлекательности;
• — конкурентный анализ на рыночных сегментах по объемам продаж, ценовому и ассортиментному предложению, потребительским предпочтениям;
• — изучение лояльности клиентов;
• — анализ стереотипов поведения клиентов;
• — контроль за эффективностью работы сотрудников, подразделений, а также маркетинговых мероприятий;
• — накопление в едином ХД данных из разных источников, необходимых для маркетингового анализа.

• [1] См.: БарсегянА. А., Куприянов М. С. Степаненко В. В., Холод И. И. Методы и моделианализа данных: OLAP и Data Mining. СПб.: БХВ-Петербург, 2004.