Автоматизация проектирования систем интеллектуального анализа данных: В сфере энергетики и регионального управления

Эффективное управление сложными техническими и социальными системами в процессе их жизненного цикла, включающего проектирование, создание и эксплуатацию, невозможно без полноценной информационной поддержки, обеспечиваемой автоматизированными системами поддержки принятия решений (СППР).

Достаточно остро проблема информационной поддержки принимаемых решений стоит в энергетической сфере. Сложность систем энергетики, значительные средства, расходуемые на всех этапах их жизненного цикла, а также высокие требования к качеству и надежности энергоснабжения, обуславливают необходимость дальнейшей разработки и совершенствования методов и средств принятия решений, реализуемых на разных уровнях управления. Не менее остро проблема информационной поддержки стоит в региональном управлении. Обоснованное и рациональное принятие решений в этой сфере возможно лишь при выполнении оперативного многоаспектного анализа большого количества данных.

Современный подход к автоматизации поддержки принятия решений основан на использовании концепции хранилищ данных (ХД) корпоративных информационно-аналитических систем (ИАС). Интеграция информации и ее комплексная аналитическая обработка позволяют обеспечить поддержку принятия решений с целью совершенствования исследуемых систем, а также с целью оценки эффективности принимаемых решений. Современный арсенал средств автоматизации поддержки принятия решений включает информационно-поисковые системы (ИПС), системы генерации отчетов, средства оперативной аналитической обработки данных (On-Line Analytical Processing, OLAP) и интеллектуального анализа данных (ИАД, Data Mining). Если первые обеспечивают решение задач оперативной отчетности и разведочного анализа данных, то ИАД предназначен для выявления существенных закономерностей в характеристиках исследуемой системы. При этом эффективность создаваемой ИАС в значительной степени зависит от того, насколько средства ИАД интегрированы с единой информационной средой поддержки принятия решений. Проблема организации интеллектуального анализа данных не имеет на сегодняшний день комплексного решения, совмещающего гибкость информационных моделей ХД с удобством манипулирования данными при использовании различных методов анализа.

Масштаб и сложность исследуемых систем, а также длительность их жизненного цикла требуют совершенствования средств автоматизированного проектирования ИАС. Это достигается на основе разработки развитых инструментальных средств, обеспечивающих процесс создания информационно-аналитических систем и их перепроектирование для учета изменений в исследуемой предметной области и для удовлетворения расширяющихся информационных потребностей.

Целью диссертации является разработка методов и средств автоматизации проектирования информационно-аналитических систем, обеспечивающих унифицированные способы организации интеллектуального анализа данных в комплексном процессе обработки накапливаемой информации для эффективной поддержки принятия решений.

Для достижения поставленной цели в диссертационной работе решаются следующие задачи.

1. Исследование методов интеллектуального анализа данных и подходов к их использованию в СППР.

2. Разработка метода организации ИАД в среде оперативной аналитической обработки.

3. Разработка механизма многомерного концептуального представления детализированных данных из реляционных источников для интеллектуального анализа.

4. Разработка функционального ядра предоставления детализированных данных корпоративного хранилища для ИАД посредством использования многомерных концептуальных моделей, хранящихся в специализированных аналитических метаданных.

5. Адаптация методов интеллектуального анализа данных для их применения в рамках разработанных подходов к организации ИАД в СППР.

6. Разработка инструментария интеллектуального анализа данных, ориентированного на применение в среде автоматизированного проектирования ИАС.

7. Разработка технологии организации анализа данных при создании прикладных ИАС.

При решении поставленных задач в диссертационной работе использованы: методы системного анализа, теория множеств, теория построения информационных систем, теория баз данных, методы искусственного интеллекта, теория прикладной статистики, теория и методы автоматизированного проектирования.

Научная новизна работы заключается в разработке методов организации интеллектуального анализа данных в среде поддержки принятия решений, отличающихся использованием многомерного концептуального представления данных при реализации информационного взаимодействия алгоритмов анализа с хранилищем.

Получены следующие новые научные результаты.

1. Разработан метод организации ИАД в среде оперативной аналитической обработки, включающий описание многомерных данных в информационной модели и порядок ее использования при проведении анализа. Предлагаемая информационная модель, описывая метауровень над анализируемым гиперкубическим представлением данных, задает направление его проецирования в виде матрицы «объект — свойство». В отличие от традиционных решений в сфере ИАД, использующих в качестве входной информации плоские файлы, данный метод позволяет использовать преимущества манипулирования многомерными данными, что выражается: а) в возможности получения информации для анализа любой размерности и степени агрегации посредством базовой OLAP-системыб) в обеспечении сохранения многомерного взгляда на информацию при проведении анализа.

За счет повышения уровня консолидации информации посредством предложенного способа интеграции OLAP-технологии и ИАД разработанный метод увеличивает производительность аналитической обработки накопленной в хранилище данных информации, что способствует более эффективной поддержке принятия решений. 2. Разработан метод организации интеллектуального анализа детализированных данных, основанный на многомерном концептуальном представлении реляционной структуры хранилища данных посредством соответствующих информационных моделей, описании моделей в аналитических метаданных и использовании их при проведении анализа. Предложенный подход реализует манипулирование детализированными данными в соответствии с многомерным представлением, включая определение интересующих характеристик многомерного факта, уровней обобщения и областей значений. В отличие от известных подходов к организации интеллектуального анализа детализированных данных, разработанная информационная модель обеспечивает гибкость при моделировании исследуемых фактов за счет: а) равноправного манипулирования количественными и качественными характеристиками анализируемых фактовб) возможности трансформации количественных характеристик многомерных фактов в соответствии с заданной бизнес-логикойв) возможности задания произвольных уровней обобщения для качественных характеристик многомерных фактов и области их значений.

Выбор адекватных цели исследования объема данных и степени их обобщения позволяет уменьшить временные затраты на исследование данных с одновременным улучшением интерпретации получаемых закономерностей.

3. Предложена архитектура инструментальной системы интеллектуального анализа данных в рамках программного комплекса, ориентированного на автоматизированное проектирование ИАС. В ее основе лежит функциональное ядро доступа к ХД, к которому подключаются модули ИАД посредством предложенных информационных интерфейсов. Данная архитектура, отличаясь реализацией унифицированных способов информационного взаимодействия алгоритмов с хранилищем данных, позволяет осуществлять гибкое масштабирование проектируемых ИАС.

4. Предложена технология автоматизированного проектирования средств интеллектуального анализа данных при создании прикладных ИАС на основе разработанного комплекса программных средств. Данная технология отличается комплексностью получаемых решений в конкретных предметных областях, интегрированностью отдельных составляющих аналитической обработки данных, разнообразием и гибкостью концептуального моделирования анализируемой предметной области.

На защиту выносятся:

1. Метод организации интеллектуального анализа данных в среде оперативной аналитической обработки.

2. Метод организации интеллектуального анализа детализированных данных.

3. Архитектура инструментальной системы интеллектуального анализа данных в рамках программного комплекса, ориентированного на автоматизированное проектирование информационно-аналитических систем.

4. Технология проектирования средств интеллектуального анализа данных при создании прикладных ИАС на основе разработанного комплекса программных средств.

Основные положения диссертации изложены в работах [90 — 100], а также обсуждались:

• на Международной научно-технической конференции «XI Бенардосов-ские чтения» (Ивановский государственный энергетический университет, Иваново, 2003);

• на 2 Международной научно-технической конференции «Информатизация процессов формирования открытых систем на основе СУБД, САПР, АСНИ и систем искусственного интеллекта» (Вологодский государственный технический университет, Вологда, 2003);

• на 4 Международной конференции старшеклассников, студентов, молодых ученых, преподавателей, аспирантов и докторантов «Актуальные проблемы современной науки» (Самара, 2003);

• на X Международной научно-технической конференции «Информационная среда ВУЗа» (Ивановская государственная архитектурно-строительная академия, Иваново, 2003);

• на Международном научно-практическом семинаре «Стратегия развития высшей школы и управление качеством образования» (Ивановский государственный энергетический университет, Иваново, 2003). Диссертационная работа структурно состоит из введения, четырех глав и.

4.5. Выводы по главе 4.

В рамках данной главы описана отработанная технология автоматизированного проектирования средств ИАД при создании прикладных ИАС на основе комплекса программных средств ИнфоВизор. На примере реализованных решений показано, что эффективность проектируемой ИАС в целом и ее интеллектуальной составляющей в частности в обеспечении информационной поддержки принятия решений определяется всеми составляющими представленной технологии. Базисом информационно-аналитической системы, определяющим ее потенциальные аналитические возможности, является интеграция необходимой информации в хранилище данных. Собственно поддержка принятия решений обеспечивается при помощи разнообразных развитых средств анализа данных.

Важной особенностью реализации различных способов информационно-аналитической обработки накопленных в хранилище данных в комплексе ИнфоВизор является их взаимосвязанность и взаимодополняемость при организации поддержки принятия решений. Принятая технология отличается комплексностью получаемых решений в конкретных предметных областях, интегрированностью отдельных составляющих аналитической обработки данных, включая ИАД, разнообразием и гибкостью концептуального моделирования анализируемой предметной области.

Заключение

.

Практическое применение рассмотренных в работе методов и программных средств открывает перспективу эффективного использования средств интеллектуального анализа данных для решения актуальной народнохозяйственной задачи — обеспечения информационной поддержки управления сложными техническими и социальными системами в процессе их жизненного цикла, включая проектирование, создание и эксплуатацию. Эффективность интеллектуального анализа достигается, с одной стороны, за счет реализованной интеграции с современными концепциями хранения и анализа данных. С другой стороны, удовлетворение постоянно расширяющихся аналитических потребностей обеспечивается созданными инструментальными средствами автоматизированного проектирования ПАС.

Разработан метод организации ИАД в среде оперативной аналитической обработки, включающий описание многомерных данных в информационной модели и порядок ее использования при проведении анализа. В отличие от традиционных решений в сфере ИАД, использующих в качестве входной информации плоские файлы, данный метод позволяет использовать преимущества манипулирования многомерными данными. Оперативно задавая направления проецирования анализируемого гиперкубического представления данных в виде матрицы «объект — свойство», метод обеспечивает многомерный взгляд на информацию при проведении интеллектуального анализа. Это выражается в возможности получения информации для анализа любой размерности и степени агрегации и свободном манипулировании измерениями гиперкубического представления. За счет этого разработанный метод увеличивает производительность аналитической обработки накопленной в ХД информации, что способствует более эффективной поддержке принятия решений.

Разработан метод организации интеллектуального анализа детализированных данных, основанный на многомерном концептуальном представлении реляционной структуры хранилища данных посредством соответствующих информационных моделей, описании моделей в аналитических метаданных и использовании их при проведении анализа. Предложенный подход распространяет многомерное концептуальное представление на случай, когда данные для ИАД должны быть представлены в явном детализированном виде. В отличие от известных подходов к организации интеллектуального анализа детализированных данных, разработанная информационная модель обеспечивает гибкость при моделировании исследуемых фактов за счет: равноправного манипулирования количественными и качественными характеристиками анализируемых фактоввозможности трансформации количественных характеристик многомерных фактов в соответствии с заданной бизнес-логикойвозможности задания произвольных уровней обобщения для качественных характеристик многомерных фактов и области их значений. За счет указанной гибкости в определении объема исследуемых данных и степени их обобщения разработанный метод позволяет уменьшить временные затраты на исследование данных с одновременным улучшением интерпретации получаемых закономерностей.

Предложена архитектура построения инструментальной системы интеллектуального анализа данных в рамках программного комплекса, ориентированного на автоматизированное проектирование ИАС. В ее основе лежит функциональное ядро доступа к ХД, к которому подключаются модули ИАД посредством предложенных информационных интерфейсов. В рамках предложенной архитектуры в работе представлена реализация ряда существующих методов ИАД. На их примере отработана методика адаптации технологических методов ИАД к предложенным способам его организации, позволяющая осуществлять гибкое масштабирование проектируемых систем анализа.

На основе предложенных подходов к организации ИАД в среде поддержки принятия решений и разработанного в рамках программного комплекса ИнфоВизор инструментария реализованы подсистемы ИАД в ряде прикладных информационно-аналитических систем в сфере энергетики и регионального управления:

• ИАС по топливно-энергетическому балансу Ивановской области (Администрация Ивановской области);

• ИАС по энергосбережению в сфере образования (Министерство образования России);

• ИАС по социально-экономическому положению регионов (Администрации Ивановской, Владимирской и Костромской областей, Департамент региональной экономики Минэкономразвития России).

На их примере отработана технология автоматизированного проектирования средств интеллектуального анализа данных при создании прикладных ИАС на основе разработанного комплекса программных средств. Отличительной особенностью данной технологии является комплексность получаемых решений в конкретных предметных областях, интегрированность отдельных составляющих аналитической обработки данных, разнообразие и гибкость концептуального моделирования анализируемой предметной области.

Дальнейшее развитие исследований планируется в следующих направлениях.

• Развитие методологии аналитической обработки в рассмотренных энергетических приложениях по мере получения новых данных, включая расширение библиотеки реализованных технологических методов ИАД.

• Повышение эффективности интеллектуального анализа в среде оперативной аналитической обработки за счет обогащения структуры анализируемого гиперкуба.

• Обеспечение обратной связи между средствами ИАД и оперативной аналитической обработки, позволяющей в автоматическом режиме использовать выявленные закономерности в данных для реализации новых моделей многомерного анализа.

• Автоматизация использования найденных закономерностей непосредственно при принятии решений.