Алгоритмы статистической обработки информации в системах передачи данных

Актуальность исследования. В современных условиях появляются все новые виды систем передачи данных. Одним из видов сложных систем передачи данных являются научно — образовательные сети (RUNNet, RBNet, FREEnet, RELARN-IP и др.), которые получили свое развитие в России в течение последних десяти лет. Особенностями этих сетей являются: постоянное увеличение числа пользователейпередача большого количества учебной и научной информации, значительная часть которой является мультимедийнойнеобходимость обеспечения современных видов учебной деятельности в режиме реального временипопытки несанкционированного доступа. Все это предъявляет повышенные требования к пропускной способности каналов, приводит к перегрузке сети и, как следствие, к потере связи между клиентами и серверами. Перегрузку можно предотвратить с помощью системы

10 поддержки принятия решений сетевого администратора, одним из основных блоков которой является блок сбора и обработки информации по отдельным характеристикам сети. Построение алгоритмов обработки информации для этого блока является весьма актуальной задачей. Однако при построении этих алгоритмов возникает ряд трудностей, в частности, определение набора функциональных характеристик сети, построении адекватных моделей, в анализе больших объемов информации и отсутствии специализированных алгоритмов для ее обработки.

Похожими задачами занимаются научные группы ряда зарубежных и российских НИИ и университетов (Санкт-Петербургский государственный институт точной механики и оптики, МИФИ, Московский институт электроники и математики, Волгоградский д государственный технический университет), однако в открытой печати не достаточно опубликованы алгоритмы и модели обработки такой информации.

В данной работе предлагается подход, основанный на обработке статистической информации о функционировании сети и определении нормального режима работы сети. Выявление и предсказание отклонений от этого режима необходимы для администратора сети как сигнал о возникновении нештатной ситуации и необходимости изменения конфигурации сети. Рассматриваются вопросы, связанные с конкретной системой передачи данных, а именно, с обработкой информации о функционировании научно-образовательных сетей.

Целью данной работы является разработка алгоритмов обработки информации о функционировании научно-образовательных сетей с использованием статистического анализа временных рядов.

Поставленная цель достигается решением следующих основных задач:

1. Определением набора функциональных характеристик глобальных сетей, созданием процедур сбора и обработки информации по этим характеристикам.

2. Идентификацией и моделированием информационных потоков.

3. Разработкой алгоритмов на основе модифицированных вычислительных методов и моделей с целью прогнозирования работы сети.

4. Исследованием реальных информационных потоков в системах передачи данных.

Решение поставленных задач потребовало привлечения методов исследования, базирующихся на методах системного анализа, анализе временных рядов: регрессионном анализе, спектральном анализе, адаптивных методах краткосрочного прогнозирования, вычислительной математике, математической статистике.

Получены следующие научные результаты:

1. Разработаны алгоритмы предварительной обработки информации о показателях функционирования системы передачи данных и представления ее в виде временного ряда и случайной последовательности.

2. Предложена математическая модель поступления информации в системах передачи данных и исследованы ее составляющие.

3. Разработаны критерии идентификации аномальных наблюдений при поступлении и передаче информации в системах передачи данных.

4. Созданы алгоритмы и программы статистической обработки информации о функционировании систем передачи данных, используемые для прогнозирования работы сети.

5. В результате исследования реальных информационных потоков в системе передачи данных определены конкретные составляющие (доминантные периодические составляющие, параметры регрессионных моделей и случайной составляющей) для модели поступления информации за единицу времени.

Достоверность научных результатов и выводов, сформулированных в диссертации, определяется корректным применением информационных технологий и методов математической статистики, статистического анализа временных рядов. При этом теоретические расчеты согласовывались с экспертами в области сетевого администрирования и информационных технологий.

Практическая ценность полученных результатов определяется тем, что на ее материалах разработаны комплексы лабораторных работ для учебного процесса РГУ нефти и газа имени И. М. Губкина, Московского государственного университета леса, а также результатами опытной эксплуатации при администрировании научно-образовательной сети RUNNet.

Структура диссертации такова.

В первой главе рассматриваются основные требования, предъявляемые к сетям, средства анализа и управления сетямипроведен анализ методов моделирования для оптимизации загрузки сети (имитационного моделирования, моделей теории массового обслуживания), используемых в настоящее время, включая специализированные методы имитационного моделированияпредставлены методы выявления сбоев в работе сети.

Во второй главе рассматриваются характеристики для анализа работы сети, технология и особенности сбора данных о функционировании сетипроведен анализ сетевых технологии передачи данных, в частности ATM и FastEthernetпредставлена процедура сбора информации с помощью протокола управления SNMPразработаны алгоритмы преобразования данных, циркулирующих в глобальных сетях, во временной ряд и случайную последовательностьпроанализированы характеристики сетевого трафика, выявлены их особенности: нестационарность, неоднородность, периодичность, сложная форма периодического сигнала.

В третьей главе анализируются структуры временных рядов, модель, описывающая поступление информации за единицу времени, методы анализа составляющих моделиметод прогнозирования загрузки канала на короткий периодпроведен сравнительный анализ программно-статистических комплексов (таких как STATISTIKA, SPSS, ЭВРИСТА) для анализа временных рядов. Предложена математическая модель поступления информации за единицу временинайден адекватный математический аппарат для анализа преобразованных по предложенным алгоритмам (глава 2) данныхопределены типы изменения в характере поведения системы.

В четвертой главе представлены результаты анализа модели нормального режима работы сетипо предложенным алгоритмам и модифицированным методам созданы программы (для статистического анализа данных на основе долговременной статистики — программа «Роутер», для анализа периодической составляющей — программа «AFINT»). Установлены доминирующие частоты для всех исследуемых характеристик в значениях временных рядовначальный момент времени для разложения временного ряда, представляющего собой загрузку канала, в ряд Фурье. Разработана модифицированная методика повышения значимости регрессионной модели за счет удаления периодической составляющей и последующего применения метода скользящего среднего. Разработан модифицированный метод конечных разностных операторов для исключения влияния тренда и основных гармоник периодической составляющей. Выявлена хорошая адаптация метода экспоненциального сглаживания к изменениям характера в поведении временного ряда, при прогнозировании среднесуточных загрузок канала на короткий период. Определенны оптимальные значения параметров для метода экспоненциального сглаживания. Предложены критерии идентификации аномальных наблюдений, использующие метод агрегирования данных, конечных разностных операторов и критерия для выделения аномальных наблюдений (резко выделяющихся наблюдений).

В заключении изложены основные результаты и выводы по диссертационной работе.

В приложении представлены акты об использовании результатов диссертационной работграфики некоторых характеристик функционировании сетиинструкции по использованию программ «Роутер» и AFINTметодическое пособие по проведению спектрального анализа с использованием возможностей Microsoft Excel на примере данных о добыче нефтисловарь используемых терминов в диссертационной работе и структура базы данных управляющей информации MIB.

Апробация работы. Основные результаты диссертации были представлены и обсуждены на следующих конференциях:

• XXVIII Международной конференции IT+SE'2001 (20−29 мая 2001 г., Украина, Крым, Ялта-Гурзуф);

• Международной научно-методической конференции Телематика' 2001 (18- 21 июня 2001 г., Санкт-Петербург);

• 8-ой Межвузовской научно-методической конференции «Информационные технологии и фундаментализация высшего образования» (Москва, РГУ нефти и газа им. И. М. Губкина, 21 февраля 2002 г.);

• Международной конференции «Информационно—телекоммуникационные технологии в образовании — 2002» (23 -24 мая 2003 г., Москва);

• Всероссийской научно-методической конференции «Телематика' 2002» (3- 6 июня 2002 года, Санкт-Петербург);

• 5-ой научно-технической конференции «Актуальные проблемы состояния и развития нефтегазового комплекса России» (Москва, РГУ нефти и газа им. И. М. Губкина, 23 — 24 января 2003 г.);

• Всероссийской научно-практической конференции (25−28 февраля 2003 года, Петрозаводск);

• X Всероссийской научно-методической конференции «Телематика' 2003» (14- 17 апреля 2003 г., Санкт-Петербург);

• Международной конференции «Информационно-телекоммуникационные технологии в образовании — 2003» (20−21 мая 2003 г., Москва);

• XI Международной студенческой школесеминаре «Новые информационные технологии» (май 2003 г.).

Таким образом, на защиту выносятся:

1) алгоритмы предварительной обработки информации о загрузке канала системы передачи данных, преобразующие данные в случайную последовательность и временной ряд;

2) математическая модель поступления информации о загрузке канала системы передачи данных за единицу времени;

3) алгоритмы оценки компонентов модели, использующие разработанные способы удаления периодической составляющей, методику повышения значимости регрессионной модели и идентификации аномальных наблюдений.

Работа выполнена при поддержке грантов РФФИ № 02−07−90 026, 03−07−6 004

ВЫВОДЫ

1) Представлены результаты анализа компонентов модели, которая описывает поступление и передачу информации по каналам связи. Выявлено, что для всех исследуемых характеристик в значениях временных рядов доминирующими частотами являются суточная и недельная гармоники, при этом начальный момент времени для разложения временного ряда, представляющего собой загрузку канала, в ряд Фурье, необходимо брать равным 6 ч. 00 мин.

2) Разработана модифицированная методика повышения значимости регрессионной модели за счет удаления периодической составляющей и последующего применения метода скользящего среднего.

3) Разработан модифицированный метод конечных разностных операторов для исключения влияния тренда и основных гармоник периодической составляющей.

4) Применения метода экспоненциального сглаживания позволяет достаточно эффективно прогнозировать среднесуточные загрузки канала связи при установлении оптимальных значений So и а.

5) Предложены методики идентификации аномальных наблюдений на основе агрегирования данных, конечных разностных операторов и критерий, идентифицирующий резко выделяющиеся наблюдения.

6) Рекомендовано применение повторного проведение процедур уточнения компонентов модели после исключения аномальных наблюдений.

7) По предложенным процедурам и модифицированным методам созданы программы:

• для статистического анализа данных на основе долговременной статистики — программа «Роутер»;

• для анализа периодической составляющей — программа «AFINT».

ЗАКЛЮЧЕНИЕ

В диссертационной работе проанализирована возможность применения статистического анализа временных рядов к анализу сетевого трафика. Для этого системным администратором сети RUNNet был осуществлен сбор данных с помощью протокола Simple Network Management Protocol — простой протокол управления сетью. Информация регистрировалась с интервалом 5 мин. с помощью четырехбайтового счетчика.

В силу природы измеряемых характеристик и технологии сбора информации регистрируемые значения параметров образуют случайные временные ряды с интервалом дискретизации 5 мин., поэтому адекватными математическим аппаратом для их анализа является статистический анализ временных рядов. Изучение работы каналов сети с помощью адекватных математических моделей и методов позволит указать тенденции в изменении характеристик сетевого трафика и перейти к прогнозированию поведения сети или ее отдельных каналов.

Из перечисленных выше характеристик канала связи был выделен наиболее информативный параметр — загрузка канала. Анализ загрузок каналов дает полную информацию об их стабильности и надежности, позволяет эффективно управлять каналом, находить узкие места и делать прогнозы о необходимости дальнейшего расширения канала или сети.

В результате были предложены методики преобразования данных, циркулирующих в глобальных сетях, учитывающие особенности средств регистрации поступающей информации и предложена модель для описания поступления и передачи информации по каналам сети. В режиме нормальной работы каналов сети данная модель включает три компоненты:

• тренд, медленно меняющаяся во времени функция, описывающая изменения среднесуточных (средненедельных) загрузок за интервалы времени большие, чем суточная периодичность;

• периодическая составляющая, которая может быть описана конечным рядом Фурье, построенным по экспериментальным данным величин загрузок;

• случайная последовательность, относительно которой делается предположение о равенстве нулю ее математического ожидания M[e (t)]=0, с дисперсией

Для моделирования тренда применялся регрессионный анализ и метод сглаживания. При изучении периодической составляющей были применены методы анализа периодограмм и спектрального анализа случайных процессов. Свойства и характеристики случайной последовательности изучались с помощью классических методов математической статистики и методов анализа случайных последовательностей. Также разработан алгоритм применения разностных операторов и очистки трафика от основных периодических составляющих.

Однако на фоне нормального режима работы сети были обнаружены события, связанные с поступлением за короткий промежуток времени чрезмерно большого или малого количества информации. Данные наблюдения были названы аномальными значениями или выбросами. Аномалии в поведении трафика определяются характером сбоя сети и могут представлять собой, например, необоснованный рост или падение интенсивности трафика, изменения в характере трафика, чрезмерное повышения интенсивности использования отдельных частей сети и т. п. Для идентификации аномальных наблюдений был предложены критерии, основанные на методе агрегирования, конечных разностных операторов и критерия резко выделяющегося наблюдения. Однако корректное применение упомянутых алгоритмов для моделирования перечисленных составляющих модели требует исключения из массива данных аномальных значений, которое проводилось с помощью аппроксимации двух случайных величин. Выявления аномальных наблюдений также позволило исключить их влияние при построении прогнозирующих моделей позволяющие описать загрузки канала во времени.

При прогнозировании среднесуточных загрузок канала был применен метод экспоненциальное сглаживание и выявлена высокая эффективность данного метода по отношению к изучаемому объекту.

Однако при построении прогнозирующих моделей необходимо контролировать изменения в поведении системы. Обнаружено, что для изучаемого объекта типичны следующие виды изменения в характере поведения системы: более или менее регулярное изменение средних значений загрузок каналамонотонное линейное изменение загрузки канала до некоторого порогового значения — трендрезкое изменение средних значений параметров загрузки канала (скачок средних значений).

При прогнозировании среднесуточных загрузок канала необходимо контролировать данные типа изменения в поведении системы. Если обнаружено, что наблюдаются более или менее регулярное изменение средних значений загрузок канала, то следует применять метод скользящего среднего и метод экспоненциального среднего. При обнаружении монотонного линейного изменения загрузки канала предложено применять процедуру, основанную на регрессионном анализе (после удаления периодических составляющих) и модификацию этого метода с использованием окон и скользящего среднего. Для обнаружения скачков средних значений в загрузках канала разработана процедура экспоненциального сглаживания с привлечением анализа значимого превышения получающихся значений над средними значениями предыдущего отрезка ряда.

Однако возник ряд трудностей, связанных с обработкой большого массива данных, поскольку все характеристики сетевого трафика собирались в один файл. Для решения этих трудностей были созданы программы: «Роутер» — для статистического анализа данных на основе долговременной статистики, и «AFINT» — для спектрального анализа. Программы включают в себя описанные выше методы, алгоритмы и учитывают особенности процесса.

В процессе проведенных в диссертационной работе исследований получены следующие научные результаты:

1. Разработаны алгоритмы преобразования исходной информации о загрузке каналов системы передачи данных и представления ее в виде временного ряда и случайной последовательности, позволяющие провести статистический анализ характеристик работы сети.

2. Предложена математическая модель для описания нормального режима работы сети и исследованы ее составляющие: выявлены основные гармоники периодической составляющейразработана методика повышения значимости регрессионной модели при выделении трендаразработана модифицированная методика исключения влияния основных гармоник и тренда с помощью метода конечных разностных операторов.

3. Предложены критерии для выявления аномальных наблюдений при поступлении и передаче информации по каналам систем передачи (основанные на методе агрегирования данных, модифицированном методе конечных разностных операторов и критерии резко выделяющихся наблюдений) с целью их последующего исключения из модели нормального режима работы сети.

4. Установлена эффективность применения метода экспоненциального сглаживания для прогнозирования среднесуточных загрузок канала на короткий срок при использовании предложенных в диссертационной работе параметров (сглаживания и первого значения прогноза).

5. Исследованы особенности трафика научно-образовательной сети RUNNet и даны рекомендации по проведению анализа работы каналов сети с различными интерфейсами (учет количества гармоник в разложении периодической составляющей, учет «зашумленности», учет приближения к пороговому значению по пропускной способности).