Исследование и разработка метода автоматической классификации поведения пользователей Интернет

ДиссертацияПомощь в написанииУзнать стоимостьмоей работы

Основные преимущества предложенного метода верификации результатов кластеризации состоят в следующем: предложенный индекс отображает семантические отношения, характерные для каждого из кластеровпредложенный индекс определяет качество разбиения сессий в соответствие с их внутренней логикой. В данной работе предлагается метод автоматической классификации пользователей Интернет, основанный… Читать ещё >

Содержание

1. 1. Аюуальность темы
1. 2. Цель и задачи работы
1. 3. Научная новизна
1. 4. Практическая значимость
1. 5. Апробация работы и публикации
1. 6. Структура работы
1. 7. Краткое содержание работы
- 1. 7. 1. Предметная область
- 1. 7. 2. Предлагаемые решения
- 1. 7. 3. Обсуждение результатов

Исследование и разработка метода автоматической классификации поведения пользователей Интернет (реферат, курсовая, диплом, контрольная)

1.1 Актуальность темы.

На данный момент практически в любой области знания накоплены огромные объёмы данных. Каждый день новые данные поступают в наше распоряжение, и их больше, чем можно просто просмотреть, не говоря уже об эффективном использовании для принятия решений. Очевидно, что такие объемы данных не поддаются эффективной обработке традиционными методами ручного анализа.

Интерес со стороны научно-технических и коммерческих организаций породил в начале 1990;х годов острую необходимость в разработке новых технологий и средств, которые могли бы автоматически переводить обрабатываемые данные в полезную информацию и знания. Технология Data mining (извлечение знаний) — один из результатов этих научных разработок.

На данный момент, отсутствуют полностью автоматизированные методики классификации пользователей Интернет. Существующие решения требует достаточно больших затрат времени со стороны эксперта на обучение системы, её настройку или контроль. Рост числа пользователей, объёма накопленных данных и экономического значения Интернет требует появления, независимых от экспертов, программных средств для поиска информации и получения данных об использовании определенных ресурсов.

В данной работе предлагается метод автоматической классификации пользователей Интернет, основанный на расстоянии редактирования. Создан прототип системы, обеспечивающий полную автоматизацию процесса классификации от очистки данных до контроля качества полученной классификации.

5 Выводы.

В ходе работы получены более чем 200 разбиений данных. В ходе тестирования были выявлены следующие закономерности: результаты кластеризации (количество и состав кластеров) существенно зависят от метрики и алгоритмадля определения оптимального разбиения эффективно применение предлагаемого метода подсчёта ассоциативных правилпредложенный индекс, основанный на подсчете ассоциативных правил, позволяет однозначно определить оптимальное количество кластеров или значения входных параметров метода.

Оптимальные результаты демонстрирует применение предлагаемой метрики, основанной на структуре каталогов веб-сайта.

В рамках работы получены следующие результаты: разработан и апробирован метод кластеризации сессий пользовательского доступа в Интернетразработан и апробирован метод автоматической верификации результатов кластеризациисоздана программная система, обеспечиавающая кластеризацию сессий пользовательского доступа на основании журнала вебсервера.

Основные преимущества предложенного метода кластеризации состоят в следующем: применение метода не требует предварительной индексации или обработки самих страниц сайтапредложенное расстояние обеспечивает корректное сравнение сессий пользовательского доступа за счёт использования данных по последовательности посещенных страниц и размещения страниц.

Все предлагаемые методы были реализованы в программном комплексе, обеспечивающем кластеризацию пользовательских сессий. Можно отметить следующие возможные пути развития данной работы: интеграция прототипа в систему динамического изменения наполнения страницорганизация параллельного вычисления и обработки данных о поведение пользователейулучшение методики поиска ассоциативных правил. Поиск ассоциативных правил может вестись для более длинных последовательностей в три-четыре и более страниц. В рамках данной работы, подсчитывались последовательности из двух страниц, которые могут встречаться в любой точке сессиина основании найденных наиболее популярных последовательностей возможна генерация портретов кластеров (какие последовательности характеризуют данный кластер) — внедрение самообучающейся методики определения весов операций замены для оптимизации результатов кластеризации для каждого набора данных.

2 Agrawal et al, 1993.

3 Agrawal et al, 1994.

4 Agrawal et al, 1995.

5 Barford et al 1998.

Показать весь текст

Список литературы

Agrawal, J.C. Shafer: «Parallel Mining of
Association Rules», IEEE Transactions on Knowledge and Data Engineering, Vul. 8, No. 6, December 1996.
Dieberger and Lonnqvist, 200 017 Directive 95/46/EC18 Ester et al, 1996
Ed Huai-hsin Chi, Adam Rosien, Jeffrey Heer: Lumberjack: Intelligent Discovery and Analysis of Web User Traffic Composition. WEBKDD 2002: 1−16http://www.w3.org/Daemon/User/Config/Loggin g. html
U.M. Fayyad, G. Piatetsky-Shapiro, P. Smyth, and R. Uthurusamy, Advances in Knowledge Discovery and Data Mining, AMI Press/MIT Press, 1996.
Ginsburg, Fenstermacher, K. D. and Ginsburg, M. 2003.
Koschke and Eisenbarth, 200 038 Krane and Langdon, 200 539 Levene and Loizou, 1999
Heer, J. and Chi, E.H. Mining the Structure of User Activity using Cluster Stability, in Proceedings of the Workshop on Web Analytics, SIAM Conference on Data Mining (Arlington VA, April 2002).
Hong, J.I., J. Heer, S. Waterson, and J.A. Landay, WebQuilt: A Proxy-based Approach to Remote Web Usability Testing, ACM Transactions on Information Systems, 2001, 19(3): pp. 263 285.
Joshi, A., Joshi, K., Krishnapuram, R., On mining Web Access Logs, in Proceedings of the ACM-SIGMOD Workshop on Research Issues in Data Mining and Knowledge Discovery, 2000, pp. 6369
Kerkhofs J., Vanhoof K., Pannemans D.- Web usage mining on proxy servers: a case study.-In: Proceedings of Data Mining for Marketing Applications Workshop at ECML/PKDD 2001, September 3−7 2001, Freiburg (Germany), s.l., 2001
Y. S. Maarek, Z. Ben Shaul. «Automatically Organizing Bookmarks per Contents.» In proc. of Fifth International World Wide Web Conference 1996, Paris, France
Pazzani, M., Muramatsu, J. & Billsus, D., Syskill & webert: Identifying interesting web sites, in 'AAI Spring Symposium on Machine Learning in Information Access'. Lecture Notes in Computer Science 11,1996
Pirolli, P. L. and Pitkow, J. E. Distributions of surfers' paths through the World Wide Web: Empirical characterizations. World Wide Web 2, 1−2 (Jan. 1999), 29−45.
James E. Pitkow, Krishna A. Bharat. «Webviz: A Tool For World-Wide Web Access Log Analysis.» Graphics. 1994.
Alexandrin Popescul, Lyle Ungar, David Pennock, Steve Lawrence. «Probabilistic Models for Unified Collaborative and Content-Based
Shahabi, Banaei-Kashani, 200 161 Spiliopoulou et al, 199 962 Wang and Zaiane, 200 263 Wang et al, 199 764 Wang et al, 200 565 Weiss et al, 199 666 Xie and Beni, 199 167 Zaiane et al 1998).
Santosh K. Rangarajan, Vir V. Phoha, Kiran S. Balagani, Rastko R. Selmic, S.S. Iyengar. «Adaptive Neural Network Clustering of Web Users,» Computer, vol. 37, no. 4, pp. 34−40, April, 2004
T.A. Runkler and J.C. Bezdek, «Web mining with relational clustering.», International Journal of Approximate Reasoning, Vol. 32 (2−3), 2003, pp. 217−236
Myra Spiliopoulou, Carsten Pohle, Lukas Faulstich. «Improving the Effectiveness of a Web Site with Web Usage Mining.» WEBKDD, crp. 142−162, 1999.
Wang, W. and Zaiane, 0. R. 2002. Clustering Web Sessions by Sequence Alignment. In Proceedings of the 13th international Workshop on Database and Expert Systems Applications (September 02 06, 2002). DEXA. IEEE Computer Society, Washington, DC, 394−398.
X. L. Xie and G. A. Beni, «A validity measure for fuzzy clustering,» IEEE Trans, on Pattern Analysis and Machine Intelligence, vol. 3, no. 8, pp. 841 846, 1991.

Заполнить форму текущей работой

Другие работы

Разработка методов и средств проектирования математического и программного обеспечения для исследования сложных объектов

Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на Международной научной конференции «Компьютерные технологии в технике и экономике» (Воронеж, 2007) — XIII, XIV Международной открытой научной конференции «Современные проблемы информатизации» (Воронеж, 2008, 2009) — Всероссийской конференции «Интеллектуализация управления в социальных и экономических…

Диссертация