Теоретические аспекты кластеризации на основе нейронных сетей

Кластерный анализ является одним из методов анализа данных и представляет собой совокупность методов и процедур, разработанных для решения проблемы формирования однородных классов (кластеров) в произвольной предметной области. Если имеется выборка и функция расстояния между объектами, то задача кластеризации состоит в разбиении выборки на подмножества, называемые кластерами, так, чтобы каждый кластер состоял из объектов, близких по метрике, а объекты разных кластеров существенно отличались. Алгоритм кластеризации — это функция, которая любому объекту выборки ставит в соответствие метку кластера.

Для оценки эффективности автоматической кластеризации были выбраны два алгоритма — на основе сетей Кохонена и fcm-алгоритм НЕЧЕТКОЙ кластеризации, реализации которых разработаны аспирантами кафедры «Информационные системы» УлГТУ [3, 5]. Для предварительной индексации текстов используется алгоритм индексации [4].

План экспериментов по оценке алгоритмов автоматических кластеризаций

Для исследования эффективности методов кластеризации с использованием нейронных сетей разработан план экспериментов, включающих классификацию методом архивариуса-эксперта и кластеризации методами Кохонена и FCM.

Для осуществления первого этапа экспериментов в архиве электронной документации проектной организации планируется подобрать небольшой комплект документации, содержащий документы преимущественно организационно-нормативного характера.

Комплект документации классифицируется архивариусом-экспертом [2], при этом должно происходить накапливание базы знаний по различным типам классификации.

Далее тексты документов индексируются с помощью разработанного программного приложения «Индексатор» [4]. Результаты индексирования должны быть сохранены в базе данных для последующей кластеризации.

Проиндексированные данные кластеризуются с помощью алгоритмов сетей Кохонена и fcm-метода с различными параметрами. Полученные результаты кластеризаций сравниваются с результатами экспертной классификации с вычислением значений оценочной функции. Выделяются наборы параметров, значение оценочной функции для которых является наилучшим.

На следующем этапе экспериментов в архиве делается подборка бульшего количества документов и классифицируется экспертом с использованием базы знаний, накопленной при проведении классификации первого этапа.

Документация индексируется и кластеризуется с параметрами, дающими оптимальные значения оценочной функции на первом этапе экспериментов. Вычисляются значения оценочной функции.

По вычисленным значениям оценочной функции делается вывод об эффективности использования каждого алгоритма кластеризации для построения интеллектуального репозитария и наиболее приемлемых параметрах кластеризации.