Метод ближайшего соседа
В качестве представителя иерархических методов классификации рассмотрим дерево решений. Это древовидный граф, с помощью которого классификация объекта происходит путём перемещений по рёбрам этого графа от корня в одну из листовых вершин. Каждой листовой вершине присвоена метка класса, которая и является выходным значением такого классификатора. К каждой нелистовой вершине приписан один… Читать ещё >
Метод ближайшего соседа (реферат, курсовая, диплом, контрольная)
В простейшем варианте метода классом объекта считается класс ближайшего (в смысле функции) объекта обучающей выборки:
.
Множество модификаций метода использует различные функции расстояния [Терещенко, 1999]. Возможны также различные преобразования обучающей выборки: например, при большом её размере часто ограничиваются множеством «типичных представителей» классов, полученным с помощью кластеризации исходной выборки.
Наивный байесовский классификатор
В качестве представителя статистического подхода к классификации рассмотрим наивный байесовский классификатор [Hastie et al., 2001]. Его решающее правило предпочитает наиболее вероятный при данных значениях признаков классу объекта:
. (0.1).
С использованием теоремы Байеса и «наивных» предположений о независимости признаков выражение (0.1) может быть преобразовано:
. (0.2).
И множитель (априорная вероятность встретить объект класса), и множитель (вероятность, что объект класса обладает данным значением признака) могут быть легко оценены по обучающей выборке.
Дерево решений
В качестве представителя иерархических методов классификации рассмотрим дерево решений [Mitchell, 1997]. Это древовидный граф, с помощью которого классификация объекта происходит путём перемещений по рёбрам этого графа от корня в одну из листовых вершин. Каждой листовой вершине присвоена метка класса, которая и является выходным значением такого классификатора. К каждой нелистовой вершине приписан один из признаков; в зависимости от его значения переход происходит в одного из её потомков (соответствующих значениям или интервалам значений признака).
Классификатор на основе решётки формальных понятий
Этот классификатор представляет собой решётку формальных понятий [Ganter et al., 1999]. Подробно его устройство описано в [Guillas et al., 2006]. Здесь же лишь отметим, что процесс классификации сходен с древесным (начинается в корне и заканчивается в одном из листьев), но преимущество его состоит в том, что учитываются логические взаимосвязи между признаками объектов обучающей выборки.