Метод ближайших соседей

Обучение состоит в запоминании всех объектов обучающей выборки. При распознавании система относит объект х к тому образу, чей «представитель» оказался ближе всех к х. Модификацией метода является правило большинства ближайших соседей. Оно работает так: строится окрестность радиуса R с центром в х и распознавание осуществляется по большинству «представителей» какого-либо образа, оказавшихся внутри окрестности. Сложность состоит в том, чтобы правильно выбрать размер окрестности, он должен быть достаточно большим, чтобы в нее попало относительно большое число «представителей» разных образов, и достаточно маленьким, чтобы не работать со всей обучающей выборкой. Метод ближайших соседей требует хранения всей обучающей выборки, дает хорошие результаты, но требует большого времени распознавания. В ряде задач, таких как распознавание речи, рукописных тестов и фотографий, сравнение двух «представителей» — достаточно медленная операция, а принимать решение нужно в реальное время.

Для сокращения числа запоминаемых объектов можно применять комбинированные решающие правила, например сочетание метода дробящихся эталонов и ближайших соседей. В этом случае запоминанию подлежат те объекты обучающей выборки, которые находятся вблизи разделяющей образы границы.