Метод Парзеновского окна

Байесовский подход к классификации

В предыдущем параграфе мы рассмотрели подход к решению задачи классификации на основе построения разделяющей гиперплоскости. В этом подпараграфе мы покажем еще один подход к решению задачи машинного обучения — статистический, называемый также группой байесовских классификаторов.

Идея байесовских классификаторов основана на предположении о вероятностной природе объектов классификации и ответов соответственно. Если X — это все пространство объектов классификации, представленное в виде векторов признаков, a Y — все пространство ответов, то X • У — пространство объектов-признаков с плотностью р (х, у).

Для описания группы байесовских методов удобнее всего начать с конца — с предположения о том, что мы уже знаем совместную плотность р (х, у):

где Р (у) — априорная вероятность класса у р (х у) — функция правдоподобия класса у Р (у х) — апостериорная вероятность класса у. Следует обратить внимание на то, что р малое — это функция, а Р большое — значение вероятности.

Выражение (5.4) легко преобразовать к теореме Байеса — отсюда и название группы методов:

Следовательно, зная все значения вероятностей для формулы (5.5), можно легко для всего множества У рассчитать вероятности того или иного класса для объекта классификации х, после чего выбрать класс с максимальным значением рассчитанной вероятности. Данный принцип выбора класса объекта называется принципом максимального правдоподобия^[1], который можно записать следующим образом:

Интересно, что, следуя принципу максимального правдоподобия, от знаменателя в (5.5) можно избавиться и получить итоговую формулировку принципа, лежащего в основе байесовских классификаторов:

Алгоритмы, в основе которых лежит такой подход, минимизируют в первую очередь вероятность неправильной классификации, а значит, в теории дадут наиболее качественную классификацию при практическом использовании такого классификатора после его обучения. Следствием же минимизации данной ошибки является и минимизация эмпирического риска. Однако это работает только в теории, и, конечно же, байесовские классификаторы будут ошибаться, и причиной тому является несовершенство обучающей выборки — ее конечность, которая не позволяет выполнить точную оценку распределений объектов и классов.

Как и в случае с логистической регрессией, байесовский классификатор, давая оценку вероятности класса у для объекта классификации х, позволяет построить функционал среднего риска (5.3). Зачастую это важно в таких задачах, как, например, кредитный скоринг для банков, в которой предлагается решить задачу классификации — давать клиенту займ, или этот клиент, вероятно, не вернет долг.

Неизвестное значение Р (у) оценивается как доля объектов класса у в обучающей выборке, т. е. статистическая вероятность класса у. Группа байесовских классификаторов порождается собственно методами восстановления функции распределения р (х у):

• 1) параметрический метод. Метод основан на представлении р (х | у) как некоторого распределения с известным видом функции и неизвестными значениями ее параметров. Задача — по обучающей выборке оценить эти параметры. Классический пример — восстановление параметров нормального распределения;
• 2) восстановление смеси распределений. Из теории вероятностей известно, что любое сложное распределение может быть представлено суммой других распределений (например, нормальных) и в данном методе производится восстановление параметров отдельных компонент смеси (например, это позволяет сделать? М-алгоритм);
• 3) наивный байесовский классификатор. В данном методе делается допущение о независимости всех признаков объекта классификации (что, естественно, часто совсем не так) и сложное распределение р (х у) представляется в виде произведения условных распределений для отдельных компонент вектора х:

4) непараметрический метод Парзена — Розенблатта. Этот метод будет рассмотрен в следующем подпараграфе как самый гибкий метод восстановления распределений с очень сложной формой.

С точки зрения реализации наивный байесовский классификатор наиболее прост, так как, сделав предположение о виде одномерных распределений по каждой переменной, обычно очень легко восстановить его параметры. Например, задача восстановления параметров нормального распределения является стандартной задачей курса математической статистики в технических вузах.

• [1] См.: Ваппик В. Н., Червопенкис А. Я. Теория распознавания образов…