Методика исследования. 
Статистический анализ многомерных неоднородных данных в программной среде R

Описание EM алгоритма

Приведем общее описание EM алгоритма для решения задачи расщепления смесей вероятностных распределений в случае независимых компонент согласно [7]. Для начала определим модель данных и сформулируем задачу. Модель данных типа смеси распределений (FMM) имеет следующее общее представление.

.

где — вектор числовых характеристик,.

— априорные вероятности классов, такие что ,.

— параметры распределений, ,.

— функции плотности распределения (компоненты смеси).

Обозначим через составной вектор всех параметров смеси , — выборку наблюдений, — вектор классификации, где принимает значение номера класса, которому соответствует наблюдение, тогда логарифмическая функция правдоподобия параметров по выборке представляется в виде функционала.

.

который можем оптимизировать с помощью различных алгоритмов.

Во многих задачах классификация неизвестна, поэтому возникает задача совместного оценивания параметров и классификации. Такие задачи относится к задачам анализа данных с пропусками, которые успешно решаются с помощью EM алгоритмов. Данные алгоритмы являются итерационными, и для их применения требуется предварительно задать начальные значения параметров модели, а также определить механизм их обновления на каждой итерации. Обозначим через значения соответствующих параметров на k-ой итерации. С помощью формулы Байеса получим апостериорные вероятности для возможных реализаций пропущенных значений классификационной переменной:

.

причем — апостериорная вероятность для реализации вектора классификации .

В частном случае, если является смесью из многомерных нормальных распределений с параметрами и плотностью.

.

где через обозначен составной вектор всех данных параметров независимых параметров из, то в результате максимизации функционала по выборке данных с учетом значений параметров и апостериорных вероятностей на текущей итерации, формулы для обновления оценок параметров принимают вид [1].

.

.

Определим общую схему EM алгоритма. При заданной выборке, заданных законах распределения, начальных значениях параметров, можно использовать итерационный алгоритм последовательного уточнения оценок вектора параметров смеси и вектора классификации выборки. Данный алгоритм относится к классу ЕМ-алгоритмов, широко применяемых в задачах статистического оценивания параметров в условиях априорной неопределенности [1]. При этом k итерация () предлагаемого ЕМ-алгоритма включает два последовательно выполняемых этапа:

• — этап Е (Expectation): оценивание при текущих значениях параметров модели апостериорных вероятностей классов, знание которых позволяет оценить вектор классификации выборки;
• — этап М (Maximization): обновление оценок параметров смеси из условия максимума логарифмической функции правдоподобия на основании полученных ранее апостериорных вероятностей классов.

Работа алгоритма продолжается до достижения заданного условия остановки [5].