Теоретические аспекты. 
Метод максимального правдоподобия и его модификации

В этом разделе буду представлены теоретические основы факторного анализа, а так же его сравнение с родственным ему методом главных компонент. Автором было принято решение начать именно с метода главных компонент, поскольку его модель схожа с моделью факторного анализа, но принцип работы несколько проще. Таким образом, предварительное ознакомление с методом главных компонент способствует лучшему проникновению в суть факторного анализа.

Коротко о методе главных компонент

Метод главных компонент преобразует старых признаков в некоррелированных новых, а затем отбрасывает те, которые обладают наименьшей дисперсией. За счет этого и достигается снижение размерности.

Пусть центрированные случайные величины — исходные признаки, — их ковариационная матрица. обычно неизвестна, но может быть оценена выборочной ковариационной матрицей. — симметрична, следовательно, все ее собственные числа вещественны. Обозначим их в порядке убывания. Предположим, что все собственные числа различны и положительны. Для большинства практических задач это предположение обычно верно. Более того, из симметричности следует, что в существует базис из собственных векторов этой матрицы. Обозначим его. Здесь — собственный вектор единичной длины, соответствующийму по величине собственному числу матрицы. В этом базисе будет иметь вид, причем, где — матрица, столбцами которой являются определенные выше .

Определение: Назовем линейную комбинацию случайных величин линейной комбинацией единичной нормы, если .

Наша цель — найти линейных комбинаций единичной нормы случайных величин, чтобы для каждогоя линейная комбинация была некоррелирована с предыдущими линейными комбинациями и обладала как можно большей дисперсией. Такие линейные комбинации называются главными компонентами системы случайных величин .

Рассмотрим случайный вектор такой, что. Пусть — его ковариационная матрица. — центрированный случайный вектор, следовательно, тоже центрирован. Тогда. Таким образом, мы получили, что некоррелированы и .

Докажем, что и есть искомые главные компоненты. Покажем, что является линейной комбинацией случайных величин с наибольшей дисперсией. Пусть — произвольная линейная комбинация единичной нормы элементов. Из определения вектора следует, что, где. При этом также имеет единичную длину, поскольку при ортогональном преобразовании длина вектора остается прежней. Вычислим дисперсию. Поскольку ,.

Вспомним что. Поэтому максимальна при. А это и означает, что является линейной комбинацией единичной нормы с наибольшей дисперсией.

Аналогичными рассуждениями доказывается, что имеет наибольшую дисперсию среди всех возможных линейных комбинаций единичной нормы элементов, некоррелированных с. И так далее до .

Таким образом, мы доказали, что являетсяой главной компонентой системы случайных величин, и ее дисперсия равнаму по величине собственному числу ковариационной матрицы этих случайных величин.

Дадим полученным главным компонентам наглядную интерпретацию. Рассмотрим случайные величины такие, что. некоррелированы и нормированы (имеют единичную дисперсию). В матричном виде выражение следующее:. Тогда выражается через следующим образом: .

Таким образом, мы получили систему.

Или, в матричном виде,, гдеый столбец матрицы имеет вид .

Такое выражение случайных величин удобно тем, что их дисперсии наглядно выражаются через коэффициенты матрицы :

.

Тогда суммарная дисперсия случайных величин вычисляется по формуле.

.

Величина называется вкладом компоненты в дисперсию, а — вкладом компоненты в суммарную дисперсию случайных величин .

Ранее было получено, что, где — -ый столбец матрицы. Собственные вектора мы выбрали единичной длины, следовательно,. Вспомним, что упорядочены по убыванию. Следовательно, имеет наибольший вклад в суммарную дисперсию, обладает вторым по величине вкладом, и так далее. Вклад последней компоненты в суммарную дисперсию является наименьшим.

Предположим, что вклад компоненты настолько мал, что им можно пренебречь. Тогда систему можно описать не, а случайными величинами. В общем случае, если величина (т.е. вклад последних компонент) мала, томерный вектор можно охарактеризовать всего лишь параметрами .

Таким образом, в методе главных компонент задача снижения размерности сводится к нахождению собственных чисел и собственных векторов ковариационной матрицы исходных признаков. Поэтому, с развитием вычислительной техники метод главных компонент приобрел большое практическое значение.