Методы борьбы с мультиколлинеарностью данных

Подводя итоги изложенному выше, можно отметить, что нередко исследователь при выборе факторов для включения в модель сталкивается со следующей дилеммой: невключение существенной переменной приведет к смещенным оценкам коэффициентов, в то же время включение «лишних» переменных может привести к мультиколлинеарности. Как же разрешить эту дилемму? Универсальных рецептов не существует.

Однако одними из наиболее популярных на практике (и реализованными в большинстве статистических пакетов) являются пошаговые {stepwise) методы включения и исключения переменных.

Опишем метод пошагового исключения переменных.

На первом шаге в модель включаются все возможные переменные. Выбирается некоторый уровень значимости (чаще всего 0,05 или 0,1). Если в оцененной модели есть незначимые коэффициенты, то удаляется один фактор, коэффициент при котором имеет максимальное p-value (самый незначимый), и регрессия оценивается снова. Этот процесс продолжается до тех пор, пока все коэффициенты при оставшихся факторах не станут значимыми (при выбранном уровне значимости).

В методе пошагового включения факторов, наоборот, факторы по одному включаются в регрессию.

Первым добавляется значимый фактор, коэффициент при котором имеет наименьшее p-value (самый значимый). Вторым к первому выбранному фактору снова добавляется значимый фактор, коэффициент при котором имеет наименьшее p-value. Этот процесс останавливается, если коэффициент при каждом из добавляемых факторов незначим. При этом коэффициенты при ранее включенных факторах могут стать незначимыми.

Хотя и методы включения, и методы исключения обладают недостатками, о которых мы пишем ниже, методы пошагового исключения являются предпочтительнее методов пошагового включения, поскольку позволяют двигаться «от общего к частному».

Недостатком пошаговых методов является исключение или включение факторов по одному. Это не всегда приводит к выбору лучшей комбинации объясняющих факторов. Продемонстрируем это на следующем примере (рис. 9.2).

Рис. 9.2. Множественная регрессия при мультиколлинеарности.

При использовании метода пошагового исключения переменных из набора регрессоров X_v Х₂, будут поочередно удалены Х_{ и X., и останется только фактор Х._у Однако качество подгонки регрессии Y на Х_х и Х₂ было бы лучше.

Более разумной альтернативой удаления факторов по одному служит удаление из модели Y= р₍₎ + $_хХ_{ + … + + е сразу нескольких факторов, коэффициенты при которых незначимы. Обозначим их X_ij7…, X_ir, где г (количество удаляемых из модели факторов) не превосходит k (общее количество включенных в модель факторов).

При этом следует проверить гипотезу.

при альтернативной гипотезе.

В случае мультиколлинеарности эти факторы могут быть незначимы по отдельности, но гипотеза об их одновременном равенстве нулю может быть отвергнута. В этом случае можно будет проверить гипотезу об одновременном равенстве нулю коэффициентов при меньшем числе факторов. Однако количество возможных вариантов в этом случае может быть достаточно велико (для г незначимых факторов возможно всего 2' вариантов, соответствующих удалению какого-либо одного, каких-либо двух и т. д. факторов). К счастью, можно существенно сократить число оцениваемых регрессий с помощью следующих утверждений¹.

Утверждение 9.1. Если значение F-статистики для проверки гипотезы (9.3) меньше 1, то i?^[1][2]dj увеличится при удалении из регрессии соответствующих г факторов.

Утверждение 9.2. Необходимым (но не достаточным) условием увеличения Rf_u]- при удалении группы из г регрессоров является неравенство < Vr для каждого из удаляемых факторов.

Утверждение 9.3. При г = 1 условие предыдущего утверждения является достаточным, т. е. при удалении из уравнения регрессии одного фактора с^{-статистикой,} по модулю не превосходящей 1, увеличится.

Таким образом, если мы хотим увеличить качество подгонки регрессии с помощью удаления некоторой группы переменных, то стоит принять во внимание последние два утверждения. Нередко таким образом одновременно решается проблема мультиколлинеарности данных.

Другим способом, позволяющим уменьшить количество включенных в модель факторов, является метод главных компонент (МГК)^[2].

Основная идея МГК состоит в следующем: от исходных факторов переходят к некоторым их линейным комбинациям, называемым главными компонентами. Достоинством главных компонент является отсутствие корреляции между ними.

Технически главные компоненты получаются следующим образом.

• 1. Каждый вектор X_v …, Х_к центрируется: Х_}— = X_jt -X_j} i = 1,…, n, j = 1,…, k.
• 2. Находятся собственные числа X, > Х₂ > … > Х_к > 0 и собственные векторы V,…, матрицы ХТХ.
• 3. Собственные векторы V_p V_k и являются главными компонентами. При этом для дальнейшего включения в модель используют не все главные компоненты, а только их часть. При этом используют тот факт¹, что V, объ-

X

ясняет изменчивость исходных факторов на _k ¹ -100% (более формально,.

«-I.

Поэтому, например, если три главные компоненты на 90% объясняют изменчивость 10 факторов, то нет необходимости использовать остальные 7 главных компонент.

4. Если Xj, …, Х_к измеряются в одних и тех же единицах, например денежных, то проблем с интерпретацией главных компонент обычно не возникает. Однако если Х_р …, X_k измеряются в разных единицах, то дать интерпретацию их линейным комбинациям затруднительно. В этом случае г Х_п

векторы X, Х_к, не только центрируют, но и нормируют: X_fi =-—-—, i =.

o (Xj)

= 1,…, n_yj= 1,…, k.

5. Далее оценивается регрессия Y на выбранные главные компоненты. В случае если X,…, Х_к измеряются в одинаковых единицах, то обычно интерпретируются непосредственно результаты оценки регрессии на главные компоненты. Если же объясняющие переменные измеряются в разных единицах, то после оценки регрессии на главные компоненты возвращаются к исходным факторам.

Еще одним способом, с помощью которого иногда удается решить проблему мультиколлинеарности, является выбор новой функциональной формы, например переход от линейной спецификации к логарифмической.

И наконец, еще один метод — использование в случае мультиколлинеарности вместо МНК-оценок гребневых (в оригинале — ridge) оценок:

где с — некоторая положительная константа; I — единичная матрица. Хотя гребневые оценки являются смещенными, за счет добавления к матрице Х⁷Х гребня d зачастую удается справиться с основной проблемой^[4][5] — близостью к нулю определителя матрицы Х^У Х.

• [1] См. работу [25] и статью: Rao Р. On a correspondence between t and F values in multipleregressions // The American Statistician. 1976. Vol. 30. № 4. P. 190—191.
• [2] Детальное изложение данного метода можно найти, например, в работе [3, с. 658—661].
• [3] Детальное изложение данного метода можно найти, например, в работе [3, с. 658—661].
• [4] См. работу [2, с. 140−149].
• [5] Подробнее см. работу [3, с. 657—658].