Разложение суммы квадратов отклонений наблюдаемых значений зависимой переменной от ее выборочного среднего. 
Дисперсионный анализ

После нахождения оценок параметров линейной регрессионной модели возникает вопрос: а насколько хорошо переменная X объясняет изменчивость переменной Г, например ее выборочную дисперсию¹

Для ответа на этот вопрос нам предстоит доказать несколько технических лемм, с помощью которых в итоге мы сможем дать ответ на поставленный вопрос.

Лемма 3.1. Линия регрессии проходит через точку (X, У), т. е. Y = (3^^HK + + р,^мнкХ.

? Доказательство. Это следует из МНК-оценки свободного члена:

Лемма 3.2. Сумма остатков регрессии, оцененной с помощью МНК,.

п

равна нулю, т. е. X е, ⁼ 0.

• •;= 1
• ? Доказательство. Просуммировав левую и правую части выражений

для регрессионных остатков e_l = Y_t — р₀ — pjX, i= 1,…, п_} получаем.

¹ Вообще говоря, критериев разброса крайне много, и дисперсия — один из самых простых и устоявшихся критериев.

Если разделить последнее выражение на гг.

то легко заметить, что правая его часть равна нулю, что доказывает лемму. М Это свойство интерпретируется как отсутствие систематической ошибки (положительной или отрицательной) при применении МНК.

Лемма 33. Сумма реальных и оцененных значений зависимой перемен;

П п

ной совпадают, т. е. X Y_s ⁼ 2Л/;

/ -1 i-i.

? Доказательство. Просуммировав левую и правую части выражения.

п п п

Yj =У_; + e_jt i = 1,… п, находим X Y_i = ХУ, + X е,-. Так как согласно лемме 3.2.

_п i = 1 i = 1 i=l

'^e_i = 0, то получаем утверждение данной леммы. М

/-1.

Следствие. Реальное и оцененное выборочное среднее совпадают, т. е. Y=Y.

? Доказательство. Для доказательства достаточно разделить обе час;

п п

ти выражения YjY_i = на п. М

i=i i=i.

'V.

Лемма 3.4. В «-мерном пространстве ортогональны векторы X = :

(е < j

и е=:, т. е. =.

UJ —¹

? Доказательство. Вспомним одно из необходимых условий экстремума:

Учитывая, что е. = Y_t — р_о — $_{X_j9 получаем утверждение леммы. М

/ л.

г.

л.

Лемма 3.5. В «-мерном пространстве ортогональны векторы Y = :

Л.

/

? Доказательство. Преобразуем исходное выражение:

(согласно леммам 3.2 и 3.4). ?

п

Используя леммы 3.1—3.5, разобьем X (^ - У)² на две части, одна из ко;

1−1.

торых зависит от значений независимой переменной, а вторая — нет.

По определению, Y_t =Y_i +_e_jt г = 1,n. Согласно следствию из леммы 3.3 Y=Y, отсюда У, — Y = (Y_i: — Y) + e_t, i = 1,п, или у,=у,⁺ y_i = У, — Y,

угУ.-У;

Возведя последнее равенство в квадрат и просуммировав, получаем.

Используя леммы 3.2 и 3.5, легко показать, что средняя сумма в правой части равенства равна нулю п его можно переписать следующим образом:

Каждая из получившихся сумм имеет свое специальное название, а именно:

П

• TSS = X (Yi — Y)² — полная сумма квадратов отклонений от среднего.

/-1.

(total sum of squares)-,

П —

• ESS = X (У, ~ У)¹ — объясненная с помощью регрессии сумма квадра;

i=i.

тов отклонений (explained sum of squares)-,

П

• и уже упоминавшаяся ранее RSS = X ef — сумма квадратов остатков.

i=i.

регрессии (residual sum of squares).

Последнее выражение тогда можно переписать в следующем виде:

Свойства, перечисленные в леммах 3.1—3.5, и формула (3.9) не имеют места для регрессии без свободного члена.