Классическая линейная регрессия для случая одной объясняющей переменной

В результате изучения данной главы студент должен:

знать

• • формулировку теоремы Гаусса — Маркова для случая парной регрессии;
• • тестовую статистику для проверки гипотезы о конкретном значении коэффициентов парной регрессии;
• • тестовую статистику для проверки гипотезы о значимости коэффициентов парной регрессии;
• • формулу для доверительных интервалов для коэффициентов парной регрессии;

уметь

• • проверять гипотезы о конкретном значении коэффициентов парной регрессии;
• • проверять гипотезы о значимости коэффициентов парной регрессии;
• • строить доверительные интервалы для коэффициентов парной регрессии;

владеть

• навыками интерпретации основных результатов оценки парной регрессии, содержащихся в таблице ANOVA.

Теорема Гаусса — Маркова для случая парной регрессии

Как было анонсировано ранее, в настоящей главе мы сделаем акцент на случайной природе ошибок в уравнении парной регрессии Y_j = р₀ + р, Х, + е" i=l,…, п.

Основные причины введения в модели случайной составляющей¹:

• 1) в модели участвуют не все переменные, влияющие на поведение К; е_/ могут отражать влияние пропущенных переменных;
• 2) существует неопределенность поведения экономических агентов;
• 3) иногда мы используем наблюдения для тех величин, которые можем измерить, а не для тех, которые хотелось бы измерить;
• 4) нередко в наблюдениях присутствуют ошибки измерения.

Покажем, что МНК-оценки также являются случайными величинами:

¹ См. работу [22, р. 45].

т.е.

Вспомнив определение выборочной ковариации, убеждаемся, что Pj^MHK является случайной величиной. Аналогично можно установить, что оценка рмнк _такжс является случайной величиной.

Для того чтобы получить дополнительную информацию о характеристиках распределения оценок р₁^мнк и р?^1НК, надо сделать дополнительные предположения о модели парной регрессии и, в частности, об ошибках ?, i= 1,…, п.

Традиционно такие предположения формулируются в рамках теоремы Гаусса — Маркова (здесь приведен вариант для случая парной регрессии, а в дальнейшем будет рассмотрен аналог этой теоремы для случая множественной регрессии).

Теорема 4.1 (Гаусса — Маркова для случая парной регрессии). Если для модели Y_l. = р₀ + р, Х, + ?, i = 1,…, п, выполняются следующие условия.

• 1) модель правильно специфицирована;
• 2) X_i детерминированы и их значения не все равны между собой;
• 3) ?(e_f) — 0, i — 1,…, п
• 4) var (e,) = а² V/;
• 5) cov (e, е,) = 0, г ^

то МНК-оценки р^^мнк и p_t^MHK являются BLUE (best linear unbiased estimators') — лучшими линейными несмещенными оценками.

Перед тем как перейти к доказательству, поясним условия («если») и основной результат («то») этой теоремы.

Первое условие о правильной спецификации модели обозначает, что (1) фактор X действительно должен был быть включен в модель и больше никаких факторов для объяснения переменной Y не требуется и (2) выбрана правильная функциональная форма модели, т. е. зависимость между X и Y действительно линейная, а не, например, логарифмическая (1пУ_; = р₍₎ + + рДпХ, + в-, i = 1,…, п). Второе условие означает, что переменная X варьируется. Остальные свойства — это дополнительные предположения об ошибках, а именно: что все они имеют нулевое математическое ожидание и одинаковую дисперсию а² (это свойство называется гомоскедастичностыо), причем ошибки, относящиеся к разным наблюдениям, не коррелируют^[1].

Объясним теперь, что скрывается за каждой буквой слова BLUE:

• • Е— estimator (оценка). Действительно, р^^{, нк} и p_t^MHK являются оценками;
• • U — unbiased (несмещенные). Это свойство оценок мы вскоре докажем;
• • L — linear (линейные). Эти оценки являются линейными по У;
• • В — best (наилучшие). Это означает, что МНК-оценки имеют наименьшую дисперсию в классе всех линейных несмещенных оценок.
• ? Доказательство. Линейность оценки р,^мнк вытекает из детерминированности X и линейности выборочной ковариации. Доказательство линейности рд^{, нк} оставляется читателю в качестве упражнения (см. задание 4.2).

Докажем теперь несмещенность оценки р,^мнк (напомним, что это означает равенство математического ожидания этой оценки истинному значению параметра).

Вычислим математическое ожидание Р,^Ш|К, используя формулу (4.1):

Согласно условию 3 теоремы Гаусса — Маркова и свойству линейности математического ожидания второе слагаемое равно нулю, что доказывает несмещенность оценки.

Доказательство утверждения о наименьшей дисперсии МНК-оценок может быть найдено в различных источниках¹. Л

Утверждение 4.1^[2][3]. Если выполнены условия теоремы Гаусса — Маркова, то дисперсии MIIK-оценок могут быть найдены по следующим формулам:

• [1] При ненулевом математическом ожидании ошибок будет смещение оценки свободногочлена, при нарушении двух последующих условий возникают явления, называемые гетеро-скедастичностыо и автокорреляцией, рассмотренные в гл. 10 и 13.
• [2] ' Например, см. работу [12, с. 38—39].
• [3] Доказательство этого утверждения может быть найдено, например, в работе [12, с. 411.