Геометрическая интерпретация метода наименьших квадратов

Чтобы перейти к геометрической интерпретации МНК, сначала надо понять интуитивное содержание метода наименьших квадратов. Цель МНК такова: мы должны подобрать такие р_о и р_р чтобы минимизировать квадрат длины вектора е = Y — Y (поскольку квадрат длины этого вектора как раз есть сумма квадратов остатков), где Y = р_о + (3,Х, вектор Y лежит в пространстве, которое натянуто на единичный вектор 1 и вектор X. Это соответствует ортогональности векторов е и Y, т. е. Y является ортогональной проекцией вектора Y на плоскость, образованную векторами 1 и X (рис. 3.1).

Рис. 3.1. Геометрическая интерпретация МНК.

и выборочной ковариации получаем требуемую формулу.

Задача 3.3. Найдем оценку МНК коэффициента регрессии без свободного члена (т.с. проходящей через начало координат): У, = (3,Х; + е, i — 1,…, п.

Решение. Будем действовать, как и при нахождении оценок МНК в регрессии со свободным членом.

Выразим остатки регрессии через (3₍:

возведем левую и правую части последнего равенства в квадрат и просуммируем:

Необходимым условием экстремума является равенство нулю производной по (5, откуда

С помощью элементарных преобразований находим оценку для (3:

Задача 3.4'. Британский исследователь оценил зависимость массы индивида от его роста, наблюдая измеряемые величины в фунтах (lb) и дюймах (in):

Российский исследователь оценил ту же зависимость, но в переведенных в метрическую систему единицах: 1 дюйм — 2,54 см, 1 фунт — 0,454 кг. Изменятся ли коэффициенты регрессии при таком изменении масштаба исходных данных?

Решение. Обозначим оценки коэффициентов регрессии в шкале «фунты — дюймы» как old, а в шкале «килограммы — сантиметры» — как new. Используем свойства выборочной ковариации и дисперсии: ^[1]

Задача 3.5Исследователь изучает зависимость между совокупным спросом на услуги Y и совокупным располагаемым личным доходом X но данным американской экономики (обе величины измерены в миллиардах долларов в постоянных ценах), используя ежегодные данные временных рядов и модель парной регрессии.

Исследователь вначале оценил уравнение регрессии с помощью обычного метода наименьших квадратов. Предполагая, что обе величины Y и X могут быть существенно занижены из-за стремления людей к уклонению от уплаты налогов, исследователь принимает два альтернативных метода уточнения заниженных оценок:

• 1) добавляя в каждом году 90 млрд долл, к показателю Y и 200 млрд долл, к показателю Х
• 2) увеличивая значения как для X, так и для К на 10% за каждый год.

Оценим влияние каждой из этих корректировок на результаты оценивания регрессии.

Решение. 1. Проверим, используя формулы (3.7) и (3.8) для оценок коэффициентов МНК, совпадают ли оценки коэффициентов, полученные по преобразованным данным {new) с исходными оценками {old).

т.е. в результате первой корректировки меняется только оценка свободного члена, но не коэффициента наклона.

2. Аналогично во втором случае

т.е. снова меняется только оценка свободного члена.

• [1] Задача взята из работы [10, с. 66].