Теорема Гаусса-Маркова для множественной линейной регрессии

ВВЕДЕНИЕ

Линейная регрессия описывается простейшей функциональной зависимостью в виде уравнения прямой линии и характеризуется прозрачной интерпретацией параметров модели (коэффициентов уравнения). Правая часть уравнения позволяет по заданным значениям регрессора (объясняющей переменной) получить теоретические (расчетные) значения результативного (объясняемого) переменного. Эти значения иногда называют также прогнозируемыми, т. е. получаемыми по теоретическим формулам. Однако при выдвижении гипотезы о характере зависимости коэффициенты уравнения остаются неизвестными. Вообще говоря, получение приближенных значений этих коэффициентов возможно различными методами.

Но наиболее важным и распространенным из них является метод наименьших квадратов (МНК). Он основан на требовании минимизации суммы квадратов отклонений фактических значений результативного признака от расчетных (теоретических). Вместо теоретических значений (для их получения) подставляют правые части уравнения регрессии в сумму квадратов отклонений, а затем находят частные производные от этой функции (суммы квадратов отклонений фактических значений результативного признака от теоретических). Эти частные производные берутся не по переменным х и у, а по параметрам, а и b. Частные производные приравнивают к нулю и после несложных, но громоздких преобразований получают систему нормальных уравнений для определения параметров. Коэффициент при переменном х, т. е. b, называется коэффициентом регрессии, он показывает среднее изменение результата с изменением фактора на одну единицу. Параметр a может не иметь экономической интерпретации, особенно если знак этого коэффициента отрицателен.

ПАРНАЯ ЛИНЕЙНАЯ РЕГРЕССИЯ Парная линейная регрессия используется для изучения функции потребления. Коэффициент регрессии в функции потребления используется для расчета мультипликатора. Практически всегда уравнение регрессии дополняется показателем тесноты связи. Для простейшего случая линейной регрессии этим показателем тесноты связи является линейный коэффициент корреляции. Но поскольку линейный коэффициент корреляции характеризует тесноту связи признаков в линейной форме, то близость абсолютной величины линейного коэффициента корреляции к нулю еще не служит показателем отсутствия связи между признаками.

Именно при другом выборе спецификации модели и, следовательно, виде зависимости фактическая связь может оказаться довольно близкой к 1. А вот качество подбора линейной функции определяется с помощью квадрата линейного коэффициента корреляции — коэффициента детерминации. Он характеризует долю дисперсии результативного признака у, объясняемую регрессией в общей дисперсии результативного признака. Величина, дополняющая коэффициент детерминации до 1, характеризует долю дисперсии, вызванную влиянием остальных факторов, неучтенных в модели (остаточной дисперсии).

Парная регрессия представляется уравнением связи двух переменных (у и х) следующего вида:

y = f (x), (1)

где у — зависимая переменная (результативный признак), а х — независимая переменная (объясняющая переменная, или признак-фактор). Бывает линейная регрессия и нелинейная регрессия. Линейная регрессия описывается уравнением вида:

y = a + bx + ε. (2)