Двумерная линейная модель регрессии

Пусть на основании анализа исследуемого явления предполагается, что в среднем у линейно зависит от х, т. е. имеет место уравнение регрессии [13, 29].

(4.1).

где - условное математическое ожидание случайной величины у при заданном х. Объясняющая переменная х рассматривается как неслучайная величина; и  — неизвестные параметры генеральной совокупности, которые подлежат оценке по результатам выборочных наблюдений. С этой целью из двумерной генеральной совокупности () взята выборка объемом п, где () — результат i-го наблюдения,

В этом случае линейная регрессионная модель имеет вид.

(4.2).

где Ej — взаимно независимые случайные величины с нулевым математическим ожиданием и дисперсией , т. е. для всех и.

Первое условие — это условие гомоскедастичности, постоянства остаточной дисперсии, второе — условие взаимной некоррелированности регрессионных остатков.

Наша задача — по выборке найти оценки параметров регрессионной модели.

Оценивание параметров регрессии

Согласно методу наименьших квадратов в качестве оценок неизвестных параметров и следует брать такие значения выборочных характеристик и , которые минимизируют сумму квадратов отклонений значений результативного признака от условного математического ожидания , т. е.

(4.3).

Так как функция Q дифференцируема по и , то для отыскания минимума функции (4.3) найдем частные производные по и :

(4.4).

Приравняв производные к нулю и подставив в равенства (4.4) вместо и их оценки и , получим.

или (4.5).

Данная система уравнений называется системой нормальных уравнений.

Решая систему (4.5) относительно и , получим.

(4.6).

Перейдя к средним, будем иметь.

Таким образом, имеем оценку уравнения регрессии

Докажем, что в случае нормального закона распределения случайной величины е (, а отсюда согласно формуле (4.2) и , оценки метода наименьших квадратов и максимального правдоподобия совпадают.

Пусть из двумерной генеральной совокупности (.г, у) взята независимая выборка (), где объемом п.

Будем рассматривать у, как независимые нормальные случайные величины с математическим ожиданием , являющимся функцией от Xj согласно формуле (4.1), и постоянной дисперсией

Тогда , где , и функция правдоподобия примет вид с учетом независимости наблюдения.

Согласнометоду наибольшего правдоподобия в качестве оценок параметров возьмем значения , максимизирующие функцию правдоподобия L. При заданных и постоянном функция правдоподобия L достигнет максимума, когда показатель степени при е будет минимальным, т. е. при условии минимума функции , что совпадает с условием (4.3) нахождения оценок по методу наименьших квадратов. Таким образом, оценки обладают свойствами оценок наибольшего правдоподобия.

Однако функция правдоподобия L зависит также и от параметра ст. Из условия найдем оценку наибольшего правдоподобия параметра :

Несмещенная оценка параметра равна.

(4.7).

Исследуем далее свойства оценок и