Доступный (обобщенный) метод наименьших квадратов

В § 7.1 рассматривалась обобщенная модель множественной регрессии.

В случае, когда ковариационная матрица ^_g = Q = a²Q₀ известна, как показано в § 7.2, наилучшей линейной несмещенной оценкой вектора р является оценка обобщенного метода наимсньших квадратов (совпадающая с оценкой максимального правдоподобия).

Эта оценка получается из условия минимизации обобщенного критерия (7.14):

При рассмотрении нормальной обобщенной модели регрессии, т. е. в случае нормального закона распределения возмущений, т. е. z ~ 7V"(0;a²Q₀), оценка Ь* также распределена нормально:

На практике матрица возмущений Q почти никогда неизвестна, и, как уже было отмечено в § 7.2, оценить ее я (/?+1)/2 параметров по п наблюдениям не представляется возможным.

Предположим, что задана структура матрицы Q. (и соответственно Qo), т. е. форма ее функциональной зависимости от относительно небольшого числа параметров 0j, 02, …, 0_/я, т. е. матрица? _E = a²Q_o(0,0₂…A"). Например, в модели с автокор;

релированными остатками (структура матрицы? _с определяется двумя параметрами ст² и 0j=p, так что матрица имеет вид (см. § 7.10):

где р — неизвестный параметр, который необходимо оценить. Идея оценки матрицы ?_р = <�т²О₀ состоит в следующем.

Вначале по исходным наблюдениям находят состоятельные оценки параметров 0=(0j, 0,)'. Затем получают оценку параметра а². В соответствии с (4.21) такая оценка для классической модели находится делением минимальной остаточной сум;

п

мы квадратов ^е} = ее на число степеней свободы (п — р— 1).

м Для обобщенной модели соответствующая оценка.

л Зная s, вычисляем матрицу 2^_г. = *ХГО₀ • Доказано, что при некоторых достаточно общих условиях использование полученных оценок в основных формулах обобщенного метода наименьших квадратов вместо неизвестных истинных значений а² и ^_c = crQ₀ даст также состоятельные оценки параметра р и ковариационной матрицы ^ _р. Описанный метод оценивания называется доступным (или практически реализуемым) обобщенным методом наименьших квадратов.

Таким образом, оценкой доступного обобщенного метода наименьших квадратов вектора р есть

Применяя метод максимального правдоподобия (см. § 2.7, 3.4) для оценки нормальной обобщенной линейной модели регрессии, можно показать, что оценки максимального правдопо;

А Л _.

добия р, 0, сг находятся из системы уравнений правдоподобия:

где e = Y-Xр, с, = ^v .

dtij

А Анализируя систему (7.50)—(7.52), видим, что оценки р и а² метода максимального правдоподобия совпадают с оценками b* и si обобщенного метода наименьших квадратов (правда, если Р = />*, то а² «si с точностью до асимптотически устранимого смещения).

Для решения системы (7.50) — (7.52) иногда удается найти точное решение, однако чаще приходится прибегать к итерационной процедуре, например, двухшаговой.

1- й шаг. Вначале находят опенку метода максимального правдоподобия р₀ = (XX) ' XY, вычисляют остатки е, = YXfa

и решают полученную систему (7.50) — (7.52) при заданных остатках.

Находят wx 1 вектор 0, и матрицу Q₀₍₁₎ =Q_o(0₍₁₎j.

2- й шаг. Находят опенку вектора р по формуле (7.49):

Полученные таким образом оценки р₍₂₎ при некоторых, весьма слабых предположениях (как, например, состоятельность оценок 0) будут асимптотически (при большом п) эквивалентны оценкам метода максимального правдоподобия, а значит, будут асимптотически эффективны в широком классе случаев. Описанная двухшаговая итерационная процедура была фактически реализована в процедуре Кохрейна—Оркатта (§ 7.10).