Метод максимального правдоподобия

В результате изучения данной главы студент должен:

знать

• • случаи, когда можно использовать метод максимального правдоподобия для нахождения оценок параметров;
• • основные шаги применения метода максимального правдоподобия;
• • свойства оценок метода максимального правдоподобия;

уметь

• • находить методом максимального правдоподобия оценки параметров множественной линейной регрессионной модели;
• • проверять линейные гипотезы с помощью теста Вальда;
• • проверять линейные гипотезы с помощью теста отношения правдоподобия;

владеть

• • навыками проведения теста Вальда в основных статистических пакетах;
• • навыками проведения теста отношения правдоподобия в основных статистических пакетах.

Основная идея и примеры применения метода максимального правдоподобия

Метод наименьших квадратов позволяет получить оценки параметров уравнения регрессии, обладающие «хорошими» свойствами, если выполнены достаточно сильные условия теоремы Гаусса — Маркова. Однако для реальных данных это далеко не всегда имеет место. В этом случае обычно применяются методы, работающие при более слабых предположениях. Одним из таких является метод максимального правдоподобия (ММП).

Идея, лежащая в основе этого метода, достаточно проста. При оценке параметров мы делаем предположение о распределении генеральной совокупности, из которой у нас имеется выборка. Соответствующее распределение зависит от набора параметров. Оценки этих параметров (ММП-оценки) подбираются таким образом, чтобы вероятность получить имеющийся набор данных, например X_v …, Х_п, была максимальной. Болес формально, если x_v …, х_п — реализации случайных величин X_v …, Х_п, то максимизируется функция

называемая функцией правдоподобия (обозначение С — сокращение от англ, likelihood — «максимальное правдоподобие»), где 0 — вектор оцениваемых параметров (по которому и производится максимизация). Однако на практике обычно проще найти максимум не функции правдоподобия, а логарифмической функции правдоподобия.

Поскольку соответствующее преобразование (натуральный логарифм) монотонно, то обе функции достигают максимума в одной и той же точке.

Отметим, что вероятность совместного распределения случайных величин в конкретной точке может быть вычислена только для дискретных случайных величин. Если же случайные величины X_v …, Х_п непрерывны, то в качестве функции правдоподобия выбирается плотность их совместного распределения в точке х_{9…, х_п:

Продемонстрируем применение метода максимального правдоподобия на двух примерах.

Пример 6.1. Найдем ММП-оценку параметра X пуассоновского распределения по выборке x_v …, х_п.

Решение. Выпишем в явном виде функцию правдоподобия:

Последнее равенство следует из независимости случайных величин X_v …, Х_п. Учитывая формулы для пуассоновского распределения, находим функцию правдоподобия:

Используя свойства логарифмов, получаем логарифмическую функцию правдоподобия:

Необходимым условием экстремума является равенство нулю частной производной по X:

откуда

п

z*.

Поскольку t" (x_v…_yx_nX) =——— <0, т. е. выполнено достаточное условие А,.

максимума, то Х_мп =Х.

Пример 6.2. Найдем ММП-оценку математического ожидания р и дисперсии а² по выборке x_v …, х_п из нормального распределения Л^г(р; а²).

Решение. В данном примере функция правдоподобия — плотность совместного распределения случайных величин X_v …, Х_п в точке x_v …, х_п:

Как и в предыдущем примере, в силу независимости случайных величин X,Х_п плотность их совместного распределения равна произведению одномерных плотностей.

Используя формулы для плотности нормального распределения, получаем выражения для функции правдоподобия.

и логарифмической функции правдоподобия.

Необходимым условием экстремума является равенство нулю частных производных по р и по а²:

_{А Л} 1 Я откуда, А = X, а² =—У (х, — р)².

п,-1.

Несложно показать (см. задачу б. З), что достаточные условия максимума в этом случае тоже выполнены. Следовательно, найденные оценки являются М М П-оцен кам и.

Отметим, что ММП-оценка для р является несмещенной (это легко проверить, см. задачу 6.2), а оценка а² — смещенной (но состоятельной).