Метод наибольшего правдоподобия

Кроме метода моментов, который изложен в предыдущем параграфе, существуют и другие методы точечной оценки неизвестных параметров распределения. К ним относится метод наибольшего правдоподобия, предложенный Р. Фишером.

А. Дискретные случайные величины. Пусть X — дискретная случайная величина, которая в результате п испытаний приняла значения x_v х₂>…, х_п. Допустим, что вид закона распределения величины X задан, но неизвестен параметр 0, которым определяется этот закон. Требуется найти его точечную оценку.

Обозначим вероятность того, что в результате испытания величина X примет значение х. (г = 1, 2,…, п), черезр (х; 0).

Функцией правдоподобия дискретной случайной величины X называют функцию аргумента 0:

гдед^, х₂, …, х_п — фиксированные числа.

В качестве точечной оценки параметра 0 принимают такое его значение 0* = Q*(x_vx_r …, х_п), при котором функция правдоподобия достигает максимума. Оценку 0* называют оценкой наибольшего правдоподобия.

Функции L и In L достигают максимума при одном и том же значении 0, поэтому вместо отыскания максимума функции L ищут (что удобнее) максимум функции In L.

Логарифмической функцией правдоподобия называют функцию In L. Как известно, точку максимума функции In L аргумента 0 можно искать, например, так:

_ч «dwL

1) наити производную —-—;

dQ

2) приравнять производную пулю и наити критическую точку — корень полученного уравнения (его называют уравнением правдоподобия);

_Q4 о d² In L

3) наити вторую производную-—; если вторая производная.

dd²

при 0 = 0* отрицательна, то 0* — точка максимума.

Найденную точку максимума 0* принимают в качестве оценки наибольшего правдоподобия параметра 0.

Метод наибольшего правдоподобия имеет ряд достоинств: оценки наибольшего правдоподобия, вообще говоря, состоятельны (но они могут быть смещенными), распределены асимптотически нормально (при больших значениях п приближенно нормальны) и имеют наименьшую дисперсию по сравнению с другими асимптотически нормальными оценками; если для оцениваемого параметра 0 существует эффективная оценка 0*, то уравнение правдоподобия имеет единственное решение 0*; этот метод наиболее полно использует данные выборки об оцениваемом параметре, поэтому он особенно полезен в случае малых выборок.

Недостаток метода состоит в том, что он часто требует сложных вычислений.

• 3 а м е ч, а н и е 1. Функция правдоподобия — функция от аргумента 0; оценка наибольшего правдоподобия — функция от независимых аргументов^,^, …, х_я.
• 3 а м е ч, а н и е 2. Оценка наибольшего правдоподобия не всегда совпадает с оценкой, найденной методом моментов.

Пример 1. Найти методом наибольшего правдоподобия оценку параметра X распределения Пуассона

где т — число произведенных испытаний; х. — число появлений события в 1-м (г = 1,2,п) опыте (опыт состоит из т испытаний).

Решени е. Составим функцию правдоподобия, учитывая, что 0 = X:

Найдем логарифмическую функцию правдоподобия;

Найдем первую производную по X:

Напишем уравнение правдоподобия, для чего приравняем первую производную нулю;

Найдем критическую точку, для чего решим полученное уравнение относительно X:

Найдем вторую производную по X:

Легко видеть, что при X = х_в вторая производная отрицательна; следовательно, X = х_к — точка максимума и, значит, в качестве оценки наибольшего правдоподобия параметра X распределения Пуассона надо принять выборочную среднюю X* = .г,.

Пример 2. Найти методом наибольшего правдоподобия оценку параметра р биномиального распределения.

если в я, независимых испытаниях событие А появилось х₁ = т₁ раз и в п₂ независимых испытаниях событие А появилось х₂ = т., раз.

Решение. Составим функцию правдоподобия, учитывая, что 0 =р:

Найдем логарифмическую функцию правдоподобия:

Найдем первую производную пор:

Напишем уравнение правдоподобия, для чего приравняем первую производную нулю:

Найдем критическую точку, для чего решим полученное уравнение относительно р:

Найдем вторую производную пор:

Легко убедиться, что при р = (т_л+ т₂)/(п_{ + п₂) вторая производная отрицательна; следовательно, р = (т+ m₂)/(n_i + п₂) — точка максимума и, значит, се надо принять в качестве оценки наибольшего правдоподобия неизвестной вероятности р биномиального распределения:

Б. Непрерывные случайные величины. Пусть X — непрерывная случайная величина, которая в результате п испытаний приняла значение а;, х₂,…, х_п. Допустим, что вид плотности распределения f (x) задан, но не известен параметр 9, которым определяется эта функция.

Функцией правдоподобия непрерывной случайной величины X называют функцию аргумента 0:

где x_v х₂,…, х_п — фиксированные числа.

Оценку наибольшего правдоподобия неизвестного параметра распределения непрерывной случайной величины ищут так же, как в случае дискретной величины.

Пример 3. Найти методом наибольшего правдоподобия оценку параметра X показательного распределения.

если в результате п испытаний случайная величинах, распределенная по показательному закону, приняла значения х, х₂,…, х_п.

Решение. Составим функцию правдоподобия, учитывая, что 0 = X:

Отсюда.

Найдем логарифмическую функцию правдоподобия:

Найдем первую производную по А:

Напишем уравнение правдоподобия, для чего приравняем первую производную нулю:

Найдем критическую точку, для чего решим полученное уравнение относительно А:

Найдем вторую производную по А:

Легко видеть, что при, А = 1/х_в вторая производная отрицательна; следовательно, А = 1 /х_п — точка максимума и, значит, в качестве оценки наибольшего правдоподобия параметра, А показательного распределения надо принять величину, обратную выборочной средней: А* = /х_в.

Замечай и е. Если плотность распределения f (x) непрерывной случайной величины X определяется двумя неизвестными параметрами 0, и 0., то функция правдоподобия является функцией двух независимых аргументов 0₁ и 0₂:

где х_{, х₂, …, х_п — наблюдавшиеся значениях. Далее находят логарифмическую функцию правдоподобия и для отыскания ее максимума составляют и решают систему.

Пример 4. Найти методом наибольшего правдоподобия оценки параметров, а и, а нормального распределения.

если В результате п испытании величина л приняла значения x_v х₂…х_а.

Решение. Составим функцию правдоподобия, учитывая, что 0, = a и 0., = о:

Отсюда

Найдем логарифмическую функцию правдоподобия:

Найдем частные производные, но а и, но а:

Приравняв частные производные нулю и решив полученную систему двух уравнений относительно а и о, получим:

Итак, искомые оценки наибольшего правдоподобия: а* = х_п; а* = -Jd^. Заметим, что первая оценка несмещенная, а вторая смещенная.