Метод максимального правдоподобия

Метод максимального правдоподобия основывается на представлении выборки объема n как n-мерной случайной величине (Х1, Х2, ..., Хn), где рассматриваются как независимые случайные величины с одинаковой плотностью распределения f(x). Плотность распределения такой n-мерной случайной величины называется функцией правдоподобияL(x1, x2, ..., xn), которая в силу независимости случайных величин равна произведению плотностей распределения случайных величин Х1, Х2, ..., Хn:

Отсюда следует, что всякую функцию у=у(x1, x2, ..., xn) выборочных значений x1, x2, ..., xn,(статистику), можно представить как случайную величину, распределение которой однозначно определяется функцией правдоподобия.

Рассмотрим метод отыскания оценок параметров по опытным данным, который использует функцию правдоподобия.

Пусть f(x;а) – плотность распределения случайной величины Х (генеральной совокупности), зависящая от параметра а. Функция правдоподобия также будет зависеть от параметра а и иметь вид

Сущность метода наибольшего правдоподобия заключается в том, чтобы найти такое значение параметра а, при котором функция правдоподобия L(x1, x2, ..., xn, а) была бы максимальной. Для этого необходимо решить уравнение

и найти то значение а, при котором функция L(x1, x2, ..., xn; а) достигает максимума. С целью упрощения вычисления, так как часто плотность распределения является экспоненциальной функцией, дифференцируют натуральный логарифм функции правдоподобия, пользуясь тем, что

Если неизвестными являются несколько параметров а1, а2, ... , аm, то функция правдоподобия зависит отm параметров: L = L(x1, x2, ..., xn; а1, а2, ... , аm) и тогда решаются совместно m уравнений

Полученное решение системы относительно параметров а1, а2, ... , аm принимается в качестве оценок неизвестных параметров.

1. Пусть на вход приемного устройства поступает сумма двух сигналов: Y(t) = X + Z(t), где Х – неизвестный, не зависящий от времени сигнал, а Z(t) – случайная центрированная помеха. В моменты времени t1, t2, ... , tn производятся измерения величины Y(t). На основании опытных данных (выборки) y1 = y(t1), y2 = y(t2), ... , yn=y(tn) нужно найти приближенное значение сигнала Х (оценку математического ожидания Y(t) ).

Запишем функцию правдоподобия для n-мерной случайной величины (Y1, Y2, ... ,Yn):

Tак как

то из уравнения

имеем

Значит

Нетрудно показать, что функция правдоподобия L = L(y1, y2, ...,yn; а) при этом, а достигает своего максимума. Таким образом, мы показали, что оценка математического ожидания неизвестного сигнала Х по методу максимального правдоподобия в предположении нормального распределения аддитивной помехи является средним арифметическим измерений y1, y2, ..., yn:

2. Применим метод наибольшего правдоподобия для обработки экспериментальных данных. Предположим, что между физической величиной t(например, временем) и измеряемой y (сигналом) существует функциональная зависимость y = j (t).

Вид этой зависимости необходимо определить из опыта. Положим, что в результате опыта мы получили ряд экспериментальных точек и построили график зависимости уотt. Экспериментальные точки всегда имеют ошибки измерения. Возникает вопрос, как по экспериментальным данным наилучшим образом воспроизвести зависимость уот t? Если провести интерполяционную кривую, то есть кривую, точно проходящую через экспериментальные точки, то это в силу ошибок измерения будет не самым лучшим решением. В случае, когда известна тенденция этой зависимости, другими словами вид кривой, то задача упрощается. Тогда возникает задача сглаживания – построение кривой таким образом, чтобы уклонение (в каком-то смысле) от экспериментальных точек кривой было минимальным.

Очень часто бывает так, что, зная вид кривой, из опыта требуется установить только некоторые параметры зависимости. Например, известно, что зависимость есть линейная y = at + b, а неизвестные величины а и b надлежит определить из экспериментальных данных y1= y(t1), y2= y(t2), ... ,yn= y(tn). В общем случае функция у = j (t; a,b, ...) может содержать много параметров (а,b, ...). Требуется выбрать эти параметры так, чтобы кривая у = j (t; a, b, ...) в каком-то смысле наилучшим образом отображала зависимость, полученную опытным путем. Для этого рассмотрим следующую модель.

Решение. Пусть имеются наблюдения (экспериментальные данные)y1, y2, ... ,ynточных величин j (t1; a, b, ...), j (t2; a, b, ...), ... , j (tn; a, b, ...). Тогда величина Di = yi– j (ti; a, b, ...) является ошибкой наблюдения. Относительно ошибок будем полагать, что Di - независимые случайные величины с математическим ожиданием равным нулю (центрированные) и одинаковой дисперсией s2 подчинены нормальному закону распределения. Функция правдоподобия в этом случае будет иметь вид

и достигает своего максимального значения путем выбора параметров а, b ... лишь тогда, когда функция

достигнет минимального значения. Если измерения неравноценны, что эквивалентно наличию разных дисперсий si2 ошибок Di , то, исходя из функции правдоподобия, необходимо минимизировать функцию

Множитель здесь играет роль весового коэффициента, указывая на более ценные (точные) измерения. Этот метод отыскания параметров носит название метода наименьших квадратов.

Для нахождения минимального значения последней функции нужно решить систему уравнений

количество уравнений которой равно количеству параметров а, b, ... . В качестве примера рассмотрим упомянутую линейную зависимость при равноценных измерениях:

В этом случае нам нужно минимизировать функцию

Беря частные производные от этой функции по а и b и, приравнивая их нулю, получаем систему двух уравнений с двумя неизвестными

которая после простых преобразований приводится к виду

где

Этот метод обработки экспериментальных данных носит название метода наименьших квадратов.

Метод максимального правдоподобия обладает важным свойством: он всегда приводит к состоятельным, хотя иногда и к смещенным, и эффективным оценкам.

Хотя на практике метод правдоподобия часто приводит к необходимости решать более сложные системы уравнений, чем метод моментов, но правдоподобные оценки могут оказаться предпочтительнее, особенно в случае малых выборок