Метод максимального правдоподобия

1. Постановка задачи

Имеется выборка $X_1,\dots ,X_n$ из независимых одинаково распределённых случайных величин. Распределение известно с точностью до конечного числа неизвестных параметров ${\theta }_1,\dots ,{\theta }_m$, принадлежащих параметрическому множеству $\Theta \subset {\mathbb{R}}^m$. Требуется построить оценки этих параметров.

Один из общих подходов - метод максимального правдоподобия. Он основан на выборе таких значений параметров, при которых наблюдаемая выборка наиболее вероятна. Этот метод часто даёт более точные оценки, чем альтернативные подходы, и при выполнении определённых условий обладает оптимальными свойствами.

---

2. Интуиция

Пусть дана выборка. Разумно предположить, что истинные параметры - это те, при которых вероятность получить именно такую выборку максимальна. Если при одном наборе параметров данные очень правдоподобны, а при другом - почти невозможны, то следует предпочесть первый набор.

Для дискретных распределений это буквально вероятность наблюдать данные. Для непрерывных - плотность вероятности в точках выборки, которая также характеризует правдоподобие. Функция, связывающая параметры с этой вероятностью или плотностью, называется функцией правдоподобия. Максимизация этой функции даёт оценку максимального правдоподобия.

В отличие от метода моментов, где в конструкцию закладываются выборочные моменты, здесь не требуется никаких дополнительных догадок. Идея опирается только на само понятие вероятности или плотности.

---

3. Формальная конструкция

Пусть $X_1,\dots ,X_n$ - выборка из распределения с плотностью или вероятностной массой $f(x;{\theta }_1,\dots ,{\theta }_m)$. Для краткости вектор параметров обозначается через $\theta =({\theta }_1,\dots ,{\theta }_m)$. Функция $f$ в дискретном случае задаёт вероятность $P(X=x)$, а в абсолютно непрерывном - плотность распределения. В обоих случаях она зависит от параметров.

Так как элементы выборки независимы и одинаково распределены, совместная вероятность или плотность равна произведению:

$$L({\theta }_1,\dots ,{\theta }_m)=\prod _{i=1}^{n}f(X_i;{\theta }_1,\dots ,{\theta }_m)$$

Функция $L$ называется функцией правдоподобия. Поскольку логарифм монотонен, точка максимума $L$ совпадает с точкой максимума логарифмической функции правдоподобия:

$$\ell ({\theta }_1,\dots ,{\theta }_m)=\ln L({\theta }_1,\dots ,{\theta }_m)=\sum _{i=1}^n\ln f(X_i;{\theta }_1,\dots ,{\theta }_m)$$

Оценкой максимального правдоподобия называется вектор $\hat{\theta }=({\hat{\theta }}_1,\dots ,{\hat{\theta }}_m)$, максимизирующий $\ell$ (или $L$):

$$\hat{\theta }=\arg \underset{\theta \in \Theta }{\max }\ell (\theta )$$

Если функция $\ell$ дифференцируема, оценки ищутся из системы уравнений правдоподобия:

$$\{\begin{array}{l}\frac{\partial \ell }{\partial {\theta }_1}=0,\\ \frac{\partial \ell }{\partial {\theta }_2}=0,\\ ⋮\\ \frac{\partial \ell }{\partial {\theta }_m}=0\end{array}$$

После нахождения стационарных точек необходимо проверить, что это действительно максимум, а не минимум или седловая точка. Однако на практике для большинства стандартных моделей проверка не требуется, так как выполняются условия регулярности, гарантирующие, что решение системы является оценкой максимального правдоподобия.

Важно: не всегда функция правдоподобия дифференцируема. Например, в равномерном распределении с неизвестной границей производная не существует, и оценку приходится искать из других соображений.

---

4. Свойства оценок максимального правдоподобия

При выполнении условий регулярности оценки максимального правдоподобия обладают сильными асимптотическими свойствами.

Состоятельность:

$$\hat{\theta }\stackrel{P}{\to }\theta$$

где $\theta$ - истинное значение параметра.

Асимптотическая нормальность:

$$\sqrt{n}(\hat{\theta }-\theta )\stackrel{d}{\to }N\left(0,I(\theta {)}^{-1}\right)$$

где $I(\theta )$ - информационная матрица Фишера:

$$I(\theta )=-E_{\theta }\left[\frac{{\partial }^2\ell }{\partial {\theta }^2}\right]$$

Это означает, что при больших объёмах выборки оценка максимального правдоподобия приближённо нормальна с дисперсией, обратной количеству информации Фишера. Данное свойство делает метод асимптотически эффективным: среди всех состоятельных оценок оценка максимального правдоподобия имеет наименьшую возможную асимптотическую дисперсию.

Инвариантность: если $\hat{\theta }$ - оценка максимального правдоподобия для $\theta$, а $g$ - взаимно однозначная функция, то $g(\hat{\theta })$ является оценкой максимального правдоподобия для $g(\theta )$. Это следует из независимости максимизации от параметризации.

Следует помнить, что свойства выполняются не всегда. Например, для равномерного распределения с неизвестной границей условия регулярности нарушаются, и оценка максимального правдоподобия не является асимптотически нормальной в стандартном смысле.

---

5. Примеры

5.1. Биномиальное распределение

Пусть $X\sim \text{Bin}(k,\theta )$, где $k$ известно, $\theta$ неизвестен. Вероятность получить $x$ успехов в $k$ испытаниях:

$$P(X=x)=\left(\genfrac{}{}{0ex}{}{k}{x}\right){\theta }^x(1-\theta {)}^{k-x}$$

Функция $f(x;\theta )$ совпадает с этой вероятностью. Функция правдоподобия для выборки $X_1,\dots ,X_n$:

$$L(\theta )=\prod _{i=1}^n\left(\genfrac{}{}{0ex}{}{k}{X_i}\right){\theta }^{X_i}(1-\theta {)}^{k-X_i}$$

Логарифмическая функция правдоподобия:

$$\ell (\theta )=\sum _{i=1}^n\left[\ln \left(\genfrac{}{}{0ex}{}{k}{X_i}\right)+X_i\ln \theta +(k-X_i)\ln (1-\theta )\right]$$

Производная по $\theta$:

$$\frac{d\ell }{d\theta }=\frac{{\sum }_{i=1}^n{X}_i}{\theta }-\frac{{\sum }_{i=1}^n(k-X_i)}{1-\theta }$$

Приравниваем к нулю:

$$\frac{\sum X_i}{\theta }=\frac{nk-\sum X_i}{1-\theta }$$

Отсюда получаем оценку:

$$\hat{\theta }=\frac{\sum X_i}{nk}=\frac{\bar{x}}{k}$$

Результат совпадает с оценкой, которую даёт метод моментов.

5.2. Нормальное распределение

Пусть $X\sim N({\theta }_1,{\theta }_2^2)$, где ${\theta }_1$ - математическое ожидание, ${\theta }_2^2$ - дисперсия. Плотность:

$$f(x;{\theta }_1,{\theta }_2^2)=\frac{1}{\sqrt{2\pi {\theta }_2^2}}\exp \left(-\frac{(x-{\theta }_1{)}^2}{2{\theta }_2^2}\right)$$

Логарифмическая функция правдоподобия:

$$\ell ({\theta }_1,{\theta }_2^2)=-\frac{n}{2}\ln (2\pi )-\frac{n}{2}\ln {\theta }_2^2-\frac{1}{2{\theta }_2^2}\sum _{i=1}^n(X_i-{\theta }_1{)}^2$$

Частные производные:

$$\frac{\partial \ell }{\partial {\theta }_1}=\frac{1}{{\theta }_2^2}\sum _{i=1}^n(X_i-{\theta }_1)$$

$$\frac{\partial \ell }{\partial {\theta }_2^2}=-\frac{n}{2{\theta }_2^2}+\frac{1}{2{\theta }_2^4}\sum _{i=1}^n(X_i-{\theta }_1{)}^2$$

Приравниваем производные к нулю и получаем систему:

$$\{\begin{array}{l}\frac{1}{{\theta }_2^2}{\sum }_{i=1}^n(X_i-{\theta }_1)=0,\\ -\frac{n}{2{\theta }_2^2}+\frac{1}{2{\theta }_2^4}{\sum }_{i=1}^n(X_i-{\theta }_1{)}^2=0\end{array}$$

Из первого уравнения:

$${\hat{\theta }}_1=\frac{1}{n}\sum _{i=1}^n{X}_i=\bar{x}$$

Подставляем во второе уравнение и находим:

$${\hat{\theta }}_2^2=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{x}{)}^2$$

Это выборочная дисперсия со смещением. Оценка максимального правдоподобия для дисперсии смещена, в отличие от несмещённой оценки с делением на $n-1$. Однако при больших $n$ разница мала.

5.3. Равномерное распределение

Пусть $X\sim U(0,\theta )$, $\theta >0$. Плотность:

$$f(x;\theta )=\{\begin{array}{ll}\frac{1}{\theta },& 0\le x\le \theta ,\\ 0,& \text{иначе}\end{array}$$

Эту плотность удобно записать с индикатором:

$$f(x;\theta )=\frac{1}{\theta }\cdot 1_{\{0\le x\le \theta \}}$$

Функция правдоподобия:

$$L(\theta )=\prod _{i=1}^n\frac{1}{\theta }\cdot 1_{\{0\le X_i\le \theta \}}=\frac{1}{{\theta }^n}\cdot 1_{\{\max X_i\le \theta \}}$$

Здесь производная по $\theta$ не существует из-за индикатора. Поэтому максимизируем из общих соображений. Чтобы $L(\theta )$ не была нулём, необходимо $\theta \ge \max X_i$. При выполнении этого условия $L(\theta )=1/{\theta }^n$, и чем меньше $\theta$, тем больше значение. Следовательно, максимум достигается при

$$\hat{\theta }=\underset{1\le i\le n}{\max }{X}_i$$

Эта оценка отличается от оценки метода моментов ($2\bar{x}$). Она состоятельна, но смещена. Для устранения смещения можно использовать нормировку. Пусть $X_{(k)}$ - $k$-я порядковая статистика выборки из $U(0,1)$. Можно показать, что

$$E[X_{(k)}]=\frac{k}{n+1}$$

Тогда для выборки из $U(0,\theta )$ справедливо

$$E\left[\max X_i\right]=\theta \cdot \frac{n}{n+1}$$

Следовательно, несмещённая оценка имеет вид

$${\hat{\theta }}_{\text{несмещённая}}=\frac{n+1}{n}\max X_i$$

Этот пример показывает, что оценка максимального правдоподобия не обязана быть несмещённой, но часто легко корректируется.

---

6. Заключение

Метод максимального правдоподобия основан на выборе параметров, при которых вероятность наблюдения выборки максимальна. Он даёт универсальный способ построения оценок и при выполнении условий регулярности обладает оптимальными асимптотическими свойствами: состоятельностью, асимптотической нормальностью и эффективностью. Оценка максимального правдоподобия инвариантна относительно взаимно однозначных преобразований параметра.

Метод требует решения оптимизационной задачи, что может быть сложнее, чем другие подходы, но в большинстве практических ситуаций это не является серьёзным препятствием. На практике часто используют логарифмирование для упрощения вычислений.

В стандартных моделях, таких как биномиальное и нормальное распределения, оценки максимального правдоподобия совпадают с оценками метода моментов. Однако в более сложных ситуациях, например для равномерного распределения, результаты могут различаться, и метод максимального правдоподобия часто оказывается предпочтительнее.

---

7. Ссылки

• Метод моментов
• Информационная матрица Фишера
• Состоятельность и асимптотическая нормальность
• Функция правдоподобия