Метод моментов для построения статистических оценок

Метод моментов

1. Постановка задачи

Имеется выборка $X_{1}, \dots, X_{n}$ из независимых одинаково распределённых случайных величин. Распределение известно с точностью до конечного числа неизвестных параметров $θ_{1}, \dots, θ_{m}$ , принадлежащих параметрическому множеству $Θ \subset R^{m}$ . Требуется построить оценки этих параметров.

Ранее оценки подбирались интуитивно: для математического ожидания использовалось выборочное среднее, для дисперсии - выборочная дисперсия. Такой подход работает, но не является общим. Желательно иметь технологию, позволяющую строить оценки для произвольных параметров, не опираясь каждый раз на удачную догадку. Одним из таких методов является метод моментов.

2. Интуиция метода

Выборочное среднее

\overset{x}{ˉ} = \frac{1}{n} i = 1 \sum n x_{i}

является несмещённой, состоятельной и асимптотически нормальной оценкой математического ожидания $E [X]$ . Выборочный второй момент

\overline{x^{2}} = \frac{1}{n} i = 1 \sum n x_{i}^{2}

является несмещённой и состоятельной оценкой $E [X^{2}]$ . Вообще, $k$ -й выборочный момент

\overline{x^{k}} = \frac{1}{n} i = 1 \sum n x_{i}^{k}

является хорошей оценкой теоретического момента $E [X^{k}]$ .

Теоретические моменты зависят от параметров распределения. Если распределение задано параметрами $θ_{1}, \dots, θ_{m}$ , то

E_{θ} [X^{k}] = f_{k} (θ_{1}, \dots, θ_{m})

где $f_{k}$ - некоторая функция. Если приравнять теоретические моменты к их выборочным оценкам, получится система уравнений на неизвестные параметры. Решение этой системы даст оценки параметров.

3. Формальная конструкция

Пусть $X_{1}, \dots, X_{n}$ - выборка из распределения с неизвестными параметрами $θ_{1}, \dots, θ_{m}$ . Для $k = 1, \dots, m$ определяются функции

f_{k} (θ_{1}, \dots, θ_{m}) = E_{θ} [X^{k}]

Составляется система уравнений:

⎩ ⎨ ⎧ f_{1} (θ_{1}, \dots, θ_{m}) = \overset{x}{ˉ}, f_{2} (θ_{1}, \dots, θ_{m}) = \overline{x^{2}}, ⋮ f_{m} (θ_{1}, \dots, θ_{m}) = \overline{x^{m}}

Система содержит $m$ уравнений с $m$ неизвестными. Она может не иметь решений или иметь несколько решений. Поэтому накладывается условие: отображение $(f_{1}, \dots, f_{m})$ должно быть взаимно однозначным и взаимно непрерывным. При выполнении этого условия решение существует и единственно.

Единственное решение обозначается через $\hat{θ}_{n, 1}, \dots, \hat{θ}_{n, m}$ . Эти величины называются оценками, полученными методом моментов.

На практике вместо моментов $X^{k}$ можно использовать другие характеристики, например дисперсию, если они являются функциями параметров и для них есть хорошие выборочные оценки. Общая схема остаётся той же: приравниваются теоретические характеристики к выборочным и решается система.

4. Состоятельность оценок

Почему оценки, полученные методом моментов, являются состоятельными? Рассмотрим случай $m = 1$ . Тогда система сводится к одному уравнению:

f_{1} (θ) = \overset{x}{ˉ}

По определению $f_{1} (θ) = E_{θ} [X]$ . Известно, что выборочное среднее сходится по вероятности к математическому ожиданию:

\overset{x}{ˉ} P f_{1} (θ)

Если $f_{1}$ взаимно однозначна и непрерывна, то обратное отображение $f_{1}^{- 1}$ также непрерывно. Применяя $f_{1}^{- 1}$ к обеим частям, получается

f_{1}^{- 1} (\overset{x}{ˉ}) P f_{1}^{- 1} (f_{1} (θ)) = θ

Следовательно, оценка $\hat{θ} = f_{1}^{- 1} (\overset{x}{ˉ})$ состоятельна.

В многомерном случае рассуждение аналогично. Выборочные моменты сходятся по вероятности к теоретическим. Если отображение $(f_{1}, \dots, f_{m})$ взаимно однозначно и взаимно непрерывно, то решение системы сходится по вероятности к истинным параметрам. Таким образом, метод моментов автоматически даёт состоятельные оценки при выполнении условий на отображение моментов.

Следует отметить, что состоятельность не гарантирует оптимальность по другим критериям, например по эффективности. Но она уже является важным свойством.

5. Примеры

5.1. Биномиальное распределение

Пусть $X \sim Bin (k, θ)$ , где $k$ - известное натуральное число, $θ$ - неизвестный параметр, $0 \leq θ \leq 1$ . Биномиальная случайная величина описывает число успехов в $k$ независимых испытаниях с вероятностью успеха $θ$ .

Математическое ожидание:

E [X] = k θ

В данном случае $m = 1$ , поэтому система состоит из одного уравнения. Функция $f_{1} (θ) = k θ$ . Уравнение метода моментов:

k θ = \overset{x}{ˉ}

Отсюда оценка:

\hat{θ} = \frac{x ˉ}{k}

Оценка не равна $\overset{x}{ˉ}$ , так как необходимо учитывать известный параметр $k$ . Если бы $k$ не был известен, задача усложнилась бы.

5.2. Нормальное распределение

Пусть $X \sim N (θ_{1}, θ_{2}^{2})$ , где $θ_{1}$ - математическое ожидание, $θ_{2}^{2}$ - дисперсия. Здесь $m = 2$ .

Первый момент:

E [X] = θ_{1}

Второй момент вычисляется через дисперсию и математическое ожидание:

E [X^{2}] = Var (X) + (E [X])^{2} = θ_{1}^{2} + θ_{2}^{2}

Система метода моментов:

{θ_{1} = \overset{x}{ˉ}, θ_{1}^{2} + θ_{2}^{2} = \overline{x^{2}}

Из первого уравнения сразу получается:

\hat{θ}_{1} = \overset{x}{ˉ}

Подстановка во второе уравнение даёт:

θ_{2}^{2} = \overline{x^{2}} - \overset{x}{ˉ}^{2}

Следовательно,

\hat{θ}_{2}^{2} = \overline{x^{2}} - \overset{x}{ˉ}^{2}

Это выражение является выборочной дисперсией, что согласуется с интуицией.

5.3. Равномерное распределение

Пусть $X \sim U (0, θ)$ , где $θ > 0$ - неизвестный правый конец отрезка. Плотность равна $1/ θ$ на $[0, θ]$ и нулю вне отрезка.

Математическое ожидание равномерной на $[0, θ]$ величины равно середине отрезка:

E [X] = \frac{θ}{2}

Уравнение метода моментов:

\frac{θ}{2} = \overset{x}{ˉ}

Отсюда:

\hat{θ} = 2 \overset{x}{ˉ}

В этом примере оценка строится через выборочное среднее, а не через максимум выборки. Такая оценка состоятельна, хотя, возможно, не является самой эффективной.

6. Заключение

Метод моментов заключается в приравнивании теоретических моментов к выборочным и решении полученной системы относительно неизвестных параметров. Если отображение, задаваемое моментами, взаимно однозначно и взаимно непрерывно, решение существует, единственно и является состоятельной оценкой.

Достоинства метода - простота и автоматическая состоятельность оценок. Недостатки - отображение моментов не всегда взаимно однозначно, система может не иметь решений или иметь несколько, а полученные оценки могут быть неэффективными.

Метод моментов является одним из базовых подходов к построению оценок. Другим распространённым подходом является метод максимального правдоподобия, который будет рассмотрен отдельно.

Структура

Метод моментов для построения статистических оценок