Основная задача математической статистики

Выборка и её происхождение

Математическая статистика занимается восстановлением вероятностных распределений по эмпирическим данным. Исходный объект - это выборка, то есть набор действительных чисел $x_1,\dots ,x_n$, полученных в результате наблюдения за некоторым процессом. Примеры процессов: количество заболевших за день, средняя температура воздуха, число бракованных деталей на производстве. Каждый раз фиксируется одно число, характеризующее процесс, и после $n$ наблюдений образуется выборка.

Сами по себе числа не несут вероятностной структуры. Чтобы появилась теория вероятностей и можно было строить статистические выводы, делается ключевое допущение: каждое число $x_i$ считается реализацией некоторой случайной величины $X_i$. Предполагается, что существует вероятностное пространство $(\Omega ,\mathcal{F},P)$, на котором определены случайные величины $X_1,\dots ,X_n$, и наблюдаемые значения есть $X_1(\omega ),\dots ,X_n(\omega )$ для некоторого элементарного исхода $\omega$.

Дополнительно принимаются два важных условия:

• Независимость случайных величин $X_1,\dots ,X_n$ в совокупности.
• Одинаковая распределённость: все $X_i$ имеют одно и то же распределение.

Эти условия позволяют применять результаты теории вероятностей, прежде всего законы больших чисел и центральную предельную теорему. Без них аппарат прошлого семестра не работает. В реальных задачах, например при анализе эпидемии, независимость может нарушаться, и тогда нужны другие модели, но в базовом курсе мы ограничиваемся случаем независимых одинаково распределённых величин.

---

Параметрическая модель

Распределение случайных величин $X_i$, как правило, известно с точностью до конечного набора неизвестных параметров. Формально: функция распределения $F(x)$ принадлежит классу $\{F_{\theta }(x):\theta \in \Theta \}$, где $\theta$ - вектор параметров, а $\Theta$ - параметрическое множество. Часто $\Theta \subset {\mathbb{R}}^m$, то есть параметр может быть многомерным.

Пример: если известно, что выборка порождена нормальным распределением, но неизвестны среднее и дисперсия, то $\theta =({\theta }_1,{\theta }_2^2)$, где ${\theta }_1\in \mathbb{R}$ - математическое ожидание, а ${\theta }_2^2>0$ - дисперсия. Тогда $\Theta =\mathbb{R}\times {\mathbb{R}}_{+}$. Параметр может быть и скалярным, например, у биномиального распределения с неизвестной вероятностью успеха $p$ или у распределения Пуассона с неизвестным средним.

Таким образом, задача сводится к оцениванию неизвестных параметров по имеющейся выборке. Мы знаем семейство распределений, но не знаем конкретное значение $\theta$.

---

Основная задача статистики

Имея выборку $x_1,\dots ,x_n$, требуется как можно точнее оценить распределение, из которого она порождена, или, в рамках параметрической модели, оценить вектор параметров $\theta$. Если распределение восстановлено достаточно хорошо, можно предсказывать поведение процесса и лучше понимать природу явления.

В течение курса выделяются три класса задач, связанных с оцениванием:

• точечные оценки параметров,
• интервальные оценки,
• проверка гипотез.

В первую очередь рассматриваются точечные оценки, то есть построение функции от выборки, которая даёт приближение неизвестного параметра. Этому посвящены следующие заметки.

---

Ссылки

• Точечные оценки
• Несмещённость и состоятельность
• Оценка математического ожидания
• Оценка дисперсии