第七章参数估计I: 点估计

引言

问题描述

总体的分布未知，但已知它属于某个分布族

{F (\cdot; θ) ∣ θ \in Θ},

$F(\,\cdot\,;\theta)$ $\theta$ $\Theta$ $\theta$ $F(x;\theta)$ 。

$f(\,\cdot\,;\theta)$ $p(\,\cdot\,;\theta)$ 来表示参数化的分布。
$\theta$ 可以是实数，也可以是有限维实向量。
目标： $X_1,\ldots,X_n$ $\theta$ 进行估计。
$g(\theta)$ $g$ 是一个已知函数。

两类参数估计任务：点估计与区间估计

点估计（point estimation）：
- 只需要对未知参数给出单个值的估计，任务就完成了。
区间估计（interval estimation）：
- 我们希望找到一个区间（这个区间依赖于样本的具体取值），使得该区间能够以比较大的概率覆盖住真实参数。

7.1. 点估计问题

点估计量

在点估计问题中，需要构造一个统计量，用来对未知参数进行单值估计。
这个统计量被称为点估计量或点估计器（point estimator）。
$\theta$ ，则通常用

\hat{θ} = \hat{θ} (X_{1}, \dots, X_{n})

表示它的一个点估计量。

$x_1,\ldots,x_n$ 以后，将它们代入点估计量中，即得到相应的点估计值

\hat{θ} (x_{1}, \dots, x_{n}) .

例：正态总体期望的点估计

$\mathcal{N}(\mu,\sigma^2)$ $\sigma^2$ $\mu$ 未知。
$\mu$ 的一个标准点估计量为样本均值：

\hat{μ} = \overset{―}{X} = \frac{1}{n} \sum_{i = 1}^{n} X_{i} .

$n\to\infty$ $\mu$ 的真实值。
该点估计量在方差未知时依然适用。

例：正态总体方差的点估计

$\mathcal{N}(\mu,\sigma^2)$ $\mu$ $\sigma^2$ 均未知。
$\sigma^2$ 的一个标准点估计量为样本方差：

\hat{σ^{2}} = S^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (X_{i} - \overset{―}{X})^{2} .

$n\to\infty$ $\sigma^2$ 的真实值。
$1/(n-1)$ $1/n$ ，即

\tilde{σ^{2}} = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \overset{―}{X})^{2} .

7.2. 点估计⽅法的评价

频率学派 vs. ⻉叶斯学派

频率学派（frequentist approach）： $\theta$ 是确定性的量，而非随机变量。
- $\theta$ $\theta$ 属于一个确定性集合的概率。
贝叶斯学派（Bayesian approach）： $\theta$ 是一个随机变量。
- $\theta$ 先按照一个先验分布（prior distribution）随机生成。
- $\theta$ 的条件分布，即后验分布（posterior distribution）。

偏差与均⽅误差

$n$ ，令

\hat{θ} = \hat{θ} (X_{1}, \dots, X_{n})

$\theta$ 的一个点估计量。

$\widehat{\theta}$ 的偏差（bias）被定义为

b_{θ} (\hat{θ}) = E_{θ} [\hat{θ} (X_{1}, \dots, X_{n})] - θ .

$\widehat{\theta}$ 的均方误差（mean square error，MSE）被定义为

{MSE}_{θ} (\hat{θ}) = E_{θ} [{(\hat{θ} (X_{1}, \dots, X_{n}) - θ)}^{2}] .

$\theta$ 的取值。
- $\theta$ 的取值是未知的，因此有必要考察在所有可能的参数取值下，点估计量的偏差与均方误差。
偏差-方差分解：

{MSE}_{θ} (\hat{θ}) = {[b_{θ} (\hat{θ})]}^{2} + {Var}_{θ} (\hat{θ}) .

在许多场合下，可以用 MSE 来衡量点估计量的好坏或性能。
- $\theta$ 取值下都比较小。
- $\theta$ 取值下都达到最小的点估计量。
$0$ 的估计量。

⽆偏估计量

定义. 设

\hat{θ} = \hat{θ} (X_{1}, \dots, X_{n})

$\theta$ 的一个点估计量。若

E_{θ} [\hat{θ} (X_{1}, \dots, X_{n})] = θ, \forall θ \in Θ,

$\widehat{\theta}$ $\theta$ 的一个无偏估计量（unbiased estimator）。

对于无偏估计量，其 MSE 就等于它的方差。
$\theta$ $\widehat{\theta}_1$ $\widehat{\theta}_2$ ，若

{Var}_{θ} ({\hat{θ}}_{1}) \leq {Var}_{θ} ({\hat{θ}}_{2}), \forall θ \in Θ,

$\theta$ $\widehat{\theta}_1$ $\widehat{\theta}_2$ 有效（more efficient）。

例：验证样本均值和样本方差的无偏性

$\mu$ $\sigma^2$ $X_1,\ldots,X_n$ 为来自该总体的简单随机样本。

样本均值

\overset{―}{X} = \frac{1}{n} \sum_{i = 1}^{n} X_{i}

$\mu$ 的无偏估计量。事实上，

\begin{aligned} E [\overset{―}{X}] & = E [\frac{1}{n} \sum_{i = 1}^{n} X_{i}] \\ = \frac{1}{n} \sum_{i = 1}^{n} E [X_{i}] \\ = \frac{1}{n} \cdot n μ = μ . \end{aligned}

样本方差

S^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (X_{i} - \overset{―}{X})^{2}

$\sigma^2$ 的无偏估计量。利用恒等式

\sum_{i = 1}^{n} (X_{i} - \overset{―}{X})^{2} = \sum_{i = 1}^{n} (X_{i} - μ)^{2} - n (\overset{―}{X} - μ)^{2},

以及

E [(X_{i} - μ)^{2}] = σ^{2}, E [(\overset{―}{X} - μ)^{2}] = Var (\overset{―}{X}) = \frac{σ^{2}}{n},

可得

\begin{aligned} E [\sum_{i = 1}^{n} (X_{i} - \overset{―}{X})^{2}] & = n σ^{2} - n \cdot \frac{σ^{2}}{n} \\ = (n - 1) σ^{2} . \end{aligned}

因此

\begin{aligned} E [S^{2}] & = E [\frac{1}{n - 1} \sum_{i = 1}^{n} (X_{i} - \overset{―}{X})^{2}] \\ = \frac{1}{n - 1} (n - 1) σ^{2} \\ = σ^{2} . \end{aligned}

$1/(n-1)$ $1/n$ 的原因之一。

点估计的相合性

定义. $\theta$ 为未知参数，

{\hat{θ}}^{(1)}, {\hat{θ}}^{(2)}, \dots, {\hat{θ}}^{(n)}, \dots

$\theta$ 的点估计量，其中

{\hat{θ}}^{(n)} = {\hat{θ}}^{(n)} (X_{1}, \dots, X_{n})

$n$ $\theta$ $n\to\infty$ 时总有

{\hat{θ}}^{(n)} \overset{P}{\to} θ,

即

lim_{n \to \infty} P_{θ} (| {\hat{θ}}^{(n)} (X_{1}, \dots, X_{n}) - θ | \leq ϵ) = 1, \forall ϵ > 0, θ \in Θ,

则称这列点估计量

{\hat{θ}}^{(1)}, {\hat{θ}}^{(2)}, \dots, {\hat{θ}}^{(n)}, \dots

是相合的（consistent）。

$n$ $\widehat{\theta}^{(n)}$ 的方法。
相合性是对一套点估计方法的最基本要求。
例：
- 样本均值对于总体期望的估计具有相合性。
- 样本方差对于总体方差的估计具有相合性。

7.3. 矩估计与最⼤似然估计

矩估计法 (Method of Moments)

$\theta_1,\ldots,\theta_k$ $(\theta_1,\ldots,\theta_k)$ $k$ 阶矩：

E_{θ_{1}, \dots, θ_{k}} [X^{j}] = μ_{j} (θ_{1}, \dots, θ_{k}), \forall j = 1, \dots, k .

$\mu_j(\theta_1,\ldots,\theta_k)$ $\theta_1,\ldots,\theta_k$ $j$ 阶矩。

$X_1,\ldots,X_n$ $k$ 阶样本矩，再解方程组

{\begin{cases} \frac{1}{n} \sum_{i = 1}^{n} X_{i} = μ_{1} ({\hat{θ}}_{1}, \dots, {\hat{θ}}_{k}), \\ \frac{1}{n} \sum_{i = 1}^{n} X_{i}^{2} = μ_{2} ({\hat{θ}}_{1}, \dots, {\hat{θ}}_{k}), \\ ⋮ \\ \frac{1}{n} \sum_{i = 1}^{n} X_{i}^{k} = μ_{k} ({\hat{θ}}_{1}, \dots, {\hat{θ}}_{k}) . \end{cases}

方程组的解

{\hat{θ}}_{j} (X_{1}, \dots, X_{n}), j = 1, \dots, k,

$\theta_1,\ldots,\theta_k$ 的矩估计量。

例：均匀分布参数的矩估计

$X$ $[\theta_1,\theta_1+\theta_2]$ $\theta_1\in\mathbb{R}$ $\theta_2>0$ 为未知参数。
$X$ 的前两阶矩为

μ_{1} (θ_{1}, θ_{2}) = E_{θ_{1}, θ_{2}} [X] = θ_{1} + \frac{θ_{2}}{2},

μ_{2} (θ_{1}, θ_{2}) = E_{θ_{1}, θ_{2}} [X^{2}] = \frac{θ_{2}^{2}}{12} + {(θ_{1} + \frac{θ_{2}}{2})}^{2} .

矩估计量所满足的方程组为

{\begin{cases} \frac{1}{n} \sum_{i = 1}^{n} X_{i} = {\hat{θ}}_{1} + \frac{{\hat{θ}}_{2}}{2}, \\ \frac{1}{n} \sum_{i = 1}^{n} X_{i}^{2} = \frac{{\hat{θ}}_{2}^{2}}{12} + {({\hat{θ}}_{1} + \frac{{\hat{θ}}_{2}}{2})}^{2} . \end{cases}

解得

{\hat{θ}}_{2} = 2 \sqrt{3} {[\frac{1}{n} \sum_{i = 1}^{n} X_{i}^{2} - {(\frac{1}{n} \sum_{i = 1}^{n} X_{i})}^{2}]}^{1 / 2},

{\hat{θ}}_{1} = \frac{1}{n} \sum_{i = 1}^{n} X_{i} - \frac{{\hat{θ}}_{2}}{2} .

最⼤似然估计(Maximum Likelihood Estimation)

$\theta_1,\ldots,\theta_k$ $f(x;\theta_1,\ldots,\theta_k)$ 为总体相应的 p.m.f. 或 p.d.f.
似然函数（likelihood function）：

L (θ_{1}, \dots, θ_{k}; x_{1}, \dots, x_{n}) = \prod_{i = 1}^{n} f (x_{i}; θ_{1}, \dots, θ_{k}) .

$x_1,\ldots,x_n$ 给定时，自变量为

(θ_{1}, \dots, θ_{k}) \in Θ

的函数。

$x=(x_1,\ldots,x_n)$ ，求出相应似然函数的最大值点：

({\hat{θ}}_{1} (x), \dots, {\hat{θ}}_{k} (x)) = \underset{(θ_{1}, \dots, θ_{k}) \in Θ}{\arg max} L (θ_{1}, \dots, θ_{k}; x) .

将样本代入后得到的

{\hat{θ}}_{j} (X_{1}, \dots, X_{n})

$\theta_j$ 的最大似然估计量（maximum likelihood estimator，MLE）。

$\theta_1,\ldots,\theta_k$ $f(x;\theta_1,\ldots,\theta_k)$ 为总体相应的 p.m.f. 或 p.d.f.
对数似然函数（log-likelihood function）：

\ln L (θ_{1}, \dots, θ_{k}; x_{1}, \dots, x_{n}) = \sum_{i = 1}^{n} \ln f (x_{i}; θ_{1}, \dots, θ_{k}) .

对数似然函数的最大值点通常更好求。

$\theta_1,\ldots,\theta_k$ $(\theta_1,\ldots,\theta_k)$ 可微，则可以求解对数似然方程（log-likelihood equation）来求似然函数最大值点：

\frac{\partial \ln L (θ_{1}, \dots, θ_{k}; x)}{\partial θ_{j}} = 0, j = 1, \dots, k .

例：伯努利分布参数的最⼤似然估计

$p\in[0,1]$ $p$ 未知。
分布列可以表示为

f (x; p) = p^{x} (1 - p)^{1 - x}, x = 0, 1.

$p$ $(0,1)$ 中）为

\begin{aligned} \ln L (p; x) & = \sum_{i = 1}^{n} \ln [p^{x_{i}} (1 - p)^{1 - x_{i}}] \\ = \ln \frac{p}{1 - p} \sum_{i = 1}^{n} x_{i} + n \ln (1 - p) . \end{aligned}

对数似然方程为

\frac{d \ln L (p; x)}{d p} = \frac{1}{p (1 - p)} \sum_{i = 1}^{n} x_{i} - \frac{n}{1 - p} = 0.

解得

\hat{p} (x) = \frac{1}{n} \sum_{i = 1}^{n} x_{i} .

$p\in[0,1]$ 的最大值点。因此

\hat{p} = \frac{1}{n} \sum_{i = 1}^{n} X_{i} = \overset{―}{X} .

$p$ 的最大似然估计量就是样本均值。

例：正态分布参数的矩估计与最⼤似然估计

题目. $\mathcal{N}(\mu,\sigma^2)$ $\mu$ $\sigma^2$ $\mu$ $\sigma^2$ 的矩估计量和最大似然估计量。

解答.

1. 矩估计

正态总体的前两阶原点矩为

E [X] = μ, E [X^{2}] = μ^{2} + σ^{2} .

令总体矩等于相应的样本矩，得到

{\begin{cases} \frac{1}{n} \sum_{i = 1}^{n} X_{i} = \hat{μ}, \\ \frac{1}{n} \sum_{i = 1}^{n} X_{i}^{2} = {\hat{μ}}^{2} + \hat{σ^{2}} . \end{cases}

$\mu$ $\sigma^2$ 的矩估计量分别为

{\hat{μ}}_{MOM} = \overset{―}{X},

\begin{aligned} {\hat{σ^{2}}}_{MOM} & = \frac{1}{n} \sum_{i = 1}^{n} X_{i}^{2} - {\overset{―}{X}}^{2} \\ = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \overset{―}{X})^{2} . \end{aligned}

2. 最大似然估计

正态总体的概率密度函数为

f (x; μ, σ^{2}) = \frac{1}{\sqrt{2 π σ^{2}}} \exp [- \frac{(x - μ)^{2}}{2 σ^{2}}] .

似然函数为

L (μ, σ^{2}; x) = (2 π σ^{2})^{- n / 2} \exp [- \frac{1}{2 σ^{2}} \sum_{i = 1}^{n} (x_{i} - μ)^{2}] .

对数似然函数为

\ln L (μ, σ^{2}; x) = - \frac{n}{2} \ln (2 π) - \frac{n}{2} \ln σ^{2} - \frac{1}{2 σ^{2}} \sum_{i = 1}^{n} (x_{i} - μ)^{2} .

$\mu$ 求偏导：

\frac{\partial \ln L}{\partial μ} = \frac{1}{σ^{2}} \sum_{i = 1}^{n} (x_{i} - μ) = 0,

解得

{\hat{μ}}_{MLE} = \overset{―}{x} .

$\sigma^2$ 求偏导：

\frac{\partial \ln L}{\partial σ^{2}} = - \frac{n}{2 σ^{2}} + \frac{1}{2 (σ^{2})^{2}} \sum_{i = 1}^{n} (x_{i} - μ)^{2} = 0.

$\widehat{\mu}_{\mathrm{MLE}}=\overline{x}$ 代入，解得

{\hat{σ^{2}}}_{MLE} = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \overset{―}{x})^{2} .

所以相应的最大似然估计量为

{\hat{μ}}_{MLE} = \overset{―}{X}, {\hat{σ^{2}}}_{MLE} = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \overset{―}{X})^{2} .

综上，本题中矩估计量与最大似然估计量相同：

\hat{μ} = \overset{―}{X}, \hat{σ^{2}} = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \overset{―}{X})^{2} .

例：均匀分布参数的最⼤似然估计

题目. $[0,\theta]$ $\theta>0$ $\theta$ 的最大似然估计量。

解答. 总体的概率密度函数为

f (x; θ) = \frac{1}{θ} 1_{{0 \leq x \leq θ}} .

$x_1,\ldots,x_n$ ，似然函数为

\begin{aligned} L (θ; x_{1}, \dots, x_{n}) & = \prod_{i = 1}^{n} \frac{1}{θ} 1_{{0 \leq x_{i} \leq θ}} \\ = \frac{1}{θ^{n}} 1_{{0 \leq x_{(1)}, x_{(n)} \leq θ}}, \end{aligned}

其中

x_{(1)} = min_{1 \leq i \leq n} x_{i}, x_{(n)} = max_{1 \leq i \leq n} x_{i} .

$[0,\theta]$ 上的均匀分布，可行的参数必须满足

θ \geq x_{(n)} .

在该范围内，

L (θ; x_{1}, \dots, x_{n}) = θ^{- n}

$\theta$ 严格递减，因此似然函数在最小可行参数

\hat{θ} (x) = x_{(n)}

处取得最大值。

$\theta$ 的最大似然估计量为

{\hat{θ}}_{MLE} = X_{(n)} = max {X_{1}, \dots, X_{n}} .

矩估计与最⼤似然估计的性质

在较为宽松的条件下，矩估计量具有相合性。
在较为宽松的条件下（与矩估计相合的条件不同），最大似然估计量具有相合性。
矩估计量与最大似然估计量不一定是无偏的，但在一定条件下是渐近无偏的。
可以粗略地认为，当样本容量非常大时，最大似然估计法相较于其他具有相合性的估计方法，能够给出较小的均方误差。
这也是最大似然估计被广泛用于样本量足够大时的点估计问题的原因。

说明.

矩估计用样本矩代替总体矩。由大数定律，

\frac{1}{n} \sum_{i = 1}^{n} X_{i}^{j} \overset{P}{\to} E [X^{j}],

若由总体矩反解参数的函数连续，则由连续映射定理可得矩估计量依概率收敛于真实参数，因此具有相合性。

在可识别性、可微性等正则条件下，最大似然估计量通常满足

{\hat{θ}}_{MLE} \overset{P}{\to} θ .

进一步地，在常见正则条件下，

\sqrt{n} ({\hat{θ}}_{MLE} - θ) \overset{d}{\to} N (0, I (θ)^{- 1}),

$I(\theta)$ 为单个观测的 Fisher 信息。因此 MLE 渐近无偏，并在正则估计量中具有渐近有效性，其大样本均方误差通常较小。

本章⼩结

点估计问题的基本设定
点估计量的偏差与均方误差
- 无偏估计量、有效性
点估计方法的相合性
点估计量的构造方法
- 矩方法
- 最大似然估计

小结说明

基本设定：已知总体属于参数化分布族

{F (\cdot; θ) : θ \in Θ},

$X_1,\ldots,X_n$ $\widehat{\theta}$ $\theta$ 。

偏差与均方误差：

b_{θ} (\hat{θ}) = E_{θ} [\hat{θ}] - θ,

{MSE}_{θ} (\hat{θ}) = E_{θ} [(\hat{θ} - θ)^{2}] = b_{θ} (\hat{θ})^{2} + {Var}_{θ} (\hat{θ}) .

$\theta\in\Theta$ $\mathbb{E}_\theta[\widehat{\theta}]=\theta$ $\widehat{\theta}$ 为无偏估计量。比较无偏估计量时，方差更小者更有效。

相合性：若

{\hat{θ}}^{(n)} \overset{P}{\to} θ, n \to \infty,

则该点估计方法具有相合性。

矩方法：令样本矩等于相应总体矩，解所得方程组，从而得到未知参数的矩估计量。
最大似然估计：最大化似然函数

L (θ; x_{1}, \dots, x_{n}) = \prod_{i = 1}^{n} f (x_{i}; θ),

使观测样本出现可能性最大的参数值即为最大似然估计值。