第⼋章参数估计 II：区间估计

8.1. 区间估计与置信区间

区间估计(Interval Estimation)

$\theta\in\mathbb{R}$ 为总体的未知参数。
目标：构造一个区间

[\underset{―}{θ}, \overset{―}{θ}],

$\theta$ $\theta$ ：

P_{θ} ([\underset{―}{θ}, \overset{―}{θ}] ∋ θ) \geq 1 - α, \forall θ .

$\alpha\in(0,1)$ $\alpha=0.05$ 。
满足上述目标的随机区间

[\underset{―}{θ}, \overset{―}{θ}]

$\theta$ $1-\alpha$ 的置信区间（confidence interval）。

$\overline{\theta}$ ：置信上限；
$\underline{\theta}$ ：置信下限。

置信区间

P_{θ} ([\underset{―}{θ}, \overset{―}{θ}] ∋ θ) \geq 1 - α, \forall θ .

$1-\alpha$ 反映了区间估计的可靠性。
置信区间的宽度

\overset{―}{θ} - \underset{―}{θ}

反映了区间估计的准确度。

通常，我们先取定一个置信水平，再在保证置信水平的前提下，尽量让置信区间具有更窄的宽度。

单侧置信区间

$\overline{\theta}$ ，使得

P_{θ} (θ \leq \overset{―}{θ}) \geq 1 - α

成立即可。

$\overline{\theta}$ 被称为单侧置信上界（one-sided upper confidence bound）。
$1-\alpha$ $\overline{\theta}$ 通常越小越好。
单侧置信下界 $\underline{\theta}$ 。
单侧置信区间：

(- \infty, \overset{―}{θ}] 或 [\underset{―}{θ}, + \infty) .

置信区间的统计含义

P_{θ} ([\underset{―}{θ}, \overset{―}{θ}] ∋ θ) \geq 1 - α, \forall θ .

理解置信区间的含义时需注意：
- $\theta$ 是确定性的量，这是频率学派理论的基本观点。
- 不等式中的随机性来自置信区间

[\underset{―}{θ}, \overset{―}{θ}]

的端点。

$\theta$ $\underline{\theta}$ $\overline{\theta}$ $\theta$ $\theta$ $1-\alpha$ 。

例：正态总体期望的置信区间(⽅差已知)

$\mathcal{N}(\mu,\sigma^2)$ $\mu$ $\sigma^2$ $X_1,\ldots,X_n$ ，考虑随机变量

\frac{\overset{―}{X} - μ}{σ / \sqrt{n}} .

$\mu$ $\mathcal{N}(0,1)$ 。

$\lambda\in(0,1)$ ，有

P_{μ} (- z_{(1 - λ) α} \leq \frac{\overset{―}{X} - μ}{σ / \sqrt{n}} \leq z_{λ α}) = 1 - α .

由上式可推得

P_{μ} ([\overset{―}{X} - z_{λ α} \frac{σ}{\sqrt{n}}, \overset{―}{X} + z_{(1 - λ) α} \frac{σ}{\sqrt{n}}] ∋ μ) = 1 - α .

$\mu$ $1-\alpha$ 的置信区间为

[\overset{―}{X} - z_{λ α} \frac{σ}{\sqrt{n}}, \overset{―}{X} + z_{(1 - λ) α} \frac{σ}{\sqrt{n}}] .

$\lambda=1/2$ ，可使置信区间的宽度最小，得到常用的等尾置信区间

[\overset{―}{X} - z_{α / 2} \frac{σ}{\sqrt{n}}, \overset{―}{X} + z_{α / 2} \frac{σ}{\sqrt{n}}] .

构造置信区间的枢轴量法

$\theta$ $X_1,\ldots,X_n$ 为一个样本。
构造一个枢轴量（pivotal quantity）

h (X_{1}, \dots, X_{n}; θ) .

$X_1,\ldots,X_n$ $\theta$ $\theta$ 无关。

$\theta$ $X_1,\ldots,X_n$ 为一个样本。
$h(X_1,\ldots,X_n;\theta)$ $\theta$ 无关。
$l<u$ ，使得

P_{θ} (l \leq h (X_{1}, \dots, X_{n}; θ) \leq u) = 1 - α .

$1-\alpha$ $1-\alpha$ 。
尝试将不等式

l \leq h (X_{1}, \dots, X_{n}; θ) \leq u

等价变形为

\underset{―}{θ} (X_{1}, \dots, X_{n}) \leq θ \leq \overset{―}{θ} (X_{1}, \dots, X_{n}) .

从而

P_{θ} ([\underset{―}{θ} (X_{1}, \dots, X_{n}), \overset{―}{θ} (X_{1}, \dots, X_{n})] ∋ θ) = 1 - α .

因此，待求置信区间为

[\underset{―}{θ} (X_{1}, \dots, X_{n}), \overset{―}{θ} (X_{1}, \dots, X_{n})] .

枢轴量法并非万能。对于一些复杂情况，枢轴量的构造并不简单，甚至可能找不到枢轴量。
不等式

l \leq h (X_{1}, \dots, X_{n}; θ) \leq u

不一定能等价变换为置信区间的形式，这也取决于枢轴量的具体构造。

枢轴量通常不是统计量。

存在多余参数的情形

总体存在多个未知标量参数

θ, λ_{1}, \dots, λ_{k} .

$\theta$ $\lambda_1,\ldots,\lambda_k$ 就被称为多余参数（nuisance parameters，也被译为冗余参数、干扰参数等）。
$\mathcal{N}(\mu,\sigma^2)$ $\mu$ $\sigma^2$ $\mu$ $\sigma^2$ 就是多余参数。
存在多余参数时，仍可考虑用枢轴量法构造置信区间，但要求：
1. $h(X_1,\ldots,X_n;\theta)$ 不依赖于多余参数；
2. $\theta,\lambda_1,\ldots,\lambda_k$ 的取值均无关。

8.2. 单个总体下的区间估计

8.2.1.1. 正态总体期望 μ 的估计 ‒ ⽅差已知

题目. $\mathcal{N}(\mu,\sigma^2)$ $\mu$ $\sigma^2$ $1-\alpha$ $2\varepsilon$ ，样本容量至少应为多少？

解答. $\mu$ $1-\alpha$ 的等尾置信区间为

[\overset{―}{X} - z_{α / 2} \frac{σ}{\sqrt{n}}, \overset{―}{X} + z_{α / 2} \frac{σ}{\sqrt{n}}] .

该置信区间的宽度为

(\overset{―}{X} + z_{α / 2} \frac{σ}{\sqrt{n}}) - (\overset{―}{X} - z_{α / 2} \frac{σ}{\sqrt{n}}) = 2 z_{α / 2} \frac{σ}{\sqrt{n}} .

$2\varepsilon$ ，即

2 z_{α / 2} \frac{σ}{\sqrt{n}} \leq 2 ε .

化简得

\sqrt{n} \geq \frac{z_{α / 2} σ}{ε},

从而

n \geq {(\frac{z_{α / 2} σ}{ε})}^{2} .

$n$ 必须为正整数，因此最小样本容量为

n_{min} = ⌈ {(\frac{z_{α / 2} σ}{ε})}^{2} ⌉ .

8.2.1.2. 正态总体期望 μ 的估计 ‒ ⽅差未知

总体为

N (μ, σ^{2}),

$\mu$ $\sigma^2>0$ 也是未知的多余参数。

构造枢轴量

T = \frac{\overset{―}{X} - μ}{\sqrt{S^{2} / n}} \sim t (n - 1) .

$t$ 分布的上分位数，得

P_{μ, σ^{2}} (- t_{α / 2} (n - 1) \leq \frac{\overset{―}{X} - μ}{\sqrt{S^{2} / n}} \leq t_{α / 2} (n - 1)) = 1 - α .

对不等式进行等价变形，得

P_{μ, σ^{2}} ([\overset{―}{X} - t_{α / 2} (n - 1) \sqrt{\frac{S^{2}}{n}}, \overset{―}{X} + t_{α / 2} (n - 1) \sqrt{\frac{S^{2}}{n}}] ∋ μ) = 1 - α .

$\mu$ $1-\alpha$ 的置信区间为

[\overset{―}{X} - t_{α / 2} (n - 1) \frac{S}{\sqrt{n}}, \overset{―}{X} + t_{α / 2} (n - 1) \frac{S}{\sqrt{n}}] .

例题

题目. $20$ 个灯泡，其寿命如下（单位：小时）：

\begin{array}{cccccccccc} 2266 & 1915 & 2275 & 2445 & 2232 & 2334 & 2276 & 2084 & 2195 & 1994 \\ 2306 & 1926 & 1941 & 1989 & 1591 & 2409 & 2201 & 2000 & 2396 & 1821 \end{array}

$95\%$ 的置信区间。

已知

t_{0.05} (20) = 1.7247, t_{0.025} (20) = 2.0860,

t_{0.05} (19) = 1.7291, t_{0.025} (19) = 2.0930 .

解答与分析.

$t$ 枢轴量

T = \frac{\overset{―}{X} - μ}{S / \sqrt{n}} \sim t (n - 1) .

本题中

n = 20, α = 0.05, n - 1 = 19,

所以应使用临界值

t_{α / 2} (n - 1) = t_{0.025} (19) = 2.0930 .

由样本数据计算得

\overset{―}{x} = \frac{1}{20} \sum_{i = 1}^{20} x_{i} = 2129.8,

s = \sqrt{\frac{1}{19} \sum_{i = 1}^{20} (x_{i} - \overset{―}{x})^{2}} \approx 225.7 .

$\mu$ $95\%$ 置信区间为

[\overset{―}{x} - t_{0.025} (19) \frac{s}{\sqrt{20}}, \overset{―}{x} + t_{0.025} (19) \frac{s}{\sqrt{20}}] .

误差限为

2.0930 \times \frac{225.7}{\sqrt{20}} \approx 105.63 .

因此

\begin{aligned} [2129.8 - 105.63, 2129.8 + 105.63] & \approx [2024.17, 2235.43] . \end{aligned}

$95\%$ 置信区间为

[2024.2, 2235.4] 小时 .

$95\%$ $\mu$ 。

$\sigma ^2$ 的估计（期望未知）

总体服从正态分布

N (μ, σ^{2}),

$\sigma^2$ $\mu$ 未知，是多余参数。

解答与分析.

当总体期望未知时，样本方差满足

\frac{(n - 1) S^{2}}{σ^{2}} \sim χ^{2} (n - 1) .

因此可取枢轴量

Q = \frac{(n - 1) S^{2}}{σ^{2}} .

$\alpha$ 分位数的记号，利用卡方分布的上分位数可得

P_{μ, σ^{2}} (χ_{1 - α / 2}^{2} (n - 1) \leq \frac{(n - 1) S^{2}}{σ^{2}} \leq χ_{α / 2}^{2} (n - 1)) = 1 - α .

由于各量均为正数，对不等式进行等价变形时取倒数会使不等号方向改变，从而得到

P_{μ, σ^{2}} (\frac{(n - 1) S^{2}}{χ_{α / 2}^{2} (n - 1)} \leq σ^{2} \leq \frac{(n - 1) S^{2}}{χ_{1 - α / 2}^{2} (n - 1)}) = 1 - α .

$\sigma^2$ $1-\alpha$ 的置信区间为

[\frac{(n - 1) S^{2}}{χ_{α / 2}^{2} (n - 1)}, \frac{(n - 1) S^{2}}{χ_{1 - α / 2}^{2} (n - 1)}] .

$\mu$ $\sigma^2$ 的置信区间。

$\sigma ^2$ 的估计 (期望已知)

题目. $\mathcal{N}(\mu,\sigma^2)$ $\mu$ $\sigma^2$ $\sigma^2$ 的置信区间？

解答与分析.

$\mu$ $X_i$ ，有

\frac{X_{i} - μ}{σ} \sim N (0, 1) .

$X_1,\ldots,X_n$ 相互独立，所以

\sum_{i = 1}^{n} {(\frac{X_{i} - μ}{σ})}^{2} \sim χ^{2} (n) .

因此可以选取枢轴量

Q = \frac{\sum_{i = 1}^{n} (X_{i} - μ)^{2}}{σ^{2}} \sim χ^{2} (n) .

利用卡方分布的上分位数，有

P_{σ^{2}} (χ_{1 - α / 2}^{2} (n) \leq \frac{\sum_{i = 1}^{n} (X_{i} - μ)^{2}}{σ^{2}} \leq χ_{α / 2}^{2} (n)) = 1 - α .

由于各量均为正数，等价变形得

P_{σ^{2}} (\frac{\sum_{i = 1}^{n} (X_{i} - μ)^{2}}{χ_{α / 2}^{2} (n)} \leq σ^{2} \leq \frac{\sum_{i = 1}^{n} (X_{i} - μ)^{2}}{χ_{1 - α / 2}^{2} (n)}) = 1 - α .

$\sigma^2$ $1-\alpha$ 的置信区间为

[\frac{\sum_{i = 1}^{n} (X_{i} - μ)^{2}}{χ_{α / 2}^{2} (n)}, \frac{\sum_{i = 1}^{n} (X_{i} - μ)^{2}}{χ_{1 - α / 2}^{2} (n)}] .

$n$ $n-1$ $\mu$ 。

8.3. 两个总体下的区间估计

8.3.1.1. 正态总体期望之差的估计‒ ⽅差已知

两个总体分别为

N (μ_{1}, σ_{1}^{2}) 与 N (μ_{2}, σ_{2}^{2}),

$\sigma_1^2,\sigma_2^2$ 已知。两个相互独立的样本分别为

X_{1, 1}, \dots, X_{1, n_{1}} 与 X_{2, 1}, \dots, X_{2, n_{2}} .

构造枢轴量

Z = \frac{{\overset{―}{X}}_{1} - {\overset{―}{X}}_{2} - (μ_{1} - μ_{2})}{\sqrt{σ_{1}^{2} / n_{1} + σ_{2}^{2} / n_{2}}} \sim N (0, 1) .

因此

P_{μ_{1}, μ_{2}} (- z_{α / 2} \leq \frac{{\overset{―}{X}}_{1} - {\overset{―}{X}}_{2} - (μ_{1} - μ_{2})}{\sqrt{σ_{1}^{2} / n_{1} + σ_{2}^{2} / n_{2}}} \leq z_{α / 2}) = 1 - α .

对不等式进行等价变形，得

\begin{aligned} P_{μ_{1}, μ_{2}} ([ & {\overset{―}{X}}_{1} - {\overset{―}{X}}_{2} - z_{α / 2} \sqrt{\frac{σ_{1}^{2}}{n_{1}} + \frac{σ_{2}^{2}}{n_{2}}}, \\ {\overset{―}{X}}_{1} - {\overset{―}{X}}_{2} + z_{α / 2} \sqrt{\frac{σ_{1}^{2}}{n_{1}} + \frac{σ_{2}^{2}}{n_{2}}}] ∋ μ_{1} - μ_{2}) = 1 - α . \end{aligned}

$\mu_1-\mu_2$ $1-\alpha$ 的置信区间为

[{\overset{―}{X}}_{1} - {\overset{―}{X}}_{2} - z_{α / 2} \sqrt{\frac{σ_{1}^{2}}{n_{1}} + \frac{σ_{2}^{2}}{n_{2}}}, {\overset{―}{X}}_{1} - {\overset{―}{X}}_{2} + z_{α / 2} \sqrt{\frac{σ_{1}^{2}}{n_{1}} + \frac{σ_{2}^{2}}{n_{2}}}] .

8.3.1.2. 正态总体期望之差的估计‒ 已知⽅差相同

图中讨论的情形为两个总体具有相同但未知的方差。两个总体分别为

N (μ_{1}, σ^{2}) 与 N (μ_{2}, σ^{2}),

$\sigma^2$ 是多余参数。

随机变量

{\overset{―}{X}}_{1} - {\overset{―}{X}}_{2} - (μ_{1} - μ_{2}), S_{1}^{2}, S_{2}^{2}

相互独立，且

{\overset{―}{X}}_{1} - {\overset{―}{X}}_{2} - (μ_{1} - μ_{2}) \sim N (0, σ^{2} (\frac{1}{n_{1}} + \frac{1}{n_{2}})) .

同时，

\frac{(n_{1} - 1) S_{1}^{2}}{σ^{2}} \sim χ^{2} (n_{1} - 1), \frac{(n_{2} - 1) S_{2}^{2}}{σ^{2}} \sim χ^{2} (n_{2} - 1) .

定义合并方差（pooled variance）

S_{p}^{2} = \frac{(n_{1} - 1) S_{1}^{2} + (n_{2} - 1) S_{2}^{2}}{n_{1} + n_{2} - 2} .

则

\frac{(n_{1} + n_{2} - 2) S_{p}^{2}}{σ^{2}} \sim χ^{2} (n_{1} + n_{2} - 2) .

因此可构造枢轴量

T = \frac{{\overset{―}{X}}_{1} - {\overset{―}{X}}_{2} - (μ_{1} - μ_{2})}{\sqrt{S_{p}^{2} (\frac{1}{n_{1}} + \frac{1}{n_{2}})}} \sim t (n_{1} + n_{2} - 2) .

于是

P_{μ_{1}, μ_{2}, σ^{2}} (- t_{α / 2} (n_{1} + n_{2} - 2) \leq T \leq t_{α / 2} (n_{1} + n_{2} - 2)) = 1 - α .

$\mu_1-\mu_2$ $1-\alpha$ 的置信区间为

[{\overset{―}{X}}_{1} - {\overset{―}{X}}_{2} - t_{α / 2} (n_{1} + n_{2} - 2) \sqrt{S_{p}^{2} (\frac{1}{n_{1}} + \frac{1}{n_{2}})}, {\overset{―}{X}}_{1} - {\overset{―}{X}}_{2} + t_{α / 2} (n_{1} + n_{2} - 2) \sqrt{S_{p}^{2} (\frac{1}{n_{1}} + \frac{1}{n_{2}})}] .

8.3.2. 正态总体⽅差之⽐的估计(期望未知)

两个总体分别为

N (μ_{1}, σ_{1}^{2}) 与 N (μ_{2}, σ_{2}^{2}),

$\sigma_1^2/\sigma_2^2$ $\mu_1,\mu_2$ 是多余参数。

构造枢轴量

F = \frac{S_{1}^{2} / σ_{1}^{2}}{S_{2}^{2} / σ_{2}^{2}} \sim F (n_{1} - 1, n_{2} - 1) .

$F$ 分布的上分位数，得

\begin{aligned} P (F_{1 - α / 2} (n_{1} - 1, n_{2} - 1) & \leq \frac{S_{1}^{2} / σ_{1}^{2}}{S_{2}^{2} / σ_{2}^{2}} \\ \leq F_{α / 2} (n_{1} - 1, n_{2} - 1)) = 1 - α . \end{aligned}

对不等式进行等价变形，得

P ([\frac{S_{1}^{2} / S_{2}^{2}}{F_{α / 2} (n_{1} - 1, n_{2} - 1)}, \frac{S_{1}^{2} / S_{2}^{2}}{F_{1 - α / 2} (n_{1} - 1, n_{2} - 1)}] ∋ \frac{σ_{1}^{2}}{σ_{2}^{2}}) = 1 - α .

$\sigma_1^2/\sigma_2^2$ $1-\alpha$ 的置信区间为

[\frac{S_{1}^{2} / S_{2}^{2}}{F_{α / 2} (n_{1} - 1, n_{2} - 1)}, \frac{S_{1}^{2} / S_{2}^{2}}{F_{1 - α / 2} (n_{1} - 1, n_{2} - 1)}] .

利用性质

F_{α} (n_{2}, n_{1}) = \frac{1}{F_{1 - α} (n_{1}, n_{2})},

该置信区间也可以表示为

[\frac{S_{1}^{2}}{S_{2}^{2}} F_{1 - α / 2} (n_{2} - 1, n_{1} - 1), \frac{S_{1}^{2}}{S_{2}^{2}} F_{α / 2} (n_{2} - 1, n_{1} - 1)] .

例题

题目. $9$ $1.5\text{ V}$ $0.8\text{ V}$ $0.1270$ $0.0595$ $\sigma_1^2$ $\sigma_2^2$ $\sigma_1^2/\sigma_2^2$ $95\%$ 的置信区间。

已知

F_{0.05} (9, 9) = 3.179, F_{0.05} (8, 8) = 3.438,

F_{0.025} (9, 9) = 4.026, F_{0.025} (8, 8) = 4.433 .

解答与分析.

两组样本相互独立，且总体均服从正态分布。由于

n_{1} = n_{2} = 9,

$F$ 枢轴量的两个自由度均为

n_{1} - 1 = n_{2} - 1 = 8.

取

F = \frac{S_{1}^{2} / σ_{1}^{2}}{S_{2}^{2} / σ_{2}^{2}} \sim F (8, 8) .

$95\%$ 时，

α = 0.05, \frac{α}{2} = 0.025,

故应使用临界值

F_{0.025} (8, 8) = 4.433 .

样本方差比为

\frac{s_{1}^{2}}{s_{2}^{2}} = \frac{{0.1270}^{2}}{{0.0595}^{2}} \approx 4.5559 .

由于两个自由度相同，利用

F_{1 - α / 2} (8, 8) = \frac{1}{F_{α / 2} (8, 8)},

$\sigma_1^2/\sigma_2^2$ $95\%$ 置信区间可以写为

[\frac{s_{1}^{2} / s_{2}^{2}}{F_{0.025} (8, 8)}, \frac{s_{1}^{2}}{s_{2}^{2}} F_{0.025} (8, 8)] .

代入数值得

\begin{aligned} [\frac{4.5559}{4.433}, 4.5559 \times 4.433] & \approx [1.0277, 20.1963] . \end{aligned}

因此

\frac{σ_{1}^{2}}{σ_{2}^{2}} 的 95 % 置信区间为 [1.03, 20.2] .

$1$ ，表明从这一置信区间看，A 品牌电池寿命的总体方差可能大于 B 品牌；但区间很宽，说明样本量较小时方差比估计的不确定性较大。

本章⼩结

置信区间与置信水平
枢轴量法
单个正态总体期望与方差的区间估计
两个正态总体期望之差、方差之比的区间估计

第⼋章参数估计 II：区间估计

8.1. 区间估计与置信区间

区间估计(Interval Estimation)

置信区间

单侧置信区间

置信区间的统计含义

例：正态总体期望的置信区间(⽅差已知)

构造置信区间的枢轴量法

存在多余参数的情形

8.2. 单个总体下的区间估计

8.2.1.1. 正态总体期望 μ 的估计 ‒ ⽅差已知

8.2.1.2. 正态总体期望 μ 的估计 ‒ ⽅差未知

例题

8.2.2. 正态总体⽅差 σ2\sigma ^2 的估计（期望未知）

练习：正态总体⽅差σ2\sigma ^2 的估计 (期望已知)

8.3. 两个总体下的区间估计

8.3.1.1. 正态总体期望之差的估计‒ ⽅差已知

8.3.1.2. 正态总体期望之差的估计‒ 已知⽅差相同

8.3.2. 正态总体⽅差之⽐的估计(期望未知)

例题

本章⼩结

$\sigma ^2$ 的估计（期望未知）

$\sigma ^2$ 的估计 (期望已知)