第五章大数定律与中心极限定理

5.1. ⼏乎必然收敛与依概率收敛

随机变量的收敛⽅式

$X_1,X_2,\ldots,X_n,\ldots$ ，记

{\overset{―}{X}}_{n} = \frac{1}{n} \sum_{i = 1}^{n} X_{i}

$\overline{X}_n$ $X_1,X_2,\ldots,X_n$ 的样本均值。

$\overline{X}_1,\overline{X}_2,\ldots,\overline{X}_n,\ldots$ 的收敛情况。
随机变量是定义域为样本空间的函数，能否将函数列的收敛方式迁移到随机变量列上？
- 逐点收敛
- 一致收敛
对于概率论关心的问题都太强了。

随机变量的收敛⽅式：⼏乎必然收敛

定义. $X$ $X_1,X_2,\ldots$ 为随机变量。若

P (lim_{n \to \infty} X_{n} = X) = 1

也就是说

P ({ω \in Ω ∣ lim_{n \to \infty} X_{n} (ω) exists and equals X (ω)}) = 1

$n\to\infty$ $X_n$ 几乎必然收敛于 $X$ （converges almost surely），记为

X_{n} \overset{a.s.}{\to} X .

随机变量的收敛⽅式：依概率收敛

定义. $X$ $X_1,X_2,\ldots$ $\epsilon$ ，均有

lim_{n \to \infty} P (| X_{n} - X | \leq ϵ) = 1

$n\to\infty$ $X_n$ 依概率收敛于 $X$ （converges in probability），记为

X_{n} \overset{P}{\to} X .

两种收敛方式的关系：依概率收敛是几乎必然收敛的必要非充分条件。
证明可以不知道

5.2. ⼤数定律

$X_1,X_2,\ldots$ ，记

{\overset{―}{X}}_{n} = \frac{1}{n} \sum_{i = 1}^{n} X_{i},

$(X_n)_{n=1}^{\infty}$ $\overline{X}_n$ $n\to\infty$ 时能够收敛于一个确定性的实数。这里的“收敛”可以是几乎必然收敛或依概率收敛，也可以是概率论中其他有意义的收敛方式。

$\overline{X}_n$ 强大数定律 $\overline{X}_n$ 依概率收敛于一个实数，则相应的定理被称为一个弱大数定律（weak law of large numbers）。

Kolmogorov 强⼤数定律

定理. $X_1,X_2,\ldots$ 为一列独立同分布（i.i.d.）的随机变量。则

$\overline{X}_n$ $n\to\infty$ $\mathbb{E}|X_1|$ 存在。
$\mathbb{E}[X_1]$ $n\to\infty$ 时

{\overset{―}{X}}_{n} = \frac{1}{n} \sum_{i = 1}^{n} X_{i} \overset{a.s.}{\to} E [X_{1}] .

即样本均值几乎必然收敛于期望。

概率论中最为重要的理论结果之一。
只要求知道该定理的结论，不要求了解该定理的证明。

Feller 弱⼤数定律

定理. $X_1,X_2,\ldots$ 为一列独立同分布（i.i.d.）的随机变量。则

$\overline{X}_n$ $n\to\infty$ 时依概率收敛于一常数的充分必要条件是

lim_{x \to + \infty} x P (| X_{1} | > x) = 0, μ = lim_{n \to \infty} E [X_{1} 1_{{| X_{1} | \leq n}}] 存在 .

$n\to\infty$ 时

{\overset{―}{X}}_{n} = \frac{1}{n} \sum_{i = 1}^{n} X_{i} \overset{P}{\to} μ .

$\overline{X}_n$ $\mu$ 。

Chebyshev 弱⼤数定律

定理. $X_1,X_2,\ldots$ $\mu\in\mathbb{R}$ $C>0$ ，使

E [X_{i}] = μ 及 Var (X_{i}) \leq C .

$n\to\infty$ 时

{\overset{―}{X}}_{n} = \frac{1}{n} \sum_{i = 1}^{n} X_{i} \overset{P}{\to} μ .

即样本均值依概率收敛于期望。

• 要求掌握该定理的证明及其⽤到的数学⼯具．

Chebyshev 弱⼤数定律的证明

Markov 不等式与 Chebyshev 不等式

Markov 不等式： $X$ $t>0$ ，有

P (X \geq t) \leq \frac{E [X]}{t} .

Chebyshev 不等式： $X$ $t>0$ ，有

P (| X - E [X] | \geq t) \leq \frac{Var (X)}{t^{2}} .

证明.

注意到Markov不等式等价于

t \cdot P (X \geq t) \leq E [X], \forall t > 0,

而

t \cdot P (X \geq t) = t \cdot E [1_{{X \geq t}}] = E [t \cdot 1_{{X \geq t}}] .

$t\cdot\mathbb{P}(X\geq t)\leq\mathbb{E}[X]$ 的一个充分条件是

t \cdot 1_{{X \geq t}} \leq X .

$\omega\in\Omega$ ，则

X (ω) - t \cdot 1_{{X \geq t}} (ω) = {\begin{cases} X (ω) - t, & X (ω) \geq t, \\ X (ω), & X (ω) < t . \end{cases}

$t\cdot\mathbf{1}_{\{X\geq t\}}\leq X$ ，从而待证不等式成立。

$Y=(X-\mathbb{E}[X])^2$ ，则有

P (| X - E [X] | \geq t) = P (Y \geq t^{2}) \leq \frac{E [Y]}{t^{2}} = \frac{Var (X)}{t^{2}},

其中的不等号利用了 Markov 不等式。

证明（Chebyshev 弱大数定律）. 记

σ^{2} = Var (X_{1}), Y_{n} = \frac{1}{n} \sum_{i = 1}^{n} X_{i},

则有

E [Y_{n}] = \frac{1}{n} \sum_{i = 1}^{n} E [X_{i}] = \frac{1}{n} \sum_{i = 1}^{n} μ = μ .

$X_1,X_2,\ldots$ 的独立性，有

\begin{aligned} Var (Y_{n}) & = \frac{1}{n^{2}} Var (\sum_{i = 1}^{n} X_{i}) \\ = \frac{1}{n^{2}} \sum_{i = 1}^{n} Var (X_{i}) \\ = \frac{1}{n^{2}} \sum_{i = 1}^{n} σ^{2} = \frac{σ^{2}}{n} . \end{aligned}

则由 Chebyshev 不等式，可得

\begin{aligned} P (| \frac{1}{n} \sum_{i = 1}^{n} X_{i} - μ | > ϵ) & \leq P (| Y_{n} - μ | \geq ϵ) \\ \leq \frac{Var (Y_{n})}{ϵ^{2}} = \frac{σ^{2}}{n ϵ^{2}} . \end{aligned}

故

P (| \frac{1}{n} \sum_{i = 1}^{n} X_{i} - μ | \leq ϵ) \geq 1 - \frac{σ^{2}}{n ϵ^{2}} .

$n\to\infty$ ，即得到待证结论。

例题

大数定律的意义

事件的频率（几乎必然）收敛于概率。

独立同分布随机变量的样本均值（几乎必然）收敛于期望。

公理化概率论能够自治地对具有统计规律性的随机现象进行建模。
概率的确能够被诠释为频率的极限。
可以用样本均值去近似或估计期望。
- 许多数理统计方法最基本的思想。
- Monte Carlo 方法的基础。

5.3. 中⼼极限定理

大数定律保证了样本均值将（在某种意义下）收敛于期望而中心极限定理考虑的则是对这个收敛过程更细致的刻画即 n 足够大时，样本均值 X**n 相对于其期望的涨落情况

中⼼极限定理的⼀个经典版本

定理. $X_1,X_2,\ldots$ $\operatorname{Var}(X_1)$ 存在。记

μ = E [X_{1}], σ = \sqrt{Var (X_{1})},

以及

Z_{n} = \frac{\sum_{i = 1}^{n} (X_{i} - μ)}{σ \sqrt{n}} = \frac{\sqrt{n} ({\overset{―}{X}}_{n} - μ)}{σ} .

$z\in\mathbb{R}$ ，有

lim_{n \to \infty} P (Z_{n} \leq z) = \int_{- \infty}^{z} \frac{1}{\sqrt{2 π}} \exp (- \frac{x^{2}}{2}) d x = Φ (z) .

中⼼极限定理的含义

$X_1,X_2,\ldots,X_n$ $\mu$ $\sigma^2$ $X_i$ $n$ 足够大时，都可以将样本均值近似表示为

{\overset{―}{X}}_{n} \approx μ + \frac{σ}{\sqrt{n}} Z_{n}, Z_{n} \sim N (0, 1) .

$\sigma/\sqrt{n}$ 成正比。
若某个随机变量是由大量相互独立、幅度微小的因素叠加而成，则可将该随机变量建模为服从正态分布。

⽤中⼼极限定理近似计算概率

$X_1,X_2,\ldots,X_n$ $\mu$ $\sigma^2$ $n$ 足够大时，有

P (X_{1} + \dots + X_{n} \leq x) \approx Φ (\frac{x - n μ}{σ \sqrt{n}}),

$\Phi$ 是标准正态分布的 c.d.f.

可以认为

X_{1} + X_{2} + \dots + X_{n} \dot{\sim} N (n μ, n σ^{2}) .

$\Phi$ 的对称性

Φ (- x) = 1 - Φ (x) .

例题解答：服务器在 450 分钟内完成至少 25 个任务的概率

题目条件

设服务器任务队列中有 50 个计算任务。每个计算任务所耗费的时间是独立同分布的随机变量，且

E (X_{i}) = 20, Var (X_{i}) = 4^{2} = 16.

$X_i$ $i$ 个任务的耗时，单位为分钟。

要求估计：服务器能够在 450 分钟内完成至少 25 个计算任务的概率。

随机变量建模

若服务器在 450 分钟内完成至少 25 个任务，则说明前 25 个任务的总耗时不超过 450 分钟。

令

S_{25} = X_{1} + X_{2} + \dots + X_{25} .

则所求概率为

P (S_{25} \leq 450) .

$X_1,X_2,\ldots,X_{25}$ 独立同分布，所以

E (S_{25}) = 25 E (X_{i}) = 25 \times 20 = 500,

Var (S_{25}) = 25 Var (X_{i}) = 25 \times 16 = 400.

因此

σ_{S_{25}} = \sqrt{400} = 20.

使用中心极限定理近似

$S_{25}$ 可近似服从正态分布：

S_{25} \approx N (500, 400) .

因此

P (S_{25} \leq 450) = P (\frac{S_{25} - 500}{20} \leq \frac{450 - 500}{20}) .

计算标准化值：

\frac{450 - 500}{20} = - 2.5 .

所以

P (S_{25} \leq 450) \approx Φ (- 2.5) .

查标准正态分布表可得

Φ (- 2.5) \approx 0.0062 .

结论

因此，这台服务器能够在 450 分钟内完成至少 25 个计算任务的概率约为

0.0062

也就是约为

0.62 % .

这个概率较小，因为完成 25 个任务的平均耗时为

25 \times 20 = 500 分钟,

$2.5$ 个标准差。

⽤中⼼极限定理近似计算概率：⼆项分布情形

$S$ $(n,p)$ $n$ 足够大。
$S$ $X_1+\cdots+X_n$ $X_i$ $p$ 的伯努利分布。
$k\leq l$ $\mathbb{P}(k\leq S\leq l)$ ：

\begin{aligned} P (k \leq S \leq l) & = P (k - \frac{1}{2} \leq S \leq l + \frac{1}{2}) \\ \approx Φ (\frac{l + \frac{1}{2} - n p}{\sqrt{n p (1 - p)}}) - Φ (\frac{k - \frac{1}{2} - n p}{\sqrt{n p (1 - p)}}) . \end{aligned}

其中，第一步使用了连续性修正（continuity correction）。

$np>5$ $n(1-p)>5$ 时通常能有比较好的精确度。

例题：连续性修正

题目. $10$ $S$ 。求

P (30 \leq S \leq 40)

约等于多少？

解答. $i$ $X_i$ ，则

S = X_{1} + X_{2} + \dots + X_{10} .

由于骰子各面等可能出现，

E [X_{i}] = \frac{1 + 2 + 3 + 4 + 5 + 6}{6} = \frac{7}{2},

Var (X_{i}) = \frac{1^{2} + 2^{2} + 3^{2} + 4^{2} + 5^{2} + 6^{2}}{6} - {(\frac{7}{2})}^{2} = \frac{35}{12} .

因此

E [S] = 10 \times \frac{7}{2} = 35, Var (S) = 10 \times \frac{35}{12} = \frac{175}{6} .

由中心极限定理，可用

S \approx N (35, \frac{175}{6})

$S$ 是离散型随机变量，使用连续性修正：

P (30 \leq S \leq 40) = P (29.5 \leq S \leq 40.5) .

标准化可得

\begin{aligned} P (30 \leq S \leq 40) & \approx Φ (\frac{40.5 - 35}{\sqrt{175 / 6}}) - Φ (\frac{29.5 - 35}{\sqrt{175 / 6}}) \\ = Φ (1.0184) - Φ (- 1.0184) \\ = 2 Φ (1.0184) - 1 \\ \approx 0.6915 . \end{aligned}

所以

P (30 \leq S \leq 40) \approx 0.6915 .

⽤中⼼极限定理近似计算概率（常见分布）

习题 5.13 解答

1. 泊松分布的正态近似

设

X \sim P (λ), λ = 100.

泊松分布满足

E (X) = λ = 100,

Var (X) = λ = 100.

$\lambda$ 较大时，可以用正态分布近似泊松分布：

X \approx N (100, 100) .

要求

P (X \geq 120) .

$X$ 是离散型随机变量，使用连续性修正：

P (X \geq 120) = P (X \geq 119.5) .

于是

P (X \geq 120) \approx P (Z \geq \frac{119.5 - 100}{10}) = P (Z \geq 1.95) .

因此

P (X \geq 120) \approx 1 - Φ (1.95) .

查标准正态分布表：

Φ (1.95) \approx 0.9744 .

所以

P (X \geq 120) \approx 1 - 0.9744 = 0.0256 .

即

P (X \geq 120) \approx 0.0256 .

2. 负二项分布的正态近似

题中给出

P (X = k) = (\binom{k - 1}{r - 1}) p^{r} (1 - p)^{k - r}, k = r, r + 1, r + 2, \dots

$X$ $r$ 次成功时所需的试验总次数。

其均值和方差为

E (X) = \frac{r}{p},

Var (X) = \frac{r (1 - p)}{p^{2}} .

已知

r = 50, p = \frac{1}{5}, q = 1 - p = \frac{4}{5} .

所以

E (X) = \frac{50}{1 / 5} = 250,

Var (X) = \frac{50 \cdot (4 / 5)}{(1 / 5)^{2}} = 1000.

因此

X \approx N (250, 1000) .

要求

P (220 \leq X \leq 280) .

使用连续性修正：

P (220 \leq X \leq 280) = P (219.5 \leq X \leq 280.5) .

标准化得

P (220 \leq X \leq 280) \approx P (\frac{219.5 - 250}{\sqrt{1000}} \leq Z \leq \frac{280.5 - 250}{\sqrt{1000}}) .

计算两个标准化值：

\frac{219.5 - 250}{\sqrt{1000}} \approx - 0.96,

\frac{280.5 - 250}{\sqrt{1000}} \approx 0.96 .

所以

P (220 \leq X \leq 280) \approx Φ (0.96) - Φ (- 0.96) .

利用对称性：

Φ (- 0.96) = 1 - Φ (0.96) .

于是

Φ (0.96) - Φ (- 0.96) = 2 Φ (0.96) - 1.

查表得

Φ (0.96) \approx 0.8315 .

因此

P (220 \leq X \leq 280) \approx 2 \times 0.8315 - 1 = 0.6630 .

即

P (220 \leq X \leq 280) \approx 0.6630 .

3. Gamma 分布的正态近似

设

X \sim Γ (α, β), α = 40, β = \frac{1}{2} .

$\beta$ 理解为率参数，即

E (X) = \frac{α}{β},

Var (X) = \frac{α}{β^{2}} .

因此

E (X) = \frac{40}{1 / 2} = 80,

Var (X) = \frac{40}{(1 / 2)^{2}} = 160.

$\alpha$ 较大时，Gamma 分布可以用正态分布近似：

X \approx N (80, 160) .

要求

P (X \leq 70) .

标准化：

P (X \leq 70) \approx P (Z \leq \frac{70 - 80}{\sqrt{160}}) .

计算：

\frac{70 - 80}{\sqrt{160}} \approx - 0.79 .

所以

P (X \leq 70) \approx Φ (- 0.79) .