第六章数理统计的基本概念

6.1 总体、样本与统计量

总体与样本

总体（population）：被研究对象的全体。
- 例：全国人口的年龄；某大学全体在校学生每周的运动时长。
样本（sample）：总体的一个具有代表性的子集。
- 例：通过随机抽样、分层抽样等方式从总体中选出的一组个体。
总体（population）：一个概率分布，它给出了待研究的随机现象中我们所关心的某个或某些定量特征的统计规律。
- $F(x)$ $p(x)$ $f(x)$ $X$ 。
- 通常未知或仅部分已知。
样本（sample）：关于总体的具有代表性的数据，用于对总体进行统计推断。

简单随机样本

$X$ $X_1,\ldots,X_n$ $X$ $X$ 的一个简单随机样本。
$n$ $X_1,\ldots,X_n$ 的样本容量（size）。
通常，可通过对相应的随机现象进行独立重复观测来获取。
$x_1,\ldots,x_n$ （样本值）。但在用概率论对统计方法的性能进行分析时，需要将样本作为随机变量来处理。
本课程中所提到的样本均指简单随机样本。

统计量(Statistic)

$X_1,\ldots,X_n$ ，统计量就是样本的一个函数

g (X_{1}, \dots, X_{n}) .

$X_1,\ldots,X_n$ 的取值，就能算出统计量相应的取值。
- 统计量不应依赖于未知的总体。
在绝大多数常用的数理统计方法中，都会先构造一个合适的统计量，然后通过统计量在某个样本上的取值来推断总体的特征。
样本均值（sample mean）：

\overset{―}{X} = {\overset{―}{X}}_{n} = \frac{1}{n} \sum_{i = 1}^{n} X_{i} .

样本方差（sample variance）：

S^{2} = S_{n}^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (X_{i} - \overset{―}{X})^{2} .

样本矩（sample moment）：

\frac{1}{n} \sum_{i = 1}^{n} X_{i}^{k} .

经验分布函数（empirical cumulative distribution function）：

{\hat{F}}_{n} (x) = \frac{1}{n} \sum_{i = 1}^{n} 1_{{X_{i} \leq x}}, x \in R .

$x$ 给出一个统计量。
$x$ ，都有

{\hat{F}}_{n} (x) \overset{a.s.}{\to} F (x) .

6.2 重要抽样分布

抽样分布(Sampling Distribution)

统计量的分布被称为抽样分布。
$X$ $\mathcal{N}(\mu,\sigma^2)$ $X_1,\ldots,X_n$ $X$ $\overline{X}$ 服从正态分布

\overset{―}{X} \sim N (μ, \frac{σ^{2}}{n}) .

$X$ $\mu$ $\sigma^2$ $X_1,\ldots,X_n$ $X$ $n$ $\overline{X}$ 近似服从正态分布

\overset{―}{X} \dot{\sim} N (μ, \frac{σ^{2}}{n}) .

$\chi^2$ 分布 (卡⽅分布)

$X$ 的 p.d.f. 为

f_{X} (x) = {\begin{cases} \frac{1}{2^{n / 2} Γ (\frac{n}{2})} x^{\frac{n}{2} - 1} e^{- x / 2}, & x > 0, \\ 0, & x \leq 0, \end{cases}

$X$ 服从 $n$ $\chi^2$ 分布。

记号：

X \sim χ^{2} (n) 或 X \sim χ_{n}^{2} .

定理. $X_1,\ldots,X_n$ $\mathcal{N}(0,1)$ ，则

Y = X_{1}^{2} + \dots + X_{n}^{2}

$n$ $\chi^2$ 分布。

推论. $X_1,\ldots,X_n$ $X_i$ $\mathcal{N}(\mu_i,\sigma_i^2)$ ，则

Y = \sum_{i = 1}^{n} \frac{(X_{i} - μ_{i})^{2}}{σ_{i}^{2}}

$n$ $\chi^2$ 分布。

定理. $X_1,\ldots,X_n$ $\mathcal{N}(\mu,\sigma^2)$ ，令

\overset{―}{X} = \frac{1}{n} \sum_{i = 1}^{n} X_{i}, S^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (X_{i} - \overset{―}{X})^{2} .

则：

$\overline{X}$ $S^2$ 相互独立；
随机变量

Y = \frac{(n - 1) S^{2}}{σ^{2}} = \frac{1}{σ^{2}} \sum_{i = 1}^{n} (X_{i} - \overset{―}{X})^{2}

$n-1$ $\chi^2$ 分布。

该结论可用于正态总体方差的区间估计与假设检验。

重要抽样分布：t 分布

$X$ 的 p.d.f. 为

f_{X} (x) = \frac{Γ (\frac{n + 1}{2})}{\sqrt{n π} Γ (\frac{n}{2})} {(1 + \frac{x^{2}}{n})}^{- \frac{n + 1}{2}}, x \in R,

$X$ 服从 $n$ $t$ 分布。

记号：

X \sim t (n) 或 X \sim t_{n} .

定理. 设

X \sim N (0, 1), Y \sim χ^{2} (n),

$X$ $Y$ 相互独立，则

\frac{X}{\sqrt{Y / n}} \sim t (n) .

推论. $X_1,\ldots,X_n$ $\mathcal{N}(\mu,\sigma^2)$ 的一个样本，则

T = \frac{\overset{―}{X} - μ}{\sqrt{S^{2} / n}} \sim t (n - 1) .

该结论可用于对方差未知的正态总体的期望进行区间估计或假设检验。

注：该推论不能直接推广到非正态总体的大样本上。

重要抽样分布：F 分布

$X$ 的 p.d.f. 为

f_{X} (x) = {\begin{cases} \frac{Γ (\frac{n_{1} + n_{2}}{2})}{Γ (\frac{n_{1}}{2}) Γ (\frac{n_{2}}{2})} {(\frac{n_{1}}{n_{2}})}^{n_{1} / 2} x^{\frac{n_{1}}{2} - 1} {(1 + \frac{n_{1}}{n_{2}} x)}^{- \frac{n_{1} + n_{2}}{2}}, & x > 0, \\ 0, & x \leq 0, \end{cases}

$X$ 服从 $(n_1,n_2)$ $F$ 分布。

记号：

X \sim F (n_{1}, n_{2}) .

定理. 设

U \sim χ^{2} (n_{1}), V \sim χ^{2} (n_{2}),

$U$ $V$ 相互独立，则

F = \frac{U / n_{1}}{V / n_{2}} \sim F (n_{1}, n_{2}) .

推论. $X\sim F(n_1,n_2)$ ，则

\frac{1}{X} \sim F (n_{2}, n_{1}) .

推论. $X_1,\ldots,X_{n_1}$ $\mathcal{N}(\mu_1,\sigma_1^2)$ $S_1^2$ $Y_1,\ldots,Y_{n_2}$ $\mathcal{N}(\mu_2,\sigma_2^2)$ $S_2^2$ 。两个样本相互独立，则

\frac{S_{1}^{2} / σ_{1}^{2}}{S_{2}^{2} / σ_{2}^{2}} \sim F (n_{1} - 1, n_{2} - 1) .

该结论可用于对两个正态总体的方差进行区间估计或假设检验。

上分位数

在实践中，很少直接用到这三个抽样分布的 p.d.f.，也无须记住它们的表达式。
在实践中主要使用这些抽样分布的上分位数。

定义. $X$ $f(x)$ $f(x)$ $0$ $0$ $0<\alpha<1$ ，称满足等式

P (X > r) = \int_{r}^{+ \infty} f (x) d x = α

$r$ $\alpha$ 分位数 $1-\alpha$ quantile）。

重要抽样分布的上分位数

$\mathcal{N}(0,1)$ ：
记号：

z_{α} = Φ^{- 1} (1 - α) .

对称性：

z_{1 - α} = - z_{α} .

$\chi^2(n)$ ：
记号：

χ_{α}^{2} (n) .

$t$ $t(n)$ ：
记号：

t_{α} (n) .