第九章 假设检验

9.1. 假设检验的问题设定与流程

什么是假设?

H:θ∈Θ0,

而后设计数理统计方法对这个假设进行检验。

假设的例⼦

H:μ=μ0

表示“总体服从 N(μ0,σ2)”。这是一个简单假设。

H:μ=μ0,σ2>0

表示“总体服从期望为 μ0 的某个正态分布”。这是一个复合假设。

H:μ∈R,σ2≥σ02

表示“总体服从方差不小于 σ02 的某个正态分布”。这是一个复合假设。

原假设与备择假设

H0:θ∈Θ0vs.H1:θ∈Θ1.

其中:

假设检验的基本流程

H0:θ=θ0vs.H1:θ∈Θ1.
  1. 设计检验统计量(test statistic)

T=ϕ(X1,…,Xn).
  1. 获取一份样本值 x1,…,xn,并计算

t=ϕ(x1,…,xn).
  1. 计算 p 值(p-value):

p^=Pθ0(T≥t)=Pθ0(ϕ(X1,…,Xn)≥t).

其含义是:若再从总体获取一份新样本,在原假设成立的情况下,新样本与已有样本相比同等极端或更加极端的概率是多少。

  1. 根据 p 值大小做出结论:

    • p 值非常小:在 H0 成立时,产生与已有样本相比同样极端或更加极端的样本是小概率事件。依小概率原理,可以认为获取到的样本值相对于 H0 发生了显著偏离,因此该样本值为否定原假设提供了统计上显著的证据。

    • p 值并非很小:获取到的样本值不能为否定 H0 提供统计上显著的证据。

      • 这不意味着有充分证据支持 H0 成立。

常用的 p 值证据强度参考如下:

p-value对反对 H0 的证据
p<0.01非常强的证据
0.01≤p<0.05强证据
0.05≤p<0.10较弱证据
p≥0.10很少或没有证据
  1. 有时我们需要在 H0 与 H1 之间做出明确选择。

    • 事先设定一个很小的 α>0 作为显著性水平(significance level)。

    • 若 p 值小于 α,则拒绝原假设;否则不拒绝原假设。

    • 常见的显著性水平为

α=0.01或α=0.05.

实际报告中通常应给出具体的 p 值,并说明在选定显著性水平下是否拒绝 H0,而不宜简单表述为“接受 H0”。

例题

H0:μ=μ0vs.H1:μ>μ0.
Z=X―−μ0σ/n.

在 H0 成立时,

Z∼N(0,1).
z=x―−μ0σ/n.

由于备择假设为 μ>μ0,较大的 Z 值更支持 H1,因此 p 值为右尾概率

p^=Pμ0(Z≥z)=1−Φ(z).
1−Φ(z)<α,

等价地,

z>zα.

因此,该右侧 Z 检验的拒绝域为

X―−μ0σ/n>zα.

双侧检验(Two-Sided Test)

H0:θ∈Θ0与H1:θ∈Θ1,

若 Θ1 相对于 Θ0 既包含正向的偏离,也包括负向的偏离,则通常会采用双侧检验统计量。

p^=2min{Pθ0(T≥t),Pθ0(T≤t)}.
Pθ0(T≥t)和Pθ0(T≤t)

二者中有一个值很小,就认为样本值为否定原假设提供了统计上显著的证据。

若双侧检验统计量 T 在原假设 H0 下服从关于原点对称的连续型分布,则

Pθ0(T≥x)=Pθ0(T≤−x),∀x∈R.

因此,两侧同等或更加极端的总概率为较小单侧尾概率的两倍。此时,用 T 进行双侧检验与用 |T| 进行单侧检验会给出相同的结果。

例题

H0:μ=μ0vs.H1:μ≠μ0.
Z=X―−μ0σ/n.

在 H0 成立时,

Z∼N(0,1).
z=x―−μ0σ/n.

由于标准正态分布关于原点对称,双侧 p 值为

p^=2min{Pμ0(Z≥z),Pμ0(Z≤−z)}=2(1−Φ(|z|)).
2(1−Φ(|z|))<α,

等价地,

|z|>zα/2.

因此,该双侧 Z 检验的拒绝域为

|X―−μ0σ/n|>zα/2.

9.2. Neyman‒Pearson 理论简介

假设检验的拒绝域法

第 I 类错误与第 II 类错误

在 Neyman-Pearson 理论中,我们用如下指标评价检验统计量的好坏:

原假设为复合假设的场合

H0:θ∈Θ0vs.H1:θ∈Θ1

本课程只考虑两种原假设为复合假设的场合:

9.3. 单个总体下的假设检验

正态总体期望的检验 (⽅差已知)

image-20260615093043423

检验方法汇总

记

Z=X―−μ0σ/n,z=x―−μ0σ/n,

其中 Z 为检验统计量,z 为根据样本观测值计算得到的统计量取值。

原假设 H0备择假设 H1检验统计量拒绝域p 值
μ=μ0 μ>μ0 Z=X―−μ0σ/n z>zα 1−Φ(z)
μ=μ0 μ<μ0 Z=X―−μ0σ/n z<−zαΦ(z)
μ=μ0 μ≠μ0 Z=X―−μ0σ/n |z|>zα/22[1−Φ(|z|)]

推导解析

设 X1,…,Xn 是来自总体 N(μ,σ2) 的简单随机样本。由于

X―∼N(μ,σ2n),

当原假设 H0:μ=μ0 成立时,

Z=X―−μ0σ/n∼N(0,1).

因此,可以利用标准正态分布确定拒绝域和 p 值。这里 zα 表示标准正态分布的上 α 分位数,即

P(Z>zα)=α.
  1. 右侧检验: H1:μ>μ0

    当 μ>μ0 时,X― 倾向于偏大,因而 Z 也倾向于取较大的值。显著性水平为 α 时,临界点满足

    Pμ0(Z>zα)=α,

    所以拒绝域为 z>zα。观测到统计量值 z 后,其 p 值为右尾概率

    p=Pμ0(Z≥z)=1−Φ(z).
  2. 左侧检验: H1:μ<μ0

    当 μ<μ0 时,X― 倾向于偏小,Z 倾向于取较小的值。由标准正态分布的对称性,

    Pμ0(Z<−zα)=α,

    所以拒绝域为 z<−zα,p 值为左尾概率

    p=Pμ0(Z≤z)=Φ(z).
  3. 双侧检验: H1:μ≠μ0

    当样本均值相对于 μ0 向任一方向发生较大偏离时,都应拒绝 H0。将显著性水平 α 平分到分布两端,有

    Pμ0(|Z|>zα/2)=2Pμ0(Z>zα/2)=α.

    因此拒绝域为 |z|>zα/2。比观测值同样或更加极端,表示 |Z|≥|z|,故

    p=Pμ0(|Z|≥|z|)=2Pμ0(Z≥|z|)=2[1−Φ(|z|)].

在三种情形中,均可等价地使用判断规则:当 p<α 时拒绝原假设 H0。

image-20260615095813890

例题

 

解答与推导

总体服从正态分布

X∼N(μ,σ2),σ=0.5,

其中总体期望 μ 未知。题目要求判断真实平均强度是否等于标称值 8 千克,因此应进行双侧检验:

H0:μ=8vs.H1:μ≠8.

在 H0 成立时,样本均值满足

X―∼N(8,σ2n),

故标准化后得到检验统计量

Z=X―−8σ/n∼N(0,1).

将 n=50、 x―=7.8 和 σ=0.5 代入:

z=7.8−80.5/50=−0.2⋅500.5≈−2.8284.

因为备择假设为 μ≠8,平均强度无论显著偏高还是显著偏低,都应拒绝 H0。显著性水平 α=0.01 被平均分配到标准正态分布的两个尾部,每侧概率为

α2=0.005.

因此拒绝域为

|Z|>zα/2=z0.005=2.5758.

当前样本中

|z|=2.8284>2.5758,

所以在 1% 的显著性水平下拒绝原假设 H0,接受备择假设 H1。即有统计上显著的证据表明:

这批鱼线的平均强度与标称值 8 千克不相符。

从方向上看, x―=7.8<8 且 z<0,样本表明其平均强度可能低于标称值;但本题采用双侧检验,正式结论是“不等于 8”,而不是只检验“低于 8”。

如何确定样本容量?

功效函数

显著性水平为 α 的双侧检验使用统计量

Z=X―−μ0σ/n,

其拒绝域为

|Z|≥zα/2.

当真实期望为 μ 时,

Z=X―−μσ/n+μ−μ0σ/n∼N(n(μ−μ0)σ,1).

记

λ=n|μ−μ0|σ.

由于双侧检验关于 0 对称,其功效函数只与 |μ−μ0| 有关:

w(μ)=Pμ(|X―−μ0σ/n|≥zα/2)=Φ(−zα/2+n|μ−μ0|σ)+Φ(−zα/2−n|μ−μ0|σ).

这里 w(μ) 表示当真实参数为 μ 时正确拒绝 H0 的概率。真实期望偏离 μ0 越远,λ 越大,功效越高。

第 II 类错误概率

第 II 类错误是 H1 成立时没有拒绝 H0,故其概率为

1−w(μ)=Φ(zα/2−n|μ−μ0|σ)−Φ(−zα/2−n|μ−μ0|σ)<Φ(zα/2−n|μ−μ0|σ).

最后一个不等式来自 Φ(⋅)>0。因此,只要右侧的上界不超过 β,实际的第 II 类错误概率也一定不超过 β。

推导样本容量

要求对所有 |μ−μ0|≥δ 均有第 II 类错误概率不超过 β,一个充分条件是

Φ(zα/2−n|μ−μ0|σ)≤β,∀μ: |μ−μ0|≥δ.

当 |μ−μ0|=δ 时,上式左侧最大,因此只需令

Φ(zα/2−nδσ)≤β.

按上分位数的定义 Φ(−zβ)=β,由 Φ 单调递增可得

zα/2−nδσ≤−zβ.

整理得

nδσ≥zα/2+zβ,

从而

n≥((zα/2+zβ)σδ)2.

由于样本容量必须为整数,实际应取

n≥⌈((zα/2+zβ)σδ)2⌉.

该公式保证:当真实期望与 μ0 的偏差至少为 δ 时,检验以不低于 1−β 的概率发现这种偏差。由于推导中对第 II 类错误概率使用了上界,该样本量条件是一个略偏保守的充分条件。

正态总体期望的检验 (⽅差未知)

检验统计量的推导

由于总体服从正态分布,有

Z=n(X―−μ)σ∼N(0,1),

并且

V=(n−1)S2σ2∼χ2(n−1).

对于正态总体,样本均值 X― 与样本方差 S2 相互独立,因此 Z 与 V 相互独立。根据 t 分布的定义,

ZV/(n−1)∼t(n−1).

在 H0:μ=μ0 成立时,

ZV/(n−1)=n(X―−μ0)σ(n−1)S2/σ2n−1=n(X―−μ0)S=X―−μ0S2/n=T.

所以,在 H0 下,

T∼t(n−1).

这个分布不再含未知参数 σ2,因此可以用它完成检验。

三种检验情形

记样本观测值对应的统计量为

t=x―−μ0s2/n.
原假设 H0备择假设 H1拒绝域p 值
μ=μ0, σ2>0 μ>μ0, σ2>0 t>tα(n−1) 1−Fn−1t(t)
μ=μ0, σ2>0 μ<μ0, σ2>0 t<−tα(n−1)Fn−1t(t)
μ=μ0, σ2>0 μ≠μ0, σ2>0 |t|>tα/2(n−1)2[1−Fn−1t(|t|)]

拒绝域与 p 值的推导

自由度为 n−1 的 t 分布关于 0 对称。

  1. 当 H1:μ>μ0 时,较大的正值 t 支持备择假设。因此

    p=PH0(T≥t)=1−Fn−1t(t),

    把显著性水平 α 放在右尾,得到拒绝域

    t>tα(n−1).
  2. 当 H1:μ<μ0 时,较小的负值 t 支持备择假设。因此

    p=PH0(T≤t)=Fn−1t(t),

    把显著性水平 α 放在左尾。由对称性,拒绝域为

    t<−tα(n−1).
  3. 当 H1:μ≠μ0 时,过大的正值或过小的负值都支持备择假设。观测统计量与原点的距离为 |t|,故

    p=PH0(|T|≥|t|)=PH0(T≥|t|)+PH0(T≤−|t|)=2[1−Fn−1t(|t|)].

    将显著性水平 α 平均分到两侧,每侧为 α/2,得到拒绝域

    |t|>tα/2(n−1).

综上,方差未知时不能使用含有未知 σ 的 Z 统计量,而应使用样本标准差 S 构造 t 统计量。若 p<α,则拒绝原假设 H0;否则不能拒绝 H0。

配对 t 检验(Paired t-test)

推导解析

配对 t 检验的关键是先把每一对观测转化为一个差值:

Di=Xi−Yi.

虽然同一对中的 Xi 与 Yi 可能相关,但由于不同样本对相互独立,所以

D1,…,Dn

仍然相互独立,并且都与总体差值变量

D=X−Y

同分布。因此,配对样本问题可以化为关于差值总体 D 的单样本均值检验。

若假设

D=X−Y∼N(μD,σD2),

其中 μD 和 σD2 均未知,则有

n(D―−μD)σD∼N(0,1),

以及

(n−1)SD2σD2∼χ2(n−1).

对于正态总体,D― 与 SD2 相互独立。根据 t 分布的定义,

n(D―−μD)σD(n−1)SD2/σD2n−1=n(D―−μD)SD∼t(n−1).

在原假设 H0:μD=Δ0 下,将 μD 替换为 Δ0,便得到

T=n(D―−Δ0)SD=D―−Δ0SD2/n∼t(n−1).

因此,配对 t 检验本质上就是对差值样本

D1,…,Dn

实施单样本 t 检验。

拒绝域与 p 值

设根据样本计算出的统计量为

t=d―−Δ0sD/n.

三种备择假设对应的检验规则为:

备择假设拒绝域p 值
H1:μD>Δ0 t>tα(n−1) 1−Fn−1t(t)
H1:μD<Δ0 t<−tα(n−1)Fn−1t(t)
H1:μD≠Δ0 |t|>tα/2(n−1)2[1−Fn−1t(|t|)]

其中 Fn−1t 是自由度为 n−1 的 t 分布的累积分布函数。

为什么使用配对检验

配对数据中的两个测量通常来自同一个个体或彼此匹配的对象,例如同一受试者治疗前后的测量值。若 X 与 Y 正相关,则

Var⁡(X−Y)=Var⁡(X)+Var⁡(Y)−2Cov⁡(X,Y),

正的协方差会降低差值的方差。配对检验利用了这种一一对应关系,通常比忽略配对关系、直接采用两个独立样本检验更有效。

配对检验要求差值 Di 近似服从正态分布,而不是分别要求 Xi 和 Yi 相互独立。若要检验“配对前后没有平均变化”,通常取

Δ0=0.

例:配对 t 检验

样品123456789
方法11.1861.1511.3221.3391.2001.4021.3651.5371.559
方法21.0610.9921.0631.0621.0651.1781.0371.0861.052

令每一对观测的差值为

Di=Xi−Yi=方法1的结果−方法2的结果.

所得差值为

0.125, 0.159, 0.259, 0.277, 0.135, 0.224, 0.328, 0.451, 0.507.

假设差值总体满足

D=X−Y∼N(μD,σD2),

其中 μD 与 σD2 均未知。

原假设与备择假设为

H0:μD=0vs.H1:μD≠0.

根据样本计算得到

d―=19∑i=19di=0.2739,

以及

sD=18∑i=19(di−d―)2=0.1351.

检验统计量为

t=d―−0sD/9=0.27390.1351/3=6.0819.

在 H0 下, T∼t(8)。由于这是双侧检验且 α=0.01,拒绝域为

|t|>tα/2(n−1)=t0.005(8)=3.3554.

因为

|t|=6.0819>3.3554,

所以在 1% 的显著性水平下拒绝 H0。有显著证据表明:

两种预测方法给出的结果在平均意义上存在差别。

由于 d―>0,样本还表明方法1给出的预测结果平均高于方法2。

习题:求 μD 的一个置信水平为 99% 的置信区间

因为差值总体服从正态分布且方差未知,枢轴量为

T=D―−μDSD/n∼t(n−1).

置信水平为 99%,故

1−α=0.99,α=0.01,

双侧区间的每个尾部概率为

α2=0.005.

因此

P(−t0.005(8)≤D―−μDSD/9≤t0.005(8))=0.99.

对不等式进行等价变形:

P(D―−t0.005(8)SD9≤μD≤D―+t0.005(8)SD9)=0.99.

所以 μD 的 99% 置信区间为

[d―−t0.005(8)sD9, d―+t0.005(8)sD9].

代入 d―=0.2739、 sD=0.1351 和 t0.005(8)=3.3554:

误差限=3.3554×0.13513≈0.1511.

因此

μD 的 99% 置信区间≈[0.1228, 0.4250].

该区间完全大于 0,说明在 99% 的置信水平下,方法1的总体平均预测结果高于方法2。这与显著性水平为 1% 的双侧假设检验拒绝 H0:μD=0 的结论一致。

正态总体⽅差的检验

其中 Fn−1χ2 表示自由度为 n−1 的卡方分布的累积分布函数。

三种检验情形

原假设 H0备择假设 H1检验统计量拒绝域p 值
σ2=σ02 σ2>σ02(n−1)S2σ02 (n−1)s2σ02>χα2(n−1) 1−Fn−1χ2((n−1)s2σ02)
σ2=σ02 σ2<σ02(n−1)S2σ02 (n−1)s2σ02<χ1−α2(n−1)Fn−1χ2((n−1)s2σ02)
σ2=σ02 σ2≠σ02(n−1)S2σ02 (n−1)s2σ02>χα/22(n−1) 或 (n−1)s2σ02<χ1−α/22(n−1)2min{Fn−1χ2((n−1)s2σ02),1−Fn−1χ2((n−1)s2σ02)}

9.4. 两个总体下的假设检验

两个正态总体期望之差的检验 (⽅差已知)

H0:μ1−μ2=Δ0vs.H1:μ1−μ2≠Δ0.
Z=X―1−X―2−Δ0σ12/n1+σ22/n2.

在原假设 H0 下,

Z∼N(0,1).
|z|>zα/2.
p^=2(1−Φ(|z|)).
原假设 H0备择假设 H1检验统计量拒绝域p 值
μ1−μ2=Δ0 μ1−μ2>Δ0 Z=X―1−X―2−Δ0σ12/n1+σ22/n2 z>zα 1−Φ(z)
μ1−μ2=Δ0 μ1−μ2<Δ0 Z=X―1−X―2−Δ0σ12/n1+σ22/n2 z<−zαΦ(z)
μ1−μ2=Δ0 μ1−μ2≠Δ0 Z=X―1−X―2−Δ0σ12/n1+σ22/n2 |z|>zα/2 2(1−Φ(|z|))

 

两个正态总体期望之差的检验 (已知⽅差相等)

H0:μ1−μ2=Δ0vs.H1:μ1−μ2≠Δ0.

这是复合原假设。

T=X―1−X―2−Δ0Sp2(1/n1+1/n2).

其中

Sp2=(n1−1)S12+(n2−1)S22n1+n2−2,

称为合并方差(pooled variance)。

T∼t(n1+n2−2).
|t|>tα/2(n1+n2−2).
p^=2(1−Fn1+n2−2t(|t|)).
H0H1检验统计量拒绝域p 值
μ1−μ2=Δ0 μ1−μ2>Δ0 T=X―1−X―2−Δ0Sp2(1/n1+1/n2) t>tα(n1+n2−2) 1−Fn1+n2−2t(t)
μ1−μ2=Δ0 μ1−μ2<Δ0 T=X―1−X―2−Δ0Sp2(1/n1+1/n2) t<−tα(n1+n2−2)Fn1+n2−2t(t)
μ1−μ2=Δ0 μ1−μ2≠Δ0 T=X―1−X―2−Δ0Sp2(1/n1+1/n2) |t|>tα/2(n1+n2−2)2(1−Fn1+n2−2t(|t|))

两个正态总体⽅差的检验

H0:σ12=σ22vs.H1:σ12≠σ22.
F=S12S22.

在原假设 H0 下,

F∼F(n1−1,n2−1).
s12s22>Fα/2(n1−1,n2−1)或s12s22<F1−α/2(n1−1,n2−1).
p^=2min{1−Fn1−1,n2−1F(s12s22),Fn1−1,n2−1F(s12s22)}.
H0H1检验统计量拒绝域p 值
σ12σ22=1 σ12σ22>1 F=S12S22 s12s22>Fα(n1−1,n2−1) 1−Fn1−1,n2−1F(s12s22)
σ12σ22=1 σ12σ22<1 F=S12S22 s12s22<F1−α(n1−1,n2−1)Fn1−1,n2−1F(s12s22)
σ12σ22=1 σ12σ22≠1 F=S12S22 s12s22>Fα/2(n1−1,n2−1) 或 s12s22<F1−α/2(n1−1,n2−1)2min{Fn1−1,n2−1F(s12s22),1−Fn1−1,n2−1F(s12s22)}

 

本章小结