第四章随机变量的深入内容

本章概览

本章在离散型和连续型随机变量的基础上，进一步讨论：

随机变量函数的分布；
协方差与相关系数；
矩与矩母函数；
条件分布与条件期望；
条件方差与最佳均方预测。

4.1 随机变量函数的分布

基本问题

设随机向量

X = (X_{1}, \dots, X_{n})

$g:\mathbb{R}^n\to\mathbb{R}$ 。令

Y = g (X) = g (X_{1}, \dots, X_{n}) .

$Y$ 的分布？

离散情形

$X_1,\ldots,X_n$ $g$ $Y$ 是离散型随机变量，且

p_{Y} (y) = P (Y = y) = \sum_{x : g (x) = y} p_{X} (x),

$p_X$ $X$ 的联合分布列。

一般方法：先求分布函数

$Y$ 不易直接判断为离散型或连续型，可以先求

F_{Y} (y) = P (Y \leq y) = P (g (X) \leq y) .

$F_Y$ $Y$ 是否为连续型，并在可以求导时得到密度函数。

单调变换

$X$ $g:(a,b)\to(\alpha,\beta)$ $h=g^{-1}$ $Y=g(X)$ ，则

f_{Y} (y) = f_{X} (h (y)) | h^{'} (y) |, y \in (α, β) .

这是连续型随机变量变换公式的常用形式。

平方变换

$Y=X^2$ $y>0$ ，

f_{Y} (y) = \frac{f_{X} (\sqrt{y}) + f_{X} (- \sqrt{y})}{2 \sqrt{y}} .

$X\sim N(0,1)$ $Y=X^2$ $1$ $\chi^2$ 分布。

最小值与最大值

$X,Y$ 相互独立，令

Z = min {X, Y} .

则常用生存函数计算：

P (Z > z) = P (X > z, Y > z) = P (X > z) P (Y > z) .

因此

F_{Z} (z) = 1 - (1 - F_{X} (z)) (1 - F_{Y} (z)) .

$M=\max\{X,Y\}$ ，则

F_{M} (m) = P (X \leq m, Y \leq m) = F_{X} (m) F_{Y} (m) .

独立随机变量和的分布

$(X,Y)$ $Z=X+Y$ 。则

f_{Z} (z) = \int_{- \infty}^{+ \infty} f_{X, Y} (x, z - x) d x .

$X,Y$ 相互独立，则

f_{Z} (z) = \int_{- \infty}^{+ \infty} f_{X} (x) f_{Y} (z - x) d x .

这是连续情形下的卷积公式。

独立指数分布之和与 Gamma 分布

$X_1,\ldots,X_n$ $\lambda$ 的指数分布，令

Z_{n} = X_{1} + \dots + X_{n},

则

f_{Z_{n}} (z) = {\begin{cases} \frac{λ^{n} z^{n - 1} e^{- λ z}}{(n - 1)!}, & z > 0, \\ 0, & z \leq 0. \end{cases}

$Z_n$ $(n,\lambda)$ 的 Gamma 分布。

4.2 协方差与相关系数

随机变量和的方差

$X,Y$ ，若相关期望存在，则

Var (X + Y) = Var (X) + Var (Y) + 2 E [(X - E [X]) (Y - E [Y])] .

中间的交叉项引出协方差。

协方差

定义. $X,Y$ 的期望存在，且

E [(X - E [X]) (Y - E [Y])]

$X,Y$ 的协方差，记为

Cov (X, Y) = E [(X - E [X]) (Y - E [Y])] .

等价地，

Cov (X, Y) = E [X Y] - E [X] E [Y] .

协方差的基本性质

对称性：

Cov (X, Y) = Cov (Y, X) .

与方差的关系：

Cov (X, X) = Var (X) .

双线性：

Cov (a X + b, Y) = a Cov (X, Y) .

$X,Y$ 独立且期望存在，则

Cov (X, Y) = 0.

不相关

若

Cov (X, Y) = 0,

$X,Y$ 不相关。

注意：

$\Rightarrow$ 不相关；
不相关一般不推出独立；
$X,Y$ $f(X),g(Y)$ 不相关。

多个随机变量和的方差

$X_1,\ldots,X_n$ 的方差与协方差存在，则

Var (\sum_{i = 1}^{n} X_{i}) = \sum_{i = 1}^{n} Var (X_{i}) + 2 \sum_{1 \leq i < j \leq n} Cov (X_{i}, X_{j}) .

若两两不相关，则

Var (\sum_{i = 1}^{n} X_{i}) = \sum_{i = 1}^{n} Var (X_{i}) .

4.3 矩与矩母函数

矩

定义. $E[X^k]$ 存在，则称

E [X^{k}]

$X$ $k$ 阶矩。

常见例子：

$E[X]$ ；
$E[X^2]$ ；
方差由一阶矩和二阶矩决定。

矩母函数

定义. $0$ $I$ $t\in I$ $E[e^{tX}]$ 存在，则称

M_{X} (t) = E [e^{t X}], t \in I,

$X$ 的矩母函数。

矩母函数的作用

一个随机变量的矩母函数由它的分布完全确定。
若矩母函数存在，则它也可以反过来唯一确定分布。
$M_X$ $0$ 的邻域存在，则

E [X^{k}] = M_{X}^{(k)} (0) .

这也是“矩母函数”名称的来源。

线性变换

$Y=\alpha X+\beta$ ，则

M_{Y} (t) = e^{β t} M_{X} (α t) .

独立随机变量和

$X,Y$ $0$ 的同一开区间上存在，则

M_{X + Y} (t) = M_{X} (t) M_{Y} (t) .

因此可以用矩母函数求独立随机变量和的分布：

$M_X(t)$ $M_Y(t)$ ；
$M_{X+Y}(t)$ ；
识别对应分布。

例：独立 Poisson 变量之和

若

X \sim Poisson (λ), Y \sim Poisson (μ),

$X,Y$ 独立，则

X + Y \sim Poisson (λ + μ) .

例：独立正态变量之和

$X_1,\ldots,X_n$ 相互独立，且

X_{i} \sim N (μ_{i}, σ_{i}^{2}),

则

\sum_{i = 1}^{n} a_{i} X_{i} \sim N (\sum_{i = 1}^{n} a_{i} μ_{i}, \sum_{i = 1}^{n} a_{i}^{2} σ_{i}^{2}) .

4.4 条件分布

离散型条件分布

$X,Y$ $P(Y=y)>0$ $Y=y$ $X$ 的条件分布列为

p_{X ∣ Y} (x ∣ y) = P (X = x ∣ Y = y) = \frac{p_{X, Y} (x, y)}{p_{Y} (y)} .

$y$ $p_{X\mid Y}(x\mid y)$ $x$ 的函数是一个分布列。

连续型条件分布

$(X,Y)$ $f_Y(y)>0$ $Y=y$ $X$ 的条件概率密度函数通常取为

f_{X ∣ Y} (x ∣ y) = \frac{f_{X, Y} (x, y)}{f_{Y} (y)} .

$f_Y(y)=0$ $f_{X\mid Y}(x\mid y)=f_X(x)$ 。

条件分布与独立性

离散型情形：

X, Y 独立 ⟺ p_{X ∣ Y} (x ∣ y) = p_{X} (x) .

连续型情形：

X, Y 独立 ⟺ f_{X ∣ Y} (x ∣ y) = f_{X} (x) .

$Y$ $X$ 的分布没有改变。

4.5 条件期望

离散型定义

$(X,Y)$ $X$ 的期望存在。若

φ_{X} (y) = E [X ∣ Y = y] = \sum_{x} x p_{X ∣ Y} (x ∣ y),

则随机变量

φ_{X} (Y)

$Y$ $X$ 的条件期望，记为

E [X ∣ Y] .

连续型定义

$(X,Y)$ $X$ 的期望存在。若

φ_{X} (y) = E [X ∣ Y = y] = \int_{- \infty}^{+ \infty} x f_{X ∣ Y} (x ∣ y) d x,

则

E [X ∣ Y] = φ_{X} (Y) .

两种记号的区别

$E[X\mid Y]$ $Y$ $\varphi_X(y)$ 后得到的结果。
$E[X\mid Y=y]$ $\varphi_X$ $y$ 处的取值。

条件期望的 LOTUS

$(X,Y)$ 为离散型随机向量，则

E [h (X, Y) ∣ Y = y] = \sum_{x} h (x, y) p_{X ∣ Y} (x ∣ y),

在右端绝对收敛时成立。

$(X,Y)$ 为连续型随机向量，则

E [h (X, Y) ∣ Y = y] = \int_{- \infty}^{+ \infty} h (x, y) f_{X ∣ Y} (x ∣ y) d x,

在右端绝对收敛时成立。

条件期望的基本性质

只要相关期望存在：

线性：

E [a X + b Z ∣ Y] = a E [X ∣ Y] + b E [Z ∣ Y] .

非负性：

X \geq 0 a.s. ⟹ E [X ∣ Y] \geq 0 a.s.

全期望公式：

E [E [X ∣ Y]] = E [X] .

$X$ $Y$ 独立，则

E [X ∣ Y] = E [X] .

$h(Y)$ 的期望存在，则

E [h (Y) X ∣ Y] = h (Y) E [X ∣ Y] .

利用条件期望求解问题

$E[X]$ 时，可以：

$Y$ ；
$E[X\mid Y]$ ；
再使用全期望公式：

E [X] = E [E [X ∣ Y]] .

这在递推型问题、随机和问题、分层抽样问题中很常用。

4.6 条件方差

定义

$X,Y$ $X$ $Y$ $X$ 的条件方差定义为

Var (X ∣ Y) = E [(X - E [X ∣ Y])^{2} ∣ Y] .

也可写成

Var (X ∣ Y) = E [X^{2} ∣ Y] - (E [X ∣ Y])^{2} .

全方差公式

若相关项存在，则

Var (X) = E [Var (X ∣ Y)] + Var (E [X ∣ Y]) .

直观含义：

$E[\operatorname{Var}(X\mid Y)]$ $Y$ 后仍然剩下的平均随机波动；
$\operatorname{Var}(E[X\mid Y])$ $Y$ 水平之间造成的波动。

4.7 条件期望与最佳均方预测

问题

$X,Y$ $Y$ $h(Y)$ $X$ ，使均方误差

E [(X - h (Y))^{2}]

最小。

结论

$X$ 方差存在的条件下，最优选择为

h (Y) = E [X ∣ Y] .

$Y$ $X$ 时的最佳均方预测。

这也是条件期望在统计推断和回归分析中的核心意义。

本章小结

随机变量函数的分布可通过分布列、分布函数、变换公式或卷积公式求得。
协方差刻画两个随机变量的线性共同波动：

Cov (X, Y) = E [X Y] - E [X] E [Y] .

$[-1,1]$ 。
矩母函数在存在时可唯一确定分布，并能方便地处理独立随机变量和。
$Y$ $X$ 分布如何更新。
$E[X\mid Y]$ $Y$ $X$ 的最佳均方预测。
全期望公式与全方差公式是本章最重要的计算工具：

E [X] = E [E [X ∣ Y]],

Var (X) = E [Var (X ∣ Y)] + Var (E [X ∣ Y]) .

第四章 随机变量的深入内容