第二章离散型随机变量

2.1 随机变量的定义

随机变量

$(\Omega,\mathcal{F},P)$ 是随机试验建模的基础，但很多问题关心的是随机试验中的定量特征，例如：

随机挑选学生的身高；
两个顾客到达商店的时间差；
抽到某个稀有物品之前的抽取次数；
传感器测量误差。

定义. $X$ 是定义在样本空间上的实值函数

X : Ω \to R,

$I\subseteq\mathbb{R}$ ，集合

{ω \in Ω ∣ X (ω) \in I}

是一个事件。

通常简记为

P (X \in I) = P ({ω \in Ω ∣ X (ω) \in I}) .

指示函数

$E$ ，它的指示函数定义为

1_{E} (ω) = {\begin{cases} 1, & ω \in E, \\ 0, & ω \notin E . \end{cases}

$\mathbf{1}_E$ 是一个随机变量，并且

P (E) = E [1_{E}] .

2.2 离散型随机变量

定义与分布列

定义. $X$ $X$ 为离散型随机变量。

它的分布列或概率质量函数定义为

p_{X} (x) = P (X = x), x \in R .

分布列的基本性质

非负性：

p_{X} (x) \geq 0.

$x$ $p_X(x)>0$ 。
归一性：

\sum_{x \in R} p_{X} (x) = 1.

$p(x)$ $p(x)$ 。

用分布列计算概率

$B\subseteq\mathbb{R}$ ，有

P (X \in B) = \sum_{x \in B} p_{X} (x),

$p_X(x)>0$ 的那些点。

离散型随机变量函数的分布

$Y=g(X)$ $Y$ 仍为离散型随机变量，且

p_{Y} (y) = P (Y = y) = \sum_{x : g (x) = y} p_{X} (x) .

2.3 常见离散型分布

Bernoulli 分布

$X$ $0,1$ ，且

P (X = 1) = p, P (X = 0) = 1 - p,

$X\sim \mathrm{Bernoulli}(p)$ 。

$\mathbf{1}_E\sim \mathrm{Bernoulli}(P(E))$ 。

二项分布

若

P (X = k) = (\binom{n}{k}) p^{k} (1 - p)^{n - k}, k = 0, 1, \dots, n,

$X\sim \mathrm{Binomial}(n,p)$ 。

$n$ 次独立 Bernoulli 试验中成功次数的分布。

几何分布

若

P (X = k) = (1 - p)^{k - 1} p, k = 1, 2, \dots,

$X\sim \mathrm{Geometric}(p)$ 。

它常用于刻画第一次成功所需等待的试验次数。

Poisson 分布

若

P (X = k) = e^{- λ} \frac{λ^{k}}{k!}, k = 0, 1, 2, \dots,

$X\sim \mathrm{Poisson}(\lambda)$ 。

它常用于近似描述大量独立小概率事件在一段时间或空间区域中发生的次数。

离散均匀分布

$S$ 上每个元素等可能，即

P (X = x) = \frac{1}{| S |}, x \in S,

$X$ $S$ 上的离散均匀分布。

负二项分布

$H_r$ $r$ 次成功时的总试验次数，则

P (H_{r} = k) = (\binom{k - 1}{r - 1}) p^{r} (1 - p)^{k - r}, k = r, r + 1, \dots .

$H_r$ 服从负二项分布。

2.4 离散型随机向量

联合分布列

$X,Y$ $(X,Y)$ 为离散型随机向量。其联合分布列定义为

p_{X, Y} (x, y) = P (X = x, Y = y) .

联合分布列的基本性质

非负性：

p_{X, Y} (x, y) \geq 0.

$(x,y)$ $p_{X,Y}(x,y)>0$ 。
归一性：

\sum_{x, y} p_{X, Y} (x, y) = 1.

用联合分布列计算概率

$B\subseteq\mathbb{R}^2$ ，有

P ((X, Y) \in B) = \sum_{(x, y) \in B} p_{X, Y} (x, y) .

边缘分布列

由联合分布列可以推出边缘分布列：

p_{X} (x) = \sum_{y} p_{X, Y} (x, y),

p_{Y} (y) = \sum_{x} p_{X, Y} (x, y) .

联合分布列能确定边缘分布列；反过来，边缘分布列一般不能唯一确定联合分布列。

2.5 随机变量的独立性

定义

$X_1,\ldots,X_n$ $I_1,\ldots,I_n$ ，都有

P (X_{1} \in I_{1}, \dots, X_{n} \in I_{n}) = \prod_{i = 1}^{n} P (X_{i} \in I_{i}),

则称它们相互独立。

离散型随机变量的独立性判别

$X,Y$ 为离散型随机变量，则以下命题等价：

$X,Y$ 相互独立；
$x,y$ ，

p_{X, Y} (x, y) = p_{X} (x) p_{Y} (y);

$g,h$ ，使得

p_{X, Y} (x, y) = g (x) h (y) .

独立随机变量函数

$X,Y,Z$ $f(X,Y)$ $g(Z)$ 相互独立。

直观上，一个只由前两个变量决定的量，不会受到第三个独立变量的影响。

随机变量和的分布

$Z=X+Y$ $X,Y$ 为离散型随机变量，则

p_{Z} (z) = \sum_{x} p_{X, Y} (x, z - x) .

$X,Y$ 相互独立，则

p_{Z} (z) = \sum_{x} p_{X} (x) p_{Y} (z - x) .

这就是离散情形下的卷积公式。

2.6 期望与方差

离散型随机变量的期望

若

\sum_{x} | x | p_{X} (x) < \infty,

$X$ 的期望定义为

E [X] = \sum_{x} x p_{X} (x) .

若上述绝对收敛条件不满足，则称期望不存在。

LOTUS 公式

$Y=g(X)$ ，且右端绝对收敛，则

E [g (X)] = \sum_{x} g (x) p_{X} (x) .

$(X,Y)$ $h$ 为二元函数，则

E [h (X, Y)] = \sum_{x, y} h (x, y) p_{X, Y} (x, y) .

期望的基本性质

当相关期望存在时：

线性：

E [a X + b Y] = a E [X] + b E [Y] .

$X\ge 0$ 几乎必然成立，则

E [X] \geq 0.

$X\ge Y$ 几乎必然成立，则

E [X] \geq E [Y] .

$X_1,\ldots,X_n$ 相互独立且期望存在，则

E [\prod_{i = 1}^{n} X_{i}] = \prod_{i = 1}^{n} E [X_{i}] .

注意：期望的线性不要求独立性。

方差

$E[X]$ $E[X^2]$ 存在，则

Var (X) = E [(X - E [X])^{2}] .

等价地，

Var (X) = E [X^{2}] - (E [X])^{2} .

基本性质：

Var (a X + b) = a^{2} Var (X) .

$X_1,\ldots,X_n$ 相互独立且方差存在，则

Var (\sum_{i = 1}^{n} X_{i}) = \sum_{i = 1}^{n} Var (X_{i}) .

常见分布的期望与方差

分布	期望	方差
$\mathrm{Bernoulli}(p)$	$p$	$p(1-p)$
$\mathrm{Binomial}(n,p)$	$np$	$np(1-p)$
$\mathrm{Geometric}(p)$	$1/p$	$(1-p)/p^2$
$\mathrm{Poisson}(\lambda)$	$\lambda$	$\lambda$

2.7 Bernoulli 过程

定义

$X_1,X_2,\ldots$ $p\in(0,1]$ 。若：

$X_1,X_2,\ldots$ 相互独立；
$X_n\sim \mathrm{Bernoulli}(p)$ ；

$(X_n)$ $p$ 的 Bernoulli 过程。

派生随机变量

$N_n$ $n$ 次试验中成功的总次数。

N_{n} = \sum_{i = 1}^{n} X_{i} .

于是

N_{n} \sim Binomial (n, p) .

$T_k$ $k-1$ $k$ 次成功之间的等待时间。

$T_k\sim \mathrm{Geometric}(p)$ $T_1,T_2,\ldots$ 相互独立。

$H_r$ $r$ 次成功时的总试验次数。

H_{r} = T_{1} + \dots + T_{r} .