第一章概率论的基本概念

1.1 随机试验

随机试验与概率

不确定现象：结果难以由已知信息和条件完全确定。
- 可能来自物理机制过于复杂、内在不确定性、数据不足等。
- 若某些不确定现象在大量重复后呈现稳定的统计规律，就可以用概率论建模。
随机试验：可以在近似相同的条件下重复进行，并展现统计规律性的理想化过程。
- 例：抛硬币、掷骰子、布朗运动、电子元器件热噪声。
概率论：对随机试验进行数学建模的工具。

样本空间、事件与概率

样本空间 $\Omega$ ：随机试验所有可能结果构成的非空集合。
- $\omega\in\Omega$ 。
事件 $E$ ：样本空间的子集。
- $\omega\in E$ $E$ 发生。
概率 $P(E)$ $E$ 发生可能性大小的数。
- $n$ $E$ $\mathrm{Fr}_n(E)$ ，希望

P (E) \approx lim_{n \to \infty} {Fr}_{n} (E) .

但现代概率论不直接把概率定义为频率极限，而采用公理化定义；频率收敛到概率是之后大数定律给出的结论。

1.2 集合论回顾

常用集合概念

$x\in A$ $x$ $A$ 的元素。
$A=B$ $x$ $x\in A\Leftrightarrow x\in B$ 。
$A\subseteq B$ $A$ $B$ 的子集。
$2^A$ $A$ $A$ 的所有子集构成的集族。
常见集合：
- $\mathbb{N}=\{0,1,2,\ldots\}$
- $\mathbb{Z}$ ：整数集
- $\mathbb{Q}$ ：有理数集
- $\mathbb{R}$ ：实数集

可数集与不可数集

可数无限集：元素可以被一个无限长序列无遗漏地枚举出来。
- $\mathbb{N},\mathbb{Z},\mathbb{Q}$ 。
可数集：有限集或可数无限集。
不可数集：不是可数集的集合。
- $\mathbb{R}$ 及其实区间。
常用结论：
- 可数集的子集仍然可数。
- 可数个可数集的并仍然可数。
- 两个可数集的笛卡尔积仍然可数。

集合运算

并集：

A \cup B = {x ∣ x \in A or x \in B} .

交集：

A \cap B = {x ∣ x \in A and x \in B} .

差集：

A ∖ B = {x \in A ∣ x \notin B} .

$B^c$ $B$ 的补集。
德摩根律：

{(⋃_{i \in I} A_{i})}^{c} = ⋂_{i \in I} A_{i}^{c}, {(⋂_{i \in I} A_{i})}^{c} = ⋃_{i \in I} A_{i}^{c} .

笛卡尔积：

A \times B = {(a, b) ∣ a \in A, b \in B} .

1.3 样本空间、事件与概率空间

事件的关系与运算

$E\subseteq F$ $E$ $F$ 必定发生。
$E^c$ $E$ 不发生。
$E\cap F$ $E$ $F$ 都发生。
$E\cup F$ $E$ $F$ 发生。
$E\cap F=\varnothing$ $E$ $F$ 互斥或互不相容。

事件域

$\Omega$ 不可数时。因此需要指定一个事件集族。

定义. $\Omega$ $\mathcal{F}\subseteq 2^\Omega$ $\mathcal{F}$ 满足：

$\Omega\in\mathcal{F}$ ；
$E\in\mathcal{F}$ $E^c\in\mathcal{F}$ ；
$E_1,E_2,\ldots\in\mathcal{F}$ ，则

⋃_{i = 1}^{\infty} E_{i} \in F,

$\mathcal{F}$ $\Omega$ 上的一个事件域。

概率测度与概率空间

定义. $\mathcal{F}$ $\Omega$ $P:\mathcal{F}\to\mathbb{R}$ 若满足：

$E\in\mathcal{F}$ $0\le P(E)\le 1$ ；
$P(\Omega)=1$ ；
$E_1,E_2,\ldots$ 两两互斥，则

P (⋃_{i = 1}^{\infty} E_{i}) = \sum_{i = 1}^{\infty} P (E_{i}),

$P$ $\mathcal{F}$ 上的概率测度。

概率空间是三元组

(Ω, F, P),

$\mathcal{F}$ $P$ 是概率测度。

1.4 概率的基本性质

基本结论

$P(\Omega)=1$ 。
$P(\varnothing)=0$ 。
$E_1,\ldots,E_n$ 两两互斥，则

P (⋃_{i = 1}^{n} E_{i}) = \sum_{i = 1}^{n} P (E_{i}) .

补集公式：

P (E^{c}) = 1 - P (E) .

$E\subseteq F$ ，则

P (E) \leq P (F) .

差集公式：

P (F ∖ E) = P (F) - P (E), E \subseteq F .

两事件并的概率：

P (E \cup F) = P (E) + P (F) - P (E \cap F) .

几乎必然与零概率事件

$1$ 的事件不一定是必然事件，称为几乎必然事件。
$0$ 的事件不一定是不可能事件。

Boole 不等式

$E_1,\ldots,E_n$ ，有

P (⋃_{i = 1}^{n} E_{i}) \leq \sum_{i = 1}^{n} P (E_{i}) .

更一般地，对可数多个事件也有

P (⋃_{i = 1}^{\infty} E_{i}) \leq \sum_{i = 1}^{\infty} P (E_{i}) .

1.5 古典概型

定义

$(\Omega,\mathcal{F},P)$ 满足：

$\Omega$ 是有限集；
$\mathcal{F}=2^\Omega$ ；
每个样本点等可能，即

P ({ω}) = \frac{1}{| Ω |}, ω \in Ω,

则称其为古典概型。

$E\subseteq\Omega$ 的概率为

P (E) = \frac{| E |}{| Ω |} .

计算思路

$\Omega$ 。
判断是否等可能。
$|E|$ $|\Omega|$ 。
常用计数方法：
- 加法原理；
- 乘法原理；
- 排列组合；
- 补事件法。

1.6 条件概率

条件概率的定义

$(\Omega,\mathcal{F},P)$ $F$ $P(F)>0$ $F$ $E$ 的条件概率定义为

P (E ∣ F) = \frac{P (E \cap F)}{P (F)} .

$P(F)=0$ $P(E\mid F)$ 在这个定义下没有意义。

条件概率仍是概率测度

$P(F)>0$ $F$ ，令

P_{F} (E) = P (E ∣ F) .

$P_F$ $\mathcal{F}$ $F$ 发生之后，条件概率给出了更新后的概率空间。

古典概型中的条件概率

$F\ne\varnothing$ ，则

P (E ∣ F) = \frac{| E \cap F |}{| F |} .

$F$ $F$ 内重新等可能地计数。

乘法公式

$P(E_1\cap\cdots\cap E_{n-1})>0$ ，则

P (E_{1} \cap \dots \cap E_{n}) = P (E_{1}) P (E_{2} ∣ E_{1}) \dots P (E_{n} ∣ E_{1} \cap \dots \cap E_{n - 1}) .

全概率公式

$F_1,\ldots,F_n$ 构成样本空间的一个划分，即

F_{1} \cup \dots \cup F_{n} = Ω, F_{i} \cap F_{j} = \emptyset (i \neq j),

$P(F_i)>0$ $E$ ，

P (E) = \sum_{i = 1}^{n} P (E ∣ F_{i}) P (F_{i}) .

Bayes 定理

$P(E)>0$ ，则

P (F_{i} ∣ E) = \frac{P (E ∣ F_{i}) P (F_{i})}{\sum_{j = 1}^{n} P (E ∣ F_{j}) P (F_{j})} .

$P(F_i)$ ：先验概率。
$P(F_i\mid E)$ $E$ 后的后验概率。

1.7 事件的独立性

两个事件的独立性

定义. $E,F$ 满足

P (E \cap F) = P (E) P (F),

$E$ $F$ 相互独立。

$P(F)>0$ ，则

E 与 F 独立 ⟺ P (E ∣ F) = P (E) .

$F$ $E$ 的概率。

独立性的补事件性质

$E,F$ ，以下命题等价：

$E$ $F$ 独立；
$E$ $F^c$ 独立；
$E^c$ $F$ 独立；
$E^c$ $F^c$ 独立。

多个事件的相互独立

$\{E_i\}_{i\in I}$ $I$ $J$ ，都有

P (⋂_{j \in J} E_{j}) = \prod_{j \in J} P (E_{j}),

则称这族事件相互独立。

注意：两两独立不一定推出相互独立。

本章小结

$(\Omega,\mathcal{F},P)$ 对随机试验建模。
事件是样本空间中的可测子集，概率测度满足非负性、规范性和可数可加性。
古典概型中，概率计算归结为计数：

P (E) = \frac{| E |}{| Ω |} .

条件概率描述“已知某事件发生后”的概率更新：

P (E ∣ F) = \frac{P (E \cap F)}{P (F)} .

乘法公式、全概率公式与 Bayes 定理是条件概率计算的核心工具。
独立性表示一个事件的发生不会改变另一个事件的概率。

第一章 概率论的基本概念