近来发现师兄书架里面有一本非常好的概率论方面的书——图灵社区图书 概率导论,翻一下觉得讲的很不错， 于是问师兄借过来拜读下，读完第一章感觉写的浅显易懂。不像国内的太多概率论书，上来就是一大堆的定理、推论、证明、过程和公式，显得过于枯燥，概率导论作为入门来说是一本非常好的书。 这里记录下学习概率导论每一章中非常基础但是又非常重要的知识点，方便以后快速查询。
第一章样本空间与概率
1.1集合和集合运算
- 将研究的对象放在一起就形成了集合，而这些对象就称为集合的元素。
1.1.1集合中常用的符合及意义
- 集合中常用的符合以及意义如下：
| 符号 | 意义 |
|---|---|
| $S$ | 表示一个集合 |
| $\Omega$ | 表示空间 |
| $S^c$ | 表示集合的补集 |
| $x \in S$ | 表示元素$x$属于集合$s$ |
| $x \not\in S$ | 表示元素$x$不属于集合$s$ |
| $S \subset T$ | 表示集合$S$包含于集合$T$ |
| $S \not\subset T$ | 表示集合$S$不包含集合$T$ |
| $S \cup T$ | 表示集合$S$和集合$T$的并集 |
| $S \cap T$ | 表示集合$S$和集合$T$的交集 |
1.1.2集合代数运算
- 集合常用的代数运算：
| 基本代数运算 |
|---|
| $S \cup T = T \cup S$ |
| $S \cup (T \cup U) = (S \cup U) \cup T$ |
| $S \cap (T \cup U) = (S \cap T) \cup (S \cap U)$ |
| $S \cup (T \cap U) = (S \cup T) \cap (S \cup U)$ |
| $(S^c)^c = S$ |
| $S \cap S^c = \emptyset$ |
| $S \cup \Omega = \Omega$ |
| $ S \cap \Omega = S$ |
1.2 概率模型
- 概率模型是对不确定的现象的数学描述。每一个概率模型都关联着一个试验，这个试验将产生一个试验结果。该试验的所有可能结果形成一个样本空间$\Omega$。某些试验结果的集合，即样本空间的子集称为事件。
1.2.1概率模型的基本构成
样本空间，常用$\Omega$表示，是一个试验所有的可能得结果的集合。
概率律，为试验结果的集合$A$(称为事件)确定一个非负数$P(A)$（称为事件$A$的概率）。而这个非负数刻画了我们对事件$A$的认识或所产生的信念的程度。
1.2.2概率律
-
当给定一个事件$A$同时确定一个数$P(A)$称为事件$A$的概率并且满以下几条公理：
-
概率公理
非负性：对一切事物$A$，满足$P(A) \geq 0$。
可加性：设$A$和$B$为两个互不相交的集合（即互不相容事件），则他们的并集满足：
$P(A \cup B)=P(A)+P(B)$
若$A_1$,$A_2$,…是互不相容的事件序列，则他们的并集满足：
$P(A_1 \cup A_2 \cup …)=P(A_1)+P(A_2)+…$.
归一化：整个样本空间$\Omega$（为必然事件）的概率为$1$,即$P(\Omega)=1$
1.2.3离散模型
- 利用概率律的可加性公理可以得到离散概率律：
- 离散概率律
设空间样本是由有限个可能的结果组成，则事件的概率可由组成这个事件的试验结果的概率律所决定,事件$ \left\{ s_1,s_2,…,s_n \right\} $的概率是$P(s_i)$之和，即： $P(\left\{s_1,s_2,…,s_n\right\})= P(s_1)+P(s_2)+…+P(s_n)$.
- 离散均匀概率律（古典概型）
设样本空间由$n$个等可能性的试验结果组成，因此每个试验结果组成的事件（基本事件）的概率是相等的。由此得到：
\(P(A)=\frac{含事件A的试验结果}{n}\).
1.2.4 概率律的性质
- 考虑一个概率律，令$A$，$B$，$C$为事件，由概率公理可以推倒出以下性质：
(a)若$A \subset B$则 $P(A) \leq P(B)$.
(b)$P(A \cup B)=P(A)+P(B) - P(A \cap B)$.
(c)$P(A \cup B) \geq P(A) + P(B)$.
(d)$P(A \cup B \cup C) = P(A) + P(A^c \cap B) + P(A^C \cap B^c \cap C)$.
1.3条件概率
- 条件概率是在给定的
部分信息的基础上对试验结果的一种推断，条件概率的性质有如下三条。- 设事件$B$满足$P(B) > 0$,则给定$B$之下，事件$A$的条件概率由下式给出： \(P (A | B) = \frac {P(A \cap B)}{P(B)}\).
这个条件概率律在同一个样本空间$\Omega$上给出了一个新的（条件）概率律。凡是现有的概率律的所有性质对这个条件概率都是适用的。
-
由于条件概率所关心的事件都是事件$B$的子事件，可以把条件概率看成$B$上的概率律，即把时间$B$看成全空间或必然事件
-
当试验$\Omega$是有限集，并且所有的试验结果为等可能的情况下，条件概率律可由下式给出：
- 条件概率的乘法规则：
假定所有涉及的条件概率都是正的，我们有： \(P(\bigcap_{i=1}^nA_i) = P(A_1)P(A_2|A_1)P(A_3|A_1 \cap A_2)...P(A_n|\bigcap_{i=1}^{n-1}A_i)\).
1.4 全概率定理和贝叶斯准则
1.4.1全概率定理
- 全概率定理如下：
设$A_1$，$A_2$，$A_n$是一组互不相容的事件，形成样本空间的一个分割（每一个试验结果必定使得其中一个事件发生）。又假定对每一个事件$i$,$P(A_i)>0$。则对于任意事件$B$下列公式成立
\[P(B)=P(A_1 \cap B)+...+P(A_n \cap B)\\\ =P(A_1)P(B|A_1)+...+P(A_n)P(B|A_n)\]
1.4.2贝叶斯准则
- 全概率定理是与贝叶斯准则联系在一起的，
贝叶斯准则将形如 $P(A|B)$ 的条件概率与形如
$P(B|A)$ 的条件概率联系起来。
贝叶斯准则如下：
设$A_1$，$A_2$，$A_n$是一组互不相容的事件，形成样本空间的一个分割（每一个试验结果必定使得其中一个事件发生）。又假定对每一个事件$i$,$P(A_i)>0$。则对于任意事件$B$，只要它满足$P(B)>0$下列公式成立 \(P(A_i|B)= \frac{P(A_i)P(B|A_i)}{P(B)}= \frac{P(A_i)P(B|A_i)}{P(A_1)P(B|A_1)+...+P(A_n)P(B|A_n)}\)
1.5独立性
1.5.1独立性的主要结论
- 若两个事件$A$和$B$相互独立，可以有以下结论：
1.若两个事件$A$和$B$相互独立，如果他们满足：
$P(A \cap B)=P(A)P(B)$.
若$B$还满足$P(B)>0$,则独立性等价于
\[P(A | B)=P(A)\]2.若$A$与$B$相互独立，则$A$与$B^c$也相互独立。
3.设事件$C$满足$P(C)>0$,两个事件$A$和$B$称为给定$C$条件下的条件独立，如果他们满足：
\[P(A \cap B|C)=P(A|C)P(B|C)\]若进一步假设$P(B \cap C)>0$，则$A$和$B$在给定$C$的条件下的条件独立性与下面的条件是等价的
\[P(A|B \cap C)=P(A|C)\]独立性并不蕴含条件独立，反之亦然。
1.5.2一组事件的独立性
- 两个事件相互独立性的概念可以推广到多个事件的相互独立性，并可以得到多事件相互独立的定义：
设$A_1…A_n$为$n$个事件。若他们满足
$P\big( \displaystyle\bigcap_{i \in S}A_i\big)=\prod_{i \in S}P(A_i)$对于${1,2,3,…,n }$的任意子集$S$成立，
则称$A_1,…,A_n$为相互独立的事件。
1.6计数准则
1.6.1计数准则
- 计数准则基于分段计数的原则，这是计数的最基本的方法。计数准则如下：
考虑由$r$个阶段组成的一个试验。假设：
(a) 在第一个阶段有$n_1$个可能的结果；
(b) 对于第一个阶段任何一个结果，在第二个阶段有$n_2$个可能的结果；
(c) 一般地，在前$r-1$个阶段的任何一个结果，在接下来第$r$个阶段有$n_r$个结果，则在$r$个阶段的试验中一共有：
\[n_1n_2n_3 \cdots n_r\]个试验结果
1.6.2计数法
- 常用的计数法有，排列，组合，以及分割数，有如下汇总：
- $n$个对象的排列数:$n!$.
- $n$个对象取$k$个对象的排列数：$\frac{n!}{(n-k)!}$.
- $n$个对象取$k$个对象的组合数：$\big(^n _k\big)= \frac{n!}{k!(n-k)!}$.
- $n$个对象分割成$r$个组的分割数，其中$i$个组具有$n_i$个对象： $\big(^n _{n_1,n_2,…,n_r}= \frac{n!}{n_1!n_2! \cdots n_r!} \big)$.