概率論複習筆記(4)——概率的公理化定義延伸

本次內容是複習條件概率、獨立性、隨機變數、分布、分布函數.

參考資料: Wikipedia、「概率論基礎」這門課的上課筆記.

由於臨近期中考試, 所以寫一些這樣的東西來作為複習（其實是方便攜帶, 隨手拿手機就能複習了）

更主要還是為了防止自己產生「無記憶性」，儘可能避免自己的知識儲備變成零測集.

複習筆記的第一部分內容見: fjddy：概率論複習筆記(3)——概率的公理化定義

3 條件概率、獨立性

定義3.1[條件概率] 設是概率空間, , 滿足 . 對 , 稱 $P(A|B) riangleq dfrac{P(AB)}{P(B)}$ 為事件A在B發生條件下發生的概率.

注: 與無大小關係.

容易驗證是上的概率測度(用定義, 留作習題).

稍微作移項可以得到乘法公式: . 若 , 可規定 . 可以推廣到多元情形:

$egin{aligned} P(A_1A_2cdots A_n)&=P(A_1A_2cdots A_{n-1})P(A_n|A_1cdots A_{n-1}) \ &=P(A_1A_2cdots A_{n-2})P(A_{n-1}|A_1cdots A_{n-2})P(A_n|A_1cdots A_{n-1}) \ &=cdots \ &=P(A_1)P(A_2|A_1)P(A_3|A_1A_2)cdots P(A_n|A_1cdots A_{n-1}). end{aligned}$

為了引入全概率公式和Bayes公式, 先引入個定義.

定義3.2[可測分割] 設是概率空間, ${A_n}_{ngeq 1}subsetmathfrak{F}$ 兩兩不交, 且 $sumlimits_{n=1}^{+infty}A_n=Omega$ , 則把 ${A_n}_{ngeq 1}$ 叫的一個可測分割.

定理3.1[全概率公式] 設 ${A_n}_{ngeq 1}$ 是的一個可測分割, . 則 $P(B)=sumlimits_{n=1}^{+infty}P(B|A_n)P(A_n)$ .

證明: 利用概率的可列可加性,

$egin{aligned} P(B)&=Pleft(sumlimits_{n=1}^{+infty}A_nB ight) \ &=sumlimits_{n=1}^{+infty}P(A_nB) \ &=sumlimits_{n=1}^{+infty}P(B|A_n)P(A_n). end{aligned}$

注: 特別地, .

定理3.2[Bayes公式] 設 ${A_n}_{ngeq 1}$ 是的一個可測分割, 且 . 則

$P(A_i|B)=dfrac{P(B|A_i)P(A_i)}{sumlimits_{n=1}^{+infty}P(B|A_n)P(A_n)}.$

證明: 用乘法公式+全概率公式即可.

注: Bayes公式又稱「由結果推原因」. 這裡把叫先驗概率(是已知的), 是後驗概率.

下面引入獨立性的概念.

定義3.3 [獨立性]設是概率空間, 若有 , 則稱A與B獨立.
定義3.4 稱集類 $mathfrak{C}_1,mathfrak{C}_2$ 獨立, 如果 $forall Ainmathfrak{C}_1,Binmathfrak{C}_2$ , A與B獨立.

對於獨立性, 有如下性質.

性質3.1 設 , 則A,B獨立的充分必要條件是 .

證明: 由條件概率的定義立得. QED

性質3.2 若A,B獨立, 則與 , 與 , 與獨立.

證明: . QED

性質3.3 零概率事件及其對立事件與任一事件獨立.

證明: 設 , . 則且 . 根據概率的單調性, , 從而由非負性, , 從而零概率事件與任一事件獨立. 由性質3.2, 對於它的對立事件也正確. QED

定義3.5[n個事件相互獨立] 設是概率空間, ${A_i}_{1leq ileq n}subset mathfrak{F}$ . 稱 ${A_i}_{1leq ileq n}$ 相互獨立, 若
$Pleft(igcaplimits_{j=1}^kA_{i_j} ight)=prodlimits_{j=1}^kP(A_{i_j}), 1leq ileq n.$

其中 ${A_{i_j}}_{1leq jleq k}subset{A_i}_{1leq ileq n}$ .

注: (1)上面有條式子.
(2)設 ${mathfrak{C}_i}$ 為一族集類, ${mathfrak{C}_i}subsetmathfrak{F}, forall iin I$ . 若對任意 $A_iinmathfrak{C}_i, {A_i}_{iin I}$ 相互獨立, 則稱 ${mathfrak{C}_i}$ 之間相互獨立.(3)注意區分相互獨立(所有合在一起是獨立的)與兩兩獨立(任取兩個都獨立).

下面引入「獨立類擴張定理」.

定義3.6[π類] 若集類關於有限交運算封閉, 即 , 則稱是π類(pi system).
定義3.7[λ類] 若集類滿足下面三個條件: (1) ; (2)對減法封閉, 即 . (3)對單調增運算封閉, 即 ${A_n}subsetmathfrak{C}, A_n earrow ARightarrow Ainmathfrak{C}$ .則稱是λ類(lambda system/Dynkin system).

定理3.3 是σ-代數既為π類又為λ類.

證明: " ", 是π類顯然, 且顯然. 若 , 且 , 則 $A-B=AB^cinmathfrak{F}$ .(σ-代數對有限交運算封閉) 若 ${A_n}inmathfrak{F}$ , , 則 $igcuplimits_{n=1}^{+infty}A_n=Asubsetmathfrak{F}.$

所以是λ類.

" ", 只需證關於可列並運算封閉, 即 ${A_n}subsetmathfrak{F}Rightarrow igcuplimits_{n=1}^{+infty}A_n=Ainmathfrak{F}.$

構造一個具有單調性的 ${B_n}$ 即可運用類定義中的第3個條件. 令 $B_1=A_1,B_n=igcuplimits_{i=1}^{n}A_i.$

則 . 因為 $overline{B_n}=igcaplimits_{i=1}^n{A_i}$ , 根據π類有限閉運算封閉的條件, $overline{B_n}inmathfrak{F}$ , 則 $B_ninmathfrak{F}$ . 根據λ類的條件(3), 由 , 則 $igcuplimits_{n=1}^{+infty}B_n=Ainmathfrak{F}$ , 則 $igcuplimits_{n=1}^{+infty}A_n= igcuplimits_{n=1}^{+infty}B_n=Ainmathfrak{F}$ , 證完. QED

回顧: 稱包含的所有σ-代數之交為生成的最小σ-代數, 記為 .

定理3.4[獨立類擴張定理] 設 $mathfrak{C}_1,mathfrak{C}_2$ 為π類, 若 $mathfrak{C}_1,mathfrak{C}_2$ 獨立, 則 $sigma(mathfrak{C}_1), sigma(mathfrak{C}_2)$ 獨立.

如果 $mathfrak{C}_1,mathfrak{C}_2$ 都是σ-代數, 則不需要證了.

證明: 只需證 $sigma(mathfrak{C}_1),mathfrak{C}_2$ 獨立, 可立即推出 $mathfrak{C}_1,mathfrak{C}_2$ 獨立. 令 $mathfrak{G}={Ainsigma(mathfrak{C}_1)|P(AB)=P(A)P(B),forall Binmathfrak{C}_2}$

則 $mathfrak{C}_1subsetmathfrak{G}. (mathfrak{G}$ 表示花體的G). 下證 $mathfrak{G}subsetmathfrak{C}_1$ , 即可完成證明.

先證是λ類, 事實上

(1) (不妨設 $Omegainmathfrak{C}_1cupmathfrak{C}_2$ , 全集對獨立性沒有影響)

(2)若 $A_1,A_2inmathfrak{G}, A_2subset A_1$ , 下證 $A_1-A_2inmathfrak{G}$ 即 . $egin{aligned} P((A_1-A_2)B)=&P(A_1B)-P(A_2B) &( ext{概率的可減性}) \ =&P(A_1)P(B)-P(A_2)P(B) &(mathfrak{G} ext{的定義}) \ =&P(A_1-A_2)P(B) & ( ext{概率的可減性}). end{aligned}$

所以 $A_1-A_2inmathfrak{G}$ .

(3)若 ${A_n}inmathfrak{G}$ 且 , 下證 .

$egin{aligned} P(AB)=&limlimits_{n oinfty}P(A_nB) &( ext{從下連續性}) \ =&limlimits_{n oinfty}P(A_n)P(B) &(mathfrak{G} ext{的定義}) \ =&P(A)P(B) &( ext{從下連續性}) end{aligned}$

所以是類.

由於 $mathfrak{C}_1subsetmathfrak{G}$ , 則 $lambda(mathfrak{C}_1)=sigma(mathfrak{C}_1)subsetmathfrak{G}$ . 所以 $mathfrak{G}=sigma(mathfrak{C}_1)$ , 則 $sigma(mathfrak{C}_1)$ 和 $mathfrak{C}_2$ 獨立. QED

(最後一行我到現在還沒搞懂, 希望厲害的讀者能指點一下?)

注: 如果 , 則B為λ類不可推出A為λ類. (反例：A只有1個元素)

4 隨機變數、分布、分布函數的定義

定義4.1 [隨機變數] 設是個樣本空間, 把稱為上的隨機變數(random variable, 簡稱r.v.),如果對於任意集合 , 都有 $X^{-1}(B)={omegainOmega|X(omega)in B}inmathfrak{F}$ .
注: (1)r.v.的定義與概率無關.(2) $X^{-1}(B)$ 表示B在X上的原像, 而不是取逆(倒數)運算.(3)回憶Borel代數定義, 這兒B是中的任意一個子集.

定義4.2[分布] 如果X是r.v., $Pcirc X^{-1}(B)=P(X^{-1}(B))=P(Xin B)=P({omega|X(omega)in B})$ , 則 $Pcirc X^{-1}$ 是樣本空間上的概率, 稱為X在P下的分布.

注: 對於相同的r.v., 不同的P表示不同的分布!

分布就是概率！下面定理將會展示.

定理4.1 設X是r.v., 則 $Pcirc X^{-1}$ 是個概率測度.

證明: 按照概率的公理化定義, 對三個條件一一驗證即可.

(1)非負性: 由概率的非負性可保證, $P(X^{-1}(B))geq 0, forall Binmathfrak{B}(mathbb{R})$ .

(2)規範性: $, 注意到 $Pcirc X^{-1}(Omega)=P(Xin Omega)=1$ . ( 是必然事件)

(3)可列可加性: $forall{B_n}_{ngeq 1}subsetmathfrak{F}$ ,其中 . 要證 $Pcirc X^{-1}left(sumlimits_{n=1}^{+infty}B_n ight) = sumlimits_{n=1}^{+infty}Pcirc X^{-1}left(B_n ight)$

即證

$Pleft( X^{-1}left(sumlimits_{n=1}^{+infty}B_n ight) ight) =Pleft(sumlimits_{n=1}^{+infty} X^{-1}left(B_n ight) ight).$

由於 $sumlimits_{n=1}^{+infty} X^{-1}left(B_n ight)$ 相當於把所有滿足的都並起來, 由諸不交, 則 $sumlimits_{n=1}^{+infty} X^{-1}left(B_n ight) ={omegainOmega|X(omega)in sumlimits_{n=1}^{infty}B_n} =X^{-1}left(sumlimits_{n=1}^{+infty}B_n ight)$

等號兩邊求概率即可證完. QED

例4.1 設 , 是上的r.v., .如果對任意的都有 , 則
$X^{-1}(B)=left{egin{aligned}&mathbb{R}, &Cin B, \&varnothing, &C otin B. \end{aligned} ight.$

這部分我一開始被老師繞糊塗了, 下面按照我的理解解釋一遍:

如果 , 則B在X中的原像恰好為整個 , 也就是說恆成立.

如果 , 則 , 都不在B內, 即B在X中的原像為空集, 也就是說 .

定義4.3 [分布函數] 設X是概率空間中r.v., 定義是X的分布函數(distribution function).
注: (1) 表示事件發生的概率.

(2)如果定義成 , 對它的連續性質有影響.
(3)易知F是函數.(4)【重要】分布函數與分布的關係:

下面看分布函數的性質. 把滿足下面三個性質的函數叫分布函數. 設是r.v.

性質4.1(單調不降性) $forall x_1,x_2inmathbb{R}, x_1<x_2$ , 則

證明: 用概率的單調性並注意到即可. QED

性質4.2 $limlimits_{x o-infty}F(x)=0, limlimits_{x o+infty}F(x)=1.$

證明: 用從上、下連續性. $egin{aligned} &limlimits_{n o-infty}Pcircxi^{-1}((-infty,-n]) =Pcircxi^{-1}left(igcaplimits_{n=1}^{+infty}(-infty,-n] ight)=0. \ &limlimits_{n o+infty}Pcircxi^{-1}((-infty,m]) =Pcircxi^{-1}left(igcuplimits_{n=1}^{+infty}(-infty,m] ight) =Pcircxi^{-1}(mathbb{R})=1. end{aligned}$

注: 用相互包含可以證 $igcaplimits_{n=1}^{+infty}(-infty,x_n]=(-infty,x].$

性質4.3(右連續)

證明: 只需證時 . 用概率的從上連續性,

$egin{aligned} limlimits_{n oinfty}F(x_n) =&limlimits_{n oinfty}Pcircxi^{-1}((-infty,x_n]) \ =&Pcircxi^{-1}left(igcaplimits_{n=1}^{+infty}(-infty,x_n] ight) \ =&Pcircxi^{-1}((-infty,x])=F(x). end{aligned}$

注: F(x)的不連續點個數至多可數.

注: ${x|F(x) eq F(x-0)}={x|F(x)-F(x-0)>0} =igcuplimits_{n=1}^{+infty}{x|F(x)-F(x-0)geqdfrac{1}{n}}$ ，其中集合 ${x|F(x)-F(x-0)geqdfrac{1}{n}}$ 的元素只有有限個(不多於n個, 考慮到概率的規範性

4.1 離散型r.v.的分布列與分布函數的關係

設X為離散型r.v., 其可能取值為 ${x_k}_{kgeq 1}$ , 且 , 則分布函數是

$F(x)=P(Xleq x)=sumlimits_{x_ileq x}P(X=x_i)=sumlimits_{x_ileq x}p_i.$

另外,

可以觀察出是個階梯函數, 在處跳的高度是 . 它有左極限且右連續.

4.2 連續型r.v.

定義4.4[概率密度函數] 對於連續型r.v. X的分布函數 , 若存在非負可積函數使得
$F(x)=int_{-infty}^x p(y)dy,$ 則稱為X的概率密度函數(density function).注: (1)這裡積分是Lebesgue積分, dy表示測度. 中不大於0的點放在一起構成Lebesgue測度上的零測度集.(2)這裡F連續但不一定可導, 只有當p連續時F才可導.(3)一般給的p都較好, 可以當作Riemann積分來做.