概率論複習筆記(6)——Borel-Cantelli引理與Borel強大數定律

在上一篇筆記中，我們主要講了Chebyshev不等式的應用：

fjddy：概率論複習筆記(5)——Chebyshev不等式?

zhuanlan.zhihu.com

而在這次，還會多次用到Chebyshev不等式，可見它的重要性. 還不快好好複習？

事實上, Borel-Cantelli引理除了Borel強大數定律以外，在Komogorov強大數定律的證明中也會用到, 但是考慮到篇幅較長(要證好幾個引理, 至少它在我的上課筆記本上記滿了5頁紙), 還是決定在下一篇再寫它吧：如下.

fjddy：概率論複習筆記(7)——Kolmogorov大數定律?

zhuanlan.zhihu.com

1 引入

首先介紹幾個概念. 下面記是個概率空間, ${xi_n: xi}_{ngeq 1}$ 是它上面的r.v.列.

定義1.1[幾乎必然收斂]如果滿足（即A是個零測集）, 使得則稱幾乎必然收斂到 , 或者記為

$xi_nstackrel{a.s.}{longrightarrow}xi(n oinfty).$
定義1.2 [依概率收斂] 如果都有 $limlimits_{n oinfty}P(|xi_n-xi|geqvarepsilon)=0,$ 則稱依概率收斂到 , 或者記為 $xi_nstackrel{P}{longrightarrow}xi(n oinfty).$

利用極限的唯一性可以證明上面兩種收斂的極限幾乎必然唯一.

a.s.收斂可推出依概率收斂, 反之不成立, 見下面例子:

例1.1 令是個Borel- 代數. 把P取為上的Lebesgue測度. 令
$eta_{ki}(omega)=left{egin{aligned}&1, &omegainleft(dfrac{i-1}{k},dfrac{i}{k} ight]\ &0,&omega otinleft(dfrac{i-1}{k},dfrac{i}{k} ight]end{aligned} ight.$ 這裡先取定k再取定i. 定義 $xi_n riangleqeta_{ki}, n=i+dfrac{k(k-1)}{2},$ 該定義合理（沒重複的n對應不同的k,i）.

注意到必有無窮個n使得也有無窮多個m使得所以不可能幾乎必然收斂為0, 即

$xi_nstackrel{a.s.}{ rightarrow}0(n oinfty).$

另一方面,

$forallvarepsilonin(0,1), P(xi_n(omega)>varepsilon)=P(eta_{ki}(omega)>varepsilon) =Pleft(dfrac{i-1}{k}<omegaleqdfrac{i}{k} ight)=dfrac{1}{k},$

讓則根據 $n=i+dfrac{k(k-1)}{2}leqdfrac{k(k+1)}{2}$ 可知則 $limlimits_{n oinfty}P(xi_n>varepsilon)=0.$ 從而

$xi_nstackrel{P}{longrightarrow}0(n oinfty).$

定義1.3 [上極限集與下極限集](1)把
$igcaplimits_{k=1}^{infty}igcuplimits_{n=k}^{infty}A_n ={omega: omega ext{在無窮多個}A_n ext{中}}={omega:forall jinmathbb{N},exists kgeq j(xin A_k)}$ 稱為的上極限集, 記為 $limsuplimits_{n oinfty}A_n.$ (2)把 $igcuplimits_{k=1}^{infty}igcaplimits_{n=k}^{infty}A_n ={omega: omega ext{不在至多有限個}A_n ext{中}} ={omega:exists j_0inmathbb{N},exists kgeq j_0(xin A_k)}$ 稱為的下極限集, 記為 $liminflimits_{n oinfty}A_n.$

顯然 $liminflimits_{n oinfty}A_nsubsetlimsuplimits_{n oinfty}A_n.$

下面兩個定理很重要, 它刻畫了幾乎必然收斂與依概率收斂.

定理1.1 [幾乎必然收斂的刻畫]
$xi_nstackrel{a.s.}{longrightarrow}xi Longleftrightarrow forallvarepsilon>0, Pleft(igcaplimits_{k=1}^{infty} igcuplimits_{n=k}^{infty}[|xi_n-xi|geqvarepsilon] ight)=0.$

證明：只需利用 ${x:x<varepsilon}=igcaplimits_{n=1}^{infty}{x: xgeqdfrac{1}{n}},$ 並注意到

$egin{aligned} xi_nstackrel{a.s.}{longrightarrow}xi Longleftrightarrow &Pleft(limlimits_{n oinfty}xi_n=xi ight)=1 \ Longleftrightarrow &P({omegainOmega: xi_n(omega) oxi(omega)})=1 \ Longleftrightarrow &Pleft(igcaplimits_{k=1}^{infty}igcuplimits_{n=1}^{infty} igcaplimits_{i=n}^{infty}left[|xi_i-xi|<dfrac{1}{k} ight] ight)=1 \ Longleftrightarrow &Pleft(igcuplimits_{k=1}^{infty}igcaplimits_{n=1}^{infty} igcuplimits_{i=n}^{infty}left[|xi_i-xi|geqdfrac{1}{k} ight] ight)=0 \ Longleftrightarrow &Pleft(igcaplimits_{n=1}^{infty} igcuplimits_{i=n}^{infty}left[|xi_i-xi|geqdfrac{1}{k} ight] ight)=0, forall kgeq 1 ext{(次$sigma$可加性與單調性)} \ Longleftrightarrow &Pleft(igcaplimits_{n=1}^{infty} igcuplimits_{i=n}^{infty}left[|xi_i-xi|geqvarepsilon ight] ight)=0, forall varepsilon>0. square end{aligned}$

定理1.2 [依概率收斂的刻畫]
$xi_nstackrel{P}{longrightarrow}xi Longleftrightarrow ext{對${xi_n}$的任一子列${xi_n}$, 都存在子列${xi_{n_k}}_{kgeq 1}$, 使得}xi_{n_k}stackrel{a.s.}{longrightarrow}xi.$

證明：「」: 假定 $xi_nstackrel{P}{longrightarrow}xi,$ 根據定義, 對它的任一子列 ${xi_{n}}$ 都有 $xi_nstackrel{P}{longrightarrow}xi,$ 從而 $forall kgeq 1, existsxi_{n_k}subset{xi_n},$ 使得

$egin{aligned} &Pleft(|xi_{n_k}-xi|geqdfrac{1}{k} ight)leqdfrac{1}{2^k} \ Longleftrightarrow & Pleft(igcuplimits_{k=m}^{infty} left[|xi_{n_k}-xi|geqdfrac{1}{k} ight] ight) leqsumlimits_{k=m}^{infty}dfrac{1}{2^k}=dfrac{1}{2^{m-1}}. end{aligned}$

取m充分大, 使得 $varepsilon>dfrac{1}{k}, k=m,m+1,cdots,$ 則對於 $jgeq maxleft{m, leftlfloordfrac{1}{varepsilon} ight floor+1 ight},$ 有

$egin{aligned} &Pleft(igcuplimits_{k=m}^{infty}left[|xi_{n_k}-xi|>varepsilon ight] ight) leqdfrac{1}{2^{j-1}}\ Longrightarrow & limlimits_{j oinfty} Pleft(igcuplimits_{k=j}^{infty}left[|xi_{n_k}-xi|geqvarepsilon ight] ight)=0 \ Longleftrightarrow &Pleft(igcaplimits_{j=1}^{infty}igcuplimits_{k=j}^{infty} left[|xi_{n_k}-xi|geqvarepsilon ight] ight)=0. end{aligned}$

「」(反證)假設 $xi_nstackrel{P}{longrightarrow}xi$ 不成立, 即以及 ${xi_{n_m}}subset{xi_n},$ 使得

$P(|xi_{n_m}-xi|geqvarepsilon_0)>delta>0,forall ngeq 1.$

(即這個子列不是依概率收斂). 對此子列而言,

$egin{aligned} &Pleft(igcaplimits_{k=1}^{infty}igcuplimits_{m=k}^{infty} [|xi_{n_m}-xi|geqvarepsilon_0] ight) \ =&limlimits_{k oinfty}Pleft(igcuplimits_{m=k}^{infty} [|xi_{n_m}-xi|geqvarepsilon_0] ight) \ geq&limsuplimits_{m oinfty}P(|xi_{n_m}-xi|geqvarepsilon_0)>delta>0, end{aligned}$

與 $xi_{n_k}stackrel{a.s.}{longrightarrow}xi$ 矛盾. QED

註：以後將會頻繁利用上面兩個定理, 尤其是幾乎必然收斂的刻畫. 利用這個刻畫再結合概率測度的從上(下?)連續性可以進行放縮.

例1.2 設 $xi_nstackrel{P}{longrightarrow}xi,$ 連續, 則 $f(xi_n)stackrel{P}{longrightarrow}f(xi).$

證明： $xi_nstackrel{P}{longrightarrow}xi$ , 則 $forall{xi_{n}}subset{xi_n}, exists{xi_{n_k}}subset{xi_n},$ 使得 $xi_{n_k}stackrel{a.s.}{longrightarrow}xi.$ 由於故 $f(xi_{n_k})stackrel{a.s.}{longrightarrow}f(xi).$ （複合函數連續性, 可參考數學分析書）, 即得 $f(xi_n)stackrel{P}{longrightarrow}f(xi).$ QED

例1.3 如果 $sumlimits_{n=1}^{infty}|xi_n-xi|_p^p<+infty,$ 則 $xi_nstackrel{a.s.}{longrightarrow}xi.$

證明：根據幾乎必然收斂的刻畫, 以及概率測度的單調性、從上連續性, 可以把欲證命題進行等價轉化:

$egin{aligned} &xi_nstackrel{a.s.}{longrightarrow}xi\ Longleftrightarrow &forallvarepsilon>0, Pleft(igcaplimits_{k=1}^{infty} igcuplimits_{n=k}^{infty}[|xi_n-xi|geqvarepsilon] ight)=0 \ Longleftrightarrow &forallvarepsilon>0, limlimits_{k oinfty} Pleft(igcuplimits_{n=k}^{infty}[|xi_n-xi|geqvarepsilon] ight)=0. end{aligned}$

利用Cauchy準則, 可得

$sumlimits_{n=1}^{infty}|xi_n-xi|_p^p<+infty Longleftrightarrow limlimits_{k oinfty}sumlimits_{n=k}^{infty}|xi_n-xi|_p^p=0.$

則

$egin{aligned} &Pleft(igcuplimits_{n=k}^{infty}[|xi_n-xi|geqvarepsilon] ight) \ leq&sumlimits_{n=k}^{infty}P[|xi_n-xi|geqvarepsilon] ext{ (次$sigma$可加性)}\ leq&sumlimits_{n=k}^{infty}dfrac{1}{varepsilon^p}E|xi_n-xi|^p ext{ (Chebyshev)} \ & o 0(k oinfty) hspace{0.5cm}square end{aligned}$

2 Borel-Cantelli引理

有了前面的準備, 現在可以直接引入Borel-Cantelli引理了.

定理2.1 [Borel-Cantelli](1)我們有
$sumlimits_{n=1}^{infty}P(A_n)<+inftyLongrightarrow Pleft(igcaplimits_{k=1}^{infty}igcuplimits_{n=k}^{infty}A_n ight)=0.$ 即不可能發生無窮多次. (2)若 ${A_n}$ 相互獨立, 則有 $sumlimits_{n=1}^{infty}P(A_n)=+inftyLongrightarrow Pleft(igcaplimits_{k=1}^{infty}igcuplimits_{n=k}^{infty}A_n ight)=1.$ 即必然發生無窮多次.

證明： (1)只需注意到

$egin{aligned} &Pleft(igcaplimits_{k=1}^{infty}igcuplimits_{n=k}^{infty}A_n ight) \ =&limlimits_{k oinfty}Pleft(igcuplimits_{n=k}^{infty}A_n ight) ext{ (序列${igcuplimits_{n=k}^{infty}A_n}_{kgeq 1}$單調遞減)} \ leq&limlimits_{k oinfty}sumlimits_{n=k}^{infty}P(A_n) ext{ (次$sigma$-可加性)} \ leq&0. ext{(利用條件以及Cauchy準則)} end{aligned}$

(2)欲證命題可以作如下轉化：

$egin{aligned} &Pleft(igcaplimits_{k=1}^{infty}igcuplimits_{n=k}^{infty}A_n ight)=1 \ Longleftrightarrow &limlimits_{k oinfty}Pleft(igcuplimits_{n=k}^{infty}A_n ight)=1\ Longleftrightarrow &Pleft(igcuplimits_{n=k}^{infty}A_n ight)=1, forall kgeq 1 quad ext{(單調遞減趨於1, 只能為1)} \ Longleftrightarrow &Pleft(igcaplimits_{n=k}^{infty}A_n^c ight)=0, forall kgeq 1. quad ext{(de Morgan)} end{aligned}$

事實上,

$egin{aligned} 0&leq Pleft(igcaplimits_{n=k}^{infty}A_n^c ight) \ &=limlimits_{m oinfty}Pleft(igcaplimits_{n=k}^mA_n^c ight) quad ext{(從下連續性)} \ &=limlimits_{m oinfty}prodlimits_{n=k}^m(1-P(A_n)) quad ext{(獨立性)} \ &leqlimlimits_{m oinfty}prodlimits_{n=k}^m(e^{-P(A_n)}) quad(e^{-x}geq -x+1) \ &=expleft(-limlimits_{m oinfty}sumlimits_{n=k}^mP(A_n) ight) =0. end{aligned}$

根據夾逼定理可以證明完畢. QED

注1：如果把相互獨立減弱為兩兩不相關或者兩兩負相關, 結論仍成立.

注2：Borel-Cantelli給出了幾乎處處收斂的充分條件(把上述 ). 另外如果加上相互獨立又給出了個幾乎處處收斂的必要條件.

下面給出一個換了一種高大上表述的「推論」——Borel 0-1律.

推論2.2 [Borel 0-1律] 若 ${A_n}$ 相互獨立, 則
$egin{aligned} &sumlimits_{n=1}^{infty}P(A_n)<inftyLongrightarrow Pleft(igcaplimits_{k=1}^{infty}igcuplimits_{n=k}^{infty}A_n ight)=0. \ &sumlimits_{n=1}^{infty}P(A_n)=+inftyLongrightarrow Pleft(igcaplimits_{k=1}^{infty}igcuplimits_{n=k}^{infty}A_n ight)=1. end{aligned}$

3 Borel強大數定律的證明

定理3.1 [Borel強大數定律] 設是事件A在n次獨立試驗中出現的次數, p是A在每次試驗中發生的概率, 則 $dfrac{mu_n}{n}stackrel{a.s.}{longrightarrow}p.$

證明： 根據幾乎必然收斂的刻畫, 我們只需要證

$Pleft(igcaplimits_{k=1}^{infty}igcuplimits_{n=k}^{infty} left[left|dfrac{mu_n}{n}-p ight|geqvarepsilon ight] ight)=0.$

再根據Borel-Cantelli引理, 我們只需證

$sumlimits_{n=1}^{infty}Pleft(left|dfrac{mu_n}{n}-p ight|geqvarepsilon ight)<infty.$

記 $xi_i=left{egin{aligned}&1, & ext{第i次A發生} \ &0, & ext{第i次A不發生}end{aligned} ight.,$ 則 $Exi_i=p, dfrac{mu_n}{n}-p=sumlimits_{i=1}^n(xi_i-p),$ 相當於作了中心化處理. 由於 ${xi_n}$ 之間相互獨立, 則有

根據Chebyshev不等式(推廣)以及題目所給的i.i.d條件,

$egin{aligned} &Pleft(left|dfrac{mu_n}{n}-p ight|geqvarepsilon ight) \ leq&dfrac{1}{varepsilon^4}Eleft|dfrac{mu_n}{n}-p ight|^4 \ =&dfrac{1}{varepsilon^4n^4}Eleft(sumlimits_{i=1}^n(xi_i-p) ight)^4 \ =&dfrac{1}{varepsilon^4n^4}sumlimits_{i=1}^nsumlimits_{j=1}^nsumlimits_{k=1}^nsumlimits_{l=1}^n E(xi_i-p)(xi_ji-p)(xi_k-p)(xi_l-p) \ =&dfrac{1}{varepsilon^4n^4}left[nE|xi_i-p|^4+mathrm{C}_n^2mathrm{C}_4^2E(xi_1-p)^2(xi_2-p)^2 ight] \ =&dfrac{1}{varepsilon^4n^4}left[npq(p^3+q^3)+3n(n-1)p^2q^2 ight] \ leq&dfrac{Cn^2}{varepsilon^4n^4}=dfrac{C}{n^2varepsilon^4}, ext{for some C}. end{aligned}$