概率论复习笔记(6)——Borel-Cantelli引理与Borel强大数定律

在上一篇笔记中，我们主要讲了Chebyshev不等式的应用：

fjddy：概率论复习笔记(5)——Chebyshev不等式?

zhuanlan.zhihu.com

而在这次，还会多次用到Chebyshev不等式，可见它的重要性. 还不快好好复习？

事实上, Borel-Cantelli引理除了Borel强大数定律以外，在Komogorov强大数定律的证明中也会用到, 但是考虑到篇幅较长(要证好几个引理, 至少它在我的上课笔记本上记满了5页纸), 还是决定在下一篇再写它吧：如下.

fjddy：概率论复习笔记(7)——Kolmogorov大数定律?

zhuanlan.zhihu.com

1 引入

首先介绍几个概念. 下面记是个概率空间, ${xi_n: xi}_{ngeq 1}$ 是它上面的r.v.列.

定义1.1[几乎必然收敛]如果满足（即A是个零测集）, 使得则称几乎必然收敛到 , 或者记为

$xi_nstackrel{a.s.}{longrightarrow}xi(n oinfty).$
定义1.2 [依概率收敛] 如果都有 $limlimits_{n oinfty}P(|xi_n-xi|geqvarepsilon)=0,$ 则称依概率收敛到 , 或者记为 $xi_nstackrel{P}{longrightarrow}xi(n oinfty).$

利用极限的唯一性可以证明上面两种收敛的极限几乎必然唯一.

a.s.收敛可推出依概率收敛, 反之不成立, 见下面例子:

例1.1 令是个Borel- 代数. 把P取为上的Lebesgue测度. 令
$eta_{ki}(omega)=left{egin{aligned}&1, &omegainleft(dfrac{i-1}{k},dfrac{i}{k} ight]\ &0,&omega otinleft(dfrac{i-1}{k},dfrac{i}{k} ight]end{aligned} ight.$ 这里先取定k再取定i. 定义 $xi_n riangleqeta_{ki}, n=i+dfrac{k(k-1)}{2},$ 该定义合理（没重复的n对应不同的k,i）.

注意到必有无穷个n使得也有无穷多个m使得所以不可能几乎必然收敛为0, 即

$xi_nstackrel{a.s.}{ rightarrow}0(n oinfty).$

另一方面,

$forallvarepsilonin(0,1), P(xi_n(omega)>varepsilon)=P(eta_{ki}(omega)>varepsilon) =Pleft(dfrac{i-1}{k}<omegaleqdfrac{i}{k} ight)=dfrac{1}{k},$

让则根据 $n=i+dfrac{k(k-1)}{2}leqdfrac{k(k+1)}{2}$ 可知则 $limlimits_{n oinfty}P(xi_n>varepsilon)=0.$ 从而

$xi_nstackrel{P}{longrightarrow}0(n oinfty).$

定义1.3 [上极限集与下极限集](1)把
$igcaplimits_{k=1}^{infty}igcuplimits_{n=k}^{infty}A_n ={omega: omega ext{在无穷多个}A_n ext{中}}={omega:forall jinmathbb{N},exists kgeq j(xin A_k)}$ 称为的上极限集, 记为 $limsuplimits_{n oinfty}A_n.$ (2)把 $igcuplimits_{k=1}^{infty}igcaplimits_{n=k}^{infty}A_n ={omega: omega ext{不在至多有限个}A_n ext{中}} ={omega:exists j_0inmathbb{N},exists kgeq j_0(xin A_k)}$ 称为的下极限集, 记为 $liminflimits_{n oinfty}A_n.$

显然 $liminflimits_{n oinfty}A_nsubsetlimsuplimits_{n oinfty}A_n.$

下面两个定理很重要, 它刻画了几乎必然收敛与依概率收敛.

定理1.1 [几乎必然收敛的刻画]
$xi_nstackrel{a.s.}{longrightarrow}xi Longleftrightarrow forallvarepsilon>0, Pleft(igcaplimits_{k=1}^{infty} igcuplimits_{n=k}^{infty}[|xi_n-xi|geqvarepsilon] ight)=0.$

证明：只需利用 ${x:x<varepsilon}=igcaplimits_{n=1}^{infty}{x: xgeqdfrac{1}{n}},$ 并注意到

$egin{aligned} xi_nstackrel{a.s.}{longrightarrow}xi Longleftrightarrow &Pleft(limlimits_{n oinfty}xi_n=xi ight)=1 \ Longleftrightarrow &P({omegainOmega: xi_n(omega) oxi(omega)})=1 \ Longleftrightarrow &Pleft(igcaplimits_{k=1}^{infty}igcuplimits_{n=1}^{infty} igcaplimits_{i=n}^{infty}left[|xi_i-xi|<dfrac{1}{k} ight] ight)=1 \ Longleftrightarrow &Pleft(igcuplimits_{k=1}^{infty}igcaplimits_{n=1}^{infty} igcuplimits_{i=n}^{infty}left[|xi_i-xi|geqdfrac{1}{k} ight] ight)=0 \ Longleftrightarrow &Pleft(igcaplimits_{n=1}^{infty} igcuplimits_{i=n}^{infty}left[|xi_i-xi|geqdfrac{1}{k} ight] ight)=0, forall kgeq 1 ext{(次$sigma$可加性与单调性)} \ Longleftrightarrow &Pleft(igcaplimits_{n=1}^{infty} igcuplimits_{i=n}^{infty}left[|xi_i-xi|geqvarepsilon ight] ight)=0, forall varepsilon>0. square end{aligned}$

定理1.2 [依概率收敛的刻画]
$xi_nstackrel{P}{longrightarrow}xi Longleftrightarrow ext{对${xi_n}$的任一子列${xi_n}$, 都存在子列${xi_{n_k}}_{kgeq 1}$, 使得}xi_{n_k}stackrel{a.s.}{longrightarrow}xi.$

证明：「」: 假定 $xi_nstackrel{P}{longrightarrow}xi,$ 根据定义, 对它的任一子列 ${xi_{n}}$ 都有 $xi_nstackrel{P}{longrightarrow}xi,$ 从而 $forall kgeq 1, existsxi_{n_k}subset{xi_n},$ 使得

$egin{aligned} &Pleft(|xi_{n_k}-xi|geqdfrac{1}{k} ight)leqdfrac{1}{2^k} \ Longleftrightarrow & Pleft(igcuplimits_{k=m}^{infty} left[|xi_{n_k}-xi|geqdfrac{1}{k} ight] ight) leqsumlimits_{k=m}^{infty}dfrac{1}{2^k}=dfrac{1}{2^{m-1}}. end{aligned}$

取m充分大, 使得 $varepsilon>dfrac{1}{k}, k=m,m+1,cdots,$ 则对于 $jgeq maxleft{m, leftlfloordfrac{1}{varepsilon} ight floor+1 ight},$ 有

$egin{aligned} &Pleft(igcuplimits_{k=m}^{infty}left[|xi_{n_k}-xi|>varepsilon ight] ight) leqdfrac{1}{2^{j-1}}\ Longrightarrow & limlimits_{j oinfty} Pleft(igcuplimits_{k=j}^{infty}left[|xi_{n_k}-xi|geqvarepsilon ight] ight)=0 \ Longleftrightarrow &Pleft(igcaplimits_{j=1}^{infty}igcuplimits_{k=j}^{infty} left[|xi_{n_k}-xi|geqvarepsilon ight] ight)=0. end{aligned}$

「」(反证)假设 $xi_nstackrel{P}{longrightarrow}xi$ 不成立, 即以及 ${xi_{n_m}}subset{xi_n},$ 使得

$P(|xi_{n_m}-xi|geqvarepsilon_0)>delta>0,forall ngeq 1.$

(即这个子列不是依概率收敛). 对此子列而言,

$egin{aligned} &Pleft(igcaplimits_{k=1}^{infty}igcuplimits_{m=k}^{infty} [|xi_{n_m}-xi|geqvarepsilon_0] ight) \ =&limlimits_{k oinfty}Pleft(igcuplimits_{m=k}^{infty} [|xi_{n_m}-xi|geqvarepsilon_0] ight) \ geq&limsuplimits_{m oinfty}P(|xi_{n_m}-xi|geqvarepsilon_0)>delta>0, end{aligned}$

与 $xi_{n_k}stackrel{a.s.}{longrightarrow}xi$ 矛盾. QED

注：以后将会频繁利用上面两个定理, 尤其是几乎必然收敛的刻画. 利用这个刻画再结合概率测度的从上(下?)连续性可以进行放缩.

例1.2 设 $xi_nstackrel{P}{longrightarrow}xi,$ 连续, 则 $f(xi_n)stackrel{P}{longrightarrow}f(xi).$

证明： $xi_nstackrel{P}{longrightarrow}xi$ , 则 $forall{xi_{n}}subset{xi_n}, exists{xi_{n_k}}subset{xi_n},$ 使得 $xi_{n_k}stackrel{a.s.}{longrightarrow}xi.$ 由于故 $f(xi_{n_k})stackrel{a.s.}{longrightarrow}f(xi).$ （复合函数连续性, 可参考数学分析书）, 即得 $f(xi_n)stackrel{P}{longrightarrow}f(xi).$ QED

例1.3 如果 $sumlimits_{n=1}^{infty}|xi_n-xi|_p^p<+infty,$ 则 $xi_nstackrel{a.s.}{longrightarrow}xi.$

证明：根据几乎必然收敛的刻画, 以及概率测度的单调性、从上连续性, 可以把欲证命题进行等价转化:

$egin{aligned} &xi_nstackrel{a.s.}{longrightarrow}xi\ Longleftrightarrow &forallvarepsilon>0, Pleft(igcaplimits_{k=1}^{infty} igcuplimits_{n=k}^{infty}[|xi_n-xi|geqvarepsilon] ight)=0 \ Longleftrightarrow &forallvarepsilon>0, limlimits_{k oinfty} Pleft(igcuplimits_{n=k}^{infty}[|xi_n-xi|geqvarepsilon] ight)=0. end{aligned}$

利用Cauchy准则, 可得

$sumlimits_{n=1}^{infty}|xi_n-xi|_p^p<+infty Longleftrightarrow limlimits_{k oinfty}sumlimits_{n=k}^{infty}|xi_n-xi|_p^p=0.$

则

$egin{aligned} &Pleft(igcuplimits_{n=k}^{infty}[|xi_n-xi|geqvarepsilon] ight) \ leq&sumlimits_{n=k}^{infty}P[|xi_n-xi|geqvarepsilon] ext{ (次$sigma$可加性)}\ leq&sumlimits_{n=k}^{infty}dfrac{1}{varepsilon^p}E|xi_n-xi|^p ext{ (Chebyshev)} \ & o 0(k oinfty) hspace{0.5cm}square end{aligned}$

2 Borel-Cantelli引理

有了前面的准备, 现在可以直接引入Borel-Cantelli引理了.

定理2.1 [Borel-Cantelli](1)我们有
$sumlimits_{n=1}^{infty}P(A_n)<+inftyLongrightarrow Pleft(igcaplimits_{k=1}^{infty}igcuplimits_{n=k}^{infty}A_n ight)=0.$ 即不可能发生无穷多次. (2)若 ${A_n}$ 相互独立, 则有 $sumlimits_{n=1}^{infty}P(A_n)=+inftyLongrightarrow Pleft(igcaplimits_{k=1}^{infty}igcuplimits_{n=k}^{infty}A_n ight)=1.$ 即必然发生无穷多次.

证明： (1)只需注意到

$egin{aligned} &Pleft(igcaplimits_{k=1}^{infty}igcuplimits_{n=k}^{infty}A_n ight) \ =&limlimits_{k oinfty}Pleft(igcuplimits_{n=k}^{infty}A_n ight) ext{ (序列${igcuplimits_{n=k}^{infty}A_n}_{kgeq 1}$单调递减)} \ leq&limlimits_{k oinfty}sumlimits_{n=k}^{infty}P(A_n) ext{ (次$sigma$-可加性)} \ leq&0. ext{(利用条件以及Cauchy准则)} end{aligned}$

(2)欲证命题可以作如下转化：

$egin{aligned} &Pleft(igcaplimits_{k=1}^{infty}igcuplimits_{n=k}^{infty}A_n ight)=1 \ Longleftrightarrow &limlimits_{k oinfty}Pleft(igcuplimits_{n=k}^{infty}A_n ight)=1\ Longleftrightarrow &Pleft(igcuplimits_{n=k}^{infty}A_n ight)=1, forall kgeq 1 quad ext{(单调递减趋于1, 只能为1)} \ Longleftrightarrow &Pleft(igcaplimits_{n=k}^{infty}A_n^c ight)=0, forall kgeq 1. quad ext{(de Morgan)} end{aligned}$

事实上,

$egin{aligned} 0&leq Pleft(igcaplimits_{n=k}^{infty}A_n^c ight) \ &=limlimits_{m oinfty}Pleft(igcaplimits_{n=k}^mA_n^c ight) quad ext{(从下连续性)} \ &=limlimits_{m oinfty}prodlimits_{n=k}^m(1-P(A_n)) quad ext{(独立性)} \ &leqlimlimits_{m oinfty}prodlimits_{n=k}^m(e^{-P(A_n)}) quad(e^{-x}geq -x+1) \ &=expleft(-limlimits_{m oinfty}sumlimits_{n=k}^mP(A_n) ight) =0. end{aligned}$

根据夹逼定理可以证明完毕. QED

注1：如果把相互独立减弱为两两不相关或者两两负相关, 结论仍成立.

注2：Borel-Cantelli给出了几乎处处收敛的充分条件(把上述 ). 另外如果加上相互独立又给出了个几乎处处收敛的必要条件.

下面给出一个换了一种高大上表述的「推论」——Borel 0-1律.

推论2.2 [Borel 0-1律] 若 ${A_n}$ 相互独立, 则
$egin{aligned} &sumlimits_{n=1}^{infty}P(A_n)<inftyLongrightarrow Pleft(igcaplimits_{k=1}^{infty}igcuplimits_{n=k}^{infty}A_n ight)=0. \ &sumlimits_{n=1}^{infty}P(A_n)=+inftyLongrightarrow Pleft(igcaplimits_{k=1}^{infty}igcuplimits_{n=k}^{infty}A_n ight)=1. end{aligned}$

3 Borel强大数定律的证明

定理3.1 [Borel强大数定律] 设是事件A在n次独立试验中出现的次数, p是A在每次试验中发生的概率, 则 $dfrac{mu_n}{n}stackrel{a.s.}{longrightarrow}p.$

证明： 根据几乎必然收敛的刻画, 我们只需要证

$Pleft(igcaplimits_{k=1}^{infty}igcuplimits_{n=k}^{infty} left[left|dfrac{mu_n}{n}-p ight|geqvarepsilon ight] ight)=0.$

再根据Borel-Cantelli引理, 我们只需证

$sumlimits_{n=1}^{infty}Pleft(left|dfrac{mu_n}{n}-p ight|geqvarepsilon ight)<infty.$

记 $xi_i=left{egin{aligned}&1, & ext{第i次A发生} \ &0, & ext{第i次A不发生}end{aligned} ight.,$ 则 $Exi_i=p, dfrac{mu_n}{n}-p=sumlimits_{i=1}^n(xi_i-p),$ 相当于作了中心化处理. 由于 ${xi_n}$ 之间相互独立, 则有

根据Chebyshev不等式(推广)以及题目所给的i.i.d条件,

$egin{aligned} &Pleft(left|dfrac{mu_n}{n}-p ight|geqvarepsilon ight) \ leq&dfrac{1}{varepsilon^4}Eleft|dfrac{mu_n}{n}-p ight|^4 \ =&dfrac{1}{varepsilon^4n^4}Eleft(sumlimits_{i=1}^n(xi_i-p) ight)^4 \ =&dfrac{1}{varepsilon^4n^4}sumlimits_{i=1}^nsumlimits_{j=1}^nsumlimits_{k=1}^nsumlimits_{l=1}^n E(xi_i-p)(xi_ji-p)(xi_k-p)(xi_l-p) \ =&dfrac{1}{varepsilon^4n^4}left[nE|xi_i-p|^4+mathrm{C}_n^2mathrm{C}_4^2E(xi_1-p)^2(xi_2-p)^2 ight] \ =&dfrac{1}{varepsilon^4n^4}left[npq(p^3+q^3)+3n(n-1)p^2q^2 ight] \ leq&dfrac{Cn^2}{varepsilon^4n^4}=dfrac{C}{n^2varepsilon^4}, ext{for some C}. end{aligned}$