概率論複習筆記(5)——Chebyshev不等式

在閱讀之前，你可能對這篇感興趣：

fjddy：概率論複習筆記(6)——Borel-Cantelli引理與Borel強大數定律?

zhuanlan.zhihu.com

fjddy：概率論複習筆記(7)——Kolmogorov大數定律?

zhuanlan.zhihu.com

fjddy：概率論複習筆記(8)——特徵函數與Lindberg-Lévy中心極限定理?

zhuanlan.zhihu.com

最近開始期末複習了，所以可能會高產一點！！！！

老師說Chebyshev不等式很重要很重要，那就先複習Chebyshev不等式吧！！

1 基本定理證明

設X是r.v., 下面用表示X的期望, 表示X的方差, $I_A(x)=left{egin{aligned}&1, &xin A\&0,&x otin Aend{aligned} ight..$

定理1.1[Chebyshev] 設則 $forall varepsilon>0, P(|xi-Exi|geq varepsilon)leqdfrac{Dxi}{varepsilon^2}.$

證明：注意到 $dfrac{(xi-Exi)^2}{varepsilon^2}geq 1$ 以及則

$egin{aligned} P(|xi-Exi|geqvarepsilon)&=EI_{[|xi-Exi|geqvarepsilon]} ext{ (看作均勻分布)} \ &leq Eleft(dfrac{(xi-Exi)^2}{varepsilon^2}I_{[|xi-Exi|geqvarepsilon]} ight)\ &leq Eleft(dfrac{(xi-Exi)^2}{varepsilon^2} ight)=dfrac{Dxi}{varepsilon^2}. quadsquare end{aligned}$

定理1.2[推廣Chebyshev] $forallvarepsilon>0, P(|xi-Exi|geq varepsilon)leqdfrac{E|xi-Exi|^p}{varepsilon^p}.$

證明：思路是同上的, 只需注意到 $dfrac{(xi-Exi)^p}{varepsilon^p}geq 1$ 即可. QED

例1.1 設是r.v., 若 , 則 . （即幾乎處處是同一常數）

證明：主要思路是利用 ${x:x>0}=igcuplimits_{n=1}^{infty}{x: xgeqdfrac{1}{n}}.$ 記 , 則

$egin{aligned} P(xi eq c)&=P(|xi-c|>0) \ &=Pleft(igcuplimits_{n=1}^{infty}left[|xi-c|geqdfrac{1}{n}<br /> ight]<br /> ight) \ &leqsumlimits_{n=1}^{infty}Pleft(|xi-c|geqdfrac{1}{n}<br /> ight) ext{ (次$sigma$可加性)}\ &leqsumlimits_{n=1}^{infty}n^2Dxi=0. ext{ (Chebyshev)} end{aligned}$

註：可以推廣為

2 Chebyshev不等式的應用

下面記 ${xi_n:xi}subset(Omega,mathscr{F},P).$

如果都有 $limlimits_{n oinfty}P(|xi_n-xi|geqvarepsilon)=0,$ 則稱 依概率收斂到 .

收斂(也稱p階收斂)指的是 $limlimits_{n oinfty}|xi_n-xi|_p=0,$ 這裡代表p-範數.

例2.1 如果r.v.列收斂為 , 則依概率收斂到 , 且

證明：利用Chebyshev不等式,

$P(|xi_n-xi|geqvarepsilon)leqdfrac{1}{varepsilon^p}E|xi_n-xi|^p =dfrac{1}{varepsilon^p}|xi_n-xi|_p^p o 0 (n oinfty).$

所以依概率收斂到 . 而根據範數的三角不等式有則 QED

定理2.2 [Chebyshev弱大數定律] 設 ${x_n}_{ngeq 1}$ 是兩兩不相關的r.v.序列, 且 $suplimits_{n}Dxi_n$ 有界, 則有
$limlimits_{n oinfty}Pleft(dfrac{1}{n}sumlimits_{i=1}^n(xi_i-Exi_i) ight)=0.$

證明：利用Chebyshev不等式, 得

$egin{aligned} limlimits_{n oinfty}Pleft(dfrac{1}{n}sumlimits_{i=1}^n(xi_i-Exi_i) ight) leq&dfrac{1}{varepsilon^2}Dleft(dfrac{1}{n}sumlimits_{i=1}^n(xi_i-Exi_i) ight) \ =&dfrac{1}{n^2varepsilon^2}Dleft(sumlimits_{i=1}^n(xi_i-Exi_i) ight) \ leq&dfrac{1}{nvarepsilon}suplimits_{i}Dxi_i o 0(n oinfty). end{aligned}$

定理2.3 [多項式逼近]設令 $f_n(x)=sumlimits_{m=0}^nleft(egin{aligned}&n\&mend{aligned} ight) x^m(1-x)^{n-m}fleft(dfrac{m}{n} ight),$ 則 $limlimits_{n oinfty}suplimits_{xin[0,1]}|f_n(x)-f(x)|=0.$

證明： , 設 ${x_i}$ 為i.i.d.r.v.列, 滿足 . (兩點分布)則

$Efleft(dfrac{1}{n}sumlimits_{i=1}^nxi_i ight) =sumlimits_{m=0}^nPleft(sumlimits_{i=1}^nxi_i=m ight)fleft(dfrac{m}{n} ight)=f_n(x).$

由於f是一致連續的, 則如果則有 . 從而(記 $|f|_{infty} riangleqsup f$ )

$egin{aligned} |f_n(x)-f(x)| =&left|Efleft(dfrac{1}{n}sumlimits_{i=1}^nxi_i ight)-f(x) ight| \ leq&left|Eleft[fleft(dfrac{1}{n}sumlimits_{i=1}^nxi_i ight)-f(x) ight] I_{left[left|frac{1}{n}sumlimits_{i=1}^nxi_i-x ight|geqdelta ight]} ight| \ &+ left|Eleft[fleft(dfrac{1}{n}sumlimits_{i=1}^nxi_i ight)-f(x) ight] I_{left[left|frac{1}{n}sumlimits_{i=1}^nxi_i-x ight|<delta ight]} ight| \ leq&2|f|_{infty}EI_{left[left|frac{1}{n}sumlimits_{i=1}^nxi_i-x ight|geqdelta ight]} +varepsilon ext{ (對前一行分別作放縮)} \ =&2|f|_{infty}Pleft(left|dfrac{1}{n}sumlimits_{i=1}^nxi_i-x ight|geqdelta ight)+varepsilon\ leq&2|f|_{infty}dfrac{1}{ndelta^2}nDxi_1+varepsilon ext{ (用Chebyshev不等式)} \ =&2|f|_{infty}dfrac{1}{ndelta^2}x(1-x)+varepsilon \ leq&2|f|_{infty}dfrac{1}{ndelta^2}cdotdfrac{1}{4}+varepsilon. end{aligned}$

這樣 $suplimits_{xin[0,1]}|f_n(x)-f(x)|leqdfrac{|f|_{infty}}{2ndelta^2}+varepsilon,$ 兩邊取以及利用的任意性即可證完. QED

下面記 $Phi(y)=int_{-infty}^{y}dfrac{1}{sqrt{2pi}}e^{-x^2/2}dx$ 是標準正態分布函數, ${xi_n}_{ngeq 1}$ 是一列獨立r.v.列, 均值與方差有限, 記 $a_k=Exi_k, b_k^2=Dxi_k, B_n^2=sumlimits_{k=1}^nb_k^2.$ 記 $eta_k=dfrac{1}{B_k}sumlimits_{i=1}^k(xi_i-a_i)$ 為標準化的r.v.

Lindberg條件指的是對於都有

$limlimits_{n oinfty}dfrac{1}{B_n^2}sumlimits_{k=1}^nint_{[x-a_k|geqvarepsilon B_k]} (x-a_k)^2dF_k(x)=0,$

Feller條件指的是 $limlimits_{n oinfty}left(dfrac{1}{B_n}maxlimits_{1leq kleq n}b_k ight)=0.$

定理2.4 [Lindberg-Feller中心極限定理]

$left{egin{aligned} &limlimits_{n oinfty}P(eta_nleq y)=psi(y) \ &{xi_n} ext{滿足Feller條件} end{aligned} ight. Leftrightarrow {xi_n} ext{滿足Lindberg條件}.$

證明：不是這裡的重點, 略.

定理2.5 [Lyapunov]記 ${xi_n}$ 是獨立r.v.列. 若使得
$limlimits_{n oinfty}dfrac{1}{B_n^{2+delta}}sumlimits_{k=1}^nE(xi_k-a_k)^{2+delta}=0,$ 則

證明：利用Lindberg-Feller中心極限定理以及Chebyshev不等式即可.

$egin{aligned} &dfrac{1}{B_n^2}sumlimits_{k=1}^nint_{[|x-a_k|geqvarepsilon B_n]}(x-a_k)^2dF_k(x) \ leq&dfrac{1}{varepsilon^{delta}B_n^{delta+2}}sumlimits_{k=1}^n int_{mathbb{R}}(x-a_k)^{2+delta}dF_k(x) \ =&dfrac{1}{varepsilon^{delta}B_n^{delta+2}}sumlimits_{k=1}^nE(xi_k-a_k)^{2+delta} o 0(n oinfty). end{aligned}$