本笔记仅作学习交流之用

连续型随机变数

  1. 概率累计函数

对于概率密度函数 F(x) ,我们规定其概率累计函数(Probability cummulative function) 为C(x)=int_{-infty}^{x}dxF(x) ,注意其中 x 为引入的哑变数。 C(x) 是一个非递减函数,它的概率学意义在于它描述了当随机变数 Xleq{x} 时的概率,因而有: C(-infty)=0 , C(infty)=1

2.生存概率函数

生存概率函数,顾名思义,随时间增大而减小(Roger Jones教授原话:Probability of survival decreases with time),概率学意义是在 X 之前,事件不会发生的概率,因而: P(x)=int_{x}^{infty}dxF(x)

利用积分的定律,对于上述两种函数,易知: F(x)=-dfrac{dP(x)}{dx}=dfrac{dC(x)}{dx}

高斯分布(正态分布)

高斯分布不少人在高中甚至初中就学过,却很少有学生真正在高中就真正参悟到其中的原理的。Rojer Jones教授带领我们从积分开始入手,真正参悟到高斯分布的实质,使人大呼过瘾。

  1. 归一化条件

一元随机变数 x 服从高斯分布,则有概率密度函数: F(x)=frac{1}{sqrt{2pi}sigma}expleft( frac{-(x-mu)^2}{2sigma^2} 
ight) 其中 mu 是期望值。

对于其归一化条件的确认,首先,先证明将要用到的结论:泊松积分公式 int_{-infty}^{infty}e^{-x^2}dx=sqrt{pi}

证明:令: I_x=int_{-infty}^{infty}e^{-x^2}dx I_y=int_{-infty}^{infty}e^{-y^2}dy ,两者数学意义上等价

有: I_xI_y=int_{-infty}^{infty}{e^{-x^2}}dxint_{-infty}^{infty}e^{-y^2}dy 转化成二重积分,有: I_xI_y=int_{-infty}^{infty}int_{-infty}^{infty}{e^{-x^2}}e^{-y^2}dxdy=int_{-infty}^{infty}int_{-infty}^{infty}{e^{-(x^2+y^{2})}}dxdy

转化到极坐标下,即 r^{2}=x^2+y^2 ,利用雅可比矩阵进行变数代换,则:

I_xI_y=intint_{R}{re^{-r^2}}drd	heta ,确定积分上下限,有: I_xI_y=int_0^{2pi}int_{0}^{infty}{re^{-r^2}}drd	heta=2piint_0^{2pi}{re^{-r^2}dr}=2pileft[ frac{-e^{-r^2}}{2} 
ight]_0^infty=pi

故: int_{-infty}^{infty}e^{-x^2}dx=sqrt{pi} 证毕。

作变数代换: t=frac{(x-mu)}{sqrt2sigma} ,有: dfrac{dt}{dx}=dfrac{1}{sqrt{2}sigma}

则易得: int_{-infty}^{infty}{F(x)}dx=dfrac{1}{sqrt{2pi}{sigma}}int_{-infty}^{infty}{e^{-t^2}}{sqrt2sigma}{dt}=dfrac{1}{sqrt{2pi}{sigma}}sqrt2sigmasqrt{pi}=1

故高斯分布归一化特征得证。

至此,笔者在高中对于正态分布的疑惑被解决,真是大快人心。

2.期望:

对于高斯分布之期望,欲证明 langle{x}
angle=mu

我们求积分:

langle{x}
angle=int_{-infty}^{infty}{xF(x)}dx=frac{1}{sqrt{2pi}sigma}int_{-infty}^{infty}-xexpleft( frac{-(x-mu)^2}{2sigma^2} 
ight)

令: z=frac{x-mu}{sigma}dfrac{dx}{dz}=sigma

则: langle{x}
angle=frac{1}{sqrt{2pi}}int_{-infty}^{infty}(sigma{z}+mu)expleft( dfrac{-z^2}{2} 
ight)dz=frac{1}{sqrt{2pi}}left(int_{-infty}^{infty}sigma{z}expleft( dfrac{-z^2}{2} 
ight)dz+int_{-infty}^{infty}{mu}e^{-dfrac{z^2}{2}}dz
ight)

奇函数积分结果为零,故: langle{x}
angle=frac{1}{sqrt{2pi}}left(int_{-infty}^{infty}{mu}e^{dfrac{z^2}{2}}dz
ight)=mu{dfrac{sqrt{2pi}}{sqrt{2pi}}}=mu

证毕。

注意其中,根据换元易知: int_{-infty}^{infty}e^{-dfrac{z^2}{2}}dz=sqrt{2}sqrt{pi}

3. 方差Variance

对于高斯分布之期望,欲证明: langle(x-mu)^2
angle=sigma^2

求积分: langle(x-mu)^2
angle=frac{1}{sqrt{2pi}sigma}int_{-infty}^{infty}(x-mu)^2expleft( frac{-(x-mu)^2}{2sigma^2} 
ight)

令: a=dfrac{1}{2sigma^2},u=x-mu

则: frac{1}{sqrt{2pi}sigma}int_{-infty}^{infty}(x-mu)^2expleft( frac{-(x-mu)^2}{2sigma^2} 
ight)=frac{1}{sqrt{2pi}sigma}int_{-infty}^{infty}u^2expleft( -au^2 
ight)du

对于积分 int_{-infty}^{infty}u^2expleft( -au^2 
ight)du 我们可以采取分部积分法,但是太过繁琐复杂。这里引进费曼技巧,即积分符号内取微分,这种技巧十分好用。

观察积分式可得:

int_{-infty}^{infty}u^2e^left( -au^2 
ight)du=int_{-infty}^{infty}left(- dfrac{partial}{partial{a}}{e^{-ax^2}} 
ight)dx=- dfrac{partial}{partial{a}}left(int_{-infty}^{infty} e^{-au^2}du 
ight)

由上面已证明的泊松积分,原式可化为:

- dfrac{partial}{partial{a}}left(int_{-infty}^{infty} e^{-au^2}du 
ight)=-dfrac{d}{da}sqrt{dfrac{pi}{a}}=dfrac{pi^{frac{1}{2}}}{2a^{frac{3}{2}}}

因为有: a=dfrac{1}{2sigma^2} 则原式为: langle(x-mu)^2
angle=frac{1}{sqrt{2pi}sigma}dfrac{sqrt{pi}}{2}left(2sigma^2
ight)^{frac{3}{2}}=sigma^2

证毕。

因高斯分布积分运算较为复杂,故考试时一般查表得数据。

(本章完)

下节预告:特别篇:积分必杀技--费曼技巧

推荐阅读:

相关文章