Dirichlet 过程
1.问题的提出
假设 为样本数据, , 且 已知。即数据的分布为混合正态分布。我们可以利用EM演算法对 进行估计,见Bishop的《PRML:模式识别与机器学习》其中 。EM演算法假定 是已知的,那么很自然地问,若 未知,如何对参数 进行估计?这就必须引入新的概率模型对问题进行描述,该模型就是 过程.
2. 分布的定义
Dirichlet 过程是Dirichlet的分布的无穷维的推广。我们首先介绍Dirichelet分布。Dirichlet分布是Beta分布的推广。令 ,Dirichelet分布 的密度函数为 ,其中 ,其中 。
性质1:如果 那么
3.有限的贝叶斯混合分布生成过程
(1)
(2)
(3)
(4)
4. 过程的定义及其性质
Dirichlet过程为概率测度的随机过程。Dirichlet 过程是Dirichlet 分布的无穷维的推广。
令 为一概率空间, 为一测度空间, 为 上的概率测度, .称 上的随机概率测度 为参数 的Dirichlet 过程如果对任意 的有限划分 有
记 .
性质(1). 令 为样本, ,那么 .
性质(2). 令 为样本, ,那么
.
5. 过程的存在性及构造
下面我们利用折棍子方法给出 过程的构造(Stick-breaking Construction)。折棍子演算法如下
(1)
(2)
(3)
(4)
定理 .
5. 应用
DP过程主要应用三个领域:模型的贝叶斯验证, 密度估计以及混合模型的聚类。
(1)模型的贝叶斯验证
如何对检验一个模型对给定样本数据拟合的效果呢?通常做法是利用贝叶斯公式计算感兴趣分布下的样本数据边际概率,然后计算其它分布下的样本数据边际概率。与其它分布相比,如果感兴趣的模型下的数据边际概率最高,那么就说明该分布对样本数据拟合较好。该方式核心的问题就是对比较分布的选择。一般地我们希望比较分布的集合尽可能的大,并且具有先验分布。DP过程是一个很好的选择,通常的做法是选该兴趣的分布为基础分布 ,DP过程 为比较分布的集合,如果 分布比 分布对数据拟合的更好,则我们就认为选择 分布是合理的。
(2)密度估计
令 为数据样本, 为密度函数。因为 是离散的,我们采用密度函数 作为样本的密度函数.
(3)混合模型的聚类
Dirichlet过程最重要的应用就是利用混合模型对数据进行聚类。令 为数据样本, 为相应的隐参数。假设 独立同分布,且 ,具体生成模型如下: .由于 是离散的,因此有多个 取同一个值,这样具有相同参数的 为同一个类。
6. 展望
Dirichlet过程和贝叶斯非参在机器学习和统计中是一个非常活跃的领域。目前主要有以下四个方向:
(1)DP模型的有效统计推断问题。常见方法有MCMC抽样,变分方法。
(2)DP模型的扩展。
(3)收敛和相合性等理论问题。
(4)模型的应用:聚类,认知,回归和分类等
推荐阅读: