Kernel Dual Representation
最近在又重新去研究了一下Gaussian Process和Kernel Method的方法,主要是为了看懂两篇将GP和Kernel变为Deep的过程,从而可以得到一些传统模型嵌入到Deep的启发,这两篇论文分别是Deep Gaussian Process和Deep Kernel Learning。
Kernel Method应用很广泛,一般的线性模型经过对偶得到的表示可以很容易将Kernel嵌入进去,从而增加模型的表示能力。一般地,只要演算法的训练和预测过程只涉及到数据的内积操作
线性回归问题Linear Regression经过核技巧可以演化为Kernel Linear Regression,对数几率回归Logistic Regression也有其对应的Kernel Logistic Regression。当然,熟悉的Linear SVM和Linear PCA也有其相应的核版本,分别为Kernel SVM和Kernel PCA。
下面以回归问题为例,推导一下线性问题变为核版本的一般套路。首先定义回归问题为下面的优化问题:
回归问题采用MSE损失函数,
首先,二范数正则的回归问题(岭回归,Ridge)是有闭式解的,对上式关于
然后上式可以重新写为下面的式子,可以看出,最优的权重
将
上式有点复杂,解释一下,上面式子的最后一项是正则项,前面三项是二次方MSE展开的结果,其中第一项对应的是:
从
给定数据
引入核函数的线性回归问题的训练过程就是求得
因此可以看出上述推导的线性回归的训练和预测过程中,将内积变为核函数即可得到核版本的线性回归,由于核函数可以近似看作非线性映射到高维空间的内积,因此是非线性的方法,增加了表示能力。
在线性回归问题中,原始的问题是求得回归系数
式子
参考资料
- PRML
推荐阅读: