Kernel Dual Representation
最近在又重新去研究了一下Gaussian Process和Kernel Method的方法,主要是為了看懂兩篇將GP和Kernel變為Deep的過程,從而可以得到一些傳統模型嵌入到Deep的啟發,這兩篇論文分別是Deep Gaussian Process和Deep Kernel Learning。
Kernel Method應用很廣泛,一般的線性模型經過對偶得到的表示可以很容易將Kernel嵌入進去,從而增加模型的表示能力。一般地,只要演算法的訓練和預測過程只涉及到數據的內積操作
線性回歸問題Linear Regression經過核技巧可以演化為Kernel Linear Regression,對數幾率回歸Logistic Regression也有其對應的Kernel Logistic Regression。當然,熟悉的Linear SVM和Linear PCA也有其相應的核版本,分別為Kernel SVM和Kernel PCA。
下面以回歸問題為例,推導一下線性問題變為核版本的一般套路。首先定義回歸問題為下面的優化問題:
回歸問題採用MSE損失函數,
首先,二範數正則的回歸問題(嶺回歸,Ridge)是有閉式解的,對上式關於
然後上式可以重新寫為下面的式子,可以看出,最優的權重
將
上式有點複雜,解釋一下,上面式子的最後一項是正則項,前面三項是二次方MSE展開的結果,其中第一項對應的是:
從
給定數據
引入核函數的線性回歸問題的訓練過程就是求得
因此可以看出上述推導的線性回歸的訓練和預測過程中,將內積變為核函數即可得到核版本的線性回歸,由於核函數可以近似看作非線性映射到高維空間的內積,因此是非線性的方法,增加了表示能力。
在線性回歸問題中,原始的問題是求得回歸係數
式子
參考資料
- PRML
推薦閱讀: