PS:為了朋友間分享學習才發布的,學習筆記而已噢

數據融合 特徵融合 決策融合

實驗證明特徵融合比決策融合效果更好

搜索方向:

樣本特徵含有異構信息(Heterogeneous information) 共現(圖像 文字 語音 共同標註)

CTR預估問題中經常用到特徵組合

多核學習

特徵提取-特徵後期融合-多核學習方法(MKL) - CSDN博客?

blog.csdn.net
圖標

特徵融合:主要用來描述各種不同的特徵融合方式,常見的方式有前期融合,就是前面所描述的將各個特徵拼接在一起,後期融合本文後面會提到

[轉載]從 SVM 到多核學習 MKL?

blog.csdn.net
圖標

其中x,y是兩個樣本,他們的特徵分別是(x1,x2),(y1,y2),通過這個核函數,可以看到二維特徵被映射到了六維特徵。而且我們也可以理解,這個映射其實就是用一個矩陣A乘以原來的特徵(x1,x2)得到的。矩陣A也就是核矩陣了。一個核函數對應一個核矩陣。

我們學過的SVM都是單核(single kernel)的,在使用的時候,需要我們根據經驗或試驗來選擇用哪種核函數、怎樣指定它的參數,這樣很不方便。另一方面,實際應用當中,特徵往往不是single domain的,而是異構的。拿圖像分類來說,我們可能用到顏色相關的特徵、紋理相關的特徵、空間相關的特徵,這幾類特徵對應的最佳的核函數未必相同,讓他們共用同一個核函數,未必能得到最優的映射。對這些問題的思考,就引出了MKL。

簡單地說,我們給定一些base kernels,比如linear,Polynomial,RBF,Sigmoid,對於每一個,可以指定多組參數,也就是一共有M個base kernels,我們想用它們的線性組合來作為最終的核函數。通過training,得到這個線性組閤中每個kernel的權重d(weight)。由於融合了各種kernel,可以照顧到異構的特徵;由於自動學習權重,我們就不需要費腦子想究竟用哪一個核哪一種參數,把可能的核、參數都拿過來,組合著來用就可以了。

與傳統的單核SVM的不同,就是除了要學習w、b之外,還要學習上面提到的權重d。這樣的話,decision function, cost function都會有些變化,棘手的是,cost function 的求解不再是一個convex problem,傳統的優化方法就不適用了。近年來MKL比較熱,很多論文都是在優化方法上面下功夫,企圖達到更快的收斂速度、更好的解。具體的優化方法就比較複雜了,略去。

多元統計範疇

一些數學式子推導,關於特徵向量等

推薦閱讀:

相關文章