http://papers.nips.cc/paper/5568-self-paced-learning-with-diversity.pdf?

papers.nips.cc

Self-Paced Learning :

Self-Paced Learning 自步學習，起源於 Bengio 在 ICML09 上提出的 Ref [1]課程學習（curriculum learning），通過模擬認知機制，通過先學習簡單的、普適性的知識，然後逐漸增加難度，學習更複雜、更專業化的知識課程學習。自步學習從選取最簡單的數據子集開始，逐漸加入複雜的數據，從而減少熵值，訓練出潛在的權重參數。

SPL 通過在損失函數中引入變數 v 來表示樣本是否被選擇：

通常是 l_1 norm 形式的正則項。 lambda 是調整步速的關鍵變數，lambda 越小，表明模型還在訓練的初始階段，訓練相對簡單的樣本，隨著 lambda 增大，模型學習越來越多的樣本。

Diversity :

然而，只從簡單樣本開始學習容易以偏概全，甚至對某些類別過擬合，保證樣本的多樣性才能進行更全面性的學習。

要想使樣本具備 diversity，可以通過降低樣本間的相似性，文章提出 SPLD 演算法，在 l_1 norm 形式的正則項的基礎上，加入了 l_{2,1} norm 正則項：

l_1 norm 正則項會使被選擇的樣本變得稀疏，而 l_{2,1} norm 正則項則對較大的概率懲罰比較多，使得選擇更為平均，具備多樣性。然而，l_{2,1} norm 正則項使得問題變成非凸優化，文章提出以下解法：

從上圖可以看出，（a）中 gamma =0 時，不考慮 diversity，選出的樣本集中在簡單的 group 中，（c）中 lambda =0，只考慮 diversity，樣本均勻地分布在每一個group中，通過調節這兩個參數就可以得到 easiness 和 diversity 之間的權衡。

整個 method 解法如下：

Experiments

  1. Multimedia Event Detection (MED)

2. Action Recognition

3. Sensitivity Study

Reference

[1] Bengio, Y., Louradour, J., Collobert, R. and Weston, J., 2009, June. Curriculum learning. InProceedings of the 26th annual international conference on machine learning(pp. 41-48). ACM.


推薦閱讀：
相关文章