Title: Lifelong Learning via Progressive Distillation and Retrospection

Author: Saihui Hou, Xinyu Pan, Chen Change Loy, Zilei Wang, Dahua Lin

Link: mmlab.ie.cuhk.edu.hk/pr

Motivation

希望在Distillation的基礎上， 加以restrospection， 進一步解決lifelong learning中的catastropic forgetting。

Method

如上圖，簡單說來，retrospection就是在訓練新的任務的時候，選取舊任務數據的一部分，拿來訓練。

關於蒸餾的部分，即LwF（learning without forgetting），不再贅述。

文中認為LwF有以下缺點：

Experiment

討論中，對restrospection的設置進行了探索，如number of sample per class of old dataset, 隨著每個CLASS下樣本數量提升，performance 隨之提升；

文章也嘗試計算出一個class 的class center(mean of feature vector), 選取該center附近的樣本來做restrospection，但相對random sample 明顯提升。

推薦閱讀：

相关文章