訓練集loss下降，測試集loss基本不變，反應了什麼問題?
訓練過程中，大約在300個epoches時，如下圖所示，訓練集loss繼續下降，測試集loss基本不變，這反應了什麼問題，如何有效地解決如下問題 ?
learning rate再乘個0.1看看
- 在訓練集上過擬合了，學習率調低一點
- 可能是測試集有些困難樣本是訓練集沒有的，模型訓練時根本沒見過，自然測試集loss下不去，不過這是數據集切分的問題了
過擬合了，測試集Loss已經呈現上升了，訓練集Loss還在下降。可以加大數據集的量了，加正則化懲罰，或early stopping等
在訓練teacher-student模型的時候，也遇到過類似問題，懷疑是過擬合，在往這個方向嘗試解決
一般訓練誤差小，而測試誤差大的情況是過擬合。可以採用如下思路解決：
- 數據增廣（Data Augmentation）
- 正則化（L0正則、L1正則和L2正則），也叫限制權值Weight-decay
- Dropout
- Early Stopping
- 簡化模型
- 增加雜訊
- Bagging
- Batch Normalization
是時候停止了，哈哈，early stopping
模型過擬合。
推薦閱讀：
