pytorch訓練二分類器，訓練集loss下降的很慢或者剛開始較快然後越來越慢,大佬們這是什麼原因呢？
pytorch訓練二分類器，訓練集loss下降的很慢或者剛開始較快然後越來越慢,大佬們這是什麼原因呢？
如果剛上來就loss就下降的很慢，但是總體是在下降的，這是為什麼呢？
首先得看valid和test數據集一起看。
現在假設valid和test數據集上表現一致嗎，並且結果表現不好。那麼就是underfit的問題。我假設這裡數據準確，數據量足夠（其實很難滿足）。那麼問題就是需要用更優良的模型。當然也得注意一下你用的learning rate是多少。可以先用adam+小的learning rate嘗試一下。
類比考試：作為差生的時候，隨便努力一點就可以取得很大進步，差生的進步空間很大；變成學習好點的學生後，同樣努力的條件下，進步沒那麼明顯；當達到這個學生的最大潛力時，即使再努力也沒有進步。訓練model也是如此。
第一，你的分類器可能已經載入了預訓練權重，本身表現很好了。第二，lr過大。這些都不是重點，要看你的acc等指標值表現如何
好像大家的loss都是這樣下降的
一般來說都是這樣的。如果用的是Adam，可能更加明顯。
後面下降得慢，說明還是有很大機會收斂的。總比nan強
如果上來就下降得很慢，同時loss很低說明沒問題，只不過是因為你的輸出趕不上它收斂速度而已，簡單來說就是，假如說你每2000個iteration輸出一次，但是人家模型在第200個iteration就收斂了
剛開始快後來慢，如果慢的時候loss很低，這個不是很正常嗎，但是如果很慢的時候loss依然很高有兩種情況，第一是陷入局部最小值，這個需要多次初始化模型試幾次，或者等待一段時間優化器自動跳出局部最小，第二是模型複雜度不夠擬合，加大模型就好了
推薦閱讀：
