pytorch使用resnet進行圖像分類,為什麼驗證集準確率98%而訓練集準確率只有90%?
使用kaggle的cat vs dog 數據集進行了訓練,一般訓練集的準確率不是要高於測試集的嗎?
先告訴大家訓練集和驗證集的數據分別有多少條吧,才好判斷哪裡出了問題
數據沒有shuffle可能造成這種情況
遇到過類似的問題。
原因很多,分享一個網址給你,對比分析一下。
http://spytensor.com/index.php/archives/44/
檢查1, val 集是否包含在train集中。
檢查2,劃分val 和train 的過程是否夠隨機。
大家都說的差不多了,簡單補充一點可能的原因。請問下訓練集上的準確率是怎麼測的?是訓練一個或者若干個epoch之後重新測一遍訓練集上的準確率,還是直接使用每一個step迭代時得到的準確率然後求平均的?如果是後者,由於訓練過程中有數據增強操作,每次迭代計算時得到的準確率是對數據增強之後的數據進行的,精度必然會有較大損失。另外請問是訓練前期出現這個情況還是迭代了很多個epoch仍然存在?
碰到個類似的問題,不是圖像集;
val的acc 比train的acc高,最後驗證真實數據,看泛化能力的時候,感覺不太好,有點過擬合了。
但應該不是因果關係。可以調整一下比例,shuffle,batch size看下,多訓練幾遍
1.訓練集,驗證集的比例是多少呢?
2.網路是否已經收斂了呢?