我現在有一個30萬左右的數據,用imagenet上訓練的resnet網路,通過 微調訓練了一個初步的模型。之後我應該考慮從哪些方面提高模型的預測表型呢?我是一個小白,對後面的模型優化完全沒什麼思路,希望各位大佬可以指點一下,謝謝啦


1.分類數據增強技術:random_crop、random_mirror、random_distort (brightness、hue)、歸一化(減去mean)等

2.加trick:殘差鏈接、SE-net、densenet思想、inception系列的分叉思想和長卷核交替、激活函數使用prelu、加batchnorm、精度不夠使勁加深或加寬

3.使用好的backbone:resnet101、xception、densenet、auto-ml系列中的Mnasnet

4.使用好的訓練策略:常用的使用動量隨機梯度下降、初始化使用凱明初始化

5.增加你的數據集

6.如果條件允許,搞更多的顯卡增加你的batchsize


1 數據增強操作了解一下

龍鵬:【技術綜述】 深度學習中的數據增強(上)?

zhuanlan.zhihu.com圖標龍鵬:【開源框架】一文道盡主流開源框架中的數據增強?

zhuanlan.zhihu.com圖標龍鵬:【技術綜述】深度學習中的數據增強(下)?

zhuanlan.zhihu.com圖標

2 模型壓縮簡單瞭解一下

龍鵬:【技術綜述】為了壓榨CNN模型,這幾年大家都幹了什麼?

zhuanlan.zhihu.com圖標龍鵬:【技術綜述】如何Finetune一個小網路到移動端(時空性能分析篇)?

zhuanlan.zhihu.com圖標

說一說我覺得有用的兩個地方,

1)隨機短邊縮放

2)均值和標準差要和訓練集強相關


推薦閱讀:
查看原文 >>
相關文章