在圖像分類任務中,有哪些提高模型性能的方案呀?
我現在有一個30萬左右的數據,用imagenet上訓練的resnet網路,通過 微調訓練了一個初步的模型。之後我應該考慮從哪些方面提高模型的預測表型呢?我是一個小白,對後面的模型優化完全沒什麼思路,希望各位大佬可以指點一下,謝謝啦
1.分類數據增強技術:random_crop、random_mirror、random_distort (brightness、hue)、歸一化(減去mean)等
2.加trick:殘差鏈接、SE-net、densenet思想、inception系列的分叉思想和長卷核交替、激活函數使用prelu、加batchnorm、精度不夠使勁加深或加寬
3.使用好的backbone:resnet101、xception、densenet、auto-ml系列中的Mnasnet
4.使用好的訓練策略:常用的使用動量隨機梯度下降、初始化使用凱明初始化
5.增加你的數據集
6.如果條件允許,搞更多的顯卡增加你的batchsize
1 數據增強操作了解一下
龍鵬:【技術綜述】 深度學習中的數據增強(上)?zhuanlan.zhihu.com龍鵬:【開源框架】一文道盡主流開源框架中的數據增強?zhuanlan.zhihu.com龍鵬:【技術綜述】深度學習中的數據增強(下)?zhuanlan.zhihu.com2 模型壓縮簡單瞭解一下
龍鵬:【技術綜述】為了壓榨CNN模型,這幾年大家都幹了什麼?zhuanlan.zhihu.com龍鵬:【技術綜述】如何Finetune一個小網路到移動端(時空性能分析篇)?zhuanlan.zhihu.com說一說我覺得有用的兩個地方,
1)隨機短邊縮放
2)均值和標準差要和訓練集強相關
推薦閱讀: