arxiv 權重標準化
霍普金斯大學Alan L. Yuille（前ＭＩＴ） 課題組
https://arxiv.org/pdf/1903.10520.pdf1 論文出發點
塊歸一化對訓練包大小要求太高，所以後面何凱明課題組提出了組歸一化，但是組歸一化相比塊歸一化，效果還是差了那麼點，本文在組歸一化的基礎上，引入了權重標準化（不知道有人想過這方面沒有），實現了小batch訓練，超過塊歸一化的效果，並能加快網路訓練。
２、論文怎麼做的
如圖，權重歸一化在計算上和塊歸一化很相似。
塊歸一化：對於所有空間位置同一特徵通道進行歸一化
權重標準化：對於產生某一通道特徵的 所有權重進行歸一化。
論文後面理論、實驗證明了權重標準化可以平滑損失函數等等，對數學有自信的同學的可以自讀。
推薦閱讀：
