Modulating Image Restoration with Continual Levels via Adaptive Feature Modification Layers

https://arxiv.org/pdf/1904.08118.pdf?

arxiv.org

一、論文出發點

　　由於圖像的模糊程度、雜訊程度不同，所以圖像的修復等級也不同，現在的圖像修復任務多是一種等級一種模型，用某一修復程度的網路，去測試其它模糊程度的圖像，要麼造成過光滑，要麼造成過尖銳。所以論文嘗試開發出一種模型，該模型可以根據所需要的修復等級，自適應調整學習特徵，從而達到相應的修復效果。

二、論文核心思想

從上圖可以看出，與傳統網路相比，文中就是在卷積特徵後面加了一個adafm也就是，內容自適應調節模塊。所以文章的核心就在於：根據修復程度，自適應調節卷積內容。

那麼我們來看，adafm內部的核心又是什麼：

可以看出，adafm就是一分通道卷積，但是沒看到修復程度參數？？怎麼實現修復程度自適應了。

論文實現修復程度流程如下。

訓練階段

1、首先訓練一個傳統網路，此時沒有adafm這個分通道卷積，用於 實現修復程度最低的修復；

2、在1的基礎上，加入adafm這個分通道卷積，並保持基礎網路參數不變，實現修復程度最高的網路。此時得到了公式3中的gi bi參數。

測試階段自適應

3、根據修復程度lamda,　調整adafm這個分通道卷積參數，實現特徵內容的自適應調節。

三、 為什麼這樣可行

論文作者得到這一思路是基於以下兩個重要發現，也是支撐這個思路可行的發現。

１、用於實現不同程度的修復網路，其參數視覺上很相似，只是有著不同的統計；

２、而參數統計值的調整對網路輸出的影響是連續的　

所以可以通過調整參數的統計值實現修復自適應，公式６就是簡單的線性調整統計值的操作。

推薦閱讀：