CVPR2018 | SFTGAN超解析度重建
Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform
通過深度空間特徵變換恢復圖像超解析度的真實紋理
SFTGAN 是cvpr2018的圖像超解析度論文，這篇論的文章使用了圖像的分割掩碼作為超解析度的先驗特徵條件。在模型中的表現就是SFT layers
SFT a novel Spatial Feature Transform 空間特徵變換
1.文章首先介紹了mse loss 導致的生成的圖像比較模糊和光滑的紋理。
2.探討了先驗紋理類別對於超分辨的影響（如下圖）
比如在某些情況下，牆壁和雜草的顏色和紋理都比較相近，不同列別的圖像片段在低解析度的時候可能取值都是一樣的。
如在超解析度任務中，其實就是對原圖像的不同列別的目標進行上採樣，假如不同列別在低解析度的rgb 值是一樣或者相似的，那麼在上採樣的時就，模型就很難區分當前圖像的片斷屬於哪一個列別，從而導致合成的圖像的紋理不真實。
所以這篇論文提出了使用先驗類別信息來解決超解析度紋理不真實的問題，就是在超解析度的合成中使用語義圖，語義圖的生成使用了圖像分割網路。文章探討了不同解析度下的語義分割的誤差，比較後發現其實在高低解析度圖像對於分割的精度影響不大。
模型結構
模型有兩個輸入，一個是低解析度的圖像，另一個是分割語義圖，分割語義圖經過condition network 生成conditions feature map ，值得注意的是整個網路每一層的conditions feature map 都是共享的。而SFT layer是不共享的，其實就相當於每隔一層conv layer都有一個conditions 的SFT layer。
SFT layer
這篇論文的最重要的部分
SFT layer 就是一個小型的network 用於生成不同層的condition 信息
SFT layer 有兩個輸入，一個輸入就是condition network 的輸出conditions，另一個 是上一層的輸出F。 conditions 計算出γ, β ，繼而計算出整個SFT layer的輸出，而整個SFT layer又作為下一層的輸入。
Loss function
有兩個目標函數 一個vgg 感知loss ，另一個是判別器的loss
模型訓練
數據集：450k images
batch size：16高解析度圖像大小：96x96低解析度像大小：24x24Adam: β1 = 0.9.
learning rate :1 × 10?4 (decayed by a factor of 2 every 100k iterations. )
結果
源碼
CVPR2018 | SFTGAN超解析度重建 源碼
～歡迎各位大佬批評指正～
——END——
推薦閱讀：
