《Self-Attention GAN》論文筆記

來自專欄 Something about AI16 人贊了文章

提出Self-Attention GAN，將self attention引入GAN，來建模長遠的依賴關係。傳統的convolutional GAN由於卷積核的尺寸限制，只能捕獲局部區域的關係；而在self-attention GAN中，能夠利用所有位置的信息。此外，該工作的另一個創新點為：對GAN生成器應用spectral normalization。

作者提出的self-attention GAN實現較大的性能提升，在imagenet數據集上，將最好的結果從36.8提高到52.52（Inception score），從27.62降低到18.65（Fréchet Inception distance）。

Self attention的可視化結果：

可以觀察到，self attention機制能夠利用較遠的區域的信息，每個位置能夠結合與該位置相似或相關區域的信息，確保生成的圖片的區域一致性。

所提出的self attention機制：

對卷積的feature maps使用兩個1*1的卷積進行線性變換和通道壓縮，然後對兩個張量reshape成矩陣形式，轉置相乘，再經過softmax得到attention map。原feature maps再使用1*1的卷積進行線性變換（通道數保持不變），然後與attention map矩陣相乘，相加，得到self-attention feature maps。最後，self-attention feature maps和原卷積feature maps進行加權求和（權重參數是可學的），作為最後的輸出。

Code：github.com/heykeetae/Se

文章的另一個點是，對生成器和判別器應用spectral normalization。spectral normalization並非作者原創，但原工作只是對判別器使用spectral normalization，而這裡作者對判別器和生成器均使用該技巧，發現能夠穩定訓練和提升生成的圖片質量。

與state-of-the-art對比：

提升挺多的。

生成的圖片：

推薦閱讀：

相關文章