DCGAN

你是一個解放者你要有一顆勇敢的心你要跨上戰馬掛上榴彈重新奪回兒時的沙丘

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 ---《復活》野外合作社

損失函數：

判別器由CNN,BN和LeakeyRelu層組成，最後一層激活層是digmoid，輸入是3x64x64 RGB image，輸出是一個表示input來源於真實數據分布的概率。生成器由反卷積，BN層和Relu層組成，最後一層激活層使用Tanh，輸出是3x64x64 RGB image。損失函數BCELoss()二值交叉熵。

我們在這裡主要記錄的是DCGAN的訓練過程以及對反卷積的思考。

根據[3]裡面的一些Tricks設置，我們構建不同的mini-batches for real and fake，調整G的目標函數由min[1-logD(G(z))]為max logD(G(z))，因為前者容易出現梯度消失的問題。

step 1:

從數據集中構建一個batch的real_data送到D中，這裡給real_data的標籤都為1。計算損失[log(D(x))]並求梯度。

step 2:

將一個batch的100維高斯分布向量送到G中生成fake_data(label都為0)，送到D中，計算損失[log(1?D(G(z)))]並求梯度。將前兩步的梯度相加一起回傳更新D的參數。注意這裡雖然求過G的前向，但是這裡通過截斷反向傳播梯度流不更新G的參數。

step 3:

將step2中生成的fake_data(注意這裡由於我們需要maximize log(D(G(z)))，我們將label置為1)送入到D中，求損失反向傳播更新G的參數。

這裡總結一下Some Tips and Tricks to make GANs work.[3]

(1)、Normalize the images between -1 and 1; use Tanh activation layer in the last of Generator

(2)、Use maximize (log(D(z))) as the loss function to optimize G.

(3)、Sample from a Gaussion Distribution.

(4)、Construct different mini-batches for real and fake images respectively.

(5)、Use BN and Adam

(6)、Avoid use Sparse Gradients like Relu and Max pooling.Use Average pooling or PixelShuffle instead.

(7)、Use soft and Noisy Labels,just like set real_datas label in [0.7, 1.2] and fake [0.0, 0.3]

卷積的輸出尺寸：

tensorflow官方是這麼寫的，

$out= left{egin{matrix} left lceil frac{n-f+1}{s} ight ceil, quad if quad VALID \ left lceil frac{n}{s} ight ceil, quad if quad SAME end{matrix} ight.$