卷積網路的調參？
卷積網路的輸出幾乎都是零，損失一直比較穩定，在4左右。
這是為什麼呢？如何解決呢？調參時不知該從哪裡入手，還望大佬解答！
可能是中間出現了nan或inf，用tfdbg看看吧
什麼框架寫的？做的什麼任務？損失4是大是小（損失函數是什麼）？
看你說前兩層還有意義的輸出，後面就沒有了，而且看起來像是有池化層，如果損失值很穩定，很有可能是梯度沒有了，訓練陷入了某個極值點出不來。
如果dataloader有問題，一般損失會無意義震蕩；而現在梯度下降一般用現成api，不大可能出錯，那麼你的網路有幾層？有可能層數過深導致梯度現實？
======
如果是單純的原始的分類網路，沒有用到任何解決梯度消失的方法，嘗試一下不同的初始化方法和步長，在停止下降的時候降低步長值，並且多訓練幾次迭代看看效果。
P.S: 如果是初學的話不建議自己從零開始寫，從model和hub上就能找到不少成熟的模型和周邊模塊。
怕不是初始化的時候把權重全都初始化為0了啊
在確定代碼沒有問題的前提下,首先嘗試降低學習率
推薦閱讀：
