如果有無窮算力，全連接神經網路是否總是在準確率上強於其它根據先驗知識構造的特殊神經網路？

換句話說，CNN、RNN這類加入先驗知識的特殊神經網路是不是在訓練全連接神經網路算力受到限制的情況下的無奈選擇？
舉個具體的例子，如果不受算力的限制，那麼全連接神經網路是否在圖像分類問題上準確率總是強於CNN模型？

還需要無窮數據才有可能啊

不是。

雖然多層全連接神經網路可以擬合任意函數，但是由於太容易陷入局部梯度，所以就算無限算力，也不能收斂到合適的位置上

有無窮算力還要什麼神經網路？直接遍歷所有可能就行了唄

並不會。因為有無窮算力的話更可能會overfitting。其實特殊的neural network在很多情況下是引入了一定的regularization，比如強制weight sharing，以對抗overfitting。

所以你有無窮算力，在ImageNet training data上找到了一個全局最優解。那這個解很有可能是overfit出來的，並不能generalize到test set上。

如果靠算力破解一切，宇宙沒有秘密可言。

這個假設就不成立啊，我們之所以對效率耿耿於懷，就是因為我們只有有限算力，否則至少所有NP問題都可以解決了啊，我們還費那事幹啥？我們追求的就是在有限算力約束下的方案啊。而且，人類的存在的一個重要目標就是理解物理世界，對於物理世界而言，我們理解其基本規律的核心也是尋求最小複雜度的描述，從這個意義上說，假定無窮算力就背離了這個最基本的方向。

可以了解一下非凸優化中梯度下降法的收斂點的證明。只要有一個限制條件不滿足，再強算力再多數據也不行的。

這裡恐怕給不了你答案，給了也是瞎掰。（特指理論證明，而不是現在深度學習流行的「直覺」）

如果有一天有人能解答這個問題，我相信很快就傳到你那裡了。