魚羊 發自 凹非寺

量子位 報道 | 公眾號 QbitAI

深度神經網路（DNN）如今已經無處不在，從下圍棋到打星際，DNN已經滲透到圖像識別、圖像分割、機器翻譯等各種領域，並且總是表現驚艷。

然而，深度神經網路到底是怎樣工作的，至今仍困擾著廣大研究者。

黑盒子總是讓人詬病，為了讓AI更好地服務於人類，更深入地理解AI是必要的。

谷歌AI的研究人員們正致力於此，他們在ICLR 2019的一篇論文中提出用邊緣分布來預測深度神經網路的泛化間隙，以便更有原則地設計DNN。

邊緣分布成泛化預測因子

想要理解泛化，就要了解一個重要的概念泛化間隙（generalization gap），即模型在訓練集上的準確率與在測試集上的準確率之間的差異。

谷歌AI的研究者建議在網路層上使用歸一化的邊緣分布來預測泛化間隙。他們進行了實驗統計，發現在對距離進行適當的歸一化之後，邊緣分布的一些基礎統計可以準確地預測出模型的泛化間隙。

上面的三張圖分別對應在CIFAR-10上訓練過的三個卷積神經網路，它們的分類準確率分別是55%、71%和85%，從左到右，泛化能力越來越強。

y軸表示歸一化邊緣分布（x軸）在模型的4層網路中的概率密度，很顯然，邊緣分布和測試準確率具有很強的關聯性。

這裡他們採用了一個名為Deep Model Generalization（DEMOGEN）的數據集，這個數據集由756個訓練過的深度模型組成，囊括了這些模型在CIFAR-10和CIFAR-100數據集上的訓練及測試表現。數據集現已開源。

實驗結果

如果邊緣分布的統計數據真實地預測了泛化性能，那麼簡單的預測方案應該就能夠建立起對應關係。於是研究者們選擇了線性回歸的方案。

研究者在CIFAR-10數據集上訓練了216個九層卷積網路，測試集的準確率範圍在60%-90.5%之間，泛化間隙在1%到35%之間。

作者表示，Bartlett在2017年發表的研究提供了目前最佳的深度網路泛化界限之一，將其作為基線方法進行對比，完整的20維特徵空間的對數空間回歸模型預測效果提升明顯。

而在CIFAR-100數據集上，研究者訓練了324個ResNet-32網路，測試準確率範圍在12%-73%之間，泛化間隙範圍在1%-75%之間。

在CIFAR-100+ResNet-32上預測的泛化間隙已經非常符合真實值了。泛化間隙和邊緣分布的對數變換統計之間的關係幾乎是完全線性的。

專家評價

對於這項研究，評審專家們褒貶不一，但他們大都承認把邊緣分布引入深度學習框架是一個有趣的想法。

讚賞這項研究的專家認為這是一篇很好的實證論文，結論令人鼓舞：

這篇文章沒有嘗試提出另一個「空洞的」泛化界限，而是令人信服地說明了邊緣統計和泛化間隙之間存在著有趣的聯繫，這對於幫助人們了解深層神經網路的泛化很有幫助。

但也有專家指出，這篇論文展示了豐富的實驗結果，但卻沒有提供更多的理論驗證。

OMT

論文一作是本科畢業於伯克利的谷歌AI程序猿Yiding Jiang。

論文合作者中還有和圖靈獎得主Yoshua Bengio一起被譽為「AI兄弟」的Samy Bengio。

Yoshua Bengio同樣開展過有關深度學習泛化問題的研究，他的團隊提出了一個深度學習泛化保障方案（《Generalization in Deep Learning》），這篇ICLR 2019的論文里也引用了他們的文章。

傳送門

Google AI博客：

ai.googleblog.com/2019/

論文地址：

openreview.net/forum?

DEMOGEN數據集：

google-research/google-research?

github.com圖標

— 完 —

量子位 · QbitAI

?? ? 追蹤AI技術和產品新動態

戳右上角「+關注」獲取最新資訊↗↗

如果喜歡，請分享or點贊吧~比心?


推薦閱讀：
相关文章