擁有解耦表徵的無監督學習是不可能的！硬核ICML 2019最佳論文出爐
機器學習頂級會議ICML 2019（國際機器學習大會）已於6月9日在美國加州開幕。本屆大會共收到3424篇論文投稿，其中774篇被接收（接收率為22.6%）。今日，大會放出了最佳論文。
今年有兩支團隊收穫了最佳論文的獎項，來自劍橋大學、科技公司 http://PROWLER.io 的《Rates of Convergence for Sparse Variational Gaussian Process Regression》與蘇黎世聯邦理工學院（ETH）、德國馬普所、谷歌大腦共同完成的《Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations》獲得了殊榮。
值得關注的是，ETH Zurich、谷歌大腦等機構的論文《挑戰無監督學習中解耦表徵的一般假設》提出了一個與此前學界普遍預測相反的看法：對於任意數據，擁有相互獨立表徵（解耦表徵）的無監督學習是不可能的！在大會上，獲獎論文的部分作者也現場進行了演講。
論文作者表示，根據這些理論，對於機器學習從業者來說，我們對於超參數的選擇是沒有經驗法則可言的，而在已有大量已訓練模型的情況下，無監督的模型選擇仍然是一個很大的挑戰。
谷歌還在一篇博客中表示，研究人員已對近期流行的 12,000 種無監督學習模型進行了評估，並發布了論文的相關代碼，以及其中 10,000 種模型的街糾纏預訓練模型，以便研究人員復現其成果。
項目鏈接：https://github.com/google-research/disentanglement_lib
最佳論文獎項
最佳論文 1：Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations
作者：Francesco Locatello、Stefan Bauer、Mario Lucic、Gunnar R?tsch、Sylvain Gelly、Bernhard Sch?lkopf、Olivier Bachem（蘇黎世聯邦理工學院、德國馬普所、谷歌大腦）
論文地址：https://arxiv.org/abs/1811.12359
無監督學習解耦表徵（disentangled representation）背後的關鍵思想是，真實數據是由一些變化的可解釋因素生成的，這些因素可以通過無監督學習演算法恢復。在本文中，我們冷靜地審視了該領域的最新進展，並對一些常見的假設提出了質疑。
首先，我們從理論上證明，如果不對模型和數據進行歸納偏置，無監督學習解耦表徵基本是不可能的。然後，我們在 7 個不同數據集進行了可復現的大規模實驗，我們訓練了 12000 多個模型，包括一些主流方法和評估指標。
實驗結果表明，雖然不同的方法強制執行了相應損失「鼓勵」的屬性，但如果沒有監督，似乎無法識別完全解耦的模型。此外，增加的解耦似乎不會導致下游任務學習的樣本複雜度的下降。
該研究結果表明，未來關於解耦合式學習的工作應該明確歸納偏置和（隱式）監督的作用，研究強制解耦習得表徵的具體效益，並考慮涵蓋多個數據集的可復現實驗設置。
最佳論文 2：Rates of Convergence for Sparse Variational Gaussian Process Regression
作者：David R. Burt、Carl E. Rasmussen、Mark van der Wilk（劍橋大學、http://PROWLER.io 公司）
論文地址：https://arxiv.org/abs/1903.03571
目前已有用於高斯過程後驗的極好變分近似方法，它們避免了數據集大小為 N 的 O(N^3) 縮放。這些變分近似將計算成本降至 O(NM^2)，其中 M?N 是歸納變數的數量，它概括了過程。
雖然計算成本在 N 中似乎是線性的，但該演算法的真正複雜性取決於如何增加 M 以確保一定的近似質量。研究者描述了 KL 向後發散上限的行為，進而解決這個問題。研究表明，通過比 N 更慢地增長 M，KL 發散度很可能任意地變小。
一個非常有趣的例子是，對於具有常用平方指數核（Squared Exponential kernel）的 D 維正態分布輸入的回歸，M=O(log^DN) 就足夠了。研究結果表明，隨著數據集的增加，高斯過程後驗能夠以較小的代價真正地近似，並為在持續學習場景下如何增加 M 提供了具體的規則。
Test of time award
大會還公布了 Test of time award，獲得此獎項的是《Online Dictionary Learning for Sparse Coding》，這篇論文發表於 2009 年，作者為 Julien Mairal、Francis Bach、Jean Ponce、Guillermo Sapiro。
論文鏈接：https://apps.dtic.mil/dtic/tr/fulltext/u2/a513243.pdf
稀疏編碼，即將數據向量建模為基本元素的稀疏線性組合，被廣泛用於機器學習、神經科學、信號處理和統計領域。本文著重於學習基礎集，也就是字典，以使其適應特定數據。這種方法最近被證明對音頻和圖像處理領域的信號重建和分類非常有效。
基於隨機近似，本文提出了一種新的在線字典學習優化演算法，該演算法可以優雅地擴展到具有數百萬個訓練樣本的大型數據集。本文包括收斂性證明，以及在自然圖像上的實驗，結果表明與小型和大型數據集的經典批處理演算法相比，本文提出的演算法可以帶來更快的性能和更好的字典。
7 篇最佳論文提名獎
除了最佳論文與 Test of time Award 獎項，大會官方還公布了 7 篇最佳論文榮譽提名論文，分別為：
1. Analogies Explained: Towards Understanding Word Embeddings
作者：CarlAllen、Timothy Hospedales（愛丁堡大學）
論文地址：https://arxiv.org/pdf/1901.09813.pdf
2. SATNet: Bridging deep learning and logical reasoning using a differentiable satisfiability solver
作者：Po-WeiWang、Priya L. Donti、Bryan Wilder、Zico Kolter（CMU、美國南加州大學、博世人工智慧研究中心）
論文地址：https://arxiv.org/pdf/1905.12149.pdf
3. A Tail-Index Analysis of Stochastic Gradient Noise in Deep Neural Networks
作者：Umut ?im?ekli、L, event Sagun、Mert Gürbüzbalaban（法國巴黎-薩克雷大學、瑞士洛桑聯邦理工學院、羅格斯商學院）
論文地址：https://arxiv.org/pdf/1901.06053.pdf
4. Towards A Unified Analysis of Random Fourier Features
作者：Zhu Li，Jean-Fran?ois Ton，Dino Oglic，Dino Sejdinovic（牛津大學、倫敦國王學院）
論文地址：https://arxiv.org/pdf/1806.09178.pdf
5. Amortized Monte Carlo Integration
作者：Adam Golinski、Yee Whye Teh、Frank Wood、Tom Rainforth（牛津大學、英屬哥倫比亞大學）
論文地址：http://www.gatsby.ucl.ac.uk/~balaji/udl-camera-ready/UDL-12.pdf
6. Social Influence as Intrinsic Motivation for Multi-Agent Deep Reinforcement Learning
作者：Natasha Jaques、Angeliki Lazaridou、Edward Hughes、Caglar Gulcehre、Pedro A. Ortega、DJ Strouse、Joel Z. Leibo、Nando de Freitas（MIT、DeepMind、普林斯頓高等研究院）
論文地址：https://arxiv.org/pdf/1810.08647.pdf
7. Stochastic Beams and Where to Find Them: The Gumbel-Top-k Trick for Sampling Sequences Without Replacement
作者：Wouter Kool、Herke van Hoof、Max Welling（阿姆斯特丹大學、荷蘭 ORTEC、加拿大 CIFAR）
論文地址：https://arxiv.org/pdf/1903.06059.pdf
更多關於論文的錄取結果，可以訪問以下地址：
https://icml.cc/Conferences/2019/Schedule
ICML 2019 新變化
在公布了以上獲獎內容之後，ICML 程序主席之一 Ruslan Salakhutdinov 介紹了此屆 ICML 的兩個新變化：高風險高獎勵論文；提交代碼。
我們知道，如果很多論文存在灌水的現象，而一些具有全新創造性的新論文或者新方向的論文可能在評審過程中就會被拒。
所以 ICML 2019 為這樣的論文設計了 High Risk High Reward 特殊類別，也就是 5% 的接收論文屬於高風險高獎勵論文。
此外，ICML 2019 還公布了代碼提交情況。
ICML 大會今年做出的一項重要改變是：為了促進可復現性，委員會鼓勵提交的論文附帶代碼。根據大會公布的數據，首次出現的政策收穫了不錯的效果，在 3424 篇投稿中有 36% 的論文提交了代碼，而在 774 篇接收論文中有 67% 的論文附帶代碼。
如此高的比例，看來明年的投稿論文作者需要認真考慮附加代碼了。
推薦閱讀：
