稀疏編碼,即將數據向量建模為基本元素的稀疏線性組合,被廣泛用於機器學習、神經科學、信號處理和統計領域。本文著重於學習基礎集,也就是字典,以使其適應特定數據。這種方法最近被證明對音頻和圖像處理領域的信號重建和分類非常有效。
基於隨機近似,本文提出了一種新的在線字典學習優化演算法,該演算法可以優雅地擴展到具有數百萬個訓練樣本的大型數據集。本文包括收斂性證明,以及在自然圖像上的實驗,結果表明與小型和大型數據集的經典批處理演算法相比,本文提出的演算法可以帶來更快的性能和更好的字典。
除了最佳論文與 Test of time Award 獎項,大會官方還公佈了 7 篇最佳論文榮譽提名論文,分別為:
1. Analogies Explained: Towards Understanding Word Embeddings
作者:CarlAllen、Timothy Hospedales(愛丁堡大學)
論文地址:https:// arxiv.org/pdf/1901.0981 3.pdf
2. SATNet: Bridging deep learning and logical reasoning using a differentiable satisfiability solver
作者:Po-WeiWang、Priya L. Donti、Bryan Wilder、Zico Kolter(CMU、美國南加州大學、博世人工智慧研究中心)
論文地址:https:// arxiv.org/pdf/1905.1214 9.pdf
3. A Tail-Index Analysis of Stochastic Gradient Noise in Deep Neural Networks
作者:Umut ?im?ekli、L, event Sagun、Mert Gürbüzbalaban(法國巴黎-薩克雷大學、瑞士洛桑聯邦理工學院、羅格斯商學院)
論文地址:https:// arxiv.org/pdf/1901.0605 3.pdf
4. Towards A Unified Analysis of Random Fourier Features
作者:Zhu Li,Jean-Fran?ois Ton,Dino Oglic,Dino Sejdinovic(牛津大學、倫敦國王學院)
論文地址:https:// arxiv.org/pdf/1806.0917 8.pdf
5. Amortized Monte Carlo Integration
作者:Adam Golinski、Yee Whye Teh、Frank Wood、Tom Rainforth(牛津大學、英屬哥倫比亞大學)
論文地址:http://www. gatsby.ucl.ac.uk/~balaj i/udl-camera-ready/UDL-12.pdf
6. Social Influence as Intrinsic Motivation for Multi-Agent Deep Reinforcement Learning
作者:Natasha Jaques、Angeliki Lazaridou、Edward Hughes、Caglar Gulcehre、Pedro A. Ortega、DJ Strouse、Joel Z. Leibo、Nando de Freitas(MIT、DeepMind、普林斯頓高等研究院)
論文地址:https:// arxiv.org/pdf/1810.0864 7.pdf
7. Stochastic Beams and Where to Find Them: The Gumbel-Top-k Trick for Sampling Sequences Without Replacement
作者:Wouter Kool、Herke van Hoof、Max Welling(阿姆斯特丹大學、荷蘭 ORTEC、加拿大 CIFAR)
論文地址:https:// arxiv.org/pdf/1903.0605 9.pdf
更多關於論文的錄取結果,可以訪問以下地址:
https:// icml.cc/Conferences/201 9/Schedule
ICML 2019 新變化
在公佈了以上獲獎內容之後,ICML 程序主席之一 Ruslan Salakhutdinov 介紹了此屆 ICML 的兩個新變化:高風險高獎勵論文;提交代碼。
我們知道,如果很多論文存在灌水的現象,而一些具有全新創造性的新論文或者新方向的論文可能在評審過程中就會被拒。
所以 ICML 2019 為這樣的論文設計了 High Risk High Reward 特殊類別,也就是 5% 的接收論文屬於高風險高獎勵論文。
此外,ICML 2019 還公佈了代碼提交情況。
ICML 大會今年做出的一項重要改變是:為了促進可復現性,委員會鼓勵提交的論文附帶代碼。根據大會公佈的數據,首次出現的政策收穫了不錯的效果,在 3424 篇投稿中有 36% 的論文提交了代碼,而在 774 篇接收論文中有 67% 的論文附帶代碼。
如此高的比例,看來明年的投稿論文作者需要認真考慮附加代碼了。
推薦閱讀: