「很榮幸可以獲得今年的 ACM 最佳博士論文獎。感謝我的導師和同事在我博士期間給予的支持和友誼，尤其是導師 Sergey Levine（UC 伯克利助理教授）和 Pieter Abbeel（UC 伯克利教授）。

2018 ACM 最佳博士論文

深度學習改變了人工智慧領域，給語音識別、計算機視覺和機器人學帶來了顯著進步。但是，深度學習方法需要大量數據，而這在醫療成像、機器人學等領域中並不容易獲取。

元學習是目前機器學習領域一個令人振奮的研究趨勢，它解決的是學習如何學習的問題，允許機器基於少量數據學習。元學習演算法使用之前的數據學習如何快速適應新任務，從而「學習如何學習」。

但是，元學習方面最初的一些研究聚焦於設計複雜的神經網路架構。Chelsea Finn 在這篇博士論文中，介紹了一類新方法 —— 與模型無關的元學習（model-agnostic meta-learning，MAML），該方法使計算機科學家免除了手動設計複雜架構的工作。

BAIR 在 2017 年 7 月發布的一篇博客中介紹了 MAML 方法，參見：與模型無關的元學習，UC Berkeley 提出一種可推廣到各類任務的元學習方法，相關論文《Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks》被 ICML 2017 接收。

ACM 在獲獎通知中表示：「MAML 方法在該領域產生了巨大影響，並在強化學習、計算機視覺以及機器學習的其他領域中得到了廣泛應用。」

獲獎論文《Learning to Learn with Gradients》全文鏈接：https://www2.eecs.berkeley.edu/Pubs/TechRpts/2018/EECS-2018-105.pdf

為了研究「學習如何學習」這個問題，這篇論文首先對元學習問題及其術語、元學習演算法的特性給出了清晰正式的定義。然後基於這些基礎定義，展示了一種新方法 —— 與模型無關的元學習（MAML），該方法能夠將基於梯度的優化潛入到學習器中。

與之前的元學習方法不同，該方法聚焦於獲取可遷移表徵，而不是好的學習規則。由於 MAML 方法學得的表徵能夠控制更新規則，因此該方法既繼承了使用固定優化作為學習規則的優秀特性，同時還保留了完整的表達性（full expressivity）。

像其他元學習方法一樣，MAML 需要在各種任務上進行訓練。該方法需要學習訓練一種可以很快適應新任務的方法，並且適應過程還只需要少量的梯度迭代步。元學習器希望尋求一個初始化，它不僅能適應多個問題，同時適應的過程還能做到快速（少量梯度迭代步）和高效（少量樣本）。

這種方法十分簡單，並且有很多優點。MAML 方法並不會對模型的形式作出任何假設。它十分高效，因為其沒有為元學習引入其他參數，並且學習器的策略使用的是已知的優化過程（如梯度下降等）而不是從頭開始構建一個。所以，該方法可以應用於許多領域，包括分類、回歸和強化學習等。

下圖展示了 MAML 方法的可視化圖，即尋找一組具有高度適應性的參數 θ 的過程。在元學習（黑色粗線）過程中，MAML 優化了一組參數，因此當我們對特定任務 i（灰線）進行梯度迭代時，參數將更接近任務 i 的最優參數 φ_i。

該論文還展示了，通過將元學習元素和基於深度模型的強化學習、模擬學習和逆強化學習相結合，該方法可擴展至動作控制（motor control）應用。從而構建適應動態環境的模擬智能體，使得真實的機器人能夠通過觀看人類視頻學習如何控制新物體，人類僅需幾張圖像即可向機器人傳達目標。論文最後討論了元學習的開放性問題和未來方向，指出現有方法的關鍵缺陷以及限制性假設。

Chelsea Finn 其人

Chelsea Finn 年紀輕輕就已成為機器人學習領域最知名的專家之一。她開發了很多教機器人控制和操縱物體的高效方法。例如，她在這篇獲獎論文中使用 MAML 方法教機器人抓取和放置物體技能，該過程中僅僅用了一個人類演示視頻中的原始像素。

Finn 現任谷歌大腦研究科學家，並在 BAIR 實驗室進行博士後研究。2019 年秋，她將成為斯坦福大學全職助力教授。Finn 在加州大學伯克利分校獲得電氣工程與計算機科學博士學位，在 MIT 取得電氣工程與計算機科學學士學位。

Chelsea Finn 有多篇論文發表在 ICML、ICLR、NeurIPS、ICRA、RSS、CoRL 等多個學術會議上，並在多個學術會議及 workshop 上進行受邀演講。

Chelsea Finn 個人主頁：https://people.eecs.berkeley.edu/~cbfinn/

2018 ACM 最佳博士論文榮譽提名獎

2018 ACM 最佳博士論文榮譽提名獎頒給了 Ryan Beckett 和馬騰宇，他們都博士畢業於普林斯頓大學計算機科學系。

Ryan Beckett 在博士論文《Network Control Plane Synthesis and Verification》中提出了一種創建、驗證網路控制平面配置的通用、高效演算法。計算機網路連接著這個世界重要基礎設施的關鍵組件。一旦網路配置出錯，人類高度依賴的系統就會崩潰，出現飛機墜毀、銀行崩潰等情況。Beckett 的博士論文介紹了一種全新的原則、演算法與工具，能夠大幅改善當前網路的可靠性。

論文鏈接：http://www.rbeckett.org/files/thesis.pdf

目前，Beckett 是微軟研究院移動與網路組（the mobility and networking group）的研究員。他在普林斯頓大學取得計算機科學碩士和博士學位，在美國弗吉尼亞大學取得計算機科學和數學兩個學士學位。

馬騰宇在博士論文「Non-convex Optimization for Machine Learning: Design, Analysis, and Understanding」中，提出了一種支持機器學習新趨勢的全新理論。他提出的理論推進了對機器學習非凸優化演算法收斂性的證明，概述了使用這種方法訓練的機器學習模型的特性。

論文鏈接：https://dataspace.princeton.edu/jspui/bitstream/88435/dsp01th83m199d/1/Ma_princeton_0181D_12361.pdf

在論文的第一部分，馬騰宇首先研究了矩陣補全、稀疏編碼、神經網路簡化、學習線性動態系統等一系列問題，還構建了幫助設計可證明的準確、高效優化演算法的條件。在第二部分，馬騰宇展示瞭如何理解、解釋使用非凸優化學得的自然語言嵌入模型。

現在，馬騰宇是斯坦福大學計算機科學與統計學系助理教授，他博士畢業於普林斯頓大學計算機科學系。

值得一提的是，馬騰宇本科畢業於清華姚班，曾獲得 2007 年國際中學生數學奧賽銀牌（與金牌差一分），2010 年獲得美國普特南大學生數學競賽第 8 名，2014 年獲得理論計算機研究生 Simon 獎。

這些都是隻能「仰望」的天才吧！

參考鏈接：https://awards.acm.org/about/2018-doctoral-dissertation

推薦閱讀：