「三巨頭」齊獲圖靈獎！沉浮30載終於開啟AI復興時代
有「計算機界諾貝爾獎」之稱的 ACM AM 圖靈獎（ACM A.M. Turing Award）今日公布 2018 年獲獎者，由引起這次人工智慧革命的三位深度學習之父——蒙特利爾大學教授 Yoshua Bengio、多倫多大學名譽教授 Geoffrey Hinton、紐約大學教授 Yann LeCun 獲得，他們使深度神經網路成為計算的關鍵。
（來源：ACM）
今日，AI 早超越了 「炒作」 的階段，已經向全球及多個行業展現了實際的技術突破及應用能力，毫無疑問，這三位學者厥功至偉。
這三位人工智慧界的大神級學者，都是在 80 年代前後投入深度神經網路的研究領域，在當時，這絕對是個冷門的領域。但就同 Geoffrey 在過去接受媒體採訪時所提到的，將他引上這條超過 40 年研究之路的不是別的，就是對 「人腦的好奇」。在過去接受彭博（Bloomberg)的一次訪問中，Geoffrey Hinton 就曾提到， 「如果你真的想了解一個非常複雜的裝置，比如大腦，那你就自己造一個」，這樣的一個念頭，讓他就此進入人工神經網路研究的世界。
有同樣的想法的不只 Geoffrey Hinton，Yann LeCun 也是如此。Yann LeCun 得知獲得殊榮後，Facebook 博客也刊登了他的看法，Yann LeCun 指出，「我們三個人進入這個領域不僅僅是因為我們想要建造智能機器，我們只是想了解「智能」，包括「人類智能」，「我們正在尋找智能和學習的基本原則，並通過構建智能機器來了解我們自己」。
ACM 表示，這三位學者共同開發該領域的概念基礎，並驗證了令人驚艷的表現，為工程進展帶來了貢獻，證明了深度神經網路的實際優勢。近年來，深度學習方法在計算機視覺、語音識別、自然語言處理和機器人技術帶來了驚人突破，其影響也已經蔓延到計算機以外太多其他領域，數學家物理學家化學家生物學家也都開始用深度學習加速科研。
Yoshua Bengio，蒙特利爾大學計算機科學與運籌學系全職教授，也是深度學習「三巨頭」中唯一一位仍全身心在學術界工作的大牛。他的諸多科研積累，包括深度學習架構、循環神經網路（RNN）、對抗演算法、表徵學習，影響和啟發了後來的大量研究者，將深度學習應用到自然語言處理、計算機視覺等人工智慧的各個主要領域，對近年來深度學習的崛起和發展起到了巨大的推動作用。目前,他是僅存的幾個仍然全身心投入在學術界的深度學習教授之一，為人工智慧培養了許多傑出的下一代人才。
Geoffrey Hinton，谷歌副總裁兼工程研究員，Vector Institute 的首席科學顧問，多倫多大學的名譽大學教授。他在80年代把以前沒有受重視的反向傳播(BP)演算法引入了神經網路，使得複雜神經網路的訓練成為可能，直到今天，反向傳播演算法依然是訓練神經網路最重要的演算法。之後，他又在1983 年發明玻爾茲曼機（Boltzmann Machines），以及在 2012 年改進了卷積神經網路的，並在著名的 ImageNet 評測中取得驚人成績，在計算機視覺領域掀起一場革命。
Yann LeCun，Facebook人工智慧研究院負責人，紐約大學數據科學中心的創始人之一。他最廣為人知的工作是CNN（卷積神經網路）。Yann LeCun，將反向傳播演算法引入了CNN，並且發明了權值共享、池化等技巧，讓CNN真正更為可用，現在，CNN已經廣泛用於計算機視覺、語音識別、語音合成、圖片合成以及自然語言處理等學術方向，以及自動駕駛、醫學圖片識別、語音助手、信息過濾等行業應用方向。他還在 1998 年開發了 LeNet5——首個被大規模商用的 CNN，並製作了被Hinton稱為「機器學習界的果蠅」的經典數據集 MNIST 。更難能可貴的是，他堅持了約20年，才迎來了 CNN 如今的繁榮。
起伏30年，深度學習終獲最高認可
80 年代，人工神經網路被引入作為幫助計算機識別模式和模擬人類智能的工具，到 21 世紀初，專研此法的這三位學者仍是小眾，雖然他們重新點燃 AI 社區對神經網路的興趣，儘管一開始遭到懷疑，但隨著算力的突破，他們的想法終於迎來技術大躍進，從學術界異類甚至是邊緣成為主流範式。三位獲得此殊榮的學者將在 6 月 15 日於 ACM 年度頒獎宴會上正式獲得 2018 年圖靈獎。「
AI 是當今科學界發展最快的領域之一，也是社會上最受關注的話題，」ACM 總裁 Cherri M. Pancake 說，「人工智慧的成長及其帶來的優點，很大程度上歸功於深度學習的最新進展，而這些就是奠基於 Yoshua Bengio、Geoffrey Hinton 和 Yann LeCun 的研究，數十億人使用這些技術，智能手機的用戶可以體驗自然語言處理和計算機視覺領域的進步，這在過去 10 年是不可能實現的，除了我們每天使用的產品之外，深度學習的新進展也為科學家提供了強大的新工具，從醫學、天文學到材料科學等。
對於三位大牛獲獎，AI 行業或科研圈的多數人都表示祝賀， 「實至名歸」、」眾望所歸」更是許多人乍聽這個消息的第一反應。
DeepTech 採訪了數位 AI 領域科研工作者，一位青年科學家表示，「三位可說眾望所歸，是對深度學習的歷史地位的確認」，他進一步解釋，過去機器學習在實務上有很好的性能表現，但理論上則有人認為缺乏堅實理論基礎，但 ACM 將圖靈獎授與三人，顯示對他們貢獻給予肯定。另一位科研工作者則指出，深度學習給計算機領域帶來巨大的新突破，影響已經蔓延到計算機以外太多其他領域，如數學家、物理學家、化學家、生物學家，也都開始用深度學習加速科研，「這種影響力的迅速突破非常少見」。
Google 高級研究員兼 Google 高級研究員 Jeff Dean 也表示，「深度神經網路為現代計算機科學帶來了大躍進，也幫助計算機視覺、語音識別和自然語言理解這些長期問題，取得實質進展，」 Jeff Dean 說。「這些進步的核心是 30 多年前 Yoshua Bengio、Geoffrey Hinton 和Yann LeCun 開啟的基本技術。通過大幅提高計算機理解世界的能力，深度神經網路不僅改變了計算領域，而且幾乎改變了科學和人類努力的每一個領域。「
機器學習、神經網路和深度學習為何能獨領風騷？
在傳統計算中，計算機程序使用明確、逐步的指令來指導計算機，但在深度學習中，計算機並沒有明確被告知該如何解決特定任務，如對象分類。相反地，它使用學習演算法來提取數據中的模式（pattern），涉及數據的輸入，例如圖像的像素、標註、到輸出。研究人員面臨的挑戰是開發有效的學習演算法，能夠修改人工神經網路中連接的權重，所以可抓取數據中的相關模式。
Geoffrey Hinton 從 80 年代早期就致力在 AI 領域倡導機器學習方法，研究人類大腦如何發揮作用，應將其應用在機器學習系統的開發。受到大腦的啟發，他和其他人提出「人工神經網路」作為機器學習研究的基石。
在計算機科學中，「神經網路」是指由在計算機模擬「神經元」的一層一層組成的系統。這些「神經元」與人類大腦中的神經元相似，通過加權連接相互影響，並通過改變連接上的權重，可以改變神經網路執行的計算，三位大牛提出使用多層構建深層網路的重要性，因此也稱為「深度學習」。
三位大牛 30 年努力所奠定的概念基礎和工程進步，受惠於 GPU、計算機的普及以及對大量數據集而取得顯著進展，Yann LeCun 在 Geoffrey Hinton 的指導下進行博士後工作，Yann LeCun 和 Yoshua Bengio 在 90 年代初都任職于貝爾實驗室，儘管沒有一起工作，他們的研究也激起了相互影響。
他們三人持續探索機器學習與神經科學和認知科學的交叉，特別是他們共同參與 CIFAR 的機器和大腦學習計劃。
這一次 ACM 選擇深度學習理論，在深度學習領域又選擇了這三位先驅，其實有更深層的意義。因為，在深度學習和神經網路領域具有突出貢獻的絕不止這三位學者，而他們並稱為三巨頭的原因，也並不只是因為他們投入研究的時間長達40年，更是因為他們始終保有對神經網路的興趣，在他們的名字廣為世人所知的幾十年時間裡，他們甘於用掉人生大部份的時間坐冷板凳做研究，才推動了神經網路走向復興。
圖丨Yoshua Bengio （來源：DT君）
深度學習「三駕馬車」的具體技術成就
圖靈獎被認為是計算機領域的「諾貝爾獎」，獎項名字設以紀念世界計算機科學先驅艾倫·圖靈（A.M. Turing），於 1966 年設立，獲獎者須在計算機領域具有持久而重大的先進性的技術貢獻。這次，ACM 也總結了 3 位 2018 年圖靈獎獲得者的主要技術成就：
1、Geoffrey Hinton
反向傳播（Backpropagation）：1986 年與 David Rumelhart 和 Ronald Williams 共同撰寫的論文—「Learning Internal Representations by Error Propagation」， Geoffrey Hinton 證明反向傳播演算法允許神經網路發現它們自己的數據內部表徵，使得使用神經網路被視為可以解決過去被認為超出範圍的問題。反向傳播演算法是當今大多數神經網路的標準。
玻爾茲曼機（Boltzmann Machines）：1983 年與 Terrence Sejnowski 合作， Geoffrey Hinton 發明了 Boltzmann 機器，這是第一個能夠學習不屬於輸入或輸出的神經元內部表徵的神經網路。
卷積神經網路的改進：2012 年， Geoffrey Hinton 與他的學生 Alex Krizhevsky 和 Ilya Sutskever 使用整流線性神經元（rectified linear neurons）和丟棄正則化（dropout regularization）改進卷積神經網路。在著名的 ImageNet 競賽中，他和學生幾乎將對象識別的錯誤率減少一半，並重塑計算機視覺領域。
2、Yoshua Bengio
概率模型（Probabilistic models of sequences）：在20世紀90年代，Bengio將神經網路與概率模型相結合。相關成果AT＆T / NCR用於閱讀手寫支票的系統所採用，被認為是20世紀90年代神經網路研究的巔峰之作。現代深度學習語音識別系統正在擴展這些概念。
引入高維詞矢量和注意力機制（High-dimensional word embeddings and attention:）：2000年，Bengio撰寫了具有里程碑意義的論文「神經概率語言模型」，引入了高維詞矢量。 他的見解對自然語言處理產生了巨大而持久的影響，包括語言翻譯、問答等。他的團隊還引入了一種注意力機制，帶來了機器翻譯的突破。
生成式對抗網路（Generative adversarial networks）：自2010年以來，Bengio關於生成式深度學習的論文，特別是與Ian Goodfellow共同開發的生成性對抗網路（GAN），引發了計算機視覺和圖形學的革命。基於這種技術，計算機可以創建圖像，也被認為機器開始在一定程度上擁有人類智能標誌——創造力。
3、Yann LeCun
卷積神經網路（CNN）：20世紀80年代，LeCun開發了卷積神經網路，該神經網路模型已經是圖像識別、機器視覺領域的基本框架模型之一。在20世紀80年代後期，他在多倫多大學和貝爾實驗室工作期間，首次將卷積神經網路用於手寫數字識別。現在，卷積神經網路已經成為了業界標準技術，廣泛用於計算機視覺、語音識別、語音合成、圖片合成以及自然語言處理等學術方向，以及自動駕駛、醫學圖片識別、語音助手、信息過濾等行業應用方向。
改進反向傳播演算法：LeCun提出了反向傳播演算法的早期版本（backprop），並根據變分原理對其進行了簡潔的推導。
拓展神經網路應用範圍：LeCun把神經網路變成了可實現大量不同任務的計算模型，其早期的許多工作，現在已成為AI基礎概念。例如，在圖片識別領域，他研究了如何讓神經網路學習層次特徵，這一方法現在已經用於很多日常的識別任務。
附：近5年的圖靈獎獲獎名單
- ACM A.M. Turing Award 2018：深度學習革命之父：Yoshua Bengio、Geoffrey Hinton、Yann LeCun
- ACM A.M. Turing Award 2017：史丹佛大學前校長 John L. Hennessy 和加州大學伯克利分校退休教授 David A. Patterson，開創一種系統性、定量方法來設計和評價電腦架構，並對 RISC 微處理器工業產生持久的影響
- ACM A.M. Turing Award 2016：Timothy John Berners-Lee，萬維網發明人
- ACM A.M. Turing Award 2015：Martin E. Hellman 及 Whitfield Diffie，發明 Diffie–Hellman key exchange 密鑰交換，對公開密鑰加密技術有重大貢獻
- ACM A.M. Turing Award 2014：Michael Stonebraker，為現代資料庫系統的概念和實踐做出基本貢獻
推薦閱讀：