從圖靈獎看人工智慧的歷史沉浮
PDF全文鏈接：從圖靈獎看人工智慧的歷史沉浮
謹以此文，向熬過寒冬的深度學習先驅，以及依然在各個方向堅持探索的研究者致敬。能否獲得圖靈獎不是最重要的，信念、堅持、思考、靈感才是他們的追求。
人工智慧領域的7次圖靈獎
算上剛拿到的這次，AI已經七獲圖靈獎，是計算機科學各個領域中獲圖靈獎最多的方向之一，足見這一領域在整個CS中的地位。首先我們列舉一下自1966年以來的歷次圖靈獎
1966，Alan J. Perlis，程序設計，編譯器
1967，Maurice Wilkes，EDSAC，程序設計
1968，Richard Hamming，數值計算，編碼，糾錯碼
1969，Marvin Minsky，人工智慧
1970，James H. Wilkinson，數值計算
1971，John McCarthy，人工智慧
1972，Edsger W. Dijkstra，程序設計
1973，Charles W. Bachman，資料庫
1974，Donald E. Knuth，程序設計
1975，Allen Newell，Herbert A. Simon，人工智慧
1976，Michael O. Rabin，Dana S. Scott，非確定性自動機，理論計算
1977，John Backus，程序設計
1978，Robert W. Floyd，程序設計
1979，Kenneth E. Iverson，程序設計
1980，Tony Hoare，程序設計
1981，Edgar F. Codd，資料庫
1982，Stephen A. Cook。計算複雜性理論
1983，Ken Thompson，Dennis M. Ritchie，操作系統，程序設計。UNIX與c語言之父，程序員應該都知道
1984，Niklaus Wirth，程序設計
1985，Richard M. Karp，程序設計，計算複雜性理論。NP完全理論的提出者
1986，John Hopcroft，Robert Tarjan，程序設計
1987，John Cocke，編譯器，計算機系統結構（RISC）
1988，Ivan Sutherland，計算機圖形學
1989，William Kahan，數值計算
1990，Fernando J. Corbató，操作系統
1991，Robin Milner，程序設計
1992，Butler W. Lampson，操作系統
1993，Juris Hartmanis，Richard E. Stearns，計算複雜性理論
1994，Edward Feigenbaum，Raj Reddy，人工智慧
1995，Manuel Blum，計算複雜性理論，密碼學，程序驗證
1996，Amir Pnueli，程序設計
1997，Douglas Engelbart，人機交互
1998，Jim Gray，資料庫
1999 Frederick P. Brooks, Jr.，計算機系統結構，操作系統，軟體工程
2000 Andrew Chi-Chih Yao（姚期智，唯一的華人），理論計算，偽隨機數，密碼學，通信複雜度
2001，Ole-Johan Dahl，Kristen Nygaard，面向對象程序設計
2002，Adi Shamir，Ronald L. Rivest，Leonard M. Adleman，密碼學。大名鼎鼎的RSA演算法，大家都知道
2003 Alan Kay，面向對象程序設計
2004，Vinton G. Cerf，Robert E. Kahn，計算機網路，TCP/IP協議，江湖地位不用多說
2005，Peter Naur，程序設計
2006，Frances E. Allen，編譯器
2007，Edmund M. Clarke，E. Allen Emerson，Joseph Sifakis，程序設計
2008 Barbara Liskov，程序設計
2009 Charles P. Thacker，設計與製造第一台PC
2010 Leslie G. Valiant，人工智慧
2011 Judea Pearl，人工智慧
2012，Silvio Micali，Shafi Goldwasser，密碼學
2013 Leslie Lamport，分散式計算，大名鼎鼎的PAXOS演算法就是他提出的，可以拜讀一下
2014 Michael Stonebraker，資料庫
2015，Martin E. Hellman，Whitfield Diffie，密碼學
2016 Tim Berners-Lee，WWW，瀏覽器。互聯網時代的祖師爺，江湖地位不用多說
2017，John L. Hennessy，David A. Patterson，計算機系統結構
2018，大家都知道
這裡面有很多大家耳熟能詳的成果和人物。學數據結構時都知道的Dijkstra；計算機課科班的同學都知道的UNIX與c語言之父（不是譚浩強），發明關係型資料庫的Edgar F. Codd。其他的不一一列舉了，他們是計算機科學和工業史的縮影，真的改變了我們的生活和世界。
有些領域多次獲獎，如程序設計語言/演算法設計/編譯器累計獲獎20+次之多。資料庫獲獎4次。人工智慧在所有方向中，算是獲獎非常多的了。這些多次得獎的方向，都誕生過巨頭公司，如計算機系統結構的intel，amd；資料庫的ORACLE；操作系統的微軟，SUN，IBM等。
令人遺憾的是，自1956年誕生到今天為止，儘管AI已經走完了63年的歷程，但AI領域還沒有誕生能比肩Microsoft這樣的產業巨頭。對於很多亟待解決的工業界問題，目前的AI技術水平還未達到能夠實用的標準。這條道路之艱辛，可見一斑。
接下來列舉一下AI方向所獲得的圖靈獎
2018 Geoffrey E Hintion，Yann LeCun，Yoshua Bengio，深度學習
2011 Judea Pearl，概率圖模型（貝葉斯網路）
2010 Leslie Valiant，PAC（概率近似正確）理論
1994 Edward Feigenbaum，Raj Reddy，專家系統
1975 Allen Newell，Herbert A. Simon，邏輯推理
1971 John McCarthy，LISP，邏輯推理
1969 Marvin Minsky，神經網路
自1969到1975年3次頻繁獲獎，下一次獲獎是在時隔19年之後的1994年，它們是對AI早期成果的肯定，包括邏輯推理，知識工程，專家系統等。不幸的是這些方法並沒法解決人工智慧的一些核心問題，如圖像識別，語音識別，這些在人類看來再簡單不過的問題，卻困擾了AI學者幾十年。
最近3次獲獎都是因為機器學習，這代表了AI方法的轉變，從歸納和總結人的知識和能力然後編碼實現，演變為模擬人的學習能力。這一現在看來非常簡單的轉變，卻經歷了整整數十年。機器學習從1980年興起開始到第一次拿圖靈獎，也間隔了30年。中間的幾次浪潮幾次寒冬，恐怕只有當年經歷過那個時代的學者們才有最深刻的體會。
2018
這三位是深度學習的領軍人物，對本輪AI興起起到了關鍵作用。深度學習在計算機視覺，語音識別，自然語言處理，數據生成，決策和控制問題上取得了當前最好的效果。自2012年以來，深度學習以迅猛的速度發展，帶動了此次AI的復興，使得這一領域第一次出現了真正的大規模產業化。從計算機視覺的圖像分類，目標檢測，圖像分割，3D，目標跟蹤，到語音識別，自然語言處理中的機器翻譯，以及圖像、聲音數據的生成，AlphaGo的成功，深度學習取得的成就讓我們備受鼓舞。這一方法不是萬能的，但它卻在很大程度上解決了感知，數據生成，決策和控制問題，這在AI的歷史上是前無古人的。
Geoffrey Hinton
Geoffrey Hinton被稱為深度學習之父，他的主要貢獻有
反向傳播演算法（BP）
1986年，Hinton與David Rumelhart等共同撰寫了「Learning Internal Representations by Error Propagation」，提出了反向傳播演算法的完整表述。至今，這還是神經網路訓練時採用的演算法。
受限玻爾茲曼機（RBM）
1983年，Hinton與Terrence Sejnowski一起提出了受限玻爾茲曼機，這是一種隨機、生成式神經網路，也是深度學習早期的模型之一。
逐層預訓練策略訓練深度神經網路
2006年，提出了用逐層預訓練的策略訓練多層神經網路（自動編碼器），拉開了深度學習的序幕。
AlexNet
2012年，Hinton與他的學生Alex Krizhevsky和Ilya Sutskever設計了使用ReLU激活函數和Dropout機制的卷積神經網路，大幅度提升了圖像分類的準確率，成為深度學習真正的開端。
Yann LeCun
Yann LeCun被稱為卷積神經網路之父，其主要貢獻是卷積神經網路。早在1989年，LeCun就發明了卷積神經網路，是深度卷積神經網路的雛形，這一思想被沿用至今。1998年，他又提出了LeNet網路，後來的卷積神經網路都參考了這一網路的結構。
Yoshua Bengio
個人認為，Yoshua Bengio對深度學習的貢獻比不上前面了兩位，公平的來說，Schmidhuber的LSTM江湖地位要超過Bengio的成果。他的主要貢獻是深度學習序列建模，注意力機制，以及RNN在NLP中的應用，此外他和學生Ian Goodfellow共同提出了生成對抗網路（GAN），是目前研究最熱的數據生成模型，解決了很多特定領域的數據生成問題。Bengio一直以來在致力於解決深層神經網路難以訓練的問題，下面的論文是最好的證明
Y. Bengio, P. Simard, P. Frasconi. Learning long-term dependencies with gradient descent is difficult. IEEE Transactions on Neural Networks, 5(2):157-166, 1994.
Xavier Glorot, Yoshua Bengio. Understanding the difficulty of training deep feedforward neural networks. Journal of Machine Learning Research. 2010.
Xavier Glorot, Yoshua Bengio. On the difficulty of training recurrent neural networks. international conference on machine learning. 2013.
2011
繼2010年獲獎之後，2011年機器學習再次獲獎，這次是由概率圖模型的領軍人物Judea Pearl獲得。概率圖模型是機器學習演算法中的大家族，用圖來對變數的概率關係進行建模，實現推理，具有較好的可解釋性，也符合人的思維習慣。將概率論引入機器學習模型，這無疑是一個偉大的成就。
Judea Pearl
他的主要貢獻是提出了概率圖模型和因果推理演算法，將概率引入機器學習，典型代表作是貝葉斯網路。HMM（隱馬爾可夫模型），條件隨機場（CRF）也是概率圖模型家族中的成員，讓很多機器學習的初學者感到困難。Judea Pearl在NIPS 2017上的演講無人問津，不禁令世人感慨，大家都一窩蜂去做深度學習了。
2010
這是機器學習第一次拿獎，發給了機器學習基礎理論的探索者Leslie G Valiant。機器學習在1980年代就誕生了一些非常重要的方法，包括決策樹，神經網路，卷積神經網路等。而圖靈獎對機器學習的第一肯定則選擇了基礎領域。包括PAC在內的一些基礎結論，對設計，分析機器學習演算法具有非常重要的意義。
Leslie G Valiant
Leslie G Valiant主要貢獻是PAC學習（概率近似正確）理論，它從理論上回答了什麼樣的問題是可學習的，並給出了滿足泛化性能約束的條件。可類別為金庸小說中的內功，不現於外表，但對習武之人來說卻至關重要。Leslie G Valiant的成果對後面的機器學習演算法設計有深遠的影響，只是使用各種具體演算法的同學可能對他並不熟悉。
1994
這次圖靈獎頒發給了專家系統的核心人物，Edward A Feigenbaum與Raj Reddy。是人工智慧時隔19年後再一次獲獎，有昨日黃花的味道。
Edward A Feigenbaum
Edward Feigenbaum被稱為專家系統之父。這是人工智慧早期階段的核心成果之一，因為缺乏可擴展性和通用性，以及其他局限性，現在被機器學習所取代。
Raj Reddy
Raj Reddy是識別連續性語音系統的先驅。他發明了第一代連續語音識別系統Hearsay I。在這個系統以及之後的Hearsay II, Harpy, and Dragon等系統中，他和他的學生髮展了一套現代商業化語音識別技術的理論。
1975
這是AI第3次獲獎。這次的獎發給了符號主義學派的創始人-Allen Newell和Herbert A.Simon。這是當年參加達特茅茨會議的人，參加這次會議，可真是拿獎的好機會，堪比參加8.1南昌起義的我軍將領們最後紛紛獲得元帥和大將的頭銜。
Allen Newell
主要的貢獻是信息處理，Information Processing Language(IPL)，Logic Theory Machine，General Problem Solver，以及認知科學。
Herbert A.Simon
Simon是符號主義學派的創始人，其研究工作始終都以人的思想為中心，認為計算機是模擬人類來解決問題。研發了 「 邏輯理論家」和「通用問題求解器」項目，在語音識別和人機交互上取得了重要進展。其目標是讓計算機成為人類解決問題的高效工具。
1971
這一次的圖靈獎頒發給了John McCarthy，被尊稱為AI之父。
John McCarthy
John McCarthy的主要貢獻是他是達特茅斯會議的發起者之一，首次提出了人工智慧的概念。在α-β搜索法，機器人，計算理論，常識推理，人機交互等領域，他也做出了開創性的工作。此外，他發明了AI領域早期的一種重要工具-LISP語言。同時，對代數語言ALGOL 58和60也作出了至關重要的貢獻。
1969
這是AI第一次獲得圖靈獎，發給了Marvin Minsky，AI的發起人之一。
Marvin Minsky
Marvin Minsky是達特茅斯會議的發起者之一。1951年他提出了關於思維如何萌發並形成的一些基本理論，並建造了一台學習機，名為Snarc。他研發了第一個神經網路模擬器、設計了最早的模擬人類機器人：Snarc，其目的是學習如何穿過迷宮，其組成中包括40個"代理"（agent ，國內資料也有把它譯為"主體"、"智能體"的）和一個對成功給予獎勵的系統，基於agent的計算和分散式智能是當前人工智慧研究中的一個熱點，明斯基也許是最早提出agent概念的學者之一。
其他未獲得圖論獎的重量級成果和學者
除了已經獲得的7次圖靈獎之外，至少在機器學習領域還有不少重量級的成果與學者至今還沒有獲獎，他們以及他們的成就同樣值得我們尊敬與銘記。
Vladimir N. Vapnik
SVM和VC維的提出者，前者是機器學習歷史上曾經出現的重量級方法，在機器學習江湖上的地位有目共睹。後者與PAC同屬於機器學習的基礎理論基石，是衡量分類器能力的基礎指標。Vapnik與SVM在機器學習中的地位少有學者能超越，尤其是後者，從1990年代後期到深度學習出現之前，在機器學習的江湖中顯赫數十載。
Yoav Freund，Robert Schapire
共同提出了AdaBoost演算法，是boosting的一個可實現版本，影響力同樣巨大。但他們兩位之前已經獲得了歌德爾獎，這是理論計算機科學的最高獎，雖不及圖靈獎，但也是非常高的榮譽。AdaBoost演算法當年的成功足以與SVM比肩，2001年它被用於人臉檢測問題，是這一領域第一個有里程碑意義的突破。後面各種灌水的文章，都仰仗於AdaBoost的各類變種。
Leo Breiman
CART（分類與回歸樹），隨機森林，梯度提升演算法的提出者，哪一個都是機器學習領域響噹噹的成果。CART是機器學習領域在1980年代的重要成果之一，目前還被用於一些數據分析問題。隨機森林就不用多說，學過機器學習的人都知道。梯度提升演算法是繼AdaBoost之後第二種廣為使用的boosting框架，現在炙手可熱的xgboost是對它的改進。遺憾的是Breiman老爺子已經去世，圖靈獎之前貌似從來沒頒發給不在世的人，所以是沒有機會拿獎了，清明節快到了，我們祭奠他老人家一下。
Jürgen Schmidhuber
LSTM的提出者，對深度學習的發展同樣做出了不可磨滅的貢獻。Schmidhuber這次沒拿獎是有很大的爭議的，論對深度學習的貢獻，筆者認為他不比Bengio小。LSTM直接促成了RNN在序列預測問題上的大規模應用，包括語音識別，自然語言處理等。他還提出了high way network，何凱明提出的目前廣為應用的殘差網路，被認為受到了這一結構的啟發。另外，他提出的PM（Predictability Minimization）與GAN之間的原創性爭議，讓我們也很感慨，GAN已經有6902次的引用，而PM的引用次數卻少得可憐。沒有與深度學習另外3巨頭一起獲得這次的圖靈獎，是一大遺憾。
展望未來，儘管深度學習在很多特定應用實踐中取得了成功，但它仍然存在很多局限性，比如依賴大量標註的訓練樣本，不具備邏輯推理能力，仍然不能像人類智能那樣具有適應性和通用性，對抽象數據的處理（如NLP，結構化數據）欠佳（不過現在GNN又出現了）等。如何解決餘下的這些挑戰，Bengio提到，「我們不應該隨波逐流，現在深度學習就是這股洪流。」Geoffrey Hinton曾經說，AI不會再有寒冬，我們希望他的預言成真！老爺子的幾十年如一日的堅持，值得我們所有從業者感激，敬佩與學習。
推薦閱讀：
