Hinton等獲得圖靈獎，九千字長文回顧神經網路簡史
文|尼克 烏鎮智庫理事長
深度學習的三位代表人物Geoffrey Hinton，Yoshua Bengio以及Yann LeCun獲得了2018年度圖靈獎。
Hinton老兵不老，當之無愧。也有人議論說如果今年的獎給Hinton代表的深度學習和Barto/Sutton代表的強化學習也許更為妥帖，他們三位伴隨了機器學習的起落，幾十年風風雨雨，初衷不改，令人感佩。Bengio和LeCun還年輕，沒吃過什麼苦，他們趕上了好時候，這一次獎給了深度學習，強化學習再得獎的機會也許會減少吧。
《紐約時報》在今天的報道中引用了曾在微軟工作的鄧力對Hinton工作的評價，恰是鄧力與Hinton合作在語音識別上利用深度學習取得突破，導致了深度學習近幾年在各領域的廣泛應用。如果把Hinton比作楊振寧的話，鄧力恰像吳健雄。
Hinton本科在劍橋大學國王學院，除了Hinton，國王學院還出了另外兩點陣圖靈獎得主：Robin Milner和Leslie Valiant，Valiant和Hinton還是同屆同學，而圖靈本人也曾是國王學院的研究員。
作為祝賀，我們轉載尼克《人工智慧簡史》一書中「神經網路簡史」一章。這篇近萬字長文是目前對這段歷史最好的描述。尼克因此書獲吳文俊人工智慧科技進步獎。
-神經網路簡史-
選自《人工智慧簡史》
文|尼克 烏鎮智庫理事長
自圖靈提出「機器與智能」，一直就有兩派觀點，一派認為實現人工智慧必須用邏輯和符號系統，這一派看問題是自頂向下的；還有一派認為通過仿造大腦可以達到人工智慧，這一派是自底向上的，他們認為如果能造一台機器，模擬大腦中的神經網路，這台機器就有智能了。前一派，我想用「想啥來啥」來形容；後一派就稱之為「吃啥補啥」，估計他們的思想來源於中國古代的原始思維，套一句庸俗的哲學詞，前者偏唯心，後者偏唯物。這兩派一直是人工智慧領域裡「兩個階級、兩條路線」的鬥爭，這鬥爭有時還你死我活。
壹 · 神經網路的初創文章
模擬神經網路的原創文章發表於1943年，兩位作者都是傳奇人物，麥卡洛克（Warren McCulloch）和皮茨（Walter Pitts)。皮茨打小就喜歡數學和哲學，初中時就讀過羅素的《數學原理》，還和羅素通過信。羅素愛才，邀請他到英國跟隨自己學習邏輯。但皮茨家裡是苦出身，連高中都讀不起，英國留學自然未果。他15歲時，他爸強行要他退學上班養家。就像所有愛讀書的窮孩子，皮茨一怒之下就離家出走了。他打聽到偶像羅素那時要到芝加哥大學任教，就隻身來到芝加哥，還真見到了羅素。老羅遂把他推薦給那時也在芝加哥任教的卡爾納普。
卡爾納普想看看這孩子到底有多聰明，就把自己的《語言的邏輯句法》一書送了一本給皮茨，不到一個月，皮茨就看完了，把寫滿筆記的原書還給卡爾納普。老卡驚為天人，於是給他在芝加哥大學安排了一份打掃衛生的工作。別看不起打掃衛生，在電影《心靈捕手》（Good Will Hunting）里，馬特·達蒙飾演的角色就是在知名大學打掃衛生時，不小心解了一道數學難題，引起了老師的注意。掃馬路至少可以避免流浪街頭。皮茨後來結識了也在芝加哥的麥卡洛克。麥卡洛克比皮茨大一輩，有人稱他是皮茨的養父。麥卡洛克本科在耶魯大學學習哲學和心理學，後在哥倫比亞大學得了心理學碩士和醫學博士（MD)學位。其實醫學博士和哲學博士不是一回事，MD不是學術學位，而是終極職業學位，和MBA、MFA差不多。MD的那個「D」是指「醫生」，PhD的「D」才是博士。
麥卡洛克畢業後做了幾年實習醫生，先去了耶魯大學研究神經生理學，後來又去了伊利諾伊大學芝加哥分校，做精神病學系的教授。麥卡洛克的強項是神經科學，但不懂數學，他和17歲的流浪漢數學票友皮茨是絕配。他們合作的成果就是神經網路的開山之作：「A Logical Calculus of Ideas Immanent in Nervous Activity」, 發表在《數學生物物理期刊》上。這篇文章成了控制論的思想源泉之一。有意思的是，這篇文章只列了三篇貌似不相關的參考文獻，第一是卡爾納普的《語言的邏輯句法》，第二是希爾伯特和他學生阿克曼合著的《數理邏輯基礎》，第三是懷特海和羅素的《數學原理》。
控制論的創始人維納（Norbert Wiener）早年自稱神童，他爸是哈佛大學教授，曾經帶著他到英國見過羅素，但羅素特不喜歡這孩子和他爹。自打進入20世紀後，甭管哪門哪派的學問，最後都能扯到羅素那兒，不想得諾貝爾文學獎的科學家不是好情人。維納後來也在哈佛大學任教，但不被主流數學家喜歡，沒拿到終身教職。最後到了隔壁的麻省理工學院落腳，在二戰時搞了點武器研究。那時最好的數學家和物理學家都參與了造原子彈的「曼哈頓」計劃，維納卻沒沾邊。這也許同他的個性有關係，他的同事和家人都覺得他對數學之外的事情反應遲鈍。維納提出「控制論」後出了大名，在麻省理工學院搞了一大筆錢，麥卡洛克就帶著皮茨等一票人馬投奔維納。有錢才能當老大，哪都一樣。
維納的老婆瑪格麗特是納粹，在二戰時，家裡還偷藏了本英文版的希特勒的《我的奮鬥》。那時他們的女兒芭芭拉正在讀小學，有意無意地也看過那書，寫作文時居然引用書里的「警句」，差點被學校開除。麥卡洛克的老婆是猶太人，與瑪格麗特形同水火。其實維納祖上是波蘭猶太人，瑪格麗特早幹啥去了？維納娶瑪格麗特是為了自嘲嗎？就像很多中國男人討洋老婆或老外娶中國剩女，或許圖的不是相貌，是稀罕。反正最後維納被中和為「不可知論者」（agnostic）。
瑪格麗特有次對維納說麥卡洛克小組有人（可能暗指皮茨）勾引寶貝女兒芭芭拉，維納大怒，隨即斷絕和麥卡洛克及其學生的所有往來。現在看瑪格麗特是有意造謠。但維納的舉動對皮茨造成了巨大的創傷，皮茨本來是維納的特招學生（special student），但估計他年幼時受過挫折，秉性怪異。和維納鬧翻後，他拒絕麻省理工學院給他的研究生學位，對學問也心灰意冷。1969年，皮茨比他的長輩麥卡洛克早幾個月離世，年僅46歲。
維納曾寫過兩卷本的自傳：《昔日神童》（Ex-prodigy）和《我是數學家》。不喜歡維納的人開玩笑說，應該是《昔日數學家》和《我是神童》，嘲諷維納的數學不入主流，同時暗示維納對自己神童身份的過高自視。和維納相熟的人，無論朋友還是敵人，都認為維納的神童光環害了他，使他終身沒有自信。維納和麥卡洛克失和的另一個原因是他們迥然不同的學術風格。維納無論如何首先是一位嚴謹的數學家，而麥卡洛克則被人稱為是浪漫的科學家。所謂「浪漫」不是指生活，而是說他對科學思想的表述方式。維納曾經把為大腦建模作為他學術生涯的最後野心，他曾經把麥卡洛克找來，要他指出腦科學最關心的幾個問題，然後維納自己花了兩年時間把這些問題數學化，並試圖給出解決的思路，但當維納在一次生物學的會議上宣布自己的成果時，生物學家覺得維納是胡鬧，於是維納覺得是麥克羅克給他下了套。
得維納真傳的人不多，不能不說一下阿比卜（Michael Arbib)。他23歲就在維納手下得了博士，算是維納最後一個學生。阿比卜本是英國猶太人，他爸二戰時當兵被俘，戰後舉家遷到澳大利亞。他在悉尼大學讀數學。他回憶大學時博覽群書，而對他影響最大的是維納的《控制論》、麥卡洛克和皮茨的神經網路、拉賓和斯考特的有限自動機，以及麥卡錫和香農編輯的文集《自動機研究》（Automata Studies）。他認真讀過圖靈的經典論文「可計算的數」，自稱曾挑出過31個錯，還翻譯了哥德爾1931年那篇改天換地的文章。他選擇到麻省理工學院讀博士，因為那裡有維納、麥卡洛克、皮茨，還有麥卡錫和明斯基。阿比卜到麻省理工學院時，維納和麥卡洛克已經失和。儘管維納是他名義上的導師，卻很少提供指導，而他實際上花了更多時間和維納的對頭麥卡洛克在一起。他在拿到博士後才告訴維納，維納大怒。阿比卜曾如此評論維納：「偉人，但有人格缺陷。」
阿比卜雖是維納的學生，但他並沒有把自己局限於控制論的狹隘圈子裡。他是全才，出版過計算理論、人工智慧等多種專著及科普讀物，甚至還一度玩過高深莫測的範疇論。和計算理論相比，控制論更不純粹。阿比卜的雜學體現在他那本科普書《大腦、機器和數學》里，其實他本科畢業論文已露端倪，那篇題為Finite Automata, Turing Machine, and Neural Networks的文章發表在美國計算機學會會刊JACM上。阿比卜後來創辦了麻省大學的計算機系，並延攬一幫人工智慧人馬，其中有後來以「強化學習」出名的巴托（Andy Barto），使麻省大學的人工智慧曾在很長一段時間都處於領先地位。20世紀80年代末期，阿比卜離開麻省大學，轉往南加州大學，曾一度風光，擔任一堆系（包括計算機、生物、生物醫學工程、電氣工程、神經科學，還有心理）的教授。他那名片要是印出來，估計會像一些農民企業家的那樣長吧。但阿比卜最終並未成為開天闢地的宗師，有愧於他的天分和才華。
南加州大學並沒有因為他的到來而添彩，但麻省大學卻因為他的出走而失去了自己的特色和主心骨。就像遺傳演算法的祖師爺霍蘭德所說：自己的影響力很大程度上要看有沒有出名的學生，學生是學術圈生態環境的一個環節。麻省大學有阿比卜需要的生態環境，南加州大學則有名無實。阿比卜晚年為自己日漸衰落的學術影響力找過借口，他認為原因是馬爾（David Marr）學派的當道。馬爾和他那一小撮把他當神一樣崇拜的學生曾經一度統治了視覺研究領域，馬爾的早逝加劇了馬爾的神話，馬爾的書《視覺》也成為學生的「聖經」。阿比卜認為馬爾的工作是建立在自己的工作之上的，但「聖經」里並沒提及，彷彿一切都是馬爾自己一夜之間發明的。
1949年，神經心理學家赫布（Donald Hebb）出版《行為組織學》（Organization of Behavior)，在該書中，赫布提出了被後人稱為「Hebb規則」的學習機制。該規則認為如果兩個細胞總是同時激活的話，它們之間就有某種關聯，同時激活的概率越高，關聯度也越高。換句話說，就是「吃啥補啥」。2000年諾貝爾醫學獎得主肯德爾（Eric Kandel）的動物實驗也證實了Hebb規則。後來的各種無監督機器學習演算法或多或少都是Hebb規則的變種。
貳 · 羅森布拉特和感知機
神經網路研究的後一個大突破是1957年。康奈爾大學的實驗心理學家羅森布拉特（Frank Rosenblatt）在一台IBM-704計算機上模擬實現了一種他發明的叫作「感知機」（Perceptron）的神經網路模型。這個模型可以完成一些簡單的視覺處理任務。這在當時引起了轟動。
羅森布拉特在理論上證明了單層神經網路在處理線性可分的模式識別問題時，可以收斂，並以此為基礎做了若干「感知機」有學習能力的實驗。羅森布拉特1962年出了本書：《神經動力學原理：感知機和大腦機制的理論》（Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms），這本書總結了他的所有研究成果，一時成為「吃啥補啥」派的「聖經」。羅森布拉特的名聲越來越大，得到的研究經費也越來越多。國防部和海軍都資助了他的研究工作。媒體對羅森布拉特也表現出了過度的關注。畢竟，能夠構建一台可以模擬大腦的機器，當然是一個頭版頭條的搶眼消息。此時的羅森布拉特也一改往日的害羞，經常在媒體出鏡，他開跑車、彈鋼琴，到處顯擺。這使得另一派的人相當不爽。
明斯基是人工智慧的奠基人之一，是達特茅斯會議的組織者。他在一次會議上和羅森布拉特大吵，認為神經網路不能解決人工智慧的問題。隨後，明斯基和麻省理工學院的另一位教授佩珀特（Seymour Papert）合作，企圖從理論上證明他們的觀點。他們合作的成果就是那本影響巨大、「是也非也」的書：《感知機：計算幾何學》（Perceptrons: An Introduction to Computational Geometry)。在書中，明斯基和佩珀特證明單層神經網路不能解決XOR（異或）問題。異或是一個基本邏輯問題，如果連這個問題都解決不了，那神經網路的計算能力實在有限。其實羅森布拉特也已猜到「感知機」可能存在限制，特別是在「符號處理」方面，並以他神經心理學家的經驗指出，某些大腦受到傷害的人也不能處理符號。但「感知機」的缺陷被明斯基以一種敵意的方式呈現出來，當時對羅森布拉特是個致命打擊。原來的政府資助機構也逐漸停止對神經網路研究的支持。
1971年，羅森布拉特在43歲生日那天划船時淹死。很多人認為他是自殺。王國維沉湖時遺言「經此世變，義無再辱」，而對於羅森布拉特，我猜「辱」是明斯基的書，「世變」是隨後「神經網路」學科的消沉。不同的是，王靜安謂之「世變」是歷史潮流，但神經網路學科十年後會逆襲。
表面看是因為科學，但有證據表明明斯基和羅森布拉特以前就有瓜葛。他們是中學同學。布朗克斯（Bronx）科學高中大概是全世界最好的高中，畢業生里得過8個諾貝爾獎、6個普利策獎、1個圖靈獎。遠的不說，明斯基是1945年的畢業生，而羅森布拉特是1946年的畢業生。美國高中學制四年，明斯基和羅森布拉特至少有兩年重疊，而且彼此認識，互相嫉妒。1956年的達特茅斯會議定義了「人工智慧」這個詞，會議的組織者包括明斯基、麥卡錫和香農等，參會者還有司馬賀、紐厄爾等。這個會議在定義「人工智慧」領域時只是提到了神經網路。那時明斯基是神經網路的支持者。他1954年在普林斯頓大學的博士論文題目是「神經-模擬強化系統的理論，及其在大腦模型問題上的應用」（Theory of Neural-Analog Reinforcement Systems and its Application to the Brain-Model Problem），實際上就是一篇關於神經網路的論文。他晚年接受採訪時開玩笑說，那篇300多頁的博士論文從來沒有正式發表過，大概只印了三本，他自己也記不清內容了。貌似他想極力開脫自己和神經網路學科千絲萬縷的關係。達特茅斯會議的主題並不是神經網路，而是後來被紐厄爾和司馬賀稱為「物理符號系統」的東西，也就是說，「想啥來啥」派是主要基調。
羅森布拉特被比他大一歲的明斯基妒忌是自然的。工作上，明斯基所負責的麻省理工學院的人工智慧實驗室也在向美國國防部和海軍申請經費。大多數圈內的科學家對羅森布拉特突然被塑造起來的明星范兒很反感。明斯基早期也是「吃啥補啥」派出身，但此時已經改為「想啥來啥」派了。由於他和佩珀特對感知機的批判，倆人後來被「吃啥補啥」派稱為「魔鬼搭檔」。其實明斯基結識佩珀特還是通過麥卡洛克的介紹，歷史真是糾結。被稱為「魔鬼」是因為《感知機》第一版有言：「羅森布拉特的論文大多沒有科學價值。」這話跳步確實有點大，但羅森布拉特人緣不好，沒有得到同行的支持。
比羅森布拉特小一歲的維德羅（Widrow）是斯坦福大學教授，在羅森布拉特剛提出「感知機」時，他就提出了Adaline可適應性演算法。Adaline和感知機很相似，也是機器學習的鼻祖模型之一。羅森布拉特享受盛譽時，維德羅也沾了光，但在羅森布拉特死後，他卻並沒有被非難。維德羅在幾十年後回憶說，那是因為他後來主要在電機系（EE）做集成電路的工作，而不是在計算機系裡從事派系繁雜的人工智慧研究，圈子不同，老死不相往來。
感知機的失敗導致了神經網路研究的式微，用加州理工學院的集成電路大佬米德（Carver Mead）的話說是「二十年大饑荒」。明斯基在《感知機》一書再版時，刪除了原版中對羅森布拉特個人攻擊的句子，並手寫了「紀念羅森布拉特」（In memory of Frank Rosenblatt）。但其他在「大饑荒」時期受到壓迫的科學家認為明斯基不可原諒，後來神經網路得勢後，這些人紛紛對明斯基口誅筆伐。美國電氣電子工程師協會（IEEE）於2004年設立了羅森布拉特獎，以獎勵在神經網路領域的傑出研究。
叄 · 神經網路的復興
在信息科學和神經科學的結合部的失敗，並沒有影響到神經生物學內部。哈佛神經生物學家胡貝爾（David Hubel）和威瑟爾（Torsten Wiesel）對視網膜和視覺皮層（visual cortex）中神經細胞的信息處理模式做了深入研究，他們為此獲得了1981年的諾貝爾醫學獎。隨後，麻省理工學院的馬爾（Marr）為視覺信息處理建立數學模型，影響了後來連接主義的運動。威瑟爾後來離開哈佛大學去了洛克菲勒大學。1991年，洛克菲勒大學時任校長的巴爾的摩出了學術醜聞被迫辭職後，威瑟爾出任洛克菲勒校長，為維持那所學校作為生物學重鎮做出了貢獻。1974年，哈佛大學的一篇博士論文證明了在神經網路多加一層，並且利用「後向傳播」（back-propagation）學習方法，可以解決XOR問題。這篇論文的作者是沃波斯（Paul Werbos），他後來得到了IEEE神經網路學會的先驅獎。沃波斯這篇文章剛發表時並沒引起多少重視，那時正是神經網路研究的低谷，文章不合時宜。
神經網路在20世紀80年代的復興歸功於物理學家霍普菲爾德（John Hopfield）。1982年，那時在加州理工學院擔任生物物理教授的霍普菲爾德，提出了一種新的神經網路，可以解決一大類模式識別問題，還可以給出一類組合優化問題的近似解。這種神經網路模型後來被稱為霍普菲爾德網路。1984年，霍普菲爾德用模擬集成電路實現了自己提出的模型。霍老也培養了一批後起之秀，包括現在在生物學重鎮Salk研究所擔任計算神經生物學實驗室主任的塞吉諾斯基（Terry Sejnowski）。霍老後轉往普林斯頓大學擔任分子生物學教授，現已退休。
霍普菲爾德模型的提出振奮了神經網路領域。神經網路的這次復興和生物學沒啥關係，它既不是來自生物學的刺激，也沒有給生物學送去任何慰藉。倒是它來源於物理學家，並引起了物理學家的關注，曾經一批對複雜系統感興趣的物理學家在物理學家的交叉學科雜誌Physica D上接二連三地發表文章，好不熱鬧。
一幫早期神經網路研究的倖存者，在生物學家克里克（Francis Crick）和認知科學大佬諾曼（Don Norman）的鼓勵下，以加州大學聖地亞哥分校為基地，開始了連接主義（Connectionism）運動，這個運動的領導者是兩位心理學家魯梅爾哈特（David Rumelhart）和麥克利蘭德（James McLelland），外加一位計算機科學家辛頓（Geoffrey Hinton）。
連接主義運動的成果之一就是那本被稱為PDP（Parallel and Distributed Processing)的著名文集（分兩卷)。此書的出版給認知科學和計算機科學吹了股大風，被後起的神經網路新秀稱稱為「聖經」。此書第一次印刷就印了6000本，這在科技文集類書里實屬少見。20世紀80年代的「神經網路」就像20世紀90年代的互聯網、後來的Web2.0和眼下的「大數據」，誰都想套套近乎。一些做理論的大佬也不能免俗，發明RSA演算法的R（Rivest）也帶了幾個學生轉做神經網路學習問題的複雜性。一時間好不熱鬧。1993年，美國電氣電子工程師學會IEEE開始出版《神經網路會刊》，為該領域的高質量文章提供出版渠道。美國國防部、海軍和能源部等也加大資助力度。神經網路一下子成了顯學。
連接主義運動也培養了一堆新人，並使得加州大學聖地亞哥分校的認知科學系成為同類系科的佼佼者。魯梅爾哈特後轉往斯坦福大學任教，2011年不幸死於已掙扎多年的神經退化疾病。喬丹（Michael Jordan）就是他的學生，而吳恩達（Andrew Ng）又是喬丹的學生。魯梅爾哈特人雖離世，但香火沒滅。他的另一名學生格魯什科（Robert Glushko）後來遠離本行，跟隨矽谷互聯網早期英雄塔南鮑姆（Marty Tennenbaum）創立了一家XML公司，那家公司後來賣給Commerce One，賺了一票錢。格魯什科捐錢設立了「魯梅爾哈特獎」來獎勵神經網路的研究者，辛頓成了第一位獲獎者。麥克利蘭德則先轉往卡內基梅隆擔任計算機和心理兩系教授，後來也到斯坦福大學，在那裡建立了「心、腦、計算研究中心」，還一度擔任心理系主任。順便說一句，塔南鮑姆的兒子約書亞·塔南鮑姆（Joshua Tennenbaum）現在都在麻省理工學院腦科學系當教授了。
辛頓則先轉往卡內基梅隆大學，最終到加拿大多倫多大學計算機系任教。辛頓現在可是神經網路領域最牛的人了。他還有一段不太為外人所知的革命家史：他是布爾的外曾曾孫子（對，就是「布爾代數」的那個布爾），他的曾祖母艾倫（Mary Ellen）是布爾的大女兒。中國革命的參與者、美國鐵杆左派韓丁（William Hinton）和寒春（ Joan Hinton）也是艾倫的孫子孫女。照這麼說，韓丁是辛頓的堂叔，寒春是辛頓的堂姑。布爾的小女兒、艾倫的小妹妹伏尼契（Ethel Lilian Voynich）是傳遍蘇聯和中國的小說《牛虻》的作者。《牛虻》西方不亮東方亮，在蘇聯和中國是幾代人的革命加愛情勵志暢銷書。晚年在紐約生活陷入困頓的伏尼契，靠蘇聯和周恩來特批的稿費得以善終。這一家子把中國、蘇聯、革命、邏輯和神經網路都聯繫起來了，通吃「吃啥補啥」派和「想啥來啥」派。（智力題：伏尼契和辛頓是啥關係？）
語言學家、公共知識分子平克（Steve Pinker）對連接主義不以為然。魯梅爾哈特和麥克利蘭德在PDP「聖經」中合作了一章，講神經網路可以學會動詞的過去式，比如一看start，就知道started，一看come就知道came，等等。平克認為有規則的過去式（直接加ed的，如started）可以通過簡單計算得來；而不規則的（不通過加ed的，如came）則是存在大腦的一個特定區域。平克引用神經心理學的證據指出，處理規則的和不規則的操作是在大腦不同部位完成的，他還認為神經網路的行為和一類大腦受傷害患失語症的病人的行為相似。其實這種觀察並不深刻，都是羅森布拉特30年前玩剩下的。符號系統可能比較適合處理規則的情況，而神經網路可能更適合不規則的情況，這個一般人都能想到。對神經網路派的批評也如此：我們可以定義一個規則，可以用符號系統實現，也可以用神經網路實現。哪個快用哪個。
符號處理和神經網路的方法論之爭有時會被更大地誇張。偉大的喬姆斯基就不認可人工智慧領域的最新進展。機器翻譯歷來是人工智慧的試金石之一，就像在1996年之前的計算機下棋。機器翻譯的早期實踐都源於喬姆斯基的理論，但近來的突破卻是基於統計的方法。喬姆斯基認為統計的方法不「優雅」（elegant），只是模仿而不是理解。會騎自行車不算理解，對自行車為什麼不倒，能說清道理，才算理解。谷歌的研發總監諾維格（Peter Norvig）為統計方法辯護時說：簡單的模型（如喬姆斯基理論，以及後來的各種改進版本）不能解決複雜的問題，人工智慧的進一步發展必須兩條腿走路。諾維格在加入谷歌之前曾是加州大學伯克利分校的計算機教授，他對兩派都了如指掌，在學術界和工業界都被尊重，他寫的《人工智慧》是最流行的教科書。他的觀點似乎被更多的人接受。
肆 · 深度學習
神經網路在20世紀80年代的光芒被後來的互聯網掩蓋了。但這幾年，恰恰又是互聯網產生的海量數據給了神經網路更大的機會。人工智慧學者在計算機系曾經是最抬不起頭的，這幾年卻人人都變成了公共知識分子。而人工智慧領域最火的詞兒就是「深度學習」。神經網路由一層一層的神經元構成。層數越多，就越深，所謂深度學習就是用很多層神經元構成的神經網路達到機器學習的功能。
理論上說，如果一層網路是一個函數的話，多層網路就是多個函數的嵌套。網路越深，表達能力越強，但伴隨而來的訓練複雜性也急劇加大。目前對神經網路各種形態所對應的計算複雜性的研究並不多，從業者也以工程師、心理學家和統計學家為多。
辛頓是深度學習的先驅，他和學生在2006年發表的兩篇文章開闢了這個新領域，其中登在《科學》上的那篇提出了降維和逐層預訓練的方法，使得深度網路的實用化成為可能。深度神經網路最後幾層的每個節點都可對應於某些概念。這是神經網路的一大進步，貌似為「吃啥補啥」找到了科學根據，調和了與「符號派」的矛盾。至於符號派買不買賬，就是另一回事了。
深度學習的實測效果很好。辛頓一直用深度信任網路做圖像識別，在2012年舉辦的圖像識別國際大賽ILSVRC（ImageNet Large Scale Visual Recognition Challenge）上，辛頓團隊的SuperVision以絕對領先的成績擊敗眾競爭對手拔得頭籌。該比賽用1000萬張圖像訓練，用15萬張圖像測試，目標是識別測試圖像到底是動物，是花兒，還是船，等等。在2012年前，普遍的錯誤率在26%。但SuperVision頭次參賽就把錯誤率控制在了15%之下，以超過10%的驚人優勢遙遙領先。
2009年，微軟研究院的鄧力小組開始和辛頓合作，用深度學習加上隱馬爾科夫模型開發可實用的語音識別和同聲翻譯系統，2011年取得突破。2012年，微軟負責研發的拉希德（Rick Rashid）在天津舉行的一次會議上現場演示，他用英文演講，機器用中文實時翻譯，甚至中文合成的聲音跟他自己的聲色都非常相像。微軟把這一成果迅速產品化，微軟收購的聊天工具Skype首先得益，整合了實時語音翻譯的功能。此後，語音識別問題已經被認為徹底解決了。現在即使開源的軟體都可以達到很高的識別率。中國的騰訊和科大訊飛等也都有此類產品。
年過60歲的辛頓不甘寂寞，和他的兩個學生開了家專註深度學習的公司。公司成立沒多長時間，谷歌和微軟就對這家公司動了收購的念頭，後來百度也加入競標，最終花落谷歌，谷歌出了幾千萬美元，於2013年初收購了這家只有三名員工的公司。為了把辛頓納入花名冊，谷歌還真不差錢。
有意思的是，機器學習的幾個主要研究團隊都在加拿大，例如多倫多的辛頓、蒙特利爾的班喬（Yoshua Bengio）和阿爾伯塔的薩頓（Richard Sutton）。辛頓和薩頓的金主都是谷歌，他們陸續遷往加拿大都是在神經網路研究不招人待見的時期。無獨有偶，王浩的學生庫克（Steve Cook）也是在慘遭加州大學伯克利分校拒絕終身教職後遷往多倫多的。
2012年，時任斯坦福大學人工智慧實驗室主任的吳恩達（Andrew Ng）和谷歌合作建造了一個當時最大的神經網路，這是谷歌神秘的X實驗室的一個計劃。網路上一度瘋傳的谷歌貓臉識別就是用的這個參數多達十七億的神經網路。後來，吳恩達在斯坦福大學又搞了個更大的神經網路，參數高達一百一十二億。人腦的神經連接有一百萬萬億個。從計算能力上說，如果這個人工神經網路要能接近大腦，每個人工神經元必須達到一萬個大腦神經元的功能。這個神經網路會用到大量的圖形處理晶元GPU，GPU一度是模擬神經網路的完美硬體，因為每個GPU晶元內都有大量的小核心。這和神經網路的大規模並行性天然相似。硬體的進步讓以往不可能的成為了可能。GPU的廠商Nvidia股票也一路飆升。對計算量的需求是沒有止境的，新的晶元技術也被用到深度學習中，先是有人試圖用FPGA（可編程陣列）和ASIC實現各種深度學習演算法，後來谷歌推出了專用晶元TPU。
人工智慧的統計派或神經網路派和邏輯派或符號派之爭是從1956年達特茅斯會議開始的。明斯基的合作者佩珀特曾說神經派和符號派的區別就像分子生物學和進化生物學的區別，甚至有人因而爭論大學的數學課應該以微積分為主還是以統計為主。新派自然是以統計為主。斯坦福大學人工智慧實驗室的創辦人麥卡錫，是達特茅斯會議的主要組織者，「人工智慧」這個詞如果不是他最早提出的，至少是他最早使之流行的。也正是他把明斯基拉到了他當時任教的麻省理工學院。說他是「人工智慧之父」是名副其實的，約翰大叔是鐵杆的符號派。但後來的人工智慧實驗室主任卻分別是做神經網路的吳恩達和李飛飛。這個轉變也許是「吃啥補啥」派得志的風向標。斯坦福大學的這個神經網路的目標是模擬人的大腦。
這讓我們不禁想起了羅森布拉特，那不正是他的夢想嗎？
推薦閱讀：
