【深度解析】為什麼有很多名人讓人們警惕人工智慧？（同時回應某前排匿名回答）

本文來自於知乎的同名問答。主要內容分三部分：一，點評前排匿名回答及澄清名人的擔憂理由。二，補充相關的學界人士觀點。三，補充最新的「名人讓人們警惕人工智慧」的動態消息。原回答鏈接：為什麼有很多名人讓人們警惕人工智慧？ - 黃明宇的回答 - 知乎 https://www.zhihu.com/question/27864852/answer/39239232

Part1：深度解析名人讓人們警惕人工智慧的理由

反對此前排匿名回答：為什麼有很多名人讓人們警惕人工智慧？ - 知乎 https://www.zhihu.com/question/27864852/answer/41061946 。

理由如下：1，答非所問。2，許多地方沒有就事論事。3，太多個人的主觀臆斷。4，誤導大眾，讓人注意力從「為什麼有很多名人讓人們警惕人工智慧？」這個問題本身移開，而忽略了名人觀點的合理之處。5，影響人們更全面地看待這個問題及相關人物的「擔心」究竟是什麼。當然，答主的部分觀點，我是認同的，比如說 @謝熊貓君所翻譯文章的表達不夠嚴謹，一些相關的調查不夠嚴謹等。

但我非常不欣賞匿名答主一副不是就問題就事論事的態度。該答主喜歡說其他人怎麼怎麼不靠譜，所以他們的觀點也不靠譜，這是什麼邏輯？答主所說的「賣書的」尼克·博斯特羅姆（Nick Bostrom），是牛津大學哲學系的教授，人類未來研究院的創始人和主任，Bostrom的學術背景包括物理、計算機科學、數理邏輯，以及哲學。馬斯克、霍金、比爾·蓋茨等人對人工智慧的看法都是受到了尼克·博斯特羅姆著作《超級智能》的影響。相關聯繫可以參考這篇文章：Nick Bostrom：馬斯克和蓋茨都同意他對AI的看法；尼克和馬斯克、霍金還在同一機構共事過（如下圖）。如果說尼克·博斯特羅姆是賣書的，答主又是誰？能不能露個臉，來場就事論事的辯論？

三人共同為生命未來研究所（The future of life institute）的成員

我們來看看尼克·博斯特羅姆對人工智慧的簡明觀點（為什麼擔憂）：「我認為向機器智能時代過渡可能是人類歷史上具有里程碑式的事件之一，但從時間尺度來看，人工智慧的發展更加的多樣化，更具有不確定性。但是，目前的技術還遠不能達到人類智能的水平，更不用說超級智能了，短時間內我們還很難實現真正的人工智慧，但最終隨著技術的發展，一定會實現真正的通用人工智慧。而且，我認為對超級智能的擔憂在各行各業都會存在，都會面臨挑戰，人們首先應該考慮未來「超級智能」是否會有自己的意識和想法，並朝著不利於人類的方向發展，我們需要做的是在機器變得更智能的時候，讓它們完全聽命於人類，不違背人類的意志，以保證人類可以完全控制它們。」

詳細看法如下（原文出處：對話Bostrom：人類要在超級智能出現前將AI完全掌控）：

一、世界上會出現通用人工智慧，但還需要攻克一些難題。

【問】您是如何看待未來人工智慧方面的發展的？

【尼克·博斯特羅姆】我認為，向機器智能時代的過渡可能是人類歷史上具有里程碑式的事件之一。但是從時間尺度上來看，人工智慧的發展更加的多樣化，更具有不確定性。

最終，我認為我們將擁有真正、完整的人工智慧，且在不久之後可能會成為「超級智能」（即通用人工智慧）。我認為，這種向機器超級智能時代的過渡，可以體現在各個領域，且每個領域都有造福人類的巨大潛力。健康、娛樂、經濟、太空殖民等等，應有盡有。但同時也可能存在一些風險，包括與創新有關的人類生存危機，隨著人工智慧不斷地融入人類的生活，未來它們很有可能會超越人類甚至取代人類。

我的意思是，當你看到兩個事實時，這是一個相當大膽的論斷。首先是技術的現狀。不可否認，如今我們的手機正在變得越來越智能。其次，目前我們所知道的人工智慧只是人類智能。這是一種與人類意識形成、人類大腦運行模式、思維方式以及所有這些人類活動一樣的方式，並不是我們所理解的是一種輕描淡寫的練習。那麼，你如何對待這兩件事——在這方面沒有先例，之前也沒有真正了解人類的智能、人類的大腦是如何運作的——然後你得出這樣的結論：這幾乎是不可避免的？

當然，目前的技術還遠不能達到人類智能的水平，更不用說超級智能了。短時間內，我們還是很難實現真正的人工智慧的。但最終，隨著技術的發展，最終會實現真正的人工智慧。從人類大腦的運行模式中我們可以得知，這個世界上存在著至少和人類智力水平相仿的運行系統，而且它是一個有限的生物系統。人類頭顱內的重約三磅的軟物質竟可以達到這種水平的性能，而且這還遠遠沒有達到人類大腦的極限。我們可以看到幾種不同的方法，在技術上最終達到我們可以在機器基質中製造和人類大腦類似的物質的方法，進而模擬大腦的運作方式，達到真正的人工智慧。

因此，人們確實需要逆向研究的方式來解鎖人類大腦的奧秘，搞清楚大腦運行的體系結構、學習時的演算法邏輯，進而將其置於計算機基礎上運行操作。但很有可能的是，我們將採用一種純粹的合成方法來加快研究的進程。

在這條道路上似乎沒有什麼原則上無法攻克的難題和障礙。但是這仍然非常難，畢竟我們直到上世紀中葉才開始有了計算機，計算機的出現也不過幾十年的時間。人工智慧領域也是個很年輕的領域。在這幾十年里，我們已經走過了相當長的一段路，如果我們繼續這樣下去，我想我們最終會找到如何設計出具有同樣強大的學習能力和規劃能力的演算法，進而讓人類變得更聰明。

【問】：在人類已經接受了這個假設的基礎上，你認為人類的意識是從哪裡來的？

【博斯特羅姆】：大腦。

二、研究人工智慧，或許人類大腦能給我們很多啟發！

【問】：但具體來說，是什麼機制引發了這種變化？對於這個問題，還有什麼其他潛在的答案嗎？

【博斯特羅姆】：我傾向於計算主義觀點，我的猜想是，這是一種特定類型的計算的運行，它會在道德相關的主觀體驗中產生意識，在原則上，你可以在由硅原子構成的結構上實現意識，就像碳原子結構一樣。在這裡，重要的不是大腦的構成物質，而是大腦運轉的計算結構。

原則上，你可以讓機器擁有意識。不過，我的確認為，人工智慧的問題，即機器的智能表現，最好還是不要過早的涉及意識的問題。即使你認為機器不能真的擁有意識，你仍然可以關心它們是否和人類一樣聰明。即使他們沒有意識只是聰明，這仍然可能是一項對世界產生巨大影響的技術。

【問】：關於這方面的最後一個問題，我想深入了解一下你是如何看待所有這些發展和實驗的？想必您肯定很熟悉約翰·希爾勒（John Searle）的中國房間思想試驗，中文房間（Chinese room，the Chinese room argument）又稱作華語房間，是由美國哲學家約翰·希爾勒（John Searle）在1980年設計的一個思維試驗以推翻強人工智慧（機能主義）提出的過強主張：只要計算機擁有了適當的程序，理論上就可以說計算機擁有它的認知狀態以及可以像人一樣地進行理解活動。這個實驗要求你想像一位只說英語的人身處一個房間之中，這間房間除了門上有一個小窗口以外，全部都是封閉的。他隨身帶著一本寫有中文翻譯程序的書。房間里還有足夠的稿紙、鉛筆和櫥櫃。寫著中文的紙片通過小窗口被送入房間中。根據Searle，房間中的人可以使用他的書來翻譯這些文字並用中文回復。雖然他完全不會中文，Searle認為通過這個過程，房間里的人可以讓任何房間外的人以為他會說流利的中文。這個人顯然並不懂得任何中文，但是根據那本書還有紙條，他竟然成功用中文回答了問題，而且翻譯出來的東西在中國人眼裡，是非常地道的和精彩的。

所以問題是，這個試驗結果是，那個房間、那個系統，非常出色地通過了圖靈測試。並且這個系統在沒有理解所談論的東西的情況下就成功了。對於這種機器即使缺乏理解，甚至是無法理解的情況下，並不會像人類想像的那樣具有局限性，相反，這些演算法和系統可以做的非常出色，即使並不能像人類一樣思考和理解事情。當然，這個試驗適用於計算機。希爾勒用這個實驗得出結論，計算機永遠不會像人類一樣，因為它什麼都不懂。您怎麼看待這個問題？

【博斯特羅姆】：說實話，我不太相信這個實驗，首先你需要考慮，這個思想試驗不僅僅是關於這個房間里的人能做什麼、不能做什麼，能理解什麼、不能理解什麼。你必須要把整個系統想成一個整體。因此，房間、房間里所有的書還有人，應該作為一個整體，能夠以一種看起來聰明的方式實現輸入與輸出。如果有什麼東西具有理解能力的話，那大概就是這個系統。就像你說的計算機程序，它會是個整體，包括電腦，程序以及存儲記憶，最終會達到一定的性能水平，而不是其中某個設備里的一個特定數據箱。

對於中文房間這個實驗，人們傳統的想法是，那個實驗者會記住每一本書的內容。他出去轉轉，有人遞給他一張便條，他寫了一個絕妙的答案，然後把它遞迴來。再一次需要強調的是，他並不理解問題是什麼。但你不能回頭說，「這是系統。」

因此，你必須考慮，實際上，你想要獲取的功能是將所有可能的英語輸入都映射到中文輸出。要知道，就數據條目數量而言，僅僅通過一個龐大的檢索表來進行映射是不可行的。這肯定不適合人類的大腦。或者，實際上，在任何物理限制條件下，在可觀測宇宙中，沒有足夠的原子以這種方式來實現它。

因此，很有可能的是，理解不僅包括將一組輸入信息映射到輸出的能力，還包括以特定的方式進行數據壓縮。因此，要理解某件事可能需要知道其相關的模式是什麼，在一個特定的領域中（某個領域的某種精神模型），從而實現這個輸入/輸出映射的緊湊化。這可以讓你概括那些在初始集中沒有明確列出的東西。

所以，如果我們試圖通過一個檢索表來支撐這個中文房間思想實驗的論點，一方面，在沒有足夠的記憶內存的情況下，那是不可能實現的。另一方面，即使你以某種神奇的方式擁有足夠的記憶內存，但它仍然不能算作真正的理解，因為它缺少這種數據的壓縮，也沒有規律的提取。

三、為了避免AI威脅，人類要在超級智能出現之前將AI完全掌控。

【問】：對於超級智能，人們普遍存在三個擔憂：第一，擔心它被人類故意濫用；第二，擔心它被人類不小心誤用；第三，擔心它有一天有了自己的意識和想法，並且朝著不利於人類的方向發展。對於對人工智慧或者超級智能，您是否也有類似的擔憂？或者您有什麼特別的擔憂嗎？或者您是如何擺脫這種擔憂的？

【博斯特羅姆】：是的，我認為超級智能的擔憂在各行各業都會存在，也都會面臨相應的挑戰。我認為人們首先應該考慮第三個問題，即未來「超級智能」是否會有了自己的意識和想法，並朝著不利於人類的方向發展。我們需要做的是，在我們讓機器變得更智能的時候，也要讓它們完全聽命於人類，不違背人類的意志，以保證人類可以完全控制它們。

所以現在你需要制定一個目標功能。在絕大多數情況下，這很容易。例如，如果你想訓練一些智能體（agent)下象棋，你就需要定義怎樣才是一步好棋。如果贏了一場比賽，會得到1分，如果輸了，不得分，如果是平手，得到0.5分。所以這是我們可以定義的目標功能。但在現實世界中，人類需要考慮方方面面的事情，我們會關心是否幸福、公正、美麗和快樂。而這些東西都不太容易去設定評判標準和目標，很難用計算機語言去定義。因此，你需要找到一種方法，讓潛在的超級智能的智能體服務於人類意志的延伸，這樣他們就能意識到你的意圖，然後忠實地執行命令。

這是一項重大的技術研究挑戰，目前也有科研團隊正在致力於解決這個問題。假設我們可以解決這個關於控制的技術難題，我們就能更廣泛的應用人工智慧在我們的生活中。屆時我們將有能力應對更廣泛的「規定」（policy)問題。例如，究竟是誰來決定人工智慧的用途，它的社會用途是什麼，未來「超級智能」出現之後，我們的世界又該是什麼樣子等等。

目前，只有同時解決技術問題和關於人工智慧的更廣泛的「規定」問題，才能真正得到一個好的結果。這兩個問題同等重要，且都具有挑戰性。就像你將規定分為兩個子問題一樣，這樣子就可以解決你剛才提的第一個和第二個問題了，如何去區分故意濫用和意外誤用。但我相信，所有的人都不希望你剛才提到的事情將來有一天會發生。

【問】：任何對人類生存的威脅都會引起我們的注意。你是否認為這種威脅看起來微不足道，但一旦發生後果不堪設想，所以我們需要認真對待這個問題？還是你認為這些事情未來很有可能會發生？

【博斯特羅姆】：一半一半吧。我認為，我們有足夠的時間和機會去發展超級智能，但同時，也許是在今天活著的人的有生之年，超級智能也有可能會出問題。並且，這種情況發生的可能性非常大，因此，為相關的研究項目和研究人員投資是一項非常明智的選擇，只有這樣才能讓研究人員致力於尋找解決問題的方法，將我們對超級智能的擔憂與害怕控制在我們的掌控之中，這是我們當下亟待解決的問題，因為有些問題和隱患的苗頭已經開始逐漸顯現了。而且，我們還需要提前考慮規則制定的問題。例如，究竟什麼樣的全球治理體系能夠真正應對一個存在超智能實體的世界？

要認識到這是一個巨大的挑戰，我認為當你在談論一般的超級智能時，你不僅僅是在談論人工智慧的進步，你是在談論所有技術領域的進步。在那個時候，當人工智慧在科學和創新方面比我們人類能做的更好的時候，你就相當於擁有了一個可觀測未來的望遠鏡，你可以想像到所有其他可能的技術，如何幫助人類在時間的長流里更好更充實的發展。如果我們有4萬年的時間來研究它，也許屆時我們就能找到抵抗衰老的方法獲得長生不老之術，或者征服銀河系並將其上傳到電腦上等等，所有這些目前只有科幻小說中才出現的場景，我們都知道是符合一定的自然和物理規律的，因此未來是有可能實現的，只是需要時間。而人工智慧的出現，未來有望幫助我們實現。所有這些都可能是在超級智能出現之後，在數字時間範圍內很快開發出來的。

所以，在這種轉變下，很有可能在短期內，隨著人工智慧技術的逐漸成熟，科幻小說中的場景真的會在我們的現實生活中出現。我認為，要規定和選擇一種適用於超級智能存在的世界的治理體系，需要進行一些根本性的反思。這也是一項很有意義的工作。

並且，我認為我們應該提前開始這項工作的理由，並不完全取決於你認為在一定的時間內發生這種情況的可能性有多大。如果我們不制定相關的保險措施的話，目前看來，人工智慧未來威脅人類生存的可能性還是很大的。

【問】：你認為我們面臨著重新思考社會基本結構的挑戰嗎？人類歷史上曾經出現過類似的先例嗎？

【博斯特羅姆】：世間萬物沒有什麼是非常相似的。每件事、每個技術的出現都具有其獨特性，並不能一概而論。但是我們確實可以從中尋找出一些相仿的規律。在某些方面，如今人工智慧的出現和當年的核武器的發明有些相似之處。當年，包括一些正在研究核武器的核物理學家都認為那將真正改變國際事務的性質。同時，人們預見了隨後出現的軍備競賽，也有人試圖提前思考，如何才能防止核擴散等等。

除此之外，我不認為人類歷史上類似的需要提前考慮和採取預防措施來避免未來問題發生的事件。就像大多數時候，我們在探索發現的路上跌跌撞撞地走著，嘗試著不同的東西，然後逐漸地學習。我們明明知道汽車會發生車禍，造成人員傷亡，但是我們並沒有因此而不使用汽車，相反，我們發明了安全帶和道路指示燈。我們在前進的過程中也會與時俱進。但問題和風險在於，你有且只有一次機會，所以你必須在第一時間把它做好。這可能需要提前意識到問題所在並迅速找到避免出現這種情況的解決方案。但這正是我們人類所不擅長的事情，因此，我們需要付出更多的努力。

四、是什麼決定著通用人工智慧的出現？

【問】：在我們探索發明超級智能之前，您是否認為我們正在朝著進化的方向前進？是否就像，我們對AI有所了解，我們有基本的技術和知識。但我們需要做的是發明更高效的機器，更好的演算法，更多的數據，以及所有這些東西，但所有這一切最終會給我們一個「超級智能（即通用人工智慧）」。或者您認為它還需要一些我們現在還不理解的東西，比如量子計算機等等。我們是在往這個方向發展嗎？

【博斯特羅姆】：我不認為通用人工智慧的出現需要一台量子計算機。也許這是有幫助的，但我不認為這是必要的。我的意思是，如果你說更快的計算，更多的數據，更好的演算法，我認為結合起來就足夠了。我想我們應該更多的將重點放在，未來演算法究竟需要發展到多好。

因此，近年來在包括深度學習和強化學習等機器學習方面取得的進步，都讓人興奮不已。我認為，目前還沒有定論表明，我們是否需要擁有大量的新技術和知識，也許我們只是需要一些巧妙的方法，把我們已有的知識和技術串聯起來，在它們的基礎上構建新的東西，或者是實現更深層次的概念突破。這些都是難以預料的。

當然，還得在大量演算法改進的基礎上，才能實現這一目標。但是，進一步的改進可能更多的是使用我們現有的一些基本的知識和技術，以巧妙的方式將它們組合在一起。在深入學習結構的基礎上，更好地學習和提取概念，並將它們結合到推理中，然後用它來學習語言。如何更好地進行分層規劃。但它仍將使用我們已經擁有的一些技術和知識，而不是那種完全拋棄過去的技術，以一種全新的方式開始的發明。我認為至少有一些證據表明，我們仍然在正確的軌道上前行，我們也能看到現有的一些進步。

【問】：據我所知，當我試著從不同的行業領域（包括編寫演算法或者計算機編程等相關行業）里採訪人們對於未來何時會實現真正的人工智慧的時候，大家給出的答案不一而同。我認為這是一個很有說服力的事實。但毋庸置疑的是，現如今行業里有人並不認為這是一種對思想資源和周期有用的方式。從廣義上來說，你認為是在什麼情況下那些人會忽視這一切，而他們又會在哪裡犯錯誤呢？他們錯過了什麼？

【博斯特羅姆】：他們可能會因為對自己的印象過於自信而犯錯。所以，這取決於他們相信的到底是什麼。如果他們相信，在接下來的幾百年里，我們基本上沒有機會實現這個願望，那麼我認為他們就是過於自信了。人工智慧的發展並不是那種可以在短時間內預測到未來100年里將要發生什麼的事情，至少目前是做不到的。因此，堅信可能或者不可能發生，都是一種過度自信的表現。從而引發業內專家們意見相左。

幾年前，我們對世界領先的機器學習專家進行了一些民意調查。其中一個問題是，您認為需要多久，我們才能有50%的可能性擁有高水平或與人類水平相近的機器智能，也就是說可以實現真正的人工智慧？我們得到的平均答案是2040或2050年，當然這也取決於我們問的是哪組專家。然而，這些都是主觀的想法。

目前尚沒有一種嚴格的數據集可以證明這是正確的估計。但我認為，這確實表明在本世紀，準確的說是在本世紀中葉，很可能會實現真正的人工智慧。但究竟是真是假，還有待時間的考證。而這是主要研究人員的大致觀點。這裡面還存在著很大的不確定性。也許可能需要更長的時間來實現真正的人工智慧。但也可能會提前發生。我們可以藉助概率分布來考慮，在各種可能的到達時間範圍內的可能性分布。

【問】：在實現真正的人工智慧之前，您對人工智慧的頭號擔憂是什麼？它對就業的影響又會是什麼？

【博斯特羅姆】：目前來看，我所擔心的是未來人類的工作問題。實現了通用人工智慧，也就意味著，屆時機器可以完全取代人類，做人類可以做的任何事情。

一方面這幫助人類減輕了工作的負擔，但是同時也帶來了兩個非常嚴峻的挑戰。其中之一是經濟方面的挑戰，即人們如何謀生。現在很多人都依賴於工資收入生活，因此，未來工作被機器取代之後，他們需要一些其他的收入來源，要麼來自資本分配，要麼來自社會再分配。幸運的是，我認為在這種情況下，人工智慧真正實現了智能化，它將創造出巨大的經濟繁榮。因此，這塊經濟市場蛋糕的整體規模將會大幅增長。因此，考慮到政治意願，以確保每個人都能擁有高水平的生活質量，通過普遍的基本收入或其他方式的再分配，也應該是相對可行的。

現在，這就引出了第二個問題，也就是人類活著的意義所在。目前，很多人認為，他們的自我價值和尊嚴，與他們作為經濟上富有生產力的公民的身份密不可分。很多人認為成為家庭的經濟支柱是一件很幸福的事。但這種觀念亟待改變。教育體系必須改變，訓練人們在休閑中尋找生活的意義，培養愛好和興趣。欣賞對話的藝術，培養對音樂的興趣，建立個人的愛好等等方方面面的事情。為自己而活，因為每個人都是有價值的，都是獨一無二的，而非為了生存賺錢養家而活。

我認為這是絕對有可能的。有一些群體從歷史上就一直生活在這種情況下。例如，英國的貴族們認為，為生計而工作是有失身份的，他們認為這就像是在出賣自己，就像你不得不出賣自己的勞動一樣，因此他們相信地位高的人是不需要工作的。

今天，我們處於一種奇怪的情況，地位越高的人工作得越好。例如企業家和CEO們每周需要工作八十小時。但這種情況可能會改變，但根本上，是需要文化的轉變。

【問】：最後，你的新書《超級智能》可以說是有史以來最具影響力的書籍之一。書中你為人類敲醒了警鐘，提醒人們要認真考慮未來人工智慧真正實現的問題，並建議我們應及時採取積極預防措施。您是否可以帶我們來暢想一下未來的生活。

【博斯特羅姆】：這本書出版以來，在過去的幾年裡，在圍繞人工智慧主題的全球性的討論中，以及在技術研究等方面都出現了很大的轉變，現在人們開始專註於尋找對人工智慧更好地控制的方式，而這對於當下先進的AI技術至關重要。目前已經有很多研究小組提出了這個問題。我們也在致力於解決這些問題。在伯克利，研究團隊們正在與DeepMind共同舉行定期的研究研討會。這都是振奮人心的好消息，因為看到相關的努力在付出。

當然，我們希望這個問題不會太棘手。在這種情況下，我認為這種人工智慧的轉變確實是開啟了一個全新的層次。它可以讓人類文明從目前的人類狀態過渡到另一種完全不同的狀態。隨著技術的不斷成熟，也許是我們的後代能夠征服宇宙，構建和創造幸福狀態下的超人類智慧的文明，而未來，探索經驗的空間、存在的模式和相互作用，以及創造性活動，這些活動可能超出了目前人類大腦的想像能力。

我只是覺得，在這個廣闊的可能性空間里，存在著一些非常有價值的模式。就像一個巨大的體育場或大教堂，我們就像一個蜷縮在角落裡的小孩，這就是我們目前所處的環境下，一個生物人類有機體所能接觸到的各種可能性模式的空間。它目前只是存在的所有可能性中很小很小的一部分，但一旦我們找到了創造這些人工智慧和人工智慧的方法，我們就可以開始解鎖新世界了。

因此，擁有足夠的智慧和些許的運氣，我認為未來將是美好的，準確的說，未來將存在無限可能。（完）

【再說明】詳細問答的原文出處：對話Bostrom：人類要在超級智能出現前將AI完全掌控

從尼克·博斯特羅姆的詳細解釋來看，尼克對超級智能的擔憂，理由很充分。而該匿名答主的偏見，影響人進一步認識名人們對人工智慧擔心的合理性。 @謝熊貓君翻譯的文章本來就不是學術類的文章，不太嚴謹，也是正常範圍之事。但名人們對人工智慧擔心，並非來自該篇圖說文章的影響，而是有很深層的原因。

Part2：補充一些學界人士對人工智慧的態度

許多人質疑相關人士在人工智慧領域的專業性不強。補充一下： MIT AI Lad主任Patrick Henry Winston的前任：人工智慧之父、圖靈獎獲得者馬文·明斯基（Marvin Minsky）；MIT校長拉斐爾·萊夫（Rafael Reif）；卡內基·梅隆大學的機器人研究中心初始董事、圖靈獎獲得者拉吉·瑞迪（Raj Reddy）……傾向於支持雷·庫茲韋爾（Ray Kurzweil）的技術奇點觀點——還有，Patrick Henry Winston本身對人工智慧發展的態度：「溫斯頓認為，今天的人工智慧研究所處的階段相當於1950年D N A結構發現3年前的生物學。「當時人人都很悲觀，大家都在說，我們可能永遠都琢磨不透啦，」他說，然後雙螺旋結構橫空出世。「在之後的50年里，生物學取得了難以想像的進步。」溫斯頓補充說，人工智慧也需要這樣一兩個重大突破……」人工智慧改變生活

另外，還有其他的相關人物保持支持或中立態度，在這裡就不一一列舉了。相關學者，完全否定強人工智慧實現的可能的並不多……

否定某種技術不可能的專家們，或許忘了克拉克的三定律：

定律一：如果一個年高德劭的傑出科學家說，某件事情是可能的，那他可能是正確的；但如果他說，某件事情是不可能的，那他也許是非常錯誤的；

定律二：要發現某件事情是否可能的界限，唯一的途徑是跨越這個界限，從不可能跑到可能中去；

定律三：任何非常先進的技術，初看都與魔法無異。

Part3：新進展

最近的消息：馬斯克等人確認的23個原則，將使AI更安全和道德-搜狐科技

「生命未來研究所」(Future of Life Institute，FLI)概括了「阿西洛馬人工智慧原則」，列出了23條準則，使未來人工智慧的研究人員、科學家和立法者遵循，確保安全、倫理和有益。 文：Michael Irving 編譯：多啦A亮 人工智慧將嚴重地破壞世界？人工智慧對人類是否有益？我們該摧毀它嗎？這聽起來像拍科幻電影，但是隨著人工智慧的快速發展，數百名人工智慧和機器人領域的專家們聯合編製了「阿西洛馬人工智慧原則」，列出了23條準則，提出重點和注意事項來指導AI發展，共同保障人類未來倫理、利益和安全。 這23條準則由「生命未來研究所」牽頭制定出，旨在確保人類在新技術出現時能順利規避其潛在的風險。其突出核心成員有Stephen Hawking和Elon Musk。這個組織專註於由新技術和問題構成的潛在威脅，如人工智慧、生物技術、核武器和氣候變化等。 2017年1月，在美國加利福尼亞州阿西洛馬舉行的Beneficial AI會議上，該組織收集了來自大學和公司的人工智慧研究人員，討論人工智慧的未來及其應如何監管。在會議召開前，該組織讓參會者做了一份調查：在未來幾年，人工智慧需要怎樣發展和監管，並用這些參會者的反饋制定出一個前期的目標點。修改後的版本在會上做了討論研究，只有當90%的研究人員同意最終列出一份原則列表。 「部分簽名的專家」 Demis Hassabis ，DeepMind創始人兼CEO Ilya Sutskever ，OpenAI研究總監、聯合創始人 Yann LeCun， Facebook AI 研究室總監，紐約大學教授 Yoshua Bengio ，蒙特利爾大學、蒙特利爾學習演算法研究所所長 Stuart Russell，加利福尼亞大學伯克利分校計算機科學教授，智能系統中心主任 Peter Norvig ，谷歌研究總監 Ray Kurzweil ，谷歌研究總監；發明家、作家和未來學家，著有《奇點臨近》 Jeff Dean，谷歌Google Brain項目負責人，谷歌高級研究員，AAAI成員 Tom Gruber，蘋果公司；Siri的共同創始人，Siri 項目CTO和設計副總裁 Nils J. Nilsson，AAAI前任主席，斯坦福大學Emeritus Kumagai工程教授 Francesca Rossi， IBM&Padova，計算機科學教授，IJCAI主席、AAAI委員會、AI與倫理問題影響委員會聯席主席，ACM成員 總共有808名AI /機器人研究人員簽名； 以及 Stephen Hawking ，劍橋大學 Elon Musk，特斯拉CEO Jaan Tallinn ，Skype 聯合創始人 Sam Altman ，Y Combinator 總裁 Gill Pratt ，豐田研究院CEO …… 阿西洛馬人工智慧原則是著名的阿西莫夫的機器人三大法則的擴展版本。阿西洛馬人工智慧原則主要分為三大類：科研問題、倫理價值和長期問題。 科研問題主要涵蓋了科學家和研究人員對人工智慧系統開放的職責，以及在計算機科學、經濟學、法律、倫理學和社會研究中可能產生的「棘手問題」。在這裡要提出重點的是人工智慧不能單純了為了利益而創造，而應該為了在確保人類不被替代的情況下通過自動化實現人類繁榮。保持一個開放、合作的人工智慧研究的文化也是一個優先考慮的事情，以確保研究人員和政策制定者在彼此交換信息的同時，不會以危害人類為手段與競爭對手參與競爭。在討論環節最有意思和爭議的問題應該是「AI應該具有怎樣的價值觀，應該具有何等法律和倫理地位？」一個擁有機器人的世界已經足夠複雜，讓機器人擁有權力似乎離我們很遠，但是這些爭議已經在歐盟開始了。我們越早考慮這些問題，將來就會越容易過渡。而問題是人工智慧該賦予怎樣的權力？科學家認為人工智慧應符合一般的「人的價值」之類的尊嚴、權利、自由和文化等多樣性。這意味著將人工智慧應用於個人數據不應侵犯任何人的隱私、自由或安全。如果有什麼問題，人們需要確定產生這些問題的原因和方式，設計師和制定者在使用或誤用系統中要承擔在一定的道德責任。這些點都已經在實踐中被考慮到了：科學家在谷歌DeepMind項目中討論如何實現用一個「大紅色按鈕」去干預一個已經開始按行動路徑執行任務的機器人，並防止它抗干擾。尤其讓人害怕的是要注意「致命的武器軍備競賽是應該被禁止的」。「生命未來研究所」在過去一直強調這一點，2015年向聯合國提交了一封公開信，請求聯合國禁止軍用人工智慧的發展。科學家們列出了清單，著眼於潛在的長期問題，包括未來發展這一重要技術平衡資源分配，但要規劃和減輕人工智慧系統可能會面對的風險，特別是災難性的或存在的風險。為此，安全控制措施應適用於AI，可以改善自身技術，阻止劇本里世界末日的發生，而在一般情況下，「超智只應服務於廣泛共享的倫理理想的發展，並為全人類利益而不是一個國家或組織的利益。」 「Asilomar AI Principles 阿西洛馬人工智慧原則」 科研問題 1)研究目的：人工智慧研究的目標，應該是創造有益(於人類)而不是不受(人類)控制的智能。 2)研究經費：投資人工智慧應該有部份經費用於研究如何確保有益地使用人工智慧，包括計算機科學、經濟學、法律、倫理以及社會研究中的棘手問題，比如： ? 如何使未來的人工智慧系統高度健全(「魯棒性」)，讓系統按我們的要求運行，而不會發生故障或遭黑客入侵? ?如何通過自動化提升我們的繁榮程度，同時維持人類的資源和意志? ?如何改進法制體系使其更公平和高效，能夠跟得上人工智慧的發展速度，並且能夠控制人工智慧帶來的風險? ?人工智慧應該歸屬於什麼樣的價值體系?它該具有何種法律和倫理地位? 3)科學與政策的聯繫：在人工智慧研究者和政策制定者之間應該有建設性的、有益的交流。 4) 科研文化：在人工智慧研究者和開發者中應該培養一種合作、信任與透明的人文文化。 5)避免競爭：人工智慧系統開發團隊之間應該積極合作，以避免安全標準上的有機可乘。 倫理和價值 6) 安全性：人工智慧系統在它們整個運行過程中應該是安全和可靠的，而且其可應用性的和可行性應當接受驗證。 7) 故障透明性：如果一個人工智慧系統造成了損害，那麼造成損害的原因要能被確定。 8)司法透明性：任何自動系統參與的司法判決都應提供令人滿意的司法解釋以被相關領域的專家接受。 9)責任：高級人工智慧系統的設計者和建造者，是人工智慧使用、誤用和行為所產生的道德影響的參與者，有責任和機會去塑造那些道德影響。 10)價值歸屬：高度自主的人工智慧系統的設計，應該確保它們的目標和行為在整個運行中與人類的價值觀相一致。 11)人類價值觀：人工智慧系統應該被設計和操作，以使其和人類尊嚴、權力、自由和文化多樣性的理想相一致。 12)個人隱私：在給予人工智慧系統以分析和使用數據的能力時，人們應該擁有權力去訪問、管理和控制他們產生的數據。 13)自由和隱私：人工智慧在個人數據上的應用不能充許無理由地剝奪人們真實的或人們能感受到的自由。 14)分享利益：人工智慧科技應該惠及和服務儘可能多的人。 15) 共同繁榮：由人工智慧創造的經濟繁榮應該被廣泛地分享，惠及全人類。 16)人類控制：人類應該來選擇如何和決定是否讓人工智慧系統去完成人類選擇的目標。 17)非顛覆：高級人工智慧被授予的權力應該尊重和改進健康的社會所依賴的社會和公民秩序，而不是顛覆。 18)人工智慧軍備競賽：致命的自動化武器的裝備競賽應該被避免。 更長期的問題 19)能力警惕：我們應該避免關於未來人工智慧能力上限的過高假設，但這一點還沒有達成共識。 20)重要性：高級人工智慧能夠代表地球生命歷史的一個深刻變化，人類應該有相應的關切和資源來進行計劃和管理。 21)風險：人工智慧系統造成的風險，特別是災難性的或有關人類存亡的風險，必須有針對性地計劃和努力減輕可預見的衝擊。 22)遞歸的自我提升：被設計成可以迅速提升質量和數量的方式進行遞歸自我升級或自我複製人工智慧系統，必須受制於嚴格的安全和控制標準。 23)公共利益：超級智能的開發是為了服務廣泛認可的倫理觀念，並且是為了全人類的利益而不是一個國家和組織的利益。