原作者 François Chollet

原出處 Medium

本文作者想和大家聊聊讓我對人工智能憂心忡忡的問題是：人工智能對人類行爲具有高效、可擴展性操作的能力，以及企業和政府對人工智能的濫用。enjoy~

如果你身在 20 世紀 80 年代、90 年代左右，你可能還記得已經消失的“電腦恐懼症”。直到 21 世紀初，我還親身經歷過隨着個人電腦在我們的生活、工作和家庭中出現，很多人會焦慮、恐懼甚至出現攻擊行爲。

大多數人對技術的態度，最好的情況是反感，最壞的情況是恐慌——也許對任何變化，人們的反應都是這樣的。

值得注意的是：我們所擔心的，大部分都是杞人憂天。

因電腦而擔憂的人已經不能沒有電腦了，並且他們用電腦爲自己謀利。計算機並沒有取代我們，也沒有引發大規模失業。反倒是現在，我們無法想象沒有筆記本電腦、平板電腦和智能手機的生活。昔日的杞人憂天卻朝着相反的方向發展，我們的擔憂未能實現。

但同時，沒有人警告我們電腦和互聯網將會產生一定的威脅——無處不在的大規模監控；黑客通過追蹤網絡設施或者個人數據；人們通過社交網絡表現出心理異化；網上易受政治思想或宗教激進化的影響；敵對的境外勢力劫持社交網絡以破壞國家主權。

如果大部分的恐懼變得非理性的話，相反地，人們才發現過去由於技術變化而產生的擔憂已成爲現實。一百年前，我們無法真正預測到，正在開發的運輸和製造技術將導致新的工業戰爭，而這在兩次世界大戰中使數千萬人喪生。

我們並沒有過早地意識到電臺的發明，會促成一種新的大衆傳播形式，這種形式有助於意大利和德國的法西斯主義興起。而當今，即便是被關注十多年的氣候等嚴重問題，大部分美國人也仍然會選擇忽視。

作爲一種文明，我們似乎很難正確辨別它們的未來是好是壞，正如我們因非理性的恐懼而出現恐慌一樣。

與過去一樣，當前我們依然處在一場根本性變革的新浪潮當中：認知自動化，它可以概括爲“人工智能（AI）”。與過去一樣，我們擔心這種新技術會傷害我們——人工智能會導致大規模失業，或者人工智能會擁有自己的機構，變成超人，把我們摧毀。

但如果這些擔心是多餘的，就像我們以前一樣？如果人工智能的真正危險與當下令人驚慌的“超級智能”和“奇點”敘述大相徑庭呢？

在本文，我想和大家聊聊讓我對人工智能憂心忡忡的問題是：人工智能對人類行爲具有高效、可擴展性操作的能力，以及企業和政府對人工智能的濫用。

當然，這不是唯一的有形風險，還有很多，特別是與機器學習模型有害偏見相關的問題；就這個問題，其他人的見解比我更加出色。

本文選擇從大規模人口控制的角度進行切入，是因爲我認爲這種風險是迫切並且被嚴重低估的。

我們的生活越來越數字化，社交媒體公司越來越瞭解我們的生活和想法。與此同時，他們越來越多地使用一些手段控制我們獲取信息，特別是通過算法手段。他們將人類行爲視爲一個可優化的問題，一個人工智能問題。

社交媒體公司調整算法變量實現某種特定行爲，就像遊戲人工智能會改進遊戲策略一樣。這個過程中唯一的瓶頸就是算法。這些事情都正在發生或即將到來，最大的社交網絡公司目前正在潛心研究人工智能技術，並在相關項目上投資了數十億美元。

接下來的討論，我將分成以下幾部分，對上面的問題進行拆解並詳細描述：

一、社交媒體是一種心理監獄

在過去的20年中，我們的私人和公共生活已經轉移到網絡上。我們每天用更多的時間盯着屏幕。我們的世界正在轉向某個狀態，在這個狀態中我們所做的大部分事都由內容消費、修改或創造構成的。

這種趨勢的反面是：企業和政府正在大量收集我們的數據，特別是通過社交網絡瞭解我們與誰交流，我們說什麼，我們在看什麼內容——圖片、電影、音樂以及新聞，我們在特定時間的心情，等等。最終，幾乎與我們相關的一切最終都會以數據的形式記錄在某個服務器上。

理論上，這些數據能夠讓收集的企業和政府爲個人以及團體建立非常準確的心理畫像。你的觀點和行爲可以與成千上萬的“同類”產生共鳴，讓你對所選的內容有不可思議的理解——這可能比你單純通過自省的手段要好的多。

二、內容消費是心理控制載體

被收集數據還只是個開始，社交網絡越來越多地控制着我們獲取的內容。目前，我們看到的內容大多是算法在起作用。算法越來越多地影響並決定我們閱讀的政治文章、我們看到的電影預告片、與我們保持聯繫的人，甚至是我們收到誰關於自己的反饋。

綜合多年的報道，算法對我們的生活有相當大的影響——比如我們是誰、我們會成爲誰。如果 Facebook 能夠在較長時間內能夠決定你將看到哪些新聞（或真或假），以及決定你的政治地位的變化，甚至會決定誰會看到有關你的新聞；那麼，Facebook 就會實際控制你的世界觀以及政治信仰。

Facebook 的業務在於影響人們，從而向廣告主提供服務。Facebook 建立了一個微調算法引擎，這個算法引擎不僅能夠影響你對品牌或購買智能音箱的看法。調整這個算法給你的內容，能夠影響並控制你的情緒——這個算法甚至能夠改變選舉結果。

三、用戶行爲是待優化的問題

社交網絡能夠在衡量我們一切的同時，控制我們獲取的內容——而這一切正在加速發展。當我們感知並行動時，就會考慮人工智能問題了。

你能夠建立一個行爲的優化循環，在這個循環中，可以觀察目標當前狀態並不斷調整提供的信息，直到目標。人工智能領域的一大子集——特別是“強化學習”——是關於開發算法來有效地解決待優化的問題，從而關閉循環並完全控制目標。在這種情況下，通過把我們的生活轉移到數字領域，我們會易受人工智能影響。

從信息安全的角度來看，你會稱這些爲漏洞——已知的可接管系統的漏洞。就人類思維而言，這些漏洞永遠不會被修補，它們只是我們的生活方式，存在於我們的DNA中。

人類思維是一個靜態的、易受攻擊的系統，並將越來越受到人工智能算法的控制，這些算法在完全瞭解我們所做的和相信的事情的同時，開始完全控制我們獲取的內容。

四、當前的情況

值得注意的是，在獲取信息的過程中應用人工智能算法，會引起大規模的人口控制——特別是政治控制——這個過程中使用的人工智能算法，不一定非常先進。

你不需要自我意識，目前的技術可能就足夠了，人工智能是這樣可怕的存在——社交網絡公司在這方面已經開展了較長時間的研究，並且取得了顯着的成果。

總之，我認爲這是因爲我們並不擅長運用人工智能；但這也意味着有很大的潛力，或許即將有所改變。直到 2015 年，整個行業所有廣告相關的算法都只靠邏輯迴歸運行——事實上，就算是現在，很大程度上也是如此，畢竟只有行業大佬纔會用更先進的模式。

機器學習和人工智能近年來飛速發展，而且它們纔開始在算法和社交媒體機器人上得到應用；直到在 2016 年，深度學習纔開始在新聞傳播和廣告網絡中得到應用。知道接下來會發生什麼呢？

Facebook 在人工智能研究和開發方面投入了大量資金，並且勵志成爲該領域的領導者，這令人爲之興奮。當你的產品是新聞源時，對你來說，自然語言處理和強化學習會有什麼用武之地呢？

在我看來，Facebook 可能不是最令人擔憂的存在。許多人喜歡意淫某些大企業統治着世界，但這些企業的權力卻遠遠小於政府。如果對我們的思想通過算法進行控制，那麼政府很可能會變的很差，而不是企業。

現在，我們能做些什麼呢？我們如何保護自己？作爲技術人員，我們通過社交媒體做什麼才能避免大規模控制？

五、反面：人工智能能爲我們做什麼

重要的是，這種威脅即便是存在，也不意味着所有的算法策略都是不好的，或者說所有的廣告都不好，它們都有一定的價值。隨着互聯網和人工智能的興起，將算法應用於獲取信息不僅是必然的趨勢，更是理想的趨勢。

隨着我們的生活越來越數字化、聯繫越來越緊密，信息也變得越來越密集，人工智能變成我們與世界的橋樑。長遠看，教育和自我提高將是人工智能最強的應用場景——這種情況會在動態變化中實現，這些變化幾乎完全反映了試圖控制你的惡意人工智能在內容推送中的運用。在幫助我們方面，算法存在巨大的潛力，能夠賦予個人更多能力，並幫助社會更好地自我管理。

問題不是人工智能，而是——控制。我們不應該讓內容推送算法控制用戶並暗中實現隱藏的目標——比如左右他們的政治觀點，或者不斷地浪費時間——而應該讓用戶負責算法優化。畢竟，我們正在談論的是有關自己的內容、自己的世界觀、自己的朋友、自己的生活；技術對你的影響應該自然地受制於你自己。

算法不應該成爲一股神祕的力量，靠這個力量實現有損於自身利益目標；相反，他們應該爲我們所用，能夠爲自身利益服務的工具。如教育、自我營銷，而不是爲了娛樂。

我想，任何應用算法的產品都應該：1）透明地告知算法目前優化的目標，以及這些目標如何影響用戶的信息獲取。2）提供給用戶簡潔的功能設定他們的目標。例如，用戶應該能夠在特定的地方能夠自由控制，從而最大限度地保護自己，並未自己服務。3）始終以可見的方式瞭解用戶在當前產品上花費的時間。4）通過工具能夠控制用戶自己在當前產品上花費的時間。如設置每天的時間目標，算法通過該目標讓你實現自我管理。

在避免被控制的同時用人工智能保護自己，我們應該讓人工智能爲人類服務，而不應該操縱用戶牟取利潤或者達到某種政治目的。在一個完全受制於人工智能的產品中，更先進的算法——而不是威脅，將會存在一些積極的方面，讓你更有效地實現自己的目標。

六、反社交媒體的構建

總而言之，未來人工智能將成爲我們與世界的接口，這是一個由數字信息組成的世界——這同樣會讓個人有可能更好地管理自己的生活，當然也有可能完全喪失這個權利。

不幸的是：社交媒體目前的發展有些南轅北轍。

我們需要開發這個行業內的產品類別和市場，其中的激勵措施與讓用戶負責影響他們的算法是一致的，而不是使用人工智能操縱用戶牟取利潤或者達到某種政治目的；我們需要努力做出反 Facebook 一類社交媒體的產品。

目前，搜索引擎可以被看作是一個人工智能驅動信息的出雛形，它爲用戶服務，而不是試圖控制用戶。

搜索引擎是一種有意控制而達到特定目的的工具，你告訴搜索引擎它應該爲你做什麼，而不是被動的獲得內容；搜索引擎會盡量減少從問題到答案，從問題到解決方案所需的時間，而不是在浪費時間。

但與社交網絡形成鮮明對比的是：在這種情況下，市場激勵實際上與用戶需求一致，推動搜索引擎儘可能做到相關和客觀。如果不能最大限度地發揮作用，那麼用戶會毫不猶豫地轉向競品。重要的是，搜索引擎對用戶心理的攻擊，比社交內容小得多。

本文所描述的產品中的威脅包含以下內容：1）感知和行動：產品不僅應該控制向你展示的內容（新聞和社交內容），還應該通過類似“喜歡”的功能、聊天信息和狀態更新來“感知”你當前的心理狀態。2）生活的中心：產品應該是一部分用戶的主要信息來源，典型用戶會每天花費數小時在產品上。輔助性和專業化的產品或服務（如亞馬遜的物品推薦）將不會存在嚴重的威脅。3）社會成分：激活更廣泛和更有效的心理控制因素（特別是社會強化）。沒有人情味的內容只佔我們思想的一小部分。4）業務激勵：目的在於操縱用戶，並讓用戶在產品上停留更多時間。

而大多數人工智能驅動的產品，都不符合以上這些要求。

作爲技術專家，我們應該傾向於那些不具備這些功能的產品，拒絕那些將這些功能組合在一起的產品，它們因錯誤使用而具有潛在危險性。

建立搜索引擎和數字助理，而不是社會新聞，這將使推薦透明，並且富有可配置性和建設性，而不是蹩腳的機器，最大限度地提高“參與度”並浪費你時間。

重要的是，我們應該將這些問題告知並教育用戶，以便他們能夠有足夠的信息，決定是否使用有一定可能性控制自己的產品——那樣就能夠產生足夠的市場壓力，從而引發技術變革。

七、結論：在前進的岔道口上

社交媒體不僅足夠了解個人和組織建立的強大的心理模型，而且也越來越多地控制着我們的信息獲取。它可以通過一系列行之有效的心理攻擊，操縱我們相信的東西、我們的感受以及我們的所作所爲。

一個足夠先進的人工智能算法，可以通過對我們精神狀態的感知以及受精神狀態支配的行動的瞭解，能夠高效地控制我們的信念和行爲。

使用人工智能作爲信息接口本身並不是問題。這樣的人機交互界面，如果設計良好，有可能爲我們所有人帶來巨大的益處和賦權。關鍵在於：用戶應該完全控制算法，將其作爲用於追求自己目標的工具。

作爲技術專家，我們有責任拒絕脫離控制的產品，並致力於構建對用戶負責的信息界面。不要將 AI 當作控制用戶的工具；而是讓你的用戶把 AI 當成工具，爲他們服務。

如果你正在使用這些技術，請牢記這一點：你可能沒有惡意，你可能毫不在乎；相比分享你的未來，你或許更容易評估受限制股票的發展。但是無論你是否在意，因爲你掌握了數字世界的基礎設施，你的選擇會影響他人，而你最終也可能會爲他們負責。