---

我一直習慣於從不同側面來提供思考角度，這次也想提一個容易被忽略的點：演化。

科學技術給人類帶來的好處無可爭議，沒有科學技術的話，不管過幾千年，我們始終都會使用相同的工具，恐怕也未必能繁衍至今。

機械化大農場和流水線讓我們的食物空前豐富，在超市可以買到各式各樣的食物。

方便嗎？多方便啊。於是我們也有了在過去不曾是問題的問題：肥胖、高血壓、高血脂、高血糖等各式各樣的物理健康隱患。也因此不得不：每天健身運動、注意飲食健康、控制熱量攝取等措施。

@微調 的答案中所提遊戲娛樂業的沉浸式體驗給我們帶來精神愉悅是真真切切的。

有趣嗎？多有趣啊。於是我也看到了在未來將變成問題的問題：記憶減弱、認知衰退、慾望低下、抑鬱症等各式各樣的精神健康隱患。恐怕也不得不：每天練習算數、背誦古詩、拼圖等措施。

既方便又有趣，那矛盾到底出在哪裡？

很多人都忘記了，人類也是進化出來的生物，所有生理特性都是為了適應當前環境而產生的。如今我們面臨的問題是：科技造成的環境變遷速度已遠遠超越我們生理特性的適應速度。

肥胖現在被視為疾病？過去遇到食物不吃的早就死掉了。只是科技的發達讓我們經歷了從未有過的物質豐富時代。

不愛學習有負罪感？我們在兒童時代最喜歡學習，因為需要快速構建可以預測世界的模型。成年後的我們不會輕易更新模型，抵觸新理論，但這是進化出的保護機制。試想如果別人說什麼都信，那不會不被坑的傾家蕩產？想想被騙子專門針對的老人們。成年後的我們從本性上就是抵觸學習的，是高速的環境變化使得我們不得不終身學習。

這周回國我也被老媽催婚了，老人所處的環境讓他們覺得臨近三十還不結婚就了不得了。老人沒有錯，大家也都清楚高齡生子的風險，但如今的時代真的允許我們按照過去的模式生活嗎？

恐怕很多人也會感激遊戲娛樂給自己帶來的快樂，沒有人質疑娛樂給我們帶來的快樂，交互設計給我們帶來的方便和沉浸體驗，但演化的篩選機制是能否生存，而非是否快樂，快樂可以使人們擁有想要達成某個任務的動力，每次達成之後，下一次的快樂閾值會提高，以確保我們不斷前進。所以我們註定無法永遠快樂。感激娛樂的人們可以問問自己，是否每次娛樂過後都是無法抵禦的空虛，而為了填補這個空虛的自己是否在需求更多的刺激，而求得之後又是更大的空虛。進化出的身體就是為了應對沒有那麼方便，沒有那麼傻瓜的情況。從這個視角來思考的話，這些「方便」真的是方便嗎？我們難道沒有付出代價來應對這種「矯枉過正」的方便嗎？

抑鬱症在未來將是頭號殺手，誰都沒有想到，物質生活如此豐富的今天，我們居然會面對「失去意義」的問題。高薪不再具有吸引力，每個人都需要被賦予自我社會價值，需要感覺到自己是團體的一部分，有人在意自己，我想這也是年輕人可以毫不猶豫的辭職的原因。

解決方案？我不知道。我是一個對未來充滿樂觀的人，可面對該問題，我卻像面對熵增原理一樣感到束手無策。市面上已經針對這些不適應產生了一系列的服務：幫助減肥，幫助克服拖延症，甚至強制幫助控制使用手機時間。有用嗎？可以說，只要不調整環境，基本無效，僅僅是買了一味心理安慰劑。我們也無法確保這些解決問題的服務不會從「屠龍勇士變成惡龍」。這些特性太容易被控制了，我們難道不也是利用「食慾」來「逗」寵物狗、來養雞鴨牛羊豬等牲畜嗎？

我們所進化出的身體從來沒有見過今天科技給我們帶來的改變，我們的身體根本沒有辨別和拒絕這些誘惑的能力，這也是為什麼我們進化出了新大腦皮層，問題是出在對新環境的適應性上，而它是目前我們唯一還能夠調動的適應性了。

---

科技倫理難題（Moral dilemma of new technology）。

應該任由新型科技調整甚至主導我們的道德理念，還是在思想層面沒有達標的前提下潛龍勿用，抑或在此間左右逢源呢？

這是一個極其宏大的命題，我們不妨先收窄視角，從自動駕駛這個方向切入。

讓我們試想一下下面的這幅場景（視頻來自https://www.youtube.com/watch?v=ixIoDYVfKA0）：

在智能自駕（AI pilot）的時代，馬路上的一輛轎車被捲入了緊急狀況之中：

前方卡車上重物不可避免地墜下，而此時車內人員面臨的情況是：剎車已經來不及阻止碰撞。

這時候他們面臨的抉擇是：1）直線撞擊重物；2）左拐撞擊一輛SUV；3）右拐撞擊一輛摩托；

那麼AI的選擇是=「車內人員安全優先，撞擊摩托並導致其駕駛員受傷甚或死亡」or「車外人員安全優先，直線撞擊前方重物使車內人員受傷甚或死亡」or「權弊衡利，撞擊安全係數更高的SUV」

如果是手動擋駕駛，人們的決定是基於應激反應，而不是機關算盡的深思熟慮。人們應急的行為來源於恐懼的本能，而不是前瞻的洞見或者懷揣的惡意。

但如果AI的核心演算法是由編程人員基於未來可能的特定情況而輸入的，那麼這其中散發著蓄意的味道。正面來看，無人/自動駕駛汽車可以減少交通狀況中的人為失誤，從而達到大幅降低事故與傷亡率的目的。另外，無人駕駛的好處還有：交通便捷順暢、降低有害物質排放、最小化低效且高壓的駕駛時間。但事故仍然會發生，並且這樣的結果可能在數月或者數年前程序編撰或者政策制定時就被埋下了。因此，程序員以及行政管理人員將面臨選擇的艱難境地。

事實上，搭建機器選擇的總體演算法框架，例如最小化傷害，令人躍躍欲試，但即便如此也還是會引發觸碰道德灰色地帶的選擇。

舉個栗子，讓我們回到初始的設定，只不過這時左側更換為一名佩戴頭盔的摩托員，右側則並沒有佩戴。這時，這輛無人駕駛轎車將會選擇如何碰撞？

如果你選擇碰撞佩戴頭盔者，因為她生存的幾率更高，那麼客觀上，你是否在懲罰一名守法的駕駛員呢？

相反，如果你選擇右側那位並未佩戴頭盔的摩托騎士，就是因為他違反規定，那麼此選擇已經遠遠偏離了最初的危害最小化設計原則，這個AI更接近於實施道路正義。

於斯，倫理的考量將變得更加棘手。在兩種情形下，潛在的設計法則是以某種靶向演算法實施出來。換句話說，這種設計在實施撞擊上系統化地好惡某一特定對象。而被選機車的駕駛員將會承受這種演算法的負面結果，儘管他們並沒有實然性錯誤。

新型科技的出現會衍生出其他許多新式的倫理困境。比如，如果你必須在一輛以群體存活率最大化與一輛不計選擇保全其駕駛員生命的智能汽車中選擇，你會如何作？

如果這些車輛開始自我分析並考量自身的駕駛員們的各種細節，又將會如何？

這是否意味著一個隨機的選擇仍然優於最小化傷害導向的預定選擇？

最終又會是哪些人來制定這些選擇？程序員、公司還是政府？

先且不急，我們不妨看一則調查。

---

無獨有偶，最近《Nature》發布了一篇文章，題目叫做「The Moral Machine experiment」，獲取地址：The Moral Machine experiment

在這篇報告中，麻省理工學院、哈佛大學、英屬哥倫比亞大學以及圖盧茲大學的研究團隊嘔心瀝血，驅動世界各地多達230萬志願者共思維演繹了4000萬種有軌電車難題（https://people.howstuffworks.com/trolley-problem.htm）的自動駕駛版本情形，一份份決定生死大權的電子答案雪片般飛向終端電腦。

當自動駕駛車輛疾馳而向人行道上的行人時，你會選擇變道還是撞向特定的人群？當然，變道的風險是可能撞向一塊堅硬的路障，引發車內乘客傷亡。這些受害者們有不同的人數、不同的性別、不同的年齡以及其他不同的特徵之分，他們時而可能是拄拐散步的老人，時而可能又會變為推著嬰兒車的婦女，時而可能變成攜帶現金的竊賊，時而可能又是守規或者違規的人行道路人。甚至，小貓小狗也放入了選項之中。與電車難題相比，這些情形不存在時間壓力，所以你可以很充足地權衡兩種選擇。

在統計學結果上，志願者們都明顯傾向於救人超過寵物、多人超過單人、孩童超過成年、守法行人超過亂穿馬路者、衣冠楚楚的公務人員超過衣衫襤褸的乞討人員。但同時，志願者只會適度傾向於女性超過男性、行人超過乘客、體態輕勻的慢跑者超過大號體格的路人。司機們變道與保持路線的可能性相當。

上面的這份統計中，考慮到樣本的量級（n=3520萬），95%的均值置信區間被省去。在上圖b中，可以明顯看到具有被拯救偏向的四個群體：嬰兒、小男孩、小女孩以及孕婦。

不僅如此，研究者們還考察了文化集群因素的影響，他們收集了130個國家與地區內平均超過100名回答者的數據，並根據主要的文化特徵將這些地理區域劃分為三塊：西方國群（主要是北美與歐洲的大部分國家）、東方國群（中國、日本、韓國、印尼等亞洲國家）以及南方國群（中部與南部美洲地區）。偏好傾向如下圖所示：

從上圖可以明顯看到傾向區別，舉個栗子，南方國群的國家居民們比其他兩個國群在拯救傾向上明顯地偏向婦女、年輕人、高社會地位人群，在人類 vs 寵物的人類拯救傾向上也明顯弱於另外兩個國群。東方國群的選擇在拯救年輕人（vs 老年人）的傾向上就十分弱化。西方國群的選擇也在某些因子上具有明顯傾向性，儘管他們會偏向選擇拯救人類（vs 寵物）、多數（vs 少數），但是一旦被置於駕駛室中，保持直線撞擊行人（preference for inaction）的傾向顯然相對更高，也遠高於其他兩個國群。

文章中還有其他解讀，這裡就不一一贅述。值得注意的是，這個思想實驗並不是空中樓閣，非自駕版本的選擇困境在2016年就兌現過：紐約州伊薩卡市的一個小山坡上，一名卡車司機因為剎車失靈而不得不在建築工地與咖啡館間做出抉擇，駕駛員選擇了後者，一名服務員因此喪生（Survey Polls the World: Should a Self-Driving Car Save Passengers, or Kids in the Road? ）。

---

回到主題

針對這個自駕科技的道德倫理困境，TED頻道的網友提供了下列建議：

1）Comment：Allow self driving vehicles to communicate with one another. That way, in such a scenario, multiple vehicles could work in unison to allow a safe pathway out for the car in danger. This would, of course, require very rapid communication between the vehicles. It would significantly lower the chances of this happening, but not prevent it in every instance.?

達成自動駕駛機車間的信息交流。據此，在此類情況中，車群便可以協同作用為險迫車輛釐清一條安全通道。當然，這需要車群間迅馳的交流。此方案可以大幅降低困境出現的幾率，但例例俱到是不可能的。

2）Comment：In a world of self driving cars, why are people still riding motorcycles?? Reply#1：Because motorcycles are fun? Because for some people, an excepted amount of danger is thrilling? The same reason people climb mountains without safety gear today. Expecting everyone to take the safest option or assuming that for everyone the safest option is inherently the best, or worse, the only option is foolishness. YOU FOOL! YOU FOOLISH FOOL! YOU FOOLHARDY FOOLISH FOOL!?

問：在自動駕駛車輛的世界中，為啥人們還需要騎行摩托？

回復#1：因為摩托騎行仍然有趣？因為對於某些人而言，刺激險中求？與現今人們不佩戴安全設備登山的原因一樣。想要人人都採取最為安全的選項或者假設對於每個人而言最安全的選擇總是最好的，或者更糟的，唯一的選項就是愚蠢。~~~~

3）?Comment：I predict that future cars will continually be made structurally stronger and safer for occupants during a crash instead of having programs to tell it to swerve.?

我認為未來的汽車將會傾向於在結構上更加強力並且更能在撞擊中保障乘客的安全，而不是去尋求制定如何拐彎的程序。

---

其實，科技發展而衍生的倫理困境絕不僅僅是哲學家們的弔詭囈語、危言聳聽，這把達摩克利斯之劍從信息時代伊始就以短息詐騙、人肉搜索等等形式假手，各位有識之士，如有感慨，不妨來一場未來主義的思維實驗。

Bonus：談及科技與道德倫理的博弈，英劇《黑鏡》可謂首屈一指。

某集：《一千五百萬的價值》

大數據互聯生活時代（看片、飲食、工作被統統捆綁）下，靠騎行賺取消費點數。

上面左圖的數字即為消費點數，需要倚靠右圖裡的瘋狂騎行賺取，如果勞力不夠，即點數低於臨界值會被降階為清潔員（圖中黃衣）。

男主第一次1500萬消費點的乾坤一擲，只為夢中情人一展歌喉，然而純潔的理想等到的卻是充滿虛偽和墮落的舞台。

男主衝冠一怒為紅顏，了斷自我的絕望也被算計成「真情實露」的表演

當科技變得可以計算所有，當數據強大到生活可以不用出圈，你的特點與模式可以被輕易提取，居民們可能會淪落成虛擬的符號與傀儡，被不法者玩弄鼓掌。

某集：《你的全部歷史》

未來發展到可以在人體內內置晶元，隨時提取記憶。

現實中的快感已然淪為影像的背景，律師男主的多疑被記憶體無限放大，在一場歇斯底里的爆發過後，崩潰的妻子離去留下他一人孤寂的身影。

一邊是回溯記憶的福利、一邊是永恆傷痛的苦楚，作為有限記憶的常人自由是否更好呢？

某集：《白熊》

未來科技可以清洗記憶，大眾是否支持對於犯下不可饒恕罪行的壞人實施記憶「永刑」？

某集：《終極玩家》

VR技術的無限演繹，科技產品的人體試驗，當真實與虛幻難分伯仲，當機器學習超越人類認知，我們又該如何選擇？

《黑鏡》目前經典迭出，第五季將於今年12月份登陸，對於此類科技倫理困境有感的朋友們，不容錯過。

---

感謝 @周源 提出這個問題，一個好的問題是回歸思考的良機。

在我們談論科技與社會的時候，自人類伊始，科技彷彿一直是社會進步的不竭動力，從車輪火炬到科技革命，社會生產力和人類文明以庫茨維爾定理（The Law of Accelerated Return）呈指數進步。回望人類的科技成就，我們往往會感到不可思議——60年前人類登上月球；120年前卡爾本茨發明汽車，7年後萊特兄弟完成首次飛行；而再倒推120年，工業用蒸汽機才剛剛誕生；在此之前，是兩千年之長的鐵器文明，三千年屬於神祗和青銅的歲月，五千年沒有文字的新石器和長達二百萬年的舊石器時代……愈發迅猛的技術爆炸，讓人類的發展不再依賴於進化。

而當暫時擺脫戰爭和飢餓，站在21世紀的今天回望過去，我們似乎有充分的理由成為一個技術主義者，彷彿可以堅信——科技真的能夠解決一切問題 [2]。

誠然，以億萬年的宏觀視角從宇宙來看人類，「星辰大海」無疑是最崇高的追求；然而，恪守書齋的大哲學家也曾經說過——

世界上只有兩樣東西是值得深深景仰的，一個是我們頭上的燦爛星空，另一個是我們內心的崇高道德法則。[3]

正如問題中，儘管所述科技在社會發展中扮演了積極的角色，但科技與社會之間也並非沒有矛盾。這源於社會的視角永遠是帶有時代烙印的人類，而不是星瀚宇宙。當特定時代背景下的人審視科技進步，他的思考不可避免地帶著所屬的時代色彩和道德憂慮——

因為，前沿科技往往走在法律之前，而科技又如武功並無正邪之分，唯有使用它的人才有善惡之別。絕對的理性會孕育純粹的科技，也會催生社會的癲狂，在社會崩裂的世界大戰中，生化武器的人體實驗就是科技濫用的結果，是令人類蒙羞的歷史。

因而約束科技的「不濫用」就更需要法律之外的倫理限制，這裡繞不開的是科技工作者的根本素養——科技倫理（Ethics of technology）。

科技倫理

「科技倫理」是一個在國內還相對為陌生的名詞，但在國外的工程學課堂上卻是一門必修課。科技倫理是科技工作者及其共同體所應恪守的價值觀念、社會責任與行為規範。它聚焦於人和企業與技術、工程、環境、生命之間的道德問題。

儘管我們沉迷於科技爆炸的宏偉遐思，但科技倫理恰恰在不斷反思——科學技術的發展，是否會把人類社會引向深淵。

譬如今天的我們，或者說從1965年I. J. Good提出智能爆炸 [5] 開始，半個世紀以來的人類，一直在思考著「人工智慧」的「科技倫理」命題，科幻作家弗諾·文奇在1982年提出了技術奇點，文奇認為——

超越人類智能的計算器將在50年之內問世，這次變化好比200萬年以前人類的出現一樣重大。

——弗諾·文奇《技術奇點即將來臨：後人類時代生存指南》，1982 [6]

科學家和哲學家們反覆思索技術奇點與強人工智慧的來臨，對人類而言意味著什麼。數字計算機之父馮·諾依曼和數學家Stanislaw Ulam在對話中思考強人工智慧誕生後人類社會可能的形態，認為我們所熟知的人類的社會、藝術和生活模式，都將不復存在 [7]，現在的人類難以理解未來，就好比金魚無法理解人類；偉大的艾薩克·阿西莫夫在《基地與地球》中用隱諱的筆法暗示道：人類的歷史使命可能就是為了將文明發展到技術奇點、為宇宙帶來強人工智慧 [8]。於是我們不免發問：

如果科技向著失控的方向蒙眼狂奔，人類又是否應該按下暫停鍵？

阿西莫夫早在1942年嘗試給出了他的答案，並至今被奉為圭臬，這就是著名的機器人三定律（Three Laws of Robotics）[10]，而三定律實際上是在做一件事——「為人工智慧設計倫理」：

機器人三定律：

一 機器人不得傷害人類，或因不作為使人類受到傷害。二 除非違背第一定律，機器人必須服從人類的命令。三 除非違背第一及第二定律，機器人必須保護自己。

……儘管三定律看起來已足夠保護人類，但對於強人工智慧社會而言，這樣的定律又帶有了濃厚的碳基社會色彩，將人類完全凌駕於同樣智慧的機器人之上，似乎未必會符合技術奇點之後的社會倫理。因而一些人工智慧研究者以為不足一哂，並將其戲稱為「基質沙文主義」[11] 。

當然，這畢竟是後話了。

在現代，科技倫理仍以人類為核心，尊重人類是科技應用的前提。

但事實上，尊重卻常常被罔顧，跨越倫理的界線催生了眾多科技與社會的矛盾。以汽車行業為例，不少實際發生在我們身邊的案例，與我們的生活息息相關。

在共享出行提升公民的交通便捷與生活質量的時候，網約車公司出現的「網約車同程不同價」用「大數據殺熟」，讓太多網約車用戶感到寒心。當大數據分析與深度學習技術用於赤裸裸地建立價格歧視，用戶的憤怒在所難免，不免追問：企業的責任心何在，技術的邊界又何在？當尊重失位，科技引發的矛盾暴露無遺。

又如2008-2015年排放作弊車輛在北美造成的環境污染。據一項發表於Environmental Research Letters的研究測算結果認為，2008年至2015年間的作弊車輛造成的過度排放導致了人類死亡 [12]。

這些案例將持續對未來產生影響，也仍將為科技工作者和企業長鳴警鐘。而在今天，科技與社會的矛盾仍然不鮮：

• 科技發展有時「超過」社會需求——互聯網和智能手機帶來的過度便利所引發的「隱私悖論」成為了懸在人類社會頭頂的新興的達摩克利斯之劍；
• 科技有時又會「落後」社會需求——在有的地方，人們還並未享受到科技帶來的便利。

隱私悖論與技術便利

互聯網和智能手機的普及，為全世界帶來了從未有過的便利和舒適，「個性化推送」「個性化定製」無處不在。「智能化」與「大數據」滲透進了社會的方方面面，智能手機在帶來便利的同時，讓隱私的界限愈發模糊。但我們正處於大數據的蠻荒地帶，在這個模糊地帶里，大量企業將倫理拋之腦後、放肆竊取販賣用戶數據的現象，早已不鮮見。

在數據儲存公司EMC發起的針對15個國家1.5萬名消費者的調查中發現 [13] ，當面對「你願意以犧牲一些隱私為代價，換取更多便利與舒適嗎？」的問題時，51%受訪者表示不願意，而27%表示願意；這一結果在各國又有所不同，受訪國家中，印度願意比例最高為48%，德國願意比例最低為12%。這意味著絕大部分人其實並不想違背自己意願犧牲隱私來換取「過度的」智能化便利。

智能手機和移動互聯網技術本身並不構成對人類的威脅，只有企業思考清楚自己的責任所在，以科技倫理作為底線，剋制地使用科技順應並引領社會需求：為用戶提供便利、避免用戶隱私陷入不可控的風險，才能有效緩解社會與科技之間的矛盾。而究其核心，仍然是對用戶尊重，這時候，科技應該慢一點，聽一聽社會的聲音。

關於這一行業的科技倫理話題，太多的負面案例可能不需要再進行枚舉，這裡倒是可以說一個值得參照的企業案例——

• 蘋果的差分隱私技術（Differential Privacy, DP）

蘋果手機對用戶信息的處理邏輯是：在手機端完成對用戶照片和信息的數據分析，將分析結果上傳雲端，而不是直接上傳照片。在2016年之前，這一偏向用戶隱私的策略，使蘋果在人工智慧與深度學習技術一度落後於谷歌和Facebook。而利用2016年公開的差分隱私技術，蘋果的堅持獲得了回報。在DP技術下，蘋果可以在對已加密的用戶數據進行分析，獲得用戶群體的行為模式為用戶提供便利，但用戶個體的隱私數據仍然是無法解析的。（詳見：蘋果的 Differential Privacy 差分隱私技術是什麼原理？）

然而，儘管人們受困於智能手機和移動網路造成的「過度便利」，在有些地方，科技卻應該更加快一點，尊重並滿足社會的需求，就比如——汽車。

汽車作為製造業的明珠，在信息時代到來之後，已經有一陣子沒有再成為大眾眼中前沿科技的弄潮兒了。而隨著智能化浪潮的興起，人們在車上對社交與便利的需求也愈發高漲，大部分車企開發的車載多媒體系統（車機）都採用了保守的社交方案，在汽車駕駛時停用社交功能；而部分車機則較為激進，直接將手機端的功能移植過來，雖然人們已離不開社交，但回複信息所分散的注意力將極大地影響駕駛的安全性，就如某些APP接入車載系統的新聞便引起了對行車安全的大規模討論：為駕駛員提供社交便利，是否會影響駕駛安全，又是否是技術的濫用 [16]。

顯然，人們需要更加智能化的車機在保障駕駛安全的同時，提供生活的便利。在汽車領域，這裡也有一個正面的案例——

• 福特聯合斑馬的車機系統設計（AliOS）

作為首批合作阿里斑馬系統的外資品牌，百年企業福特汽車嘗試在新翼虎上向用戶開放社交的便利，但並沒有魯莽而生硬地移植社交軟體，福特的設計非常審慎：考慮了獨特的汽車社交場景——「車友」，車友之間可以通過語音建立車隊、建立車友地圖、使用系統直接進行語音對講。車友出行不再需要另外準備對講機。而說到語音交互，翼虎的車機交互充分基於語音設計，避免駕駛員分散注意力、誤操作，保障了安全：不僅包括了常見的基礎語音功能，還包括了能夠識別主副駕駛的定向語音、語音操作車內多媒體/空調/地圖/電話/內循環等多項功能、甚至還可以通過語音和車機一起玩成語接龍、聽歌猜歌名。

此外，旅行路書、美食地圖、卡拉OK、車載錢包、智慧停車和智慧加油等功能極大地便捷了用戶的使用，讓用戶不再需要一邊開車一邊查手機。而這些功能也是可以使用語音進行操作的。AliOS讓用戶避免了開車過程中對手機的依賴，並用科技手段在提供便利的同時，保證了安全。

未來何去何從

科技持續發展，社會觀念同樣在不斷變革，這將不斷地催生新的矛盾和新的科技倫理問題。那麼如何解決矛盾？

對用戶尊重與對科技應用的剋制，無疑是負責任的企業應該做到的方向。

MIT數字商業中心研究員Michael Schrage在哈佛商業評論上發表的一篇題為《大數據歧視的危險新時代》一文中寫到：

未來大數據的挑戰並不在於技術，而是在於管理層的管理與分析路徑，能否做到相對透明且顯著公平。[17]

相應地，微軟的CEO納德拉在2018 Build大會上談論了智能化技術背後的三大原則——隱私、責任和道德。 [18]

值得一提的是，說到尊重用戶、從用戶的角度出發，又要說到上一節中兩個案例之一的福特公司。福特是曾引領世界技術變革的美國企業——她被紐約時報記者Bill Vlasic稱作底特律皇室 [19]。在剛剛過去的十月里，福特選擇了深耕中國、以本土用戶為主的戰略。一方面福特將中國市場地位上升到與北美市場平行的位置；另一方面，聯盟斑馬網路，成為了第一批應用AliOS的跨國車企，將攜手推出新一代福特翼虎。阿里與福特的強強聯手，將便利推進一大步的同時，以信息安全作為底線，核心仍然是尊重用戶的意願。

最後，我想解決科技與社會矛盾的關鍵在於掌握好技術的雙刃劍。而掌劍的劍訣——科技倫理，也並非一成不變，它隨著社會的進步時時刻刻要經歷新的爭議與討論。而在今天科技時而被濫用，我企盼還有難得的、負責任的科技從業者的責任與良心，值得我們去期待明天。

參考文獻及資料來源：

[1] Martin Hilbert, University of California, Digital Technology Social Change

[2] 劉慈欣在2007年中國國際科幻大會上的發言

[3] 康德, 公武, 藍. 純粹理性批判[M]. 商務印書館, 1960.

[4] 伊曼努爾·康德畫像

[5] I. J. Good - Wikipedia

[6] Vinge V. The coming technological singularity[J]. Whole Earth Review, 1993, 81: 88-95.

[7] Ulam, Stanislaw (May 1958), "Tribute to John von Neumann", Bulletin of the American Mathematical Society 64（nr 3, part 2）: 1-49

[8] Asimov I. Foundation and Earth, 1986; tr. it[J]. Fondazione e Terra, 1987.

[9] 伊薩克·阿西莫夫畫像

[10] Asimov I. I, robot[M]. Spectra, 2004.

[11] Why Asimovs Three Laws Of Robotics Cant Protect Us

[12] Barrett S R H, Speth R L, Eastham S D, et al. Impact of the Volkswagen emissions control defeat device on US public health[J]. Environmental Research Letters, 2015, 10(11): 114005.

[13] 隱私悖論和大數據的挑戰

[14] EMC，Majority expects privacy to erode in years ahead | ZDNet

[15] A closer look at Differential Privacy in iOS 10 and macOS Sierra

[16] 車載大屏幕能用微信了？

[17] Schrage M. Big Data』s dangerous new era of discrimination[J]. Harvard Business Review, 2014.

[18] Satya Nadella: Build 2018 - Stories

[19] Vlasic B. Once Upon a Car: The Fall and Resurrection of Americas Big Three Auto Makers--GM, Ford, and Chrysler[M]. William Morrow, 2011.

[20] 福特官網

---

過去十年是「機器學習」的黃金時代。整個泛人工智慧領域，包括計算機視覺、自然語言處理以及傳統的數據挖掘應用領域，都靠著硬體紅利及深度學習有了新的發展。除了最有代表性的谷歌AlphaGo以外，更多實用智能模型已經開始落地，改變了我們的生活習慣。比如抖音和今日頭條的崛起於它們強大的推薦系統密不可分，這種智能系統可以通過精準推薦用戶感興趣的內容從而延長APP使用時長。

因此如果要談「科技與社會間的矛盾」的話，「智能系統」是一個很好的切入點。因為除了它所帶來的便利以外，愈發智能和自動化的系統也給我們帶來了新的挑戰。

1. 推薦系統，交互設計與成癮性

從智能推薦系統的角度來看，短期內似乎便利大於危害。但仔細分析後會發現「精確的推薦導致我們只能看到特定的話題，很難跳出這個信息圈，造成迴音桶效應」。而這種效應會不斷加強，時間久了極易造成「一葉障目不見泰山」，思想上變得更加狹隘。

同時其他領域研究成果（心理學、交互設計）進一步強化了推薦系統所營造的沉浸體驗，而這種體驗甚至可能是有成癮性的。再以抖音為例，它抓住用戶的注意力是通過沉浸式交互實現的。在推薦頁面，你每次只能看到一個視頻，且系統默認自動播放。因為沒有給用戶反應時間，我們會不由自主的盯著視頻看，因此聽覺和視覺很容易就被當前的視頻所吸引。視頻在播放完畢後會自動循環，很多人就會一遍遍地看同一個視頻。而上劃所展示的新視頻不由我們自己決定，有一種新鮮感，使人停不下來。

為了實現這樣的沉浸式體驗，交互必須是非常簡潔的：雙擊點贊，上劃切換下一個視頻，關注主播也可以在視頻的右上角點擊紅色的加號。這種設計簡化了關注流程，基本操作無需離開當前頁面。說白了，就是要避免一切會打斷用戶的事件。這樣的目的是讓用戶重複，只需要重複簡單操作就可以得到新的感官刺激。抖音的設計強化了這種交互閉環，視頻自動播放-喜歡點贊-關注主播-上劃切換下一個視頻-&>獲得快感，並循環這個過程。我們大部分人喜歡可以廉價的帶來精神愉悅的活動以及新鮮感，而抖音的成癮性就植根於極簡的交互設計所帶來的沉浸式體驗，以及期待下一個視頻所帶來的未知感。

30多年前，心理學家奧爾茲通過實驗發現「獎勵中樞」。他將電擊裝置植入老鼠的「獎勵」中樞，設計了一個控制開關，並教會老鼠使用，老鼠會喜歡上原本讓其深惡痛絕的電擊，並近乎瘋狂地電擊自己，直至精疲力盡，但一醒來，就又去點擊開關。 奧爾茲為了進一步搞清老鼠對這種刺激的迷戀程度，特意在老鼠和開關之間擺上一個通有很強電流的鐵板，但老鼠竟不顧腳掌燒焦及觸電的痛苦，拚命穿過鐵板，撲向那個能給它帶來電擊刺激的開關，直至手腳被嚴重燙傷無法爬行。（來源：詹姆斯·奧爾茲 百度百科）

除此之外，對於推薦系統的高度依賴也給了別有用心的人發揮空間。大部分平台的推薦內容中都有一些難以分辨的廣告推廣、高級軟文、甚至詐騙等。比如，一篇介紹中老年疾病的科普文章最後變成了銷售保健品，可謂防不勝防。不少科技平台往往是裝作看不見甚至推波助瀾，畢竟最後可以把責任推給演算法。推薦系統不僅可以計算出推薦什麼內容，也可以推測你適合的廣告有哪些。標榜推薦演算法的平台也有了「作惡」的權力，比如慢性洗腦。通過這種潛移默化的力量，慢慢的用戶會以為這些軟文這是自己想看的內容，可能還在現實生活中購買了相關的產品，而忘記了這些其實是可能是科技企業推波助瀾後植入你腦中的想法。

我們的目的不是批評抖音或者任何科技企業，而只是向大眾科普如何掌控自己的生活。科技是否「有罪」？是另一個宏大的議題了。

2. 公平機器學習與系統性歧視

另一個由智能系統帶來的系統性風險就是「歧視」，公平機器學習（Machine Learning Fairness）是當下最為火爆的話題之一。機器學習中的公平主要指的是在由數據驅動的智能模型中可能存在種種「不公平」、「偏見」甚至是「歧視」。這種現象在有限可解釋性的智能模型下更為嚴重，因為人們可以把責任推給模型與演算法，比如單純數據分析得到的結論可能是：

1. 黃種人缺少體育天分
2. 黑人犯罪率更高
3. 西裔喜歡販毒

如果只從統計角度來看，似乎以上結論有一定的道理。但依據這樣的智能系統做出的決策可能對於個體來說是非常不公平的，因為在表象結論背後的深層次原因很有可能無法被模型所刻畫，而簡單歸因於種族。假設我們今天利用一個智能系統來決定誰當警察，那麼黑人可能就會被系統認為不適合從事法律行業。沒有追根究底深層次原因，而由表象做出決定，來指導一個人的生活的方方面面，這是非常危險的事情。其實英劇《黑鏡》和電影《少數派報告》中都講述了類似的故事，即作為個人我們無法承擔智能模型不準確或者歧視所帶來的後果。濫用科技的結局可能是毀滅性的。

其實這樣的系統離我們並不遙遠，各種徵信和借貸系統正在逐步走向智能化，很多企業的招聘、升遷、裁員都開始藉助智能系統做出決策。因此公平的智能系統非常重要，它可能會在未來影響到我們每一個人。歐盟最近的法規也要求，由智能系統做出的決策必須具備可解釋性，以防止系統性的歧視。

3. 智能系統，網路安全與代溝

另一個智能系統的弊端是安全風險--絕大部分系統中都存在漏洞。現階段不少模型都可能被逆向工程（reverse engineering）和社會工程（social engineering）輕易擊破。如果我們無法進一步提升這類智能模型的安全性，那麼其帶來的社會風險是巨大的，甚至還不如現在的基於規則的系統。而我們的信息與數據現階段還分散在各大服務商運營商手中，但在未來信息系統一體化不是夢，那麼我們的隱私毫無保障可言。科技企業不僅知道你是誰，做過什麼，想做什麼。如果系統安全措施無法到位，那就像是打開了金庫的大門供人參觀。即使科技企業不作惡，但在不法分子嚴重我們更像是一隻只肥羊。這一系列問答中的第二題就是討論數據的歸屬權，這是非常重要的議題。因為當數據系統全部聯通後，如果我們沒有權力選擇刪除，那我們真的是在裸奔。這個問題對於科技企業來說也很嚴肅，一次次的數據泄露說明了我們不能單純追求KPI和新功能，做好安全在數據時代是迫在眉睫的事情。

4. 科技從業者對於社會的終極關懷與敬畏

而拋開以上所有技術細節不談，我覺得最值得擔憂的是智能系統加速我們社會的分化。除了初級工種正在快速消亡以外，智能系統正在給中下層人民營造出《黑客帝國》中的「完美世界」：他們只需要沉溺在充滿快樂的社交軟體中即可，而無需思考。便利與娛樂正在逐漸消解大家對於科技發展的戒心，而且在逐步剝奪大家的思考能力。

在業界有一句很出名的調侃，大致意思是：世界上最聰明的1%的人每天費盡心思讓剩下99%的人對著手機花錢花時間，這就是智能推薦系統。

而這個現象背後所帶給我們的啟示是，知識分子，尤其是有能力作惡的科技人才要時刻懷抱著對於善良的追求，哪怕只有一點點。除了業績以外，也要保留著對於社會的憐憫與善良風俗的顧慮。而作為普通民眾，我們不要一昧枉信科技巨頭們是善良的，善良是在公眾監督和政策約束下所達到的一種平衡。除了國家立法以外，我們也要盡起監督義務，在便利之外多了解思考其背後的風險。

不要沉溺與短暫的快樂中，而成為了一隻只觸碰電極至死的老鼠。

---

又是一個很大的問題，那我也回答的大一點..從信息的角度來談談。

現在科技發展的速度一直取決於信息傳播的速度，人類一直努力尋找快捷有效的信息傳播方式。我們享受著新傳播方式的便捷，感受著因此而來經濟、文化、政治、科學上的天翻地覆，卻始終沒有停止對新傳播方式感到恐懼，也沒有停止對它們所帶來矛盾的擔憂。

1. 文字與統治

文字出現，人類才有了歷史，開始了邏輯，文字是最開始的技術，也是所有技術的源頭，從此信息才得以脫離聲音開始傳播。人類經曆數千年才將心智中最根深蒂固難以去除的部分總結為符號系統，之後信息不再只能回憶，也可以跨越時空。在中國，最初的文字起始於圖騰，發展於祭祀，興盛於統治。對於不識字者，這種信息傳播方式本身就代表著神秘和權威，或許也夾雜著恐懼。女巫，異端，薩滿，不可理解的文字一直都被視為超自然能力的象徵，人類自己也從未停止過對這些未知的擔憂。

而有了文字，人類本身自然就出現了矛盾，如果我們問一位農奴」請給我解釋什麼是一棵樹「，那麼大概率的答案是」為什麼要解釋？所有人都知道樹是什麼。「 我們想要的答案顯然不是如此。

在古代，文字是貴族階級維持超然的保障，教育普及之後，方才有機會人人平等，這個觀點我不能肯定。但是文字和貴族超然這兩者必然有一定聯繫。古代中國，懂得文字就代表有知識，有知識就高人一等。中國5千年歷史中，這種劃分，或者說知識分子/農民的矛盾劃分一直持續到上世紀，直到文化大革命之後還沒有徹底消弭。

2. 印刷術與信息傳播降維

在文字出現之後的歲月里，人類一直穩步發展，並沒有過多懷念那個僅限於語音交流的消逝世界。直到印刷術的出現。

印刷術的發明，作為第二場信息傳播革命，在從中世紀到現代社會的轉型中發揮了不可或缺的作用。很少有人認識到這是「人類歷史的一個決定性時刻，在那之後，一切都變了」。從此，文藝復興，新教改革和現代科學一起誕生並蓬勃發展。

但是一種不安也日漸抬頭。」我們在這個時代正在考慮往回倒帶，「代表人物馬歇爾·麥克盧漢曾經這麼說道。印刷品提供的傳播渠道是狹隘而單維度的，甚至可以認為是支離破碎的。而口語語音這種面對面交流方式還伴隨著手勢和聲音，調動了所有感官。如果說傳播的概念是靈魂交流，那麼文字只是乾巴巴的影子。

這種對信息傳播片面性的擔憂和引起的矛盾，曾經被信息學家總結為「傳播方式涉及感官的數目越多，利用副本可靠地傳輸發送者思想狀態的可能性越大。」

這種矛盾現在依然存在。總有很多人認為，重要的事情能見面就不要打電話，能打電話就不要發簡訊。

3. 信號塔與信息傳播渠道私有化

早在電報發明之前，就曾經有過遍布歐洲各地的遠程信息傳播系統，這種起始於法國，迅速擴展到歐洲的網路叫「信號塔」。信號塔藉助聲音或者視覺信號進行消息接力，比如「打幾發子彈」「敲幾下鼓」，為了確保信息傳播的簡潔，操作員甚至維護了超過八千字的碼本。

這種信號塔並不穩定，信息傳播錯誤很多，錯誤的範例就像著名綜藝節目「王牌對王牌」里的傳話遊戲，這個遊戲在各個國家有不同的名字，英國叫做「中國悄悄話(chinese whisper)」，中國叫做「以訛傳訛」，土耳其叫做「咬耳朵(from ear to ear)」，美國叫做「打電話」。

信號塔的建立和廢棄速度都遠超人們想像，然而信號塔又引起了其它恐懼和矛盾--對信息傳播私有化的恐懼。這種恐懼和矛盾現在已經遠離我們，因為我們可以隨時隨地建立方便的遠程通信。200年前可並不是這樣，第一座信號塔在建立之時就被熱情的巴黎群眾付之一炬，因為對大革命中通敵的擔憂。當有錢人希望建立自己的私有信號塔時，1837年法國政府甚至頒布了這樣一項法律規定，對於「任何未經批准，擅自利用遠距離傳訊設備或任何其他方式將信號從一處發送到另一處者「，會被判處罰金或徒刑。

時至今日，我們雖然對私有化的信息傳播並不排斥，但是小範圍的私密交流圈子與公共安全的矛盾卻一直備受擔憂，暗網與Tor。

4. 電與紙--公開與隱私

電報、電話和無線電廣播，一個新的由麥克斯韋和貝爾掀起的信息傳播革命又依次洶湧而來。從此以後信息傳播速度再與人類交通工具的速度無關，僅僅短短數年時間內，電報就」消弭「了時間和空間，幫助警察抓捕了逃犯，幫助軍隊互通有無。

雖然大部分人認為，保密的信息傳播與文字一起出現，但是不得不承認，信息的保密性直到電磁革命才備受重視。早期的電報，電話和無線電繁榮帶起了打字員，接線員，話務員職業的興盛。據《紐約時報》報道，威斯康星州電話線路的負責人就頭疼於歐克萊爾鎮和奇珀瓦爾福鎮年輕男女之間沒完沒了的談情說愛。可以說，每一次成功的通信背後站著一位兢兢業業的打字員或者話務員。任何通信內容都逃不過他們的法眼。所以一些暗語普遍興起，或者軍隊中更加大規模的隱私保護--信息加密應運而生。

時至今日，每個個體都在追求信息傳播自由，但是負有公共安全責任的部門一直在努力限制這種自由。在我們可見的未來，這種公開與隱私的矛盾並不會消失，或許還有可能愈演愈烈。

5. 互聯網與信息焦慮

互聯網是距離我們最近的一次信息傳播革命了，每個人可隨時、隨地、無條件接入的信息傳播網路又一次在短短數年之間代替了百年來的點對點信息傳播方式。而接踵而來的網路中繁雜的信息，更是互聯網時代的主要矛盾。

「信息過載」「信息過量」「信息爆炸」「全雜訊」，自從香農資訊理論問世以來，人們在尋找各種各樣的辭彙來形容信息焦慮。

信息焦慮用來形容「由於暴露在過量信息當中而引致的漠然、冷淡或心力憔悴，由於試圖從媒體、Internet或工作中吸收過量信息而引致的壓力。」

戴維·華萊士甚至把這種環境稱為「全雜訊」。或許這是因為我們並不能準確區分信息和知識，而且知識也並不一定能使人感到啟迪。早在1970年，就曾經有人認為「倘若我們不剋制的話，書籍泛濫將會導致一種與普遍蒙昧無異的思想衰弱狀態。」然而這種克制並不存在。我們現在就看到了京東上的各種「極具教育意義」」300位互聯網CTO聯袂推薦「」21天教你學會全世界「的書籍。

實際上，心理學家和社會學家早在60年代就開始了對信息焦慮的研究。1960年，在施特洛伊福特的一組論文中就指出，信息負載與信息處理的關係就像」倒寫的字母U「，大量的信息一開始是有益的，接著漸漸變得有害了起來。20世紀80年代，研究者已經普遍認為人類只能吸收和處理有限的信息，而信息過量不僅會導致困惑和挫敗，還會導致視野受限和不誠實行為。1998年，伊利諾伊大學的學生研究了一個」共同體或俗民群體「，所有被研究者都認為自己在受到信息過載的折磨，這種具體表現是」電子郵件、會議、郵件列表和文件「洶湧而來，這個實驗初步表示信息過載確實存在。

中世紀我們渴求遠方的信息，而現在已經過於廉價。

由此互聯網巨頭們應運而生，他們部分緩解了科技發展帶來的信息焦慮。他們處理信息的方法多種多樣，但是歸根到底只是三件事：篩選、搜索、推薦。優質博客列表、口碑傳統媒體、知乎等幫我們區分信息精華和糟粕。被大量信息困擾的群眾藉助谷歌，百度等巨頭獲得自己突然期望得到的信息。今日頭條、抖音和各種機器學習演算法給我們推薦長期感興趣的信息。

我們應當留意的是，當信息變得廉價的時候，用戶注意力就變得寶貴了起來，這也是為什麼現代互聯網企業強調用戶時間的原因，這也是為什麼篩選逐漸式微，推薦大行其道的原因。興趣推薦可以追蹤到個體感興趣的話題，佔據用戶注意力，對於每個個體來說，私人訂製顯然比大眾口味要好得多。

但是問題是，這些巨頭們佔據注意力的方式往往不那麼光彩--崇尚以子之矛攻子之盾。通過採集讀者的信息來佔據注意力，或許還暗暗改變我們的興趣。他們有權利這樣做嗎？這或許是我們未來十年爭論的焦點。

3月19日36Kr新聞,

上周五，特朗普（Donald Trump）聘用的一家政治AI公司劍橋分析（Cambridge Analytica），被曝非法將大約5千萬Facebook用戶的信息用於大數據分析，從而精準刻畫這些Facebook用戶的心理特徵，並向他們推送定製廣告，甚至假新聞。

劍橋分析幫助大不列顛離開了歐盟，幫助特朗普當選了美利堅合眾國總統。而在斯坦福，反對把心理學定位運用到政治領域的Kosinski持續收到了指責他的郵件 。

但是不論如何，世界已經反轉。

6.結語

新的信息傳播技術在改變現有世界的同時，卻始終伴隨著混亂和恐懼，文字與統治，印刷術與信息傳播片面化，信號塔與信息傳播私有化，電信網路與隱私，互聯網與信息焦慮，不同的是有的恐懼和矛盾隨著時間逐漸消失，有的矛盾卻始終圍繞在我們身邊。這就像是我們為了抵抗洪水修建了水庫，然而水庫卻破壞了我們本不想改變的上游生態。

誰是信息的主宰者？誰又將佔據用戶注意力，控制互聯網用戶時間，掌控霸權？已經存在的矛盾有的困擾了我們幾百年，新興的矛盾依然正在興起。怎麼解決我不得而知。我們只知道，在一場一場的信息傳播革命中，希望和恐懼並存，飛躍與矛盾一體。托貝爾特·布萊希特在無線電誕生之初就這樣說道，

」一個有話想說卻找不到聽眾的人是不幸的，但更不幸的是那些找不到人有話想說給他們聽的聽眾「。

我還想再加上一句，

」其實最不幸的是那些以為自己找到了想聽的話，卻被隱藏在幕後的轉發者改變興趣而不自知的人「。

所以太多嘴在說，太多耳朵在聽，卻只有幾個大腦在收集轉發，我們該相信誰？

完。

[1]詹姆斯, 格雷克, 高博. 信息簡史[J]. 中國科技信息, 2013, 23: 038.

[2] Jack Goody and Ian Watt,「The Consequences of Literacy", Comparative Studies in Society and History 5, no.3(1963):304-345.

[3] Jonatha Miller, Marshall McLuhan,3

[4] Marshall McLuhan,"Media and Culture Change," in Essential McLuhan ,92.

[5] Gerard J.Holzmann and Bjorn Pehrson, The early history of data networks.( IEEE Computer Society, 1955), 52 ff

[6] The New York Times, 21 October 1927.

[7] David Foster Wallace, The myth of the Machine, vol 2. The pentagon of Power(New York:Harcourt, 2007).

[8] Lewis Munford, The Myth of the Machine, vol 2. The Pentagon of Power(New York: Harcourt, Brace, 1970),182

[9] Bertolt Brecht, Radio Theory.

[10]助特朗普勝選、英國脫歐，深扒Facebook醜聞背後的神秘數據公司, 2018-03-21, 36Kr.

---

推薦閱讀：

相关文章