因為使用購買AI服務的是強者，而受到傷害的是弱者。

弱者如何能夠為強者設立倫理規範呢？

強者可以動用大量社會資源和財富來僱傭一群人，從「專業角度」論證自己行為倫理的正確性，而在這個非對等的博弈局面下，弱者是沒有辦法的，只能任人宰割。

戰場上得不到的，談判桌上也別想得到。

謝邀。

人工智慧方面我只是一個工程師，而且還是熟悉符號主義的工程師，而目前火熱的是連接主義，說實話我都很難理解，所以這個問題我本無意回答，但看了題主自己的文章，感覺還是提點自己的小看法吧。

再次重申，我只是一個工程師，所以我的觀點沒有理論支撐而完全是我個人的主觀判斷。

題主對智能級別的劃分我不太同意，題主的劃分依靠的是黑盒觀察，以知識的增加來劃分等級，我看下來題主對知識的劃分標準是量變，而我恰恰認為在4、5兩個級別之間有著一個質上的鴻溝。就目前看，機器創新知識我報以悲觀的傾向。也就是說，題主所認為的知識創新我認為只是量上的增加，而非質上的提升，機器智能的最大能力存在一個無形的天花板。

首先，到目前未知，所有的計算機都是形式自動機，而形式自動機依靠的是數學、是邏輯來進行形式化的，從符號主義來說，不管是數學還是邏輯都沒有本質上的突破，也就是說，知識推理本身沒有變化，依靠推理推不出創新性的新知識。

形式化的知識都是對人的經驗的抽象，而推理是真值的傳遞，由於傳統邏輯為了確保可靠性而過於嚴格，所以產生式推出的結果用處不大，引入模糊邏輯之後，可以實現基於可能性的推理，但一方面結果過於發散，還是需要領域知識加以篩選，另一方面則是所有可能結果還是在人的經驗範圍內，而上述種種其實都還需要人的干預與決斷，根本無法實現實質性的創新。

真正的創新應該是當所有可能都難以解釋時，引入相似性或相近性進行聯想，然後自動設計實驗進行驗證。

問題在於：

1、如何測量可能結果不夠好以決定啟動創新過程

2、聯想過程是一個發散過程而非收斂過程，如何控制其規模

3、自動驗證如何形式化

我們常說有三種知識，事實性知識好辦，謂詞邏輯就可以了；過程性知識咬咬牙，搞個國家工程，也能搞出一個覆蓋律達到幾個九的模型庫出來；但控制性知識呢？！這麼海量的基礎性知識如何進行控制？！而沒有合適的控制性知識，那些基礎知識有什麼用？！

對於我們人來說，控制性知識其實就是定性的價值判斷，但機器的價值觀如何定義呢？！即便幾十億地球人吵出了一個機器人價值觀，但難道用定性推理來實現嗎？！難道問題歸結為了產生式的推理管理？！

而這個問題不過只是上面第一個問題的一半：求出所有可能結果。

這就是我認為的在4、5兩個級別之間有著一個質上的鴻溝的原因：形式化帶來了知識庫管理是一個發散過程而非收斂過程。

我個人的觀點：

1、形式化造成了計算機和人在能力上存在一個本質上的差距，因為形式化是對世界的一種具有信息損失的抽象，形式化本質上就是真值的可靠傳遞，而為了確保這種可靠性，形式化損失了聯想的能力，因為聯想不可靠，而形式化自身也無法驗證是否可靠

2、形式化給機器帶來的智能其實是對人的經驗的快速總結，本質上就是形式化之後的數據擬合。但這種擬合無法預測未來，因為世界的運行是多種因素的共同作用，根據複雜學的研究，超過三種影響因素就是非線性的。而人類卻可以依靠直覺從所有當前的影響因素中挑出較為重要的少數關鍵因素而大致做出預測，雖然這種預測嚴重依賴於該人的主觀判斷，但人類卻用群體智能的方式基本有效的應對了不確定的未來

有得必有失，科學理性依靠形式化獲取了可靠性、可累加性，但也失去了聯想的能力和預測的能力，而這些只能由人來提供。所以，我認為人在迴路中的人機智能才是真正的方向，單純的機器智能我不認為是正確的，所以考慮AI的倫理也是沒必要的

這篇回答是根據2018年5月20日，我在南方科技大學舉辦的 「人工智慧時代的技術與人文：跨學科對話」學術研討會上的言內容，整理形成、主要觀點如下：

生物進化方向不明朗，是導致人類社會和人工智慧領域很難統一倫理規範的深層次原因。21世紀以來，科技呈現爆發趨勢，特別是互聯網，腦科學和人工智慧的最新進展，使的生物進化方向研究有了新的啟示，2008年以來，我們通過對互聯網大腦模型、AI的智商評測，和腦的進化進行研究，提出種群知識庫的進化是判斷生物進化方向的關鍵。並由此對人工智慧倫理建設的標準和規範進行了探討。

一.制定人類和人工智慧倫理的困境

倫理與智能、意識、生命和宇宙一樣，很難有統一的定義，一般來說，倫理是指在處理人與人，人與社會相互關係時應遵循的道理和準則。是從概念角度上對道德現象的哲學思考。它不僅包含著對人與人、人與社會和人與自然之間關係處理中的行為規範，而且也深刻地蘊涵著依照一定原則來規範行為的深刻道理。

由於倫理的設定往往與文化、宗教、地域、價值觀、世界觀有關，在人類數千年的文明史，至今我們也沒有一個統一的、標準的、明確的倫理體系，僅有一些大部分人承認的大體的原則。對於人工智慧帶來的倫理衝擊，因為倫理問題的不完善和爭議而變得更為突出。

譬如1912撞上冰山後沉沒的泰坦尼克號，船上旅客在逃生的過程中究竟哪個群體獲得生命優先權。成為逃難過程中面臨的重要的問題

《2012》是一部關於全球毀滅的災難電影，電影中美總統讓物理科學家安全離開，自己留下時說到「一個科學家比幾十位官員更重要「；

著名的倫理思想實驗「扳道工的選擇」中，火車高速行駛，不能急停。而正前方有一分叉路軌， 左邊有5名被綁架者，右邊有1名被綁架者，這時扳道工是選擇讓火車通往左側還是右側？；

2017年，波士頓動力機器人在搬動箱子時，受到測試科學家的攻擊，導致站立不穩摔倒，互聯網的視頻觀眾提出抗議，認為侵犯了機器人的權利。並引發了科學界的爭論機器人有沒有自己的權利。

這些問題背後都蘊含了深刻的倫理問題，如何選擇，對與未來人工智慧的倫理建設也將有重要的影響和意義

二 生物進化沒有方向是倫理爭議的深層次原因

19世紀中葉，達爾文創立了科學的生物進化學說，以自然選擇為核心的達爾文進化論作為人類科學史最偉大的理論之一。統一了生物學的各個學科。達爾文進化論的影響不僅僅局限在生物學領域，也提供了一種全新的世界觀、生命觀、宇宙觀和方法論，對幾乎所有的科學和人文領域產生影響。包括人工智慧的倫理問題最終也會受達爾文理論的影響。

達爾文進化論生物的進化沒有確定的方向，達爾文把生物進化過程設想成一棵不斷地生長、分支的大樹，現存的所有生物都位於這棵樹的某個小分支的頂端，進化樹不存在一個以人類為頂端的主幹，人類只是進化樹上一個普普通通的分支。從達爾文進化論的角度看，人並不比老鼠，螞蟻更為高級，人類並不能代表生物的發展方向。

達爾文的進化論排斥了目的論（這被邁爾讚譽為其偉大的貢獻之一），達爾文主張變異是隨機的，用比上帝一點也不遜色的「自然」一詞來解釋其所精心構建的進化理論的核心。但是，達爾文也有其困惑和無奈，他感嘆道「這廣闊無垠、奇妙無比的宇宙……竟然是盲目的機遇或必然的產物感到非常難於甚至無法理解」(2-謝平. 2014. 生命的起源—進化理論之揚棄與革新.)

生物進化沒有方向，沒有高低等級之分的觀點，會帶來如下影響：

因為生物的進化（演化）沒有方向，那麼人類的進化也沒有統一的方向；人類進化沒有統一的方向，那麼人類的創造物特別是人工智慧也就沒有相同的進化方向；由於沒有沒有統一的進化方向，規範人類、人工智慧與社會、自然關係的倫理就很難達成統一，形成標準。

三 新科技進展對生物進化方向的啟發

21世紀以來，互聯網，雲計算、大數據、物聯網、人工智慧、類腦計算、腦科學等等領域不斷湧現。人類科技出現又一輪爆髮式增長。這其中腦科學、互聯網和人工智慧領域的發展為尋找和發掘生物的進化方向提供了新的視角

3.1數億年來生物大腦的進化

數億年來，生物為了適應環境的變化，遵循 「物競天擇，適者生存「的原則形成了不同種類的生命形態，雖然生物的表現形式千差萬別，但生物的核心-大腦確表現出明顯的方向性，從單細胞到人類，大腦越來越複雜，智慧程度越來越高。

諾貝爾獎獲得者澳大利亞科學家John.C.Eccles在其著作《腦的進化》中就提到「生物的大腦是從魚的大腦進化到爬行動物的大腦，再進化到哺乳動物的大腦，最後進化到人類的大腦。如果解剖人腦，我們可以清晰的看到類魚、類爬行動物、類哺乳動物的結構在人腦中涇渭分明。「 。

生物通過自然競爭和自然選擇體現出生物的多樣性，長頸鹿的脖子更長，瞪羚羊跑的更快，老鷹的眼睛更犀利，但在大腦這個生物（動物）最重要的器官上，表現出方向，人類腦的結構中，在進化進程中的生物大腦一層包裹著一層，就如同化石的堆積一樣。

3.2互聯網大腦的形成與進化

2008年，根據不斷湧現的互聯網類腦現象，劉鋒（本文作者）和科學院大學彭庚等教授等人參考神經科學的大腦架構，發表論文《互聯網進化的趨勢與規律》，提出了互聯網大腦的模型，用來闡述互聯網發展的最新架構，此後10年之中劉鋒與彭庚，劉穎，石勇等教授和博士形成的研究團隊，逐步形成了互聯網大腦的完整圖示和定義;[1]

互聯網大腦的定義：互聯網大腦就是互聯網向與人類大腦高度相似的方向進化過程中，形成的類腦巨系統架構。互聯網大腦架構具備不斷成熟的類腦視覺、聽覺、軀體感覺、運動神經系統、記憶神經系統、中樞神經系統、自主神經系統。互聯網大腦通過類腦神經元網路將將社會各要素（包括但不僅限於人，AI系統，生產資料，生產工具）和自然各要素（包括但不僅限於河流，山脈，動物，植物，太空）鏈接起來；互聯網大腦在群體智慧和人工智慧的驅動下通過雲反射弧實現對世界的認知，判斷，決策、反饋和改造。

互聯網類腦巨系統的形成可以存在如下推論：當生物進化到人這個程度之後，人類通過互聯網聯合在一起共同進化。而這種共同進化的結果是。連接了人類的互聯網，在結構上與大腦一步步走向高度相似，在空間上隨著人類的擴張不斷蔓延，如果有足夠的時間，可以預見到在足夠時間點後，空間，大腦，和互聯網三者將合為一體，進化成為智慧宇宙或宇宙大腦【2】。

達爾文進化論的結論是向前推導的，即生物有共同的祖先，通過自然選擇，人這種物種出現了。互聯網、腦科學、人工智慧的進化是向後推導的，認為人通過自己創造的技術-互聯網向著智慧宇宙或宇宙大腦的方向進化。「人「這個要素將互聯網的進化和生物的進化連接起來。

3.3智能等級的劃分與進化

2012年，劉鋒(本文作者）和和科學院石勇教授開始思考能否對不斷發展的互聯網大腦的智慧水平進行評測。這個研究課題隨後延伸成為對人工智慧系統的智商水平進行評測研究。研究難點，如何建立一個能統一描述人類生命，機器人，人工智慧系統、互聯網大腦模型智能特徵的模型.

2014年，研究獲得進展，在參考馮·諾伊曼結構、戴維·韋克斯勒人類智力模型、知識管理領域DIKW模型體系等。建立了標準智能模型（Agent)，提出任何一個智能體，包括AI程序，機器人，人類，也包括互聯網大腦模型都可以被描述成一個同時具備知識的輸入，掌握，創新和反饋的綜合系統。下圖為增加創新和雲存儲的擴展馮諾依曼架構。【3】

擴展的馮·諾伊曼架構對於我們劃分智能的水平等級給與了重要啟發，判斷標準如下：

● 能不能和測試者（人類）進行信息交互，也就是有沒有輸入/輸出系統；

● 系統內部有沒有能夠存儲信息和知識的知識庫；

● 這個系統的知識庫能不能不斷更新和增長；

● 這個系統的知識庫能不能與其他人工智慧系統進行知識共享；

● 這個系統除了從外部學習並更新自己的知識庫之外，能不能主動產生出新的知識並分享給其他人工智慧系統。

依照上述原則，我們可以形成7個智能系統的智能等級劃分（數學公式省略）

對於人工智慧系統的最高等級第6級系統，最基本的特徵就是隨著時間的向前推進，並趨向於無窮點時，不斷創新創造產生新知識的智能系統其輸入輸出能力，知識的掌握和運用能力也將趨近於無窮大，按照基督教對於上帝的定義「全知和全能」，可以看出智能系統在不斷創新創造和不斷積累知識的情況下，在足夠的時間裡以人類為代表的智能系統將最終實現「全知全能」的狀態，從這個角度看，無論是東方文化的」神「，或西方文化中的「上帝」概念，從智能系統發展的角度看，可以看作是智能系統（包括人類）在未來時間點的進化狀態。

如果基於標準智能模型，可以用如下數學公式描述全知全能的狀態（I 知識信息接收，O知識信息輸出，S,知識信息掌握或存儲，C 知識信息創新創造）

四.生物進化方向-用種群知識庫判斷進化方向和等級

推論1 種群知識庫向全知全能的方向進化

腦的進化，互聯網的進化，智能系統的智力等級劃分都表現出明顯的方向性。人工智慧先驅尼爾遜教授對人工智慧下了這樣一個定義：「人工智慧是關於知識的學科，怎樣表示知識以及怎樣獲得知識並使用知識的科學。

對於這三個領域，他們的共同點都是承載的知識庫和使用知識的能力不斷提升

無論是腦的進化，互聯網的進化，智能系統的智力等級劃分，還是從生物的發展史可以看出，知識和智慧的提升是生物進化的核心，從種群知識庫容量和使用種群知識庫的能力兩個角度判斷生物進化的方向和生物的高低等級。當趨於無窮大時，通過 種群知識庫向全知全能的進化， 從而到達「上帝之點」。

上帝之點也就是歐米伽（Ω）點，是法國著名進化論哲學家德日進20世紀上半葉在《人的現象》一書中提出他寫到：人類是通過「合而創造」、「聯通領聖」、集成、綜合、統一、凝聚，由簡單到複雜，由低級到高級，由組織結構鬆散到組織結構富集，最終趨於一個終極目的的必然過程。他把這個人類進化的終極目的用最後一個希臘字母Ω來表示，叫作歐米伽（Omega）點。也就是人類將全知全能，因此Ω點也被稱作「上帝之點」。

推論2 物種之間通過種群知識庫發展速度進行競爭

生物種群知識庫和使用知識庫的能力，其膨脹速度是生物進化的焦點，其它生物的知識庫停滯，走向死胡同，因此在千萬年里沒有進一步的變化，在地球的生命圈中也處在越來越低的地位。

人類在近10萬年里，在知識和智慧上不斷擴展和加速，並因為互聯網和人工智慧的發明而得到進一步巨大飛躍，從而獲得了地球自然競爭的統治地位。

五。從生物進化方向探討AI倫理的建設和決策

5.1人工智慧能否看作與人類同權的生命體

從標準智能模型的構造和生命的進化看，AI還不能看做與人類同權的生命體，它分擔了人類的部分知識和智慧功能，但在最重要的創造性和評審創造性價值方面無法替代，更為重要的是AI無法確定自己的進化方向和進化目標，也沒有正確進化的自然動力，它的進化動力來源於人類，依然是人類的工具，人與AI的對抗歸根結底依然是人與人的對抗。

5.2 以從種群知識庫的進化作為構建AI倫理的標準

從第四節的討論看，知識和智慧的提升是生物進化的核心，從知識庫容量和使用種群知識庫的能力兩個角度判斷生物進化的方向和生物的高低等級。當趨於無窮大時，通過 種群知識庫向全知全能的進化，從而到達「上帝之點」。這說明生物的進化存在方向和終點。那麼在生命進化的過程中，那些促進和保護種群知識庫發展的行為和關係為正向的倫理標準。那些阻礙和危害種群知識庫發展的行為和關係為負面的倫理規則

5.3.從進化方向看AI倫理的決策探討

1）對於泰坦尼克號，在無法判斷乘客身份的緊急情況下，優先逃生的為婦女和兒童，他們代表了人類的未來。

2）2012電影中，總統選擇讓科學家乘坐飛機到達安全之地，並表達 「一個科學家比幾十位官員更重要「，也是基於科學家相比總統對未來人類在知識的延續和創新更重要。

3）「扳道工的選擇」中，能否判斷哪一邊對人類未來的知識和智慧貢獻大？在沒有第三種選擇和無法判斷哪一邊對人類未來知識和智慧貢獻大的情況下，選擇讓人數更多的5人存活下去應為無奈之舉。

4）波士頓動力機器人在搬動箱子時，受到測試科學家的攻擊，導致站立不穩摔倒，這並不涉及對生命的虐待問題，因為我們在前面探討過，目前機器人和AI系統還不是生命體，更不是與人類平權的生命體。

5）最後一條也是非常重要的一條，在非緊急情況下對應對個體利益應進行保護，不能以群體利益佔據個體利益，發揮個人探索的能動性對種群知識庫的提升應是非常重要的途徑。

參考1. 人工智慧下一個熱點探討,為什麼要提出互聯網大腦模型，

http://blog.sciencenet.cn/blog-39263-1113272.html

參考2 互聯網進化論， 2012， 清華大學出版社

參考3 如何測量智能產品的AI智商水平，論AI的三種智商

http://blog.sciencenet.cn/blog-39263-1090494.html

南方科技大學舉辦的 「人工智慧時代的技術與人文：跨學科對話」學術研討會

這個問題是AI是否可以擁有真正智能這個問題的子集。

那天或許永遠不會到來，或許已經到來。

如果說我們可以做到為AI的行為制定人類社會的界限，意味著這個AI首先可以理解倫理背後這些複雜的概念(宗教，哲學，文化)。這無異於讓AI擁有真正的智能，可以歸為自然界的一類生物與人類分庭抗禮。

請思考這個問題：你怎麼知道此刻正在看這些文字的你是人還是AI呢。

因為抑制人類的對更好的發展可能，人類的發展始終是在不斷的矛盾與危機發展起來的，人類的文明基礎也是由此而來，機器只可能把一個東西確定下來而不是使不確定，一個確定的未來是沒有意義的一個確定的人類是沒有意義的，當世界沒有了紛爭沒有了不同沒有了意義，只留下冷冰冰的數據人的自我發展可能也不見了。

謝邀，可以參考 @王晉東不在家 的一篇介紹 發表在2018年國際人工智慧聯合會IJCAI上的一篇 "Building Ethics into Artificial Intelligence" 的文章 漫談人工智慧與倫理道德 (IJCAI 2018)，文章的第一作者是來自新加坡南洋理工大學(NTU)的Han Yu博士，這裡可以閱讀完整的論文。

因為人工智慧壓根兒不成熟，連弱AI都未達到，沒有必要立法。

謝邀。

1. 倫理可歸為種群間低智能演化的社交產物，本身存在諸多差異(主觀,環境等)，且人類至今的倫理學體系仍無從規範，目前只可設定共識邊界。

2. 即便是未來超過人類智能的強人工智慧，仍然難以對兩難抉擇進行判斷，且是否應讓AI「覺醒」人類的道德倫理感知的本身也是難以解決的倫理問題。

我的觀點覺得已有的答案都沒在點子上，倫理其實是對低智商的行為和思維的約束，這個低智商指的是沒有邏輯的更多生物智能進化不完全（比如獸性）類的約束和引導。而在於AI來說，其起點必然是一個高智商的階段，對於它來說，無需倫理的約束，倫理背後的機制它會一瞬間就清楚明白，甚至演化出無數人類都不知道的倫理背後的規則。所以很簡單，AI作為高等級存在的生物，你是不用去探求它會遵守啥的，因為像螞蟻無法理解我們一樣，我們也理解不了AI。

倫理是社會共同認可，違反會受到懲戒的一系列共同認可的行為底線，機器沒有意識，就是靠寫死程序語句來制止機器可能得反倫理行為，人力有限肯定會有沒想到的反倫理操作，機器如果可以有意識，他為什麼要遵守這些死程序？
推薦閱讀：
相关文章