因为使用购买AI服务的是强者，而受到伤害的是弱者。

弱者如何能够为强者设立伦理规范呢？

强者可以动用大量社会资源和财富来雇佣一群人，从「专业角度」论证自己行为伦理的正确性，而在这个非对等的博弈局面下，弱者是没有办法的，只能任人宰割。

战场上得不到的，谈判桌上也别想得到。

谢邀。

人工智慧方面我只是一个工程师，而且还是熟悉符号主义的工程师，而目前火热的是连接主义，说实话我都很难理解，所以这个问题我本无意回答，但看了题主自己的文章，感觉还是提点自己的小看法吧。

再次重申，我只是一个工程师，所以我的观点没有理论支撑而完全是我个人的主观判断。

题主对智能级别的划分我不太同意，题主的划分依靠的是黑盒观察，以知识的增加来划分等级，我看下来题主对知识的划分标准是量变，而我恰恰认为在4、5两个级别之间有著一个质上的鸿沟。就目前看，机器创新知识我报以悲观的倾向。也就是说，题主所认为的知识创新我认为只是量上的增加，而非质上的提升，机器智能的最大能力存在一个无形的天花板。

首先，到目前未知，所有的计算机都是形式自动机，而形式自动机依靠的是数学、是逻辑来进行形式化的，从符号主义来说，不管是数学还是逻辑都没有本质上的突破，也就是说，知识推理本身没有变化，依靠推理推不出创新性的新知识。

形式化的知识都是对人的经验的抽象，而推理是真值的传递，由于传统逻辑为了确保可靠性而过于严格，所以产生式推出的结果用处不大，引入模糊逻辑之后，可以实现基于可能性的推理，但一方面结果过于发散，还是需要领域知识加以筛选，另一方面则是所有可能结果还是在人的经验范围内，而上述种种其实都还需要人的干预与决断，根本无法实现实质性的创新。

真正的创新应该是当所有可能都难以解释时，引入相似性或相近性进行联想，然后自动设计实验进行验证。

问题在于：

1、如何测量可能结果不够好以决定启动创新过程

2、联想过程是一个发散过程而非收敛过程，如何控制其规模

3、自动验证如何形式化

我们常说有三种知识，事实性知识好办，谓词逻辑就可以了；过程性知识咬咬牙，搞个国家工程，也能搞出一个覆盖律达到几个九的模型库出来；但控制性知识呢？！这么海量的基础性知识如何进行控制？！而没有合适的控制性知识，那些基础知识有什么用？！

对于我们人来说，控制性知识其实就是定性的价值判断，但机器的价值观如何定义呢？！即便几十亿地球人吵出了一个机器人价值观，但难道用定性推理来实现吗？！难道问题归结为了产生式的推理管理？！

而这个问题不过只是上面第一个问题的一半：求出所有可能结果。

这就是我认为的在4、5两个级别之间有著一个质上的鸿沟的原因：形式化带来了知识库管理是一个发散过程而非收敛过程。

我个人的观点：

1、形式化造成了计算机和人在能力上存在一个本质上的差距，因为形式化是对世界的一种具有信息损失的抽象，形式化本质上就是真值的可靠传递，而为了确保这种可靠性，形式化损失了联想的能力，因为联想不可靠，而形式化自身也无法验证是否可靠

2、形式化给机器带来的智能其实是对人的经验的快速总结，本质上就是形式化之后的数据拟合。但这种拟合无法预测未来，因为世界的运行是多种因素的共同作用，根据复杂学的研究，超过三种影响因素就是非线性的。而人类却可以依靠直觉从所有当前的影响因素中挑出较为重要的少数关键因素而大致做出预测，虽然这种预测严重依赖于该人的主观判断，但人类却用群体智能的方式基本有效的应对了不确定的未来

有得必有失，科学理性依靠形式化获取了可靠性、可累加性，但也失去了联想的能力和预测的能力，而这些只能由人来提供。所以，我认为人在回路中的人机智能才是真正的方向，单纯的机器智能我不认为是正确的，所以考虑AI的伦理也是没必要的

这篇回答是根据2018年5月20日，我在南方科技大学举办的 「人工智慧时代的技术与人文：跨学科对话」学术研讨会上的言内容，整理形成、主要观点如下：

生物进化方向不明朗，是导致人类社会和人工智慧领域很难统一伦理规范的深层次原因。21世纪以来，科技呈现爆发趋势，特别是互联网，脑科学和人工智慧的最新进展，使的生物进化方向研究有了新的启示，2008年以来，我们通过对互联网大脑模型、AI的智商评测，和脑的进化进行研究，提出种群知识库的进化是判断生物进化方向的关键。并由此对人工智慧伦理建设的标准和规范进行了探讨。

一.制定人类和人工智慧伦理的困境

伦理与智能、意识、生命和宇宙一样，很难有统一的定义，一般来说，伦理是指在处理人与人，人与社会相互关系时应遵循的道理和准则。是从概念角度上对道德现象的哲学思考。它不仅包含著对人与人、人与社会和人与自然之间关系处理中的行为规范，而且也深刻地蕴涵著依照一定原则来规范行为的深刻道理。

由於伦理的设定往往与文化、宗教、地域、价值观、世界观有关，在人类数千年的文明史，至今我们也没有一个统一的、标准的、明确的伦理体系，仅有一些大部分人承认的大体的原则。对于人工智慧带来的伦理冲击，因为伦理问题的不完善和争议而变得更为突出。

譬如1912撞上冰山后沉没的泰坦尼克号，船上旅客在逃生的过程中究竟哪个群体获得生命优先权。成为逃难过程中面临的重要的问题

《2012》是一部关于全球毁灭的灾难电影，电影中美总统让物理科学家安全离开，自己留下时说到「一个科学家比几十位官员更重要「；

著名的伦理思想实验「扳道工的选择」中，火车高速行驶，不能急停。而正前方有一分叉路轨， 左边有5名被绑架者，右边有1名被绑架者，这时扳道工是选择让火车通往左侧还是右侧？；

2017年，波士顿动力机器人在搬动箱子时，受到测试科学家的攻击，导致站立不稳摔倒，互联网的视频观众提出抗议，认为侵犯了机器人的权利。并引发了科学界的争论机器人有没有自己的权利。

这些问题背后都蕴含了深刻的伦理问题，如何选择，对与未来人工智慧的伦理建设也将有重要的影响和意义

二 生物进化没有方向是伦理争议的深层次原因

19世纪中叶，达尔文创立了科学的生物进化学说，以自然选择为核心的达尔文进化论作为人类科学史最伟大的理论之一。统一了生物学的各个学科。达尔文进化论的影响不仅仅局限在生物学领域，也提供了一种全新的世界观、生命观、宇宙观和方法论，对几乎所有的科学和人文领域产生影响。包括人工智慧的伦理问题最终也会受达尔文理论的影响。

达尔文进化论生物的进化没有确定的方向，达尔文把生物进化过程设想成一棵不断地生长、分支的大树，现存的所有生物都位于这棵树的某个小分支的顶端，进化树不存在一个以人类为顶端的主干，人类只是进化树上一个普普通通的分支。从达尔文进化论的角度看，人并不比老鼠，蚂蚁更为高级，人类并不能代表生物的发展方向。

达尔文的进化论排斥了目的论（这被迈尔赞誉为其伟大的贡献之一），达尔文主张变异是随机的，用比上帝一点也不逊色的「自然」一词来解释其所精心构建的进化理论的核心。但是，达尔文也有其困惑和无奈，他感叹道「这广阔无垠、奇妙无比的宇宙……竟然是盲目的机遇或必然的产物感到非常难于甚至无法理解」(2-谢平. 2014. 生命的起源—进化理论之扬弃与革新.)

生物进化没有方向，没有高低等级之分的观点，会带来如下影响：

因为生物的进化（演化）没有方向，那么人类的进化也没有统一的方向；人类进化没有统一的方向，那么人类的创造物特别是人工智慧也就没有相同的进化方向；由于没有没有统一的进化方向，规范人类、人工智慧与社会、自然关系的伦理就很难达成统一，形成标准。

三 新科技进展对生物进化方向的启发

21世纪以来，互联网，云计算、大数据、物联网、人工智慧、类脑计算、脑科学等等领域不断涌现。人类科技出现又一轮爆发式增长。这其中脑科学、互联网和人工智慧领域的发展为寻找和发掘生物的进化方向提供了新的视角

3.1数亿年来生物大脑的进化

数亿年来，生物为了适应环境的变化，遵循 「物竞天择，适者生存「的原则形成了不同种类的生命形态，虽然生物的表现形式千差万别，但生物的核心-大脑确表现出明显的方向性，从单细胞到人类，大脑越来越复杂，智慧程度越来越高。

诺贝尔奖获得者澳大利亚科学家John.C.Eccles在其著作《脑的进化》中就提到「生物的大脑是从鱼的大脑进化到爬行动物的大脑，再进化到哺乳动物的大脑，最后进化到人类的大脑。如果解剖人脑，我们可以清晰的看到类鱼、类爬行动物、类哺乳动物的结构在人脑中泾渭分明。「 。

生物通过自然竞争和自然选择体现出生物的多样性，长颈鹿的脖子更长，瞪羚羊跑的更快，老鹰的眼睛更犀利，但在大脑这个生物（动物）最重要的器官上，表现出方向，人类脑的结构中，在进化进程中的生物大脑一层包裹著一层，就如同化石的堆积一样。

3.2互联网大脑的形成与进化

2008年，根据不断涌现的互联网类脑现象，刘锋（本文作者）和科学院大学彭庚等教授等人参考神经科学的大脑架构，发表论文《互联网进化的趋势与规律》，提出了互联网大脑的模型，用来阐述互联网发展的最新架构，此后10年之中刘锋与彭庚，刘颖，石勇等教授和博士形成的研究团队，逐步形成了互联网大脑的完整图示和定义;[1]

互联网大脑的定义：互联网大脑就是互联网向与人类大脑高度相似的方向进化过程中，形成的类脑巨系统架构。互联网大脑架构具备不断成熟的类脑视觉、听觉、躯体感觉、运动神经系统、记忆神经系统、中枢神经系统、自主神经系统。互联网大脑通过类脑神经元网路将将社会各要素（包括但不仅限于人，AI系统，生产资料，生产工具）和自然各要素（包括但不仅限于河流，山脉，动物，植物，太空）链接起来；互联网大脑在群体智慧和人工智慧的驱动下通过云反射弧实现对世界的认知，判断，决策、反馈和改造。

互联网类脑巨系统的形成可以存在如下推论：当生物进化到人这个程度之后，人类通过互联网联合在一起共同进化。而这种共同进化的结果是。连接了人类的互联网，在结构上与大脑一步步走向高度相似，在空间上随著人类的扩张不断蔓延，如果有足够的时间，可以预见到在足够时间点后，空间，大脑，和互联网三者将合为一体，进化成为智慧宇宙或宇宙大脑【2】。

达尔文进化论的结论是向前推导的，即生物有共同的祖先，通过自然选择，人这种物种出现了。互联网、脑科学、人工智慧的进化是向后推导的，认为人通过自己创造的技术-互联网向著智慧宇宙或宇宙大脑的方向进化。「人「这个要素将互联网的进化和生物的进化连接起来。

3.3智能等级的划分与进化

2012年，刘锋(本文作者）和和科学院石勇教授开始思考能否对不断发展的互联网大脑的智慧水平进行评测。这个研究课题随后延伸成为对人工智慧系统的智商水平进行评测研究。研究难点，如何建立一个能统一描述人类生命，机器人，人工智慧系统、互联网大脑模型智能特征的模型.

2014年，研究获得进展，在参考冯·诺伊曼结构、戴维·韦克斯勒人类智力模型、知识管理领域DIKW模型体系等。建立了标准智能模型（Agent)，提出任何一个智能体，包括AI程序，机器人，人类，也包括互联网大脑模型都可以被描述成一个同时具备知识的输入，掌握，创新和反馈的综合系统。下图为增加创新和云存储的扩展冯诺依曼架构。【3】

扩展的冯·诺伊曼架构对于我们划分智能的水平等级给与了重要启发，判断标准如下：

● 能不能和测试者（人类）进行信息交互，也就是有没有输入/输出系统；

● 系统内部有没有能够存储信息和知识的知识库；

● 这个系统的知识库能不能不断更新和增长；

● 这个系统的知识库能不能与其他人工智慧系统进行知识共享；

● 这个系统除了从外部学习并更新自己的知识库之外，能不能主动产生出新的知识并分享给其他人工智慧系统。

依照上述原则，我们可以形成7个智能系统的智能等级划分（数学公式省略）

对于人工智慧系统的最高等级第6级系统，最基本的特征就是随著时间的向前推进，并趋向于无穷点时，不断创新创造产生新知识的智能系统其输入输出能力，知识的掌握和运用能力也将趋近于无穷大，按照基督教对于上帝的定义「全知和全能」，可以看出智能系统在不断创新创造和不断积累知识的情况下，在足够的时间里以人类为代表的智能系统将最终实现「全知全能」的状态，从这个角度看，无论是东方文化的」神「，或西方文化中的「上帝」概念，从智能系统发展的角度看，可以看作是智能系统（包括人类）在未来时间点的进化状态。

如果基于标准智能模型，可以用如下数学公式描述全知全能的状态（I 知识信息接收，O知识信息输出，S,知识信息掌握或存储，C 知识信息创新创造）

四.生物进化方向-用种群知识库判断进化方向和等级

推论1 种群知识库向全知全能的方向进化

脑的进化，互联网的进化，智能系统的智力等级划分都表现出明显的方向性。人工智慧先驱尼尔逊教授对人工智慧下了这样一个定义：「人工智慧是关于知识的学科，怎样表示知识以及怎样获得知识并使用知识的科学。

对于这三个领域，他们的共同点都是承载的知识库和使用知识的能力不断提升

无论是脑的进化，互联网的进化，智能系统的智力等级划分，还是从生物的发展史可以看出，知识和智慧的提升是生物进化的核心，从种群知识库容量和使用种群知识库的能力两个角度判断生物进化的方向和生物的高低等级。当趋于无穷大时，通过 种群知识库向全知全能的进化， 从而到达「上帝之点」。

上帝之点也就是欧米伽（Ω）点，是法国著名进化论哲学家德日进20世纪上半叶在《人的现象》一书中提出他写到：人类是通过「合而创造」、「联通领圣」、集成、综合、统一、凝聚，由简单到复杂，由低级到高级，由组织结构松散到组织结构富集，最终趋于一个终极目的的必然过程。他把这个人类进化的终极目的用最后一个希腊字母Ω来表示，叫作欧米伽（Omega）点。也就是人类将全知全能，因此Ω点也被称作「上帝之点」。

推论2 物种之间通过种群知识库发展速度进行竞争

生物种群知识库和使用知识库的能力，其膨胀速度是生物进化的焦点，其它生物的知识库停滞，走向死胡同，因此在千万年里没有进一步的变化，在地球的生命圈中也处在越来越低的地位。

人类在近10万年里，在知识和智慧上不断扩展和加速，并因为互联网和人工智慧的发明而得到进一步巨大飞跃，从而获得了地球自然竞争的统治地位。

五。从生物进化方向探讨AI伦理的建设和决策

5.1人工智慧能否看作与人类同权的生命体

从标准智能模型的构造和生命的进化看，AI还不能看做与人类同权的生命体，它分担了人类的部分知识和智慧功能，但在最重要的创造性和评审创造性价值方面无法替代，更为重要的是AI无法确定自己的进化方向和进化目标，也没有正确进化的自然动力，它的进化动力来源于人类，依然是人类的工具，人与AI的对抗归根结底依然是人与人的对抗。

5.2 以从种群知识库的进化作为构建AI伦理的标准

从第四节的讨论看，知识和智慧的提升是生物进化的核心，从知识库容量和使用种群知识库的能力两个角度判断生物进化的方向和生物的高低等级。当趋于无穷大时，通过 种群知识库向全知全能的进化，从而到达「上帝之点」。这说明生物的进化存在方向和终点。那么在生命进化的过程中，那些促进和保护种群知识库发展的行为和关系为正向的伦理标准。那些阻碍和危害种群知识库发展的行为和关系为负面的伦理规则

5.3.从进化方向看AI伦理的决策探讨

1）对于泰坦尼克号，在无法判断乘客身份的紧急情况下，优先逃生的为妇女和儿童，他们代表了人类的未来。

2）2012电影中，总统选择让科学家乘坐飞机到达安全之地，并表达 「一个科学家比几十位官员更重要「，也是基于科学家相比总统对未来人类在知识的延续和创新更重要。

3）「扳道工的选择」中，能否判断哪一边对人类未来的知识和智慧贡献大？在没有第三种选择和无法判断哪一边对人类未来知识和智慧贡献大的情况下，选择让人数更多的5人存活下去应为无奈之举。

4）波士顿动力机器人在搬动箱子时，受到测试科学家的攻击，导致站立不稳摔倒，这并不涉及对生命的虐待问题，因为我们在前面探讨过，目前机器人和AI系统还不是生命体，更不是与人类平权的生命体。

5）最后一条也是非常重要的一条，在非紧急情况下对应对个体利益应进行保护，不能以群体利益占据个体利益，发挥个人探索的能动性对种群知识库的提升应是非常重要的途径。

参考1. 人工智慧下一个热点探讨,为什么要提出互联网大脑模型，

http://blog.sciencenet.cn/blog-39263-1113272.html

参考2 互联网进化论， 2012， 清华大学出版社

参考3 如何测量智能产品的AI智商水平，论AI的三种智商

http://blog.sciencenet.cn/blog-39263-1090494.html

南方科技大学举办的 「人工智慧时代的技术与人文：跨学科对话」学术研讨会

这个问题是AI是否可以拥有真正智能这个问题的子集。

那天或许永远不会到来，或许已经到来。

如果说我们可以做到为AI的行为制定人类社会的界限，意味著这个AI首先可以理解伦理背后这些复杂的概念(宗教，哲学，文化)。这无异于让AI拥有真正的智能，可以归为自然界的一类生物与人类分庭抗礼。

请思考这个问题：你怎么知道此刻正在看这些文字的你是人还是AI呢。

因为抑制人类的对更好的发展可能，人类的发展始终是在不断的矛盾与危机发展起来的，人类的文明基础也是由此而来，机器只可能把一个东西确定下来而不是使不确定，一个确定的未来是没有意义的一个确定的人类是没有意义的，当世界没有了纷争没有了不同没有了意义，只留下冷冰冰的数据人的自我发展可能也不见了。

谢邀，可以参考 @王晋东不在家 的一篇介绍 发表在2018年国际人工智慧联合会IJCAI上的一篇 "Building Ethics into Artificial Intelligence" 的文章 漫谈人工智慧与伦理道德 (IJCAI 2018)，文章的第一作者是来自新加坡南洋理工大学(NTU)的Han Yu博士，这里可以阅读完整的论文。

因为人工智慧压根儿不成熟，连弱AI都未达到，没有必要立法。

谢邀。

1. 伦理可归为种群间低智能演化的社交产物，本身存在诸多差异(主观,环境等)，且人类至今的伦理学体系仍无从规范，目前只可设定共识边界。

2. 即便是未来超过人类智能的强人工智慧，仍然难以对两难抉择进行判断，且是否应让AI「觉醒」人类的道德伦理感知的本身也是难以解决的伦理问题。

我的观点觉得已有的答案都没在点子上，伦理其实是对低智商的行为和思维的约束，这个低智商指的是没有逻辑的更多生物智能进化不完全（比如兽性）类的约束和引导。而在于AI来说，其起点必然是一个高智商的阶段，对于它来说，无需伦理的约束，伦理背后的机制它会一瞬间就清楚明白，甚至演化出无数人类都不知道的伦理背后的规则。所以很简单，AI作为高等级存在的生物，你是不用去探求它会遵守啥的，因为像蚂蚁无法理解我们一样，我们也理解不了AI。

伦理是社会共同认可，违反会受到惩戒的一系列共同认可的行为底线，机器没有意识，就是靠写死程序语句来制止机器可能得反伦理行为，人力有限肯定会有没想到的反伦理操作，机器如果可以有意识，他为什么要遵守这些死程序？
推荐阅读：
相关文章