【深度解析】为什么有很多名人让人们警惕人工智慧？（同时回应某前排匿名回答）

本文来自于知乎的同名问答。主要内容分三部分：一，点评前排匿名回答及澄清名人的担忧理由。二，补充相关的学界人士观点。三，补充最新的「名人让人们警惕人工智慧」的动态消息。原回答链接：为什么有很多名人让人们警惕人工智慧？ - 黄明宇的回答 - 知乎 https://www.zhihu.com/question/27864852/answer/39239232

Part1：深度解析名人让人们警惕人工智慧的理由

反对此前排匿名回答：为什么有很多名人让人们警惕人工智慧？ - 知乎 https://www.zhihu.com/question/27864852/answer/41061946 。

理由如下：1，答非所问。2，许多地方没有就事论事。3，太多个人的主观臆断。4，误导大众，让人注意力从「为什么有很多名人让人们警惕人工智慧？」这个问题本身移开，而忽略了名人观点的合理之处。5，影响人们更全面地看待这个问题及相关人物的「担心」究竟是什么。当然，答主的部分观点，我是认同的，比如说 @谢熊猫君所翻译文章的表达不够严谨，一些相关的调查不够严谨等。

但我非常不欣赏匿名答主一副不是就问题就事论事的态度。该答主喜欢说其他人怎么怎么不靠谱，所以他们的观点也不靠谱，这是什么逻辑？答主所说的「卖书的」尼克·博斯特罗姆（Nick Bostrom），是牛津大学哲学系的教授，人类未来研究院的创始人和主任，Bostrom的学术背景包括物理、计算机科学、数理逻辑，以及哲学。马斯克、霍金、比尔·盖茨等人对人工智慧的看法都是受到了尼克·博斯特罗姆著作《超级智能》的影响。相关联系可以参考这篇文章：Nick Bostrom：马斯克和盖茨都同意他对AI的看法；尼克和马斯克、霍金还在同一机构共事过（如下图）。如果说尼克·博斯特罗姆是卖书的，答主又是谁？能不能露个脸，来场就事论事的辩论？

三人共同为生命未来研究所（The future of life institute）的成员

我们来看看尼克·博斯特罗姆对人工智慧的简明观点（为什么担忧）：「我认为向机器智能时代过渡可能是人类历史上具有里程碑式的事件之一，但从时间尺度来看，人工智慧的发展更加的多样化，更具有不确定性。但是，目前的技术还远不能达到人类智能的水平，更不用说超级智能了，短时间内我们还很难实现真正的人工智慧，但最终随著技术的发展，一定会实现真正的通用人工智慧。而且，我认为对超级智能的担忧在各行各业都会存在，都会面临挑战，人们首先应该考虑未来「超级智能」是否会有自己的意识和想法，并朝著不利于人类的方向发展，我们需要做的是在机器变得更智能的时候，让它们完全听命于人类，不违背人类的意志，以保证人类可以完全控制它们。」

详细看法如下（原文出处：对话Bostrom：人类要在超级智能出现前将AI完全掌控）：

一、世界上会出现通用人工智慧，但还需要攻克一些难题。

【问】您是如何看待未来人工智慧方面的发展的？

【尼克·博斯特罗姆】我认为，向机器智能时代的过渡可能是人类历史上具有里程碑式的事件之一。但是从时间尺度上来看，人工智慧的发展更加的多样化，更具有不确定性。

最终，我认为我们将拥有真正、完整的人工智慧，且在不久之后可能会成为「超级智能」（即通用人工智慧）。我认为，这种向机器超级智能时代的过渡，可以体现在各个领域，且每个领域都有造福人类的巨大潜力。健康、娱乐、经济、太空殖民等等，应有尽有。但同时也可能存在一些风险，包括与创新有关的人类生存危机，随著人工智慧不断地融入人类的生活，未来它们很有可能会超越人类甚至取代人类。

我的意思是，当你看到两个事实时，这是一个相当大胆的论断。首先是技术的现状。不可否认，如今我们的手机正在变得越来越智能。其次，目前我们所知道的人工智慧只是人类智能。这是一种与人类意识形成、人类大脑运行模式、思维方式以及所有这些人类活动一样的方式，并不是我们所理解的是一种轻描淡写的练习。那么，你如何对待这两件事——在这方面没有先例，之前也没有真正了解人类的智能、人类的大脑是如何运作的——然后你得出这样的结论：这几乎是不可避免的？

当然，目前的技术还远不能达到人类智能的水平，更不用说超级智能了。短时间内，我们还是很难实现真正的人工智慧的。但最终，随著技术的发展，最终会实现真正的人工智慧。从人类大脑的运行模式中我们可以得知，这个世界上存在著至少和人类智力水平相仿的运行系统，而且它是一个有限的生物系统。人类头颅内的重约三磅的软物质竟可以达到这种水平的性能，而且这还远远没有达到人类大脑的极限。我们可以看到几种不同的方法，在技术上最终达到我们可以在机器基质中制造和人类大脑类似的物质的方法，进而模拟大脑的运作方式，达到真正的人工智慧。

因此，人们确实需要逆向研究的方式来解锁人类大脑的奥秘，搞清楚大脑运行的体系结构、学习时的演算法逻辑，进而将其置于计算机基础上运行操作。但很有可能的是，我们将采用一种纯粹的合成方法来加快研究的进程。

在这条道路上似乎没有什么原则上无法攻克的难题和障碍。但是这仍然非常难，毕竟我们直到上世纪中叶才开始有了计算机，计算机的出现也不过几十年的时间。人工智慧领域也是个很年轻的领域。在这几十年里，我们已经走过了相当长的一段路，如果我们继续这样下去，我想我们最终会找到如何设计出具有同样强大的学习能力和规划能力的演算法，进而让人类变得更聪明。

【问】：在人类已经接受了这个假设的基础上，你认为人类的意识是从哪里来的？

【博斯特罗姆】：大脑。

二、研究人工智慧，或许人类大脑能给我们很多启发！

【问】：但具体来说，是什么机制引发了这种变化？对于这个问题，还有什么其他潜在的答案吗？

【博斯特罗姆】：我倾向于计算主义观点，我的猜想是，这是一种特定类型的计算的运行，它会在道德相关的主观体验中产生意识，在原则上，你可以在由硅原子构成的结构上实现意识，就像碳原子结构一样。在这里，重要的不是大脑的构成物质，而是大脑运转的计算结构。

原则上，你可以让机器拥有意识。不过，我的确认为，人工智慧的问题，即机器的智能表现，最好还是不要过早的涉及意识的问题。即使你认为机器不能真的拥有意识，你仍然可以关心它们是否和人类一样聪明。即使他们没有意识只是聪明，这仍然可能是一项对世界产生巨大影响的技术。

【问】：关于这方面的最后一个问题，我想深入了解一下你是如何看待所有这些发展和实验的？想必您肯定很熟悉约翰·希尔勒（John Searle）的中国房间思想试验，中文房间（Chinese room，the Chinese room argument）又称作华语房间，是由美国哲学家约翰·希尔勒（John Searle）在1980年设计的一个思维试验以推翻强人工智慧（机能主义）提出的过强主张：只要计算机拥有了适当的程序，理论上就可以说计算机拥有它的认知状态以及可以像人一样地进行理解活动。这个实验要求你想像一位只说英语的人身处一个房间之中，这间房间除了门上有一个小窗口以外，全部都是封闭的。他随身带著一本写有中文翻译程序的书。房间里还有足够的稿纸、铅笔和橱柜。写著中文的纸片通过小窗口被送入房间中。根据Searle，房间中的人可以使用他的书来翻译这些文字并用中文回复。虽然他完全不会中文，Searle认为通过这个过程，房间里的人可以让任何房间外的人以为他会说流利的中文。这个人显然并不懂得任何中文，但是根据那本书还有纸条，他竟然成功用中文回答了问题，而且翻译出来的东西在中国人眼里，是非常地道的和精彩的。

所以问题是，这个试验结果是，那个房间、那个系统，非常出色地通过了图灵测试。并且这个系统在没有理解所谈论的东西的情况下就成功了。对于这种机器即使缺乏理解，甚至是无法理解的情况下，并不会像人类想像的那样具有局限性，相反，这些演算法和系统可以做的非常出色，即使并不能像人类一样思考和理解事情。当然，这个试验适用于计算机。希尔勒用这个实验得出结论，计算机永远不会像人类一样，因为它什么都不懂。您怎么看待这个问题？

【博斯特罗姆】：说实话，我不太相信这个实验，首先你需要考虑，这个思想试验不仅仅是关于这个房间里的人能做什么、不能做什么，能理解什么、不能理解什么。你必须要把整个系统想成一个整体。因此，房间、房间里所有的书还有人，应该作为一个整体，能够以一种看起来聪明的方式实现输入与输出。如果有什么东西具有理解能力的话，那大概就是这个系统。就像你说的计算机程序，它会是个整体，包括电脑，程序以及存储记忆，最终会达到一定的性能水平，而不是其中某个设备里的一个特定数据箱。

对于中文房间这个实验，人们传统的想法是，那个实验者会记住每一本书的内容。他出去转转，有人递给他一张便条，他写了一个绝妙的答案，然后把它递回来。再一次需要强调的是，他并不理解问题是什么。但你不能回头说，「这是系统。」

因此，你必须考虑，实际上，你想要获取的功能是将所有可能的英语输入都映射到中文输出。要知道，就数据条目数量而言，仅仅通过一个庞大的检索表来进行映射是不可行的。这肯定不适合人类的大脑。或者，实际上，在任何物理限制条件下，在可观测宇宙中，没有足够的原子以这种方式来实现它。

因此，很有可能的是，理解不仅包括将一组输入信息映射到输出的能力，还包括以特定的方式进行数据压缩。因此，要理解某件事可能需要知道其相关的模式是什么，在一个特定的领域中（某个领域的某种精神模型），从而实现这个输入/输出映射的紧凑化。这可以让你概括那些在初始集中没有明确列出的东西。

所以，如果我们试图通过一个检索表来支撑这个中文房间思想实验的论点，一方面，在没有足够的记忆内存的情况下，那是不可能实现的。另一方面，即使你以某种神奇的方式拥有足够的记忆内存，但它仍然不能算作真正的理解，因为它缺少这种数据的压缩，也没有规律的提取。

三、为了避免AI威胁，人类要在超级智能出现之前将AI完全掌控。

【问】：对于超级智能，人们普遍存在三个担忧：第一，担心它被人类故意滥用；第二，担心它被人类不小心误用；第三，担心它有一天有了自己的意识和想法，并且朝著不利于人类的方向发展。对于对人工智慧或者超级智能，您是否也有类似的担忧？或者您有什么特别的担忧吗？或者您是如何摆脱这种担忧的？

【博斯特罗姆】：是的，我认为超级智能的担忧在各行各业都会存在，也都会面临相应的挑战。我认为人们首先应该考虑第三个问题，即未来「超级智能」是否会有了自己的意识和想法，并朝著不利于人类的方向发展。我们需要做的是，在我们让机器变得更智能的时候，也要让它们完全听命于人类，不违背人类的意志，以保证人类可以完全控制它们。

所以现在你需要制定一个目标功能。在绝大多数情况下，这很容易。例如，如果你想训练一些智能体（agent)下象棋，你就需要定义怎样才是一步好棋。如果赢了一场比赛，会得到1分，如果输了，不得分，如果是平手，得到0.5分。所以这是我们可以定义的目标功能。但在现实世界中，人类需要考虑方方面面的事情，我们会关心是否幸福、公正、美丽和快乐。而这些东西都不太容易去设定评判标准和目标，很难用计算机语言去定义。因此，你需要找到一种方法，让潜在的超级智能的智能体服务于人类意志的延伸，这样他们就能意识到你的意图，然后忠实地执行命令。

这是一项重大的技术研究挑战，目前也有科研团队正在致力于解决这个问题。假设我们可以解决这个关于控制的技术难题，我们就能更广泛的应用人工智慧在我们的生活中。届时我们将有能力应对更广泛的「规定」（policy)问题。例如，究竟是谁来决定人工智慧的用途，它的社会用途是什么，未来「超级智能」出现之后，我们的世界又该是什么样子等等。

目前，只有同时解决技术问题和关于人工智慧的更广泛的「规定」问题，才能真正得到一个好的结果。这两个问题同等重要，且都具有挑战性。就像你将规定分为两个子问题一样，这样子就可以解决你刚才提的第一个和第二个问题了，如何去区分故意滥用和意外误用。但我相信，所有的人都不希望你刚才提到的事情将来有一天会发生。

【问】：任何对人类生存的威胁都会引起我们的注意。你是否认为这种威胁看起来微不足道，但一旦发生后果不堪设想，所以我们需要认真对待这个问题？还是你认为这些事情未来很有可能会发生？

【博斯特罗姆】：一半一半吧。我认为，我们有足够的时间和机会去发展超级智能，但同时，也许是在今天活著的人的有生之年，超级智能也有可能会出问题。并且，这种情况发生的可能性非常大，因此，为相关的研究项目和研究人员投资是一项非常明智的选择，只有这样才能让研究人员致力于寻找解决问题的方法，将我们对超级智能的担忧与害怕控制在我们的掌控之中，这是我们当下亟待解决的问题，因为有些问题和隐患的苗头已经开始逐渐显现了。而且，我们还需要提前考虑规则制定的问题。例如，究竟什么样的全球治理体系能够真正应对一个存在超智能实体的世界？

要认识到这是一个巨大的挑战，我认为当你在谈论一般的超级智能时，你不仅仅是在谈论人工智慧的进步，你是在谈论所有技术领域的进步。在那个时候，当人工智慧在科学和创新方面比我们人类能做的更好的时候，你就相当于拥有了一个可观测未来的望远镜，你可以想像到所有其他可能的技术，如何帮助人类在时间的长流里更好更充实的发展。如果我们有4万年的时间来研究它，也许届时我们就能找到抵抗衰老的方法获得长生不老之术，或者征服银河系并将其上传到电脑上等等，所有这些目前只有科幻小说中才出现的场景，我们都知道是符合一定的自然和物理规律的，因此未来是有可能实现的，只是需要时间。而人工智慧的出现，未来有望帮助我们实现。所有这些都可能是在超级智能出现之后，在数字时间范围内很快开发出来的。

所以，在这种转变下，很有可能在短期内，随著人工智慧技术的逐渐成熟，科幻小说中的场景真的会在我们的现实生活中出现。我认为，要规定和选择一种适用于超级智能存在的世界的治理体系，需要进行一些根本性的反思。这也是一项很有意义的工作。

并且，我认为我们应该提前开始这项工作的理由，并不完全取决于你认为在一定的时间内发生这种情况的可能性有多大。如果我们不制定相关的保险措施的话，目前看来，人工智慧未来威胁人类生存的可能性还是很大的。

【问】：你认为我们面临著重新思考社会基本结构的挑战吗？人类历史上曾经出现过类似的先例吗？

【博斯特罗姆】：世间万物没有什么是非常相似的。每件事、每个技术的出现都具有其独特性，并不能一概而论。但是我们确实可以从中寻找出一些相仿的规律。在某些方面，如今人工智慧的出现和当年的核武器的发明有些相似之处。当年，包括一些正在研究核武器的核物理学家都认为那将真正改变国际事务的性质。同时，人们预见了随后出现的军备竞赛，也有人试图提前思考，如何才能防止核扩散等等。

除此之外，我不认为人类历史上类似的需要提前考虑和采取预防措施来避免未来问题发生的事件。就像大多数时候，我们在探索发现的路上跌跌撞撞地走著，尝试著不同的东西，然后逐渐地学习。我们明明知道汽车会发生车祸，造成人员伤亡，但是我们并没有因此而不使用汽车，相反，我们发明了安全带和道路指示灯。我们在前进的过程中也会与时俱进。但问题和风险在于，你有且只有一次机会，所以你必须在第一时间把它做好。这可能需要提前意识到问题所在并迅速找到避免出现这种情况的解决方案。但这正是我们人类所不擅长的事情，因此，我们需要付出更多的努力。

四、是什么决定著通用人工智慧的出现？

【问】：在我们探索发明超级智能之前，您是否认为我们正在朝著进化的方向前进？是否就像，我们对AI有所了解，我们有基本的技术和知识。但我们需要做的是发明更高效的机器，更好的演算法，更多的数据，以及所有这些东西，但所有这一切最终会给我们一个「超级智能（即通用人工智慧）」。或者您认为它还需要一些我们现在还不理解的东西，比如量子计算机等等。我们是在往这个方向发展吗？

【博斯特罗姆】：我不认为通用人工智慧的出现需要一台量子计算机。也许这是有帮助的，但我不认为这是必要的。我的意思是，如果你说更快的计算，更多的数据，更好的演算法，我认为结合起来就足够了。我想我们应该更多的将重点放在，未来演算法究竟需要发展到多好。

因此，近年来在包括深度学习和强化学习等机器学习方面取得的进步，都让人兴奋不已。我认为，目前还没有定论表明，我们是否需要拥有大量的新技术和知识，也许我们只是需要一些巧妙的方法，把我们已有的知识和技术串联起来，在它们的基础上构建新的东西，或者是实现更深层次的概念突破。这些都是难以预料的。

当然，还得在大量演算法改进的基础上，才能实现这一目标。但是，进一步的改进可能更多的是使用我们现有的一些基本的知识和技术，以巧妙的方式将它们组合在一起。在深入学习结构的基础上，更好地学习和提取概念，并将它们结合到推理中，然后用它来学习语言。如何更好地进行分层规划。但它仍将使用我们已经拥有的一些技术和知识，而不是那种完全抛弃过去的技术，以一种全新的方式开始的发明。我认为至少有一些证据表明，我们仍然在正确的轨道上前行，我们也能看到现有的一些进步。

【问】：据我所知，当我试著从不同的行业领域（包括编写演算法或者计算机编程等相关行业）里采访人们对于未来何时会实现真正的人工智慧的时候，大家给出的答案不一而同。我认为这是一个很有说服力的事实。但毋庸置疑的是，现如今行业里有人并不认为这是一种对思想资源和周期有用的方式。从广义上来说，你认为是在什么情况下那些人会忽视这一切，而他们又会在哪里犯错误呢？他们错过了什么？

【博斯特罗姆】：他们可能会因为对自己的印象过于自信而犯错。所以，这取决于他们相信的到底是什么。如果他们相信，在接下来的几百年里，我们基本上没有机会实现这个愿望，那么我认为他们就是过于自信了。人工智慧的发展并不是那种可以在短时间内预测到未来100年里将要发生什么的事情，至少目前是做不到的。因此，坚信可能或者不可能发生，都是一种过度自信的表现。从而引发业内专家们意见相左。

几年前，我们对世界领先的机器学习专家进行了一些民意调查。其中一个问题是，您认为需要多久，我们才能有50%的可能性拥有高水平或与人类水平相近的机器智能，也就是说可以实现真正的人工智慧？我们得到的平均答案是2040或2050年，当然这也取决于我们问的是哪组专家。然而，这些都是主观的想法。

目前尚没有一种严格的数据集可以证明这是正确的估计。但我认为，这确实表明在本世纪，准确的说是在本世纪中叶，很可能会实现真正的人工智慧。但究竟是真是假，还有待时间的考证。而这是主要研究人员的大致观点。这里面还存在著很大的不确定性。也许可能需要更长的时间来实现真正的人工智慧。但也可能会提前发生。我们可以借助概率分布来考虑，在各种可能的到达时间范围内的可能性分布。

【问】：在实现真正的人工智慧之前，您对人工智慧的头号担忧是什么？它对就业的影响又会是什么？

【博斯特罗姆】：目前来看，我所担心的是未来人类的工作问题。实现了通用人工智慧，也就意味著，届时机器可以完全取代人类，做人类可以做的任何事情。

一方面这帮助人类减轻了工作的负担，但是同时也带来了两个非常严峻的挑战。其中之一是经济方面的挑战，即人们如何谋生。现在很多人都依赖于工资收入生活，因此，未来工作被机器取代之后，他们需要一些其他的收入来源，要么来自资本分配，要么来自社会再分配。幸运的是，我认为在这种情况下，人工智慧真正实现了智能化，它将创造出巨大的经济繁荣。因此，这块经济市场蛋糕的整体规模将会大幅增长。因此，考虑到政治意愿，以确保每个人都能拥有高水平的生活质量，通过普遍的基本收入或其他方式的再分配，也应该是相对可行的。

现在，这就引出了第二个问题，也就是人类活著的意义所在。目前，很多人认为，他们的自我价值和尊严，与他们作为经济上富有生产力的公民的身份密不可分。很多人认为成为家庭的经济支柱是一件很幸福的事。但这种观念亟待改变。教育体系必须改变，训练人们在休闲中寻找生活的意义，培养爱好和兴趣。欣赏对话的艺术，培养对音乐的兴趣，建立个人的爱好等等方方面面的事情。为自己而活，因为每个人都是有价值的，都是独一无二的，而非为了生存赚钱养家而活。

我认为这是绝对有可能的。有一些群体从历史上就一直生活在这种情况下。例如，英国的贵族们认为，为生计而工作是有失身份的，他们认为这就像是在出卖自己，就像你不得不出卖自己的劳动一样，因此他们相信地位高的人是不需要工作的。

今天，我们处于一种奇怪的情况，地位越高的人工作得越好。例如企业家和CEO们每周需要工作八十小时。但这种情况可能会改变，但根本上，是需要文化的转变。

【问】：最后，你的新书《超级智能》可以说是有史以来最具影响力的书籍之一。书中你为人类敲醒了警钟，提醒人们要认真考虑未来人工智慧真正实现的问题，并建议我们应及时采取积极预防措施。您是否可以带我们来畅想一下未来的生活。

【博斯特罗姆】：这本书出版以来，在过去的几年里，在围绕人工智慧主题的全球性的讨论中，以及在技术研究等方面都出现了很大的转变，现在人们开始专注于寻找对人工智慧更好地控制的方式，而这对于当下先进的AI技术至关重要。目前已经有很多研究小组提出了这个问题。我们也在致力于解决这些问题。在伯克利，研究团队们正在与DeepMind共同举行定期的研究研讨会。这都是振奋人心的好消息，因为看到相关的努力在付出。

当然，我们希望这个问题不会太棘手。在这种情况下，我认为这种人工智慧的转变确实是开启了一个全新的层次。它可以让人类文明从目前的人类状态过渡到另一种完全不同的状态。随著技术的不断成熟，也许是我们的后代能够征服宇宙，构建和创造幸福状态下的超人类智慧的文明，而未来，探索经验的空间、存在的模式和相互作用，以及创造性活动，这些活动可能超出了目前人类大脑的想像能力。

我只是觉得，在这个广阔的可能性空间里，存在著一些非常有价值的模式。就像一个巨大的体育场或大教堂，我们就像一个蜷缩在角落里的小孩，这就是我们目前所处的环境下，一个生物人类有机体所能接触到的各种可能性模式的空间。它目前只是存在的所有可能性中很小很小的一部分，但一旦我们找到了创造这些人工智慧和人工智慧的方法，我们就可以开始解锁新世界了。

因此，拥有足够的智慧和些许的运气，我认为未来将是美好的，准确的说，未来将存在无限可能。（完）

【再说明】详细问答的原文出处：对话Bostrom：人类要在超级智能出现前将AI完全掌控

从尼克·博斯特罗姆的详细解释来看，尼克对超级智能的担忧，理由很充分。而该匿名答主的偏见，影响人进一步认识名人们对人工智慧担心的合理性。 @谢熊猫君翻译的文章本来就不是学术类的文章，不太严谨，也是正常范围之事。但名人们对人工智慧担心，并非来自该篇图说文章的影响，而是有很深层的原因。

Part2：补充一些学界人士对人工智慧的态度

许多人质疑相关人士在人工智慧领域的专业性不强。补充一下： MIT AI Lad主任Patrick Henry Winston的前任：人工智慧之父、图灵奖获得者马文·明斯基（Marvin Minsky）；MIT校长拉斐尔·莱夫（Rafael Reif）；卡内基·梅隆大学的机器人研究中心初始董事、图灵奖获得者拉吉·瑞迪（Raj Reddy）……倾向于支持雷·库兹韦尔（Ray Kurzweil）的技术奇点观点——还有，Patrick Henry Winston本身对人工智慧发展的态度：「温斯顿认为，今天的人工智慧研究所处的阶段相当于1950年D N A结构发现3年前的生物学。「当时人人都很悲观，大家都在说，我们可能永远都琢磨不透啦，」他说，然后双螺旋结构横空出世。「在之后的50年里，生物学取得了难以想像的进步。」温斯顿补充说，人工智慧也需要这样一两个重大突破……」人工智慧改变生活

另外，还有其他的相关人物保持支持或中立态度，在这里就不一一列举了。相关学者，完全否定强人工智慧实现的可能的并不多……

否定某种技术不可能的专家们，或许忘了克拉克的三定律：

定律一：如果一个年高德劭的杰出科学家说，某件事情是可能的，那他可能是正确的；但如果他说，某件事情是不可能的，那他也许是非常错误的；

定律二：要发现某件事情是否可能的界限，唯一的途径是跨越这个界限，从不可能跑到可能中去；

定律三：任何非常先进的技术，初看都与魔法无异。

Part3：新进展

最近的消息：马斯克等人确认的23个原则，将使AI更安全和道德-搜狐科技

「生命未来研究所」(Future of Life Institute，FLI)概括了「阿西洛马人工智慧原则」，列出了23条准则，使未来人工智慧的研究人员、科学家和立法者遵循，确保安全、伦理和有益。 文：Michael Irving 编译：多啦A亮 人工智慧将严重地破坏世界？人工智慧对人类是否有益？我们该摧毁它吗？这听起来像拍科幻电影，但是随著人工智慧的快速发展，数百名人工智慧和机器人领域的专家们联合编制了「阿西洛马人工智慧原则」，列出了23条准则，提出重点和注意事项来指导AI发展，共同保障人类未来伦理、利益和安全。 这23条准则由「生命未来研究所」牵头制定出，旨在确保人类在新技术出现时能顺利规避其潜在的风险。其突出核心成员有Stephen Hawking和Elon Musk。这个组织专注于由新技术和问题构成的潜在威胁，如人工智慧、生物技术、核武器和气候变化等。 2017年1月，在美国加利福尼亚州阿西洛马举行的Beneficial AI会议上，该组织收集了来自大学和公司的人工智慧研究人员，讨论人工智慧的未来及其应如何监管。在会议召开前，该组织让参会者做了一份调查：在未来几年，人工智慧需要怎样发展和监管，并用这些参会者的反馈制定出一个前期的目标点。修改后的版本在会上做了讨论研究，只有当90%的研究人员同意最终列出一份原则列表。 「部分签名的专家」 Demis Hassabis ，DeepMind创始人兼CEO Ilya Sutskever ，OpenAI研究总监、联合创始人 Yann LeCun， Facebook AI 研究室总监，纽约大学教授 Yoshua Bengio ，蒙特利尔大学、蒙特利尔学习演算法研究所所长 Stuart Russell，加利福尼亚大学伯克利分校计算机科学教授，智能系统中心主任 Peter Norvig ，谷歌研究总监 Ray Kurzweil ，谷歌研究总监；发明家、作家和未来学家，著有《奇点临近》 Jeff Dean，谷歌Google Brain项目负责人，谷歌高级研究员，AAAI成员 Tom Gruber，苹果公司；Siri的共同创始人，Siri 项目CTO和设计副总裁 Nils J. Nilsson，AAAI前任主席，斯坦福大学Emeritus Kumagai工程教授 Francesca Rossi， IBM&Padova，计算机科学教授，IJCAI主席、AAAI委员会、AI与伦理问题影响委员会联席主席，ACM成员 总共有808名AI /机器人研究人员签名； 以及 Stephen Hawking ，剑桥大学 Elon Musk，特斯拉CEO Jaan Tallinn ，Skype 联合创始人 Sam Altman ，Y Combinator 总裁 Gill Pratt ，丰田研究院CEO …… 阿西洛马人工智慧原则是著名的阿西莫夫的机器人三大法则的扩展版本。阿西洛马人工智慧原则主要分为三大类：科研问题、伦理价值和长期问题。 科研问题主要涵盖了科学家和研究人员对人工智慧系统开放的职责，以及在计算机科学、经济学、法律、伦理学和社会研究中可能产生的「棘手问题」。在这里要提出重点的是人工智慧不能单纯了为了利益而创造，而应该为了在确保人类不被替代的情况下通过自动化实现人类繁荣。保持一个开放、合作的人工智慧研究的文化也是一个优先考虑的事情，以确保研究人员和政策制定者在彼此交换信息的同时，不会以危害人类为手段与竞争对手参与竞争。在讨论环节最有意思和争议的问题应该是「AI应该具有怎样的价值观，应该具有何等法律和伦理地位？」一个拥有机器人的世界已经足够复杂，让机器人拥有权力似乎离我们很远，但是这些争议已经在欧盟开始了。我们越早考虑这些问题，将来就会越容易过渡。而问题是人工智慧该赋予怎样的权力？科学家认为人工智慧应符合一般的「人的价值」之类的尊严、权利、自由和文化等多样性。这意味著将人工智慧应用于个人数据不应侵犯任何人的隐私、自由或安全。如果有什么问题，人们需要确定产生这些问题的原因和方式，设计师和制定者在使用或误用系统中要承担在一定的道德责任。这些点都已经在实践中被考虑到了：科学家在谷歌DeepMind项目中讨论如何实现用一个「大红色按钮」去干预一个已经开始按行动路径执行任务的机器人，并防止它抗干扰。尤其让人害怕的是要注意「致命的武器军备竞赛是应该被禁止的」。「生命未来研究所」在过去一直强调这一点，2015年向联合国提交了一封公开信，请求联合国禁止军用人工智慧的发展。科学家们列出了清单，著眼於潜在的长期问题，包括未来发展这一重要技术平衡资源分配，但要规划和减轻人工智慧系统可能会面对的风险，特别是灾难性的或存在的风险。为此，安全控制措施应适用于AI，可以改善自身技术，阻止剧本里世界末日的发生，而在一般情况下，「超智只应服务于广泛共享的伦理理想的发展，并为全人类利益而不是一个国家或组织的利益。」 「Asilomar AI Principles 阿西洛马人工智慧原则」 科研问题 1)研究目的：人工智慧研究的目标，应该是创造有益(于人类)而不是不受(人类)控制的智能。 2)研究经费：投资人工智慧应该有部份经费用于研究如何确保有益地使用人工智慧，包括计算机科学、经济学、法律、伦理以及社会研究中的棘手问题，比如： ? 如何使未来的人工智慧系统高度健全(「鲁棒性」)，让系统按我们的要求运行，而不会发生故障或遭黑客入侵? ?如何通过自动化提升我们的繁荣程度，同时维持人类的资源和意志? ?如何改进法制体系使其更公平和高效，能够跟得上人工智慧的发展速度，并且能够控制人工智慧带来的风险? ?人工智慧应该归属于什么样的价值体系?它该具有何种法律和伦理地位? 3)科学与政策的联系：在人工智慧研究者和政策制定者之间应该有建设性的、有益的交流。 4) 科研文化：在人工智慧研究者和开发者中应该培养一种合作、信任与透明的人文文化。 5)避免竞争：人工智慧系统开发团队之间应该积极合作，以避免安全标准上的有机可乘。 伦理和价值 6) 安全性：人工智慧系统在它们整个运行过程中应该是安全和可靠的，而且其可应用性的和可行性应当接受验证。 7) 故障透明性：如果一个人工智慧系统造成了损害，那么造成损害的原因要能被确定。 8)司法透明性：任何自动系统参与的司法判决都应提供令人满意的司法解释以被相关领域的专家接受。 9)责任：高级人工智慧系统的设计者和建造者，是人工智慧使用、误用和行为所产生的道德影响的参与者，有责任和机会去塑造那些道德影响。 10)价值归属：高度自主的人工智慧系统的设计，应该确保它们的目标和行为在整个运行中与人类的价值观相一致。 11)人类价值观：人工智慧系统应该被设计和操作，以使其和人类尊严、权力、自由和文化多样性的理想相一致。 12)个人隐私：在给予人工智慧系统以分析和使用数据的能力时，人们应该拥有权力去访问、管理和控制他们产生的数据。 13)自由和隐私：人工智慧在个人数据上的应用不能充许无理由地剥夺人们真实的或人们能感受到的自由。 14)分享利益：人工智慧科技应该惠及和服务尽可能多的人。 15) 共同繁荣：由人工智慧创造的经济繁荣应该被广泛地分享，惠及全人类。 16)人类控制：人类应该来选择如何和决定是否让人工智慧系统去完成人类选择的目标。 17)非颠覆：高级人工智慧被授予的权力应该尊重和改进健康的社会所依赖的社会和公民秩序，而不是颠覆。 18)人工智慧军备竞赛：致命的自动化武器的装备竞赛应该被避免。 更长期的问题 19)能力警惕：我们应该避免关于未来人工智慧能力上限的过高假设，但这一点还没有达成共识。 20)重要性：高级人工智慧能够代表地球生命历史的一个深刻变化，人类应该有相应的关切和资源来进行计划和管理。 21)风险：人工智慧系统造成的风险，特别是灾难性的或有关人类存亡的风险，必须有针对性地计划和努力减轻可预见的冲击。 22)递归的自我提升：被设计成可以迅速提升质量和数量的方式进行递归自我升级或自我复制人工智慧系统，必须受制于严格的安全和控制标准。 23)公共利益：超级智能的开发是为了服务广泛认可的伦理观念，并且是为了全人类的利益而不是一个国家和组织的利益。