往届回声｜当机器有了意识，我们是谨慎接纳还是拒绝

往届回声｜当机器有了意识，我们是谨慎接纳还是拒绝足总杯直播 第三届世界顶尖科学家论坛将于10月30日-11月1日在上海举行。包括61位诺贝尔奖得主在内，近140位诺贝尔奖、图灵奖、菲尔兹奖、沃尔夫奖、拉斯克奖等全球顶尖科学奖项得主出席。论坛期

第三届世界顶尖科学家论坛将于10月30日-11月1日在上海举行。包括61位诺贝尔奖得主在内，近140位诺贝尔奖、图灵奖、菲尔兹奖、沃尔夫奖、拉斯克奖等全球顶尖科学奖项得主出席。论坛期间将有130余场科学家独立演讲、70余场主题峰会，大部分活动将通过网络向公众直播。

在过往的两届世界顶尖科学家论坛上，人工智能是科学家绕不开的话题。当前的人工智能远不如小说那样先进：它还不具备科幻电影中所描述的意识动机，可这并不能阻止我们担心：人工智能危机会发生在人类的未来。

特此整理世界顶尖科学家论坛往届参与者关于人工智能伦理困境的讨论，希望能帮助读者拨开笼罩人工智能的迷雾，看清人工智能的未来。

科幻小说、电影中到处都有人工智能、智能机器人的例子。比如，《银河系漫游指南》中的艾迪、《星际穿越》中的机器人塔斯、《机械姬》中的伊娃。这些作品中描述的机器人都有一个共同点：容易出错，且会对人造成伤害。

不得不承认的是，当前的人工智能远不如小说那样先进：它还不具备科幻电影中所描述的意识动机，可这并不能阻止我们担心：人工智能危机会发生在人类的未来。

恐惧来自未知

造成这种恐惧的原因是，目前，我们对人工智能的“黑匣子”了解甚少。“现在有一个非常大的争论，就是人工智能是不是能够有一个很深的网络来描述理解。系统可以学很多的东西，学不同的东西，但是这些不同的东西可能很难变成人们可以认知的东西，等于你是学不同的数学概念、学了不同英语的词，相互之间好像可以连在一起，但是这里肯定有一个逻辑推理。”2010年图灵奖得主莱斯利·瓦利安特说。

以深度学习为例，深度学习网络一旦被训练，即使是神经网络的设计者也不知道它是如何做到的。即便如此，许多大公司正在使用这项技术进行商业活动。例如，谷歌搜索提示、Facebook好友建议，许多公司还希望通过人工智能在工厂中进行质量控制，并在数据中心的冷却系统中发挥作用。在自动驾驶汽车的开发中，它也是重要的部分。

人工智能在生产生活中扮演着越来越重要的角色，给我们生活带来便利，但我们却无法解释人工智能做出决策的原因。这样的局面让人感到不安：人工智能，或者说智能机器人，应该以什么样的身份出现在人类生活中；当它们失控，做坏事，伤害到人类时，我们该如何解决？

“如果有一个人疯了，我们可以治好他，或者至少可以控制他；但如果一台人工智能的机器疯了，我们将无计可施。”2014年诺贝尔生理或医学奖得主、挪威科学家梅-布莉特·莫索尔在第二届世界顶尖科学家论坛上表示。

对于科学家来说，一方面认同人工智能对科研的帮助 ，另一方面对于人工智能产生的负面影响也非常谨慎。

“将人工智能应用于神经科学领域可以帮助人们更高效地处理数据、理解大脑的工作模式，但同时应警惕人工智能与脑机科学的风险。”2014年诺贝尔生理或医学奖得主、挪威科学家爱德华·莫索尔说：“我们应该决定用它做什么、不做什么。”

当机器有了意识，当人类植入了芯片

在许多科幻电影中，都描述过这样的场景：机器人有了自己的意识，开始觉醒，觉醒后的机器人，能力超群，又不受限。所以机器人觉醒后，能被称为“人”吗？

反过来，当人类植入了芯片，人类还能称为完整的人吗？今年7月份，硅谷“钢铁侠”马斯克旗下的脑机接口初创公司Neuralink宣布了一项在瘫痪患者体内植入电极的计划，目标是使瘫痪患者能够用大脑操作计算机。Neuralink公司表示，整个过程是在瘫痪患者的头骨上钻4个8毫米的孔，并置入植入物，使他们能够用自己的想法控制电脑和智能手机。

更进一步，当人类能克隆自己时，我们又该如何处置自己与克隆人之间的关系？克隆人能称为真正的人类吗？“在克隆上，你现在有我所有的基因，我身体当中的每一个要素，但是你能够复制一个我吗？坐在那里，然后跟我长得一模一样，你觉得是可能的吗？我觉得是不可能的，因为我并不仅仅是我的基因，我现在已经活了55年了，我有了很多的体验，就是我的复制品是没有经历过的。我们之所以为人类，是因为我们有基因、有生物组织，它们在跟环境不断的交互和互动。”梅·布莉特·莫索尔说。在她看来，把人类所拥有的记忆和体验都放到机器人身上重现，这才是难点。

谨慎地接纳，还是拒绝？

那么，当人工智能真的失去控制，做出伤害人类的事情时，我们能采取什么措施？如果真的来到了克隆人与人类共处的时代，我们该如何处理两者之间的关系？

“我觉得我们首先需要讨论，什么是我们想要的，以及什么是我们不想要的。我认为，设置具体的界限，现在为时尚早。但不管是神经科学家，还是非神经科学家，需要参与到这个讨论中来。” 爱德华·莫索尔认为。

梅·布莱特·莫索尔在讨论中举了人脸识别的例子。当前，人面识别技术已经非常成熟，但如何应用还是难题。今年美国旧金山成为了美国第一个禁止政府使用人脸识别技术的城市。反对使用这项技术的人认为，如果不对这项技术进行规范，将会为政府提供前所未有的权力来跟踪人们的日常生活，这与健康的民主不相容。

“因为仅仅是一个小像素的不同，就会导致识别的失败，会把你识别成另一个人了。如果我们用它来追溯罪犯，因这种面部识别的错误而抓到错误的嫌疑人，这就非常危险。所以我们要非常小心地使用这些工具，这对我们很重要。这些技术可以让我们生活可以更加高效，但是同时应该也保持警惕。”梅·布莱特·莫索尔说。

同时，梅·布莱特·莫索尔指出，如果我们特别想要解决一个问题，并找到答案，往往有的时候我们会忘记我们做了什么。

“AI现在已经出现了这是真实的，AI现在的智能是人类没有办法理解的情况，是会不断发展下去吗？是不是人工智能的判断是人类无法理解的东西，这会产生什么样的影响？我觉得我们可能必须要小心谨慎，这里有很多伦理道德的问题。监管可能是非常重要的一点，如何用道德来约束或者监管我们现在做的事情。”

也有人认为应该直接拒绝。“我们正处在大型的革命开端，机器在很多时候被认为可以替代人类了。为了能够应对自主系统的挑战，我们需要进一步研究。在不尝试理解这些机器如何做出决策的情况下，不应该接受这样的技术在大量场景下使用。”2007年图灵奖得主约瑟夫·斯发基斯在第二届世界顶尖科学家论坛上表示。

约瑟夫·斯发基斯阐述了自己的理由，他称：“要构建下一代自主系统，需要有很多的限制，因为在自主系统当中要用各种保险的技能，能不能信任它们就是一个问题，此外还需要建设各种架构，而整个系统是高度动态变化的，这里就有一个非常大的安全隐患。”