人工神经网络和深度学习（一种受大脑启发的机器学习方法）的先驱。2018年，本吉奥与Meta首席人工智能科学家杨立昆（Yann LeCun）、谷歌前研究员杰弗里·辛顿（Geoffrey Hinton），因“概念和工程上的突破，让深度神经网络成为计算的关键组成部分”，共同摘得计算机领域的诺贝尔奖--图灵奖。如今，上述三位计算机科学家也被称为“人工智能教父”。

今年7月，本吉奥向美国参议院一个小组委员会表示，应当考虑通过立法来监管快速发展的人工智能技术。本吉奥当时解释称，他和其他顶级人工智能研究人员已经修改了他们对人工智能何时能够达到人类广泛认知能力水平的预测时间。“以前认为要几十年甚至几个世纪才能实现，现在我们认为可能在几年或几十年内实现，”本吉奥向参会议员说。“更短的时间框架，比如说五年，确实令人担忧，因为我们需要更多的时间来有效缓解对民主、国家安全和我们共同未来的潜在重大威胁。”

今年9月的一天，本吉奥在自己的办公室接受了来自连线杂志记者的专访。双方谈论了一系列的话题，涉及引人注目的人工智能头条新闻内容与实际情况的细微差别、人工智能研究人员之间的禁忌，以及为什么部分顶级人工智能研究人员不认同人工智能将对人类构成风险等等问题。

以下为访谈内容：

达戈斯蒂诺：英国广播公司（BBC）在今年5月发表了一篇文章，称您对自己一生的工作感到“失落”。您在博客中写道，你从未发表过这种言论。尽管如此，您似乎也陷入了某种纠结。如何描述您正在经历的事情？

本吉奥：我说了一些与此相关的东西，但其中的细微差别被忽略了。整个冬天，我对自己的工作、工作目的和工作重点的看法发生了巨大的转变。我在接受英国广播公司采访以及后来在我的博客中试图表达的是：我并没有迷失。我开始质疑并意识到，也许我没有关注一些重要的事情，这些事情不仅仅同研究方向有关，也同情感有关。

我在至少十年前就读过一些关于存在性风险的著作。而现在，我小组里的学生和周围的学生都在谈论这个话题。

在技术层面，我非常认真地阅读了加州大学伯克利分校的斯图尔特·罗素教授（Stuart Russell）在2019年出版的书籍《与人类相容：人工智能与控制问题》（Human Compatible: Artificial Intelligence and the Problem of Control）。

从情感上讲，我当时没有把这个当回事。我当时想：“是的，这是人们应该看看的书籍。”但我当时真的认为，“这是遥远的未来。”我可以继续我的工作，因为我正在做的事情将是有用的，在科学上是重要的。我们希望了解人类和动物的智力，制造出可以帮助我们应对各种重要和困难挑战的机器。所以，我继续工作，而没有改变我的工作方式。

但在冬天，我开始意识到AI双面剑的性质和潜在的失控是非常严重的事儿。它们会发生的可能比我预计的要早得多。我不能继续忽视这一点，所以不得不改变手头在做的事情。此外，我也有必要去谈论它，因为直到过去几个月，很少有人--即使是在人工智能社区--在认真对待这些问题。虽然早有一些人已经意识到这些风险的重要性，但我、杰弗里·辛顿以及其他为数不多的一些人要更受到关注。

这里还存在一个心理因素。你以一种特定的形式构建自己的身份或者生命的意义。然后有人告诉你，或者你通过推理认识到，你描述自己（身份）的方式并不完全符合事实，你忽略了一些非常重要的事情。我理解为什么我的许多同事很难首先接受这样的想法（来自人工智能的潜在灾难性威胁），然后有勇气说出一些事情。（因为它和我们的身份认同相关），这在我们的社区中基本上是永远的禁忌。

说出真相很难。人们在不同的时间或以不同的速度走向这条路。我非常尊重那些和我看法不同的同事。一年前的我也是这样的。

达戈斯蒂诺：这个禁忌在早期的人工智能研究社区中是如何表达的？现在还有这个情况吗？

本吉奥：谈论存在风险的人基本上没法在主流科学杂志刊发文章。这个问题有两面性：这些人在试图谈论或提交论文时遇到了阻力；但是，这些人也对所在领域的主流科学场域（scientific venues）不屑一顾。

过去6个月发生的事情正在打破这一障碍。你们认知的进化恰逢OpenAI在2022年末发布ChatGPT，进而引发公众对大型语言模型的认识不断上升之时。起初，许多公众人物都对ChatGPT啧啧称奇，甚至被它折服。但现如今，有些人已经可以不为之所动了。比如说《大西洋月刊》刊登了一篇名为《ChatGPT比你想象的还要蠢》的文章。在最近的一次美国共和党总统候选人辩论中，克里斯·克里斯蒂（Chris Christie）就对维韦克·拉马斯瓦米（Vivek Ramaswamy）说，他“今晚已经受够了一个听起来像ChatGPT一样的家伙。”

达戈斯蒂诺：ChatGPT的发布对你的领悟有影响吗？不管怎样，你现在认为ChatGPT是这场变革的最强音吗？

本吉奥：我的轨迹和你描述的正好相反。我更想了解并弥合当前人工智能和人类智能之间的差距。ChatGPT缺失什么？它失败在哪里？在ChatGPT发布后的几个月里，就像许多同行一样，我试图设置一些问题，让ChatGPT做一些愚蠢的事情。

在我体验ChatGPT的前两个月，我最大的安慰是我相信它仍然缺少一些基本的东西。这是我当时最关心的事。但是玩够了之后，我才反应过来ChatGPT一个惊人的进步。我们的进展比我预期的要快得多。它留给我的印象是，去修复那些它缺失的东西可能不需要太多的时间。

每个月我都会想出一个新的想法，这个想法可能是打破（前面提到）障碍的关键。弥合差距的点还没有到来，但它可能会很快到来--也许不是由我的团队找到，但也会是另一个团队。这也许需要十年时间。在研究时，你可能会觉得已经很接近了，但这里面可能有一些你没有考虑到的障碍。

如果把我正在研究的关于AI去表达及其复杂的概率分布的能力，结合上以更合理的方式学习和使用海量信息的能力，那么我们可能会非常接近（突破了）。这个以直觉方式使用信息的能力相当于我和其他人所说的系统1（System 1）。而当前AI所缺失的那个思维薄层，是系统2（System 2），也就是推理能力。

我不禁开始思考，如果在一年内我们弥合了这个（人的思维和机器思维的）差距，然后让AI持续的扩大规模，那之后将会发生什么？

达戈斯蒂诺：意识到这一点后，您做了什么？

本吉奥：今年3月底，在未来生命研究所(Future of Life Institute) 发布公开信，呼吁所有人工智能实验室立即暂停训练比GPT-4更强大的人工智能系统至少6个月之前，我联系了杰弗里·辛顿。我试图说服他在公开信上签名。我当时惊讶地发现，我们都得出了相同的结论。这让我想起了伊萨克·牛顿（Issac Newton）和戈特弗里德·莱布尼茨（Gottfried Leibniz）同时独立发现微积分的场面。

达戈斯蒂诺：这是否意味着多重独立发现（当两位或两位以上的科学家或发明家提出同一种理论，发现相似的现象，或者发明、设计出同类的仪器或装置时，就产生了多重独立发现）的时机成熟了？

本吉奥：别忘了，我们只是意识到了别人已经发现的东西。此外，辛顿认为，与大脑相比，数字计算技术拥有根本性的优势。换句话说，即使我们只是找出足以解释人类大部分智能的原理，然后将其放到机器里，机器也会自然的比我们更聪明。从技术角度看，如阅读大量文本并以整合的速度，机器要比人类快数十万倍或数百万倍。

如果我们弥合了人和机器思维上的差距，我们就会拥有比人类更聪明的机器。这在实践意义上有多大的重要性？现在没人知道。但你可以很容易地想象，在编程、发动网络攻击或设计生物学家或化学家目前手工设计的东西等方面，机器会比人类做得更好。

过去的三年中，我一直致力于把机器学习带入科学领域，尤其是应用于化学和生物学的机器学习。我们的目标是帮助设计更好的药物和材料，分别用于对抗流行病和气候变化。但同样的技术可以用来设计致命的产物。因为我的这种认知在慢慢积累，所以我在信上签了名。

达戈斯蒂诺：您的观点，包括英国广播公司发表的文章，都引起了很大的关注。您怎么看?

本吉奥：媒体迫使我说出所有这些想法。这是一件好事。最近，在过去的几个月里，我一直在思考我们应该在政策方面做些什么。我们如何降低风险？我也一直在想对策。

有些人可能会说：“嘿！本吉奥是想吓唬人。”但我是个积极向上的人。我并不像人们所说的那样是一个末日论者。（只是）这儿有个问题，而我在想它该如何被解决。我想和其他对此问题有想法的人讨论一下这个问题。现在有大量的资金投入到人工智能领域，提高人工智能能力的研究正在竞相展开，这意味着缓解最大的风险迫在眉睫。

达戈斯蒂诺：我们有针对核风险的法规和国际条约，但比如说，朝 鲜就不在谈判桌上。我们真的能控制人工智能带来的风险吗？

本吉奥：根据我们作为一个集体的最终谨慎程度，我们或多或少可以通过国家监管和国际条约控制人工智能带来的风险。就像核条约一样，在各国之间建立最低标准是很重要的。人工智能可能造成的伤害不受国界限制。

没有100%的保证不会发生坏事。即使我们有一个禁止人工智能超出某些级别的国际条约，也有人会不尊重这些限制。但是如果能够推迟人工智能技术发展超过某个点十年，那就太好了。在这段时间里，我们可能会改进监管。我们可能会提高防御。我们可能会更好地理解风险。

人工智能技术当前的开发需要大量的资金和专门的硬件。目前，你不可能大量购买像GPU这样的硬件而不被注意到，但各国政府不会跟踪谁买了什么。它们可以从这样做开始。时间至关重要。监管可以降低灾难发生的概率。或者说，把真正糟糕的事情将要发生的时间推后，或者把可能发生的事情的几率降到最低。

不幸的是，在广岛和长崎投下的原子弹才是让各国政府坐在会议桌旁并愿意讨论的原因。尽管冷战已经过去。我希望我们在行动之前不需要出现那种程度的灾难。但事态有可能会发展到那一步。

达戈斯蒂诺：公众喜欢谈论通用人工智能。你认为那会在一夜之间发生吗？或者它会是在连续体中发生的？

本吉奥：向AGI发展的人工智能是个连续体。肯定是这样。我过去不喜欢这个术语，因为我认为完全通用智能不可能以20年前被定义的方式存在。但现在人们理解它的方式和媒体使用它的方式只是意味着“一个擅长很多事情的人工智能系统。”

从伤害的角度来说，它是不是什么都比我们强都无所谓。也许有些比赛人类会赢。但如果通用人工智能在可能伤害我们的事情上比我们强，谁会在乎我们赢得了一场比赛？重要的是它们在可能造成伤害的领域的能力。这才是我们应该关心的。即使是现在，如果我们怀着恶意的目的来设计通用人工智能，它也可能是危险的。

达戈斯蒂诺：人工智能和气候变化的潜在相互作用会带来风险吗？

本吉奥：人工智能应该会主要是在帮助抵御气候变化。除非它处于失控状态，否则我不认为人工智能会把气候变化作为武器。如果出现了失控的情况，改变气候可能是人工智能加速人类毁灭或对人类社会造成严重破坏的一种方式。

达戈斯蒂诺：一台机器怎么能改变气候呢？

本吉奥：这是一个重要的问题。许多人对关于人工智能风险的担忧做出了回应。他们说：“在现实世界中，计算机怎么可能做任何事情？都是虚拟的。我们了解网络攻击，因为这一切都发生在机器中。”

但这其实很简单。电脑上发生的事情会以多种方式影响人类。首先，我们的许多经济基础设施都依赖于计算机--我们的通信、供应链、能源、电力和交通。想象一下，如果这些设施中的许多因为网络攻击而停止工作。它可能不会毁灭所有人，但它可能会给社会带来巨大的混乱，因此受苦的人可能会很多。

其次，鉴于人工智能系统在操控和理解语言方面的进展，我们可能在几年内拥有能够影响人类的人工智能系统。它们可以说服我们为它们做事。想想那些阴谋论者。人工智能系统在互联网上可能不受管控。它可以开始在社交媒体上与人类互动，尝试看看什么样的对话可以成功地改变人们对某些事情的看法。这可能会让我们采取一些小行动，这些行动与其他行动一起联动，就可能会产生灾难性的结果。这种情况有可能出现。

当然，也许这种情况不会发生。也许我们有足够的防御，也许人类很难被说服。但近年来我所看到的关于阴谋论所影响的一切，都让我觉得我们可以很有影响力。也许不是每个人都有影响力，但（造成严重后果）也没必要每个人都有影响力。人工智能只需要影响足够多的人或足够多的当权者就可以改变现状，制造灾难性的结果。所以，最终动手干脏活儿的可能是人类。

达戈斯蒂诺：所以说，人类的无知是一个致命的弱点。我们在其他方面是否可能容易受到人工智能的攻击？

本吉奥：给你举另一个更简单的威胁例子，你甚至都不需要相信会有能力更强的AI。一个人工智能系统可以收买人们去做一项工作。犯罪组织做你让他们做的事是为了钱，他们不问钱从哪里来。即使是现在，一个人或一台机器访问暗网也很容易。

如果我们展望未来至少五年，我们也有可能解决机器人技术。现在，我们有擅长视觉的机器。我们也有擅长语言的机器。机器人的第三条腿是控制--拥有一个可以控制的身体来实现目标。在机器人的机器学习方面有很多研究，但它还没有像过去十年我们在语言和视觉方面那样的突破时刻。但它可能会比我们想象的来得更快。

达戈斯蒂诺：机器人技术有突破性进展的障碍是什么？

本吉奥：在机器人领域，我们没有现有的规模数据，例如语言和图像。我们没有像处理文本一样，部署1亿个机器人来收集海量的数据。即使在不同的文化中，文本也是有效的。你可以混合不同语言的文本，并利用它们的联合优势。机器人技术还没有做到这一点。但是有足够钱的人可以在未来几年内做到。如果是这样的话，那么人工智能就进入了部署阶段。

现在，一个变成恶棍且自主的人工智能系统仍然需要人类来获得电力和零件。它现在还需要一个正常运转的人类社会。但这可能会在十年内改变。很有可能我们不应该指望它来保护我们。

达戈斯蒂诺：你对人工智能与核风险或生物安全的潜在相互作用的担忧是什么？

本吉奥：我们真的希望避免让一个人工智能系统轻易地控制核武器的发射。军队应用人工智能技术是超级危险的，甚至关乎生死存亡。国际社会需要努力加快禁止致命自动武器。

总的来说，我们应该让人工智能远离我们所拥有的任何能迅速产生伤害的东西。生物安全可能比与人工智能相关的核危险更危险。许多公司会接收你发给他们的指定DNA序列的文件，然后编写一些细菌、酵母或病毒，它们的代码中会包含这些序列，并会生成相应的蛋白质。通常，这是好事--例如，有助于创新药的开发。但是这样做的公司可能没有技术手段知道你发送给他们的序列可能会被恶意使用。

我们需要人工智能和生物技术方面的专家来制定这一法规，把这些风险降至最低。如果你是一家老牌制药公司，没问题。但是那些在车库里自己捣鼓创业的人不应该被允许创造新药。

达戈斯蒂诺：你和其他顶级人工智能研究人员之间关于人工智能潜在危险的明显分歧有什么意义？包括图灵奖共同获奖者杨立昆，他没有在未来生命研究所的信中签名。

本吉奥：我希望我能更好地理解，为什么在价值观、理性和经验方面基本一致的人会得出如此不同的结论。也许是一些心理因素在起作用。也许取决于你从哪里来。如果你在一家推销人工智能会变好这一理念的公司工作，可能很难像我一样扭转看法。辛顿从谷歌离职是有原因的。也许心理因素并不总是有意识的。这些人很多都是真诚的。

此外，为了思考这些问题，你必须进入许多科学家试图避免的思维模式。我所在领域和其他领域的科学家喜欢公开表达基于非常确凿证据的结论。你做一个试验，能够重复十次做同一个试验。你有统计学上的信心，因为它是重复的。这里我们讨论的是不确定性大得多的事情，我们无法实验。我们没有过去十次危险的人工智能系统崛起的历史。

但是风险如此之大，我们有责任展望不确定的未来。我们需要考虑潜在的情况，想想能做些什么。其他学科的研究人员，如伦理科学或社会科学，当他们不能做试验时会这样做。即使我们没有事情将如何发展的数学模型，我们也必须做出决定。

除了那些持有不同意见的人，还有绝大多数沉默的研究人员，因为这种不确定性，他们没有足够的信心采取这样或那样的立场。

达戈斯蒂诺：当你想到人工智能威胁人类的潜力时，你在绝望到希望的连续光谱中处于什么位置？

本吉奥：用什么词来描述呢？用一个法语词汇，应该是“无力的”（impuissant）。就是一种有问题，但我解决不了的感觉。比那更糟，因为我认为它是可以解决的。如果我们都同意一个特定的协议，我们就可以完全避免这个问题。

气候变化也类似。如果我们都决定做正确的事情，我们现在就可以阻止这个问题。这是有代价的，但是我们可以做到。人工智能也是一样。我们可以做些事情。我们都可以决定不建造我们不确定是否安全的东西。很简单。

但这与我们的经济和政治体系的组织方式背道而驰。除非发生灾难性的事情，否则很难实现这一目标。那么也许人们会更认真地对待它。但即使这样，也很难，因为你必须说服每个人合理去行为。气候变化更容易。如果我们只说服99%的人表现良好，就不会有问题。但就人工智能而言，你需要确保没有一个人去做危险的事情。

达戈斯蒂诺：我想“impuissant”应当翻译为“Powerless”（无能为力）。

本吉奥：我也不是完全无能为力，因为我会说话，我可以努力说服别人朝着正确的方向前进。我们可以做些事情来降低这些风险。

监管并不完美，但它可能会放慢速度。举例来说，如果世界上允许操作潜在危险的人工智能系统的人数减少到几百人，风险可能会降低1000倍以上。这值得去做，也没那么难。我们不允许随便谁都能驾驶客机。我们了规范飞行要求，这大大降低了事故率。

即使我们找到了构建安全的人工智能系统的方法，从维护民主的角度来看，它们也可能不安全。如果你是人类，权力会冲昏你的头脑。所以，我们可能会失去民主。

达戈斯蒂诺：你为何从一个安全但强大的人工智能系统的存在，会谈论起失去民主的问题？

本吉奥：例如，它可以从经济主导地位开始。我不是说企业不能做有用的东西，只是企业的使命是支配别人和赚钱。如果一家企业某个时刻在人工智能方面取得更快的进展，它可能会在经济上占据统治优势。这家企业提供的每样东西都比其他任何企业更好更便宜。然后它用自己权力来控制政治，因为这就是我们的系统运作的方式。在这条道路上，我们可能会以世界政府独裁而告终。

不仅仅是规范人工智能的使用和谁有权限。我们需要为有一天人们或人工智能系统滥用这种权力做好准备，如果我们失去控制，它们就会实现自己的目标。

达戈斯蒂诺：你对我们如何更好地准备有什么建议吗？

本吉奥：在未来，我们需要一个人道防御组织。我们在每个国家都有防御组织。我们需要在国际上组织一种方式来保护免受可能毁灭人类的事件的影响。这是一个长期的观点，要让多个国家就正确的投资方式达成一致需要很多时间。但是现在，所有的投资都发生在私有领域。没有任何公益目标可以捍卫人类。