本吉奥WAIC演讲全程视频：对AI分享的认知分歧很大，也没有成熟的解决方法

腾讯科技讯 7月5日，2024世界人工智能大会进入第二天。在前沿人工智能安全与治理论坛上，深度学习三巨头之一约书亚·本吉奥发表了开幕演说，讲解了他所领导的国际专家团队近期发布的关于AI安全的重要报告。

本吉奥教授指出，目前科学界对AI风险的看法存在较大分歧，这主要源于对AI未来发展速度的不同预期。但他们都同意，AI带来的风险主要分为三类：恶意使用风险、故障风险和系统性风险。他尤其强调了系统性风险，这涉及AI对劳动力市场的影响、全球AI发展不平衡带来的"AI鸿沟"、市场集中度过高等问题，他呼吁政策制定者需要为各种可能的情况做好准备。

同时，他强调了当前AI风险评估和降低方法的局限性，指出我们对AI系统的理解仍然不够深入，这给风险管理带来了挑战。面对这些挑战，本吉奥教授提出了一系列建议。他呼吁加大对AI安全研究的投入，开发更有效的风险评估和降低方法。他还强调了国际合作的重要性，特别是在应对可能的AI军备竞赛方面。

以下为演讲全文：

今天，我向大家介绍《人工智能安全国际报告》，以及它对于国际社会在人工智能风险与安全问题上达成共识的意义。这份报告主要关注先进的人工智能技术，特别是像大型语言模型和其他多模态模型这样的通用人工智能。

我的演讲将分为两个部分。首先，我会介绍这份报告的内容，然后分享一些关于它对未来意义的个人见解，以及我提出的一些宏观层面的建议，尽管报告本身并没有包含任何具体建议。这份报告是对科学研究的整合，旨在帮助政策制定者更好地履行职责。

这份报告的正式名称是《国际关于高级人工智能安全性的科学报告》，我们花了大量时间来确定这个标题。报告聚焦于风险，因为对于政策制定者而言，重要的是要理解其中的危险、风险以及能力，以便他们能够管理这些风险，例如通过制定法规。

我们在去年11月的莱斯利公园英国人工智能安全论坛后被赋予使命，支持制定一份关于人工智能能力和风险的独立、包容性的国际报告。"独立"意味着科学家有最终发言权，而非其他国家。有30个国家以及欧盟和联合国参与，我稍后会进一步介绍这个过程。

报告涵盖了所有已知的风险和当前的危害，比如偏见和虚假信息，以及预期中的危害，如对劳动力市场的影响，还有各种可能的滥用，当然，最大的风险是超级人工智能失控之类的情况。我们的目的不是解决新的科学问题，而是总结和综合现有的科学文献，为政策制定者提供关于这些问题的证据。

参与这项工作的75人团队设有一个咨询小组，30个成员国各自提名了一位专家，欧盟和联合国也各自提名了一位专家。此外，我们还提名了16位撰稿人。专家小组提供反馈和评论，我们与专家小组在报告的不同版本之间进行迭代。我们还咨询了一组资深顾问，他们是相关领域的各方面专家，在几个月内管理这么多人是一项巨大的任务。

那么我们在报告中发现了什么？一些焦点问题，也许并不令人意外，但向政策制定者传达这一点很重要：科学界对于风险存在很多分歧。我们深入探讨了一些问题，有些问题共识较多，有些则较少。

关于AGI（通用人工智能）时间线上的风险，人们的看法是什么？比如，它会实现吗？会在几年内发生吗？这会是几十年后的事情吗？然后是关于影响的问题，当我们达到AGI时会发生什么？比如，会不会有一个快速起飞的过程？它将如何以各种方式影响社会？这些都是非常重要的问题。

AI所带来的具体风险

报告随后讨论了风险产生的问题。那么，目前有哪些科学手段试图缓解这些风险？这些方法是什么？它们的局限性又在哪里？我认为报告的核心结论，如果要用一句话概括，那就是不幸的是，目前没有已知的方法来防止当前和未来的风险，例如潜在的灾难性风险，由误用和失控引起的风险。这是一个重大的行动号召，一个巨大的警示信号。但是，我们仍然拥有自主权，集体而言，世界可以采取行动，更好地理解这些风险并更有效地缓解它们。

让我们再深入一点。首先，我们为何要关心风险，是因为存在利益。通用人工智能可能非常有用，可以应用于许多伟大的应用中，但前提是我们必须妥善管理。因为存在风险，我们已经考虑了三种类别的风险：恶意风险、故障风险和系统性风险。

恶意风险很容易理解。人们利用AI做坏事，做违法的事情，不道德的事情，比如诈骗、深度伪造、虚假信息、网络攻击、生物武器等等。

系统性风险涉及社会和技术结合的问题。比如对劳动力市场的影响，随着我们越来越多地自动化工作，从事这些工作的人力劳动价值下降。如果同样的工作可以用十分之一的成本完成，那么，这项工作的价值就会下降。那么失去工作的人会怎样？现在看来这在全球似乎不是问题，但它可能会成为一个问题。

另一个系统性风险是所谓的AI鸿沟，即AI领域的人才和能力集中在少数几个国家。这是否意味着权力会集中在少数几个国家？这是否意味着AI的利益将会集中？这是否意味着AI的发展方向可能对某些国家有利，但可能对全球南方国家不利？

另一种权力集中是市场集中，即训练这些最前沿AI系统的资本需求。随着我们意识到可以训练更大的模型并且它们越来越好，训练它们的成本正在呈指数级增长。这就是所谓的规模法则（Scaling Law）。但这同时也意味着，只有极少数参与者拥有训练未来AI系统所需的资本。这对市场效率意味着什么？市场集中度的滥用对社会和经济不利，这意味着什么？

另一个与AI与社会互动相关的系统性风险是环境影响。我刚才提到，训练这些系统的成本在增加，这是因为我们训练的系统越来越大，这需要越来越多的能源。训练AI系统将对总能源需求施加巨大压力。可能在几年内就会达到10%。因此，我们必须预见到这一点并加以思考。

当然，报告中还涉及了AI相关的其他更社会化的问题，比如隐私和版权。报告中还提到，可能需要数年时间来建立监管机构，并弄清楚监管机构应该要求企业做什么。当技术发生变化时，可能需要时间来适应等等。其他风险因素与权力集中在少数人手中有关，这是我们必须小心对待的。

关于降低风险的技术方法，我将进一步讨论。我们谈论了很多现有的东西，但目前并没有真正令人满意的解决方案。它们都有局限性，我将进一步讨论。因此，主要结论之一是需要更多适用的方法，同时也是为了更好地理解这些系统，以便我们能够减轻风险并更好地了解我们的方向。

现在让我们来谈谈关于这些风险的国际观点多样性。有很多争论，正如你或许能在媒体、与人交谈或浏览社交媒体时意识到的那样。特别是，人们对于风险的看法存在很大差异，有些人认为没有风险，而有些人则认为风险可能是灾难性的。但有趣的是，探究这些差异的来源在哪里。

此外，你必须意识到，这些风险与未来的事物有关。大多数情况下，高影响风险涉及的是尚未存在的系统。当然，人们没有水晶球，无法预知未来会发生什么。所以，实际上，关键在于，几年或几十年后我们将拥有什么样的AI？我们知道趋势非常明显，AI的能力持续进步，并且进步迅速。因此，这些不同的观点意味着人们在AI对劳动力市场、网络攻击、生物武器攻击或失控等方面的影响上存在分歧。

但我们发现，这些观点的差异，最好通过人们思考方式的不同来解释，以及人们认为AI将变得更有能力的速度有多快。对于社会将如何采取措施来减轻这些风险，以及诸如监管和条约等措施的有效性，也存在不同的预期。

因此，正如我所说，解释这些差异的核心因素，是未来进步的速度，而这具有不确定性。现在，当我们说某事不确定时，像这样的事情非常重要，它将改变未来。从政策制定者的角度来看，如果科学家们对未来进步的速度意见不一，政策制定者需要面对这一现实，并为所有可能的情况做好准备。也许正如某些人所说，AI将在三年内实现，或者可能需要30年。我们需要在政策方面准备好应对所有这些选项。

降低风险的方法

现在让我们更深入地探讨风险降低方法及其局限性。已经有许多技术方法可以用来评估和降低通用人工智能的风险。评估风险是一方面。那么，是否存在问题？例如，人工智能是否能够做出危险的事情？这是一种问题，我们可以利用它来降低风险，因为如果我们检测到危险行为，那么我们可能会停止，不部署这个系统，甚至不继续训练它。

降低风险是另一回事。我们如何改变方法，改变人工智能系统本身，以防止它做出坏事，比如可能被用来伤害人？因此，为这两方面制定标准至关重要，因为监管机构应当要求采用现有的最佳方法来评估和降低风险。

遗憾的是，目前用于评估和降低风险的方法存在局限性，监管机构了解这些局限性非常重要。例如，我们并不完全理解当前的AI模型，即神经网络，它们是如何做出决策、如何得出特定输出的。我们知道它们是如何被训练的代码，但一旦训练完成，就如同，你知道的，你有一个孩子，我们可能理解人类成长和出生的生物学原理，但我们并不真正理解他们为何会做出某些行为的细节，这里的情况与之类似。

这是一个问题，因为当AI行为失常时，我们可能无法预见它何时到来，也不知道原因以及如何修复它。另一个问题是现有的安全防护方法容易被移除，比如使用越狱手段，尤其是如果你能够进行精细调整的话。因此，如果系统的权重是可获取的，那么移除所有安全保护措施就变得非常容易。

关于评估方面，目前的运作方式及其不理想之处在于，我们基本上会问它许多不同的问题，看它是否会给出不当的回答。所以我们只是在各种情况下测试它，但这些都是抽查，我们无法检查每一个可能的问题。这样做有用是因为如果我们检测到什么，那么我们就知道存在问题，但没有定量的安全保证。如果抽查没有发现任何问题，那并不意味着就没有问题。我们只有在发现问题时才有话可说。即使我们没有发现任何问题，问题可能依然存在。

我们不应该只关注当前的发展。我认为我们还有几年的时间，政府可以采取许多措施来减轻这些风险。正如我所说，我们需要更好地理解这些系统是如何运作的，并且仔细思考我们为什么要以及如何发展人工智能。例如，它是否会被应用于有利于冲突中的攻击者或防御者的方式？想想网络攻击。人工智能的使用方式有多种变化，可能会更有利于攻击者或防御者。我们又该如何获取人工智能带来的经济利益？这也是我们可以集体选择的。谁将从中受益？我们投入了多少研究资源来减轻这些风险？

这是一份我们上个月在首尔AI论坛上提交的中期报告。请关注这份报告，给我反馈。我们正在为今年年底准备一份更全面的报告。

本奥吉对未来的个人观点

现在，我来谈谈对大局的思考。报告中谈到了关于时间线的不确定性，AI的发展可能极其迅速，我们可以看到随着时间推移的不同基准，X轴表示年份，Y轴表示性能。，黑色线条代表人类的表现。在许多任务上，随着时间的推移，我们接近甚至超越了人类的表现。因此，我们需要学会管理这些风险，正如我们在今年与许多中国同事共同发表的论文中所讨论的，关于在科学快速进步中管理极端风险。

那么我们应该怎么做？我认为总体而言，我们并未充分准备好应对这些极其迅速的变化。例如，想想新冠疫情带来的情况。因此，我们需要立即开始着手准备。我们需要考虑关于风险阈值监管的互联网协议，特别是对于那些灾难性风险，如失控和误用。正如我所说，我们需要进行更多的研究，以便更好地理解风险、能力和其后果，并构建应对计划。如果我们检测到风险会发生什么？一旦这些阈值，即红线被跨越，当存在关于重大权重的不确定性时，我们应该如何应对？

我们应该考虑一系列研究项目，以尝试改进评估方法和如何制造更安全的AI。例如，许多研究人员正在研究所谓的安全设计AI，我们可以在其中获得更多保障。但某些方法可能提供更强的保障，开发时间也更长，而有些方法可能更简单，但安全性可能不如前者。如果AGI在三年内实现，我们必须在三年内做好准备。因此，我们需要所有这些项目并行开展。

最后，还有一个开发者之间竞争的问题，正如报告中提到的，也包括国家之间的竞争。因此，不同国家之间确实存在军备竞赛的危险。人工智能可能成为一种武器，被用于军事领域，从网络战开始，但潜在地也可能用于其他武器。因此，我们确实需要从现在开始进行国际讨论，合作确保安全，同时思考如果要有条约，我们如何确保遵守的可验证性，并为此开发技术。

深度学习之父本吉奥：AI风险的认知分歧很大，没有成熟的解决方法