近日，Anthropic 创始人& CEO 与知名科技投资人 Erik Torenberg 展开了一次深入对话，内容涵盖了从 AI 安全性、全球竞争到行业监管的多方面议题，揭示了当前科技界对AI技术的复杂性和潜在风险的关注。

Dario Amodei 强调，尽管我们无法完全理解人类大脑的运作，但这不意味着 AI 系统必然不可控。通过深入研究 AI 模型的内部机制，我们可以在一定程度上预测并管理其行为，虽然这仍然面临挑战。

关于加州 SB1047 法案，Amodei 认为应谨慎处理过度监管的风险，支持通过威慑机制而非过于严格的预防性监管来管理AI技术的潜在风险。他强调，应在快速发展的技术领域中保持灵活，以应对尚未发生但可能出现的灾难。

对于AI可能带来的经济不平等，Amodei 表示，虽然 AI 有可能加剧全球和国内的经济差距，但通过合理的政策和监管，仍有可能确保技术红利惠及更多人群，而不仅仅是科技公司和发达国家。

以下为这次对谈的主要内容，enjoy～

Noah Smith

我们把你“召唤”出来了。或许我们可以从这里开始聊，因为你有着有趣的知识进化过程。能否简短地描述一下你的知识进化历程，以及为什么你会出现在一个经济学播客上，这为什么合适？

Dario Amodei

如果回顾过去，早在我涉足 AI 之前，我一直在思考什么样的工作最有趣和最有影响力。所以我本科读的是物理，实际上我记得 Noah 你也是。

我考虑过很多事情，其实我也考虑过去读经济学研究生，但最后没去。我去了研究计算神经科学和生物物理的研究生院。我对这些领域非常感兴趣。

当时我也考虑过 AI ，但那时候我不太相信当时的 AI 能在智能领域的关键问题上取得多大进展。

所以我决定研究宇宙中我们已知的唯一有时表现出智能的对象——人脑。我研究了生物神经元网络，试图理解其中的运作。

这证明是一项非常困难的任务，因为生物方面的限制和物理测量本身已经很困难，更不用说分析了。

我花了大部分时间在这上面，只在理解人脑内部算法方面取得了些许进展。之后，我在斯坦福做了博士后，研究了蛋白质组学。

大约在 2014 年，深度学习革命开始了。我看到了 AlexNet 和 QuackNet 的工作，所以决定进入这个领域。我与 Andrew Ng 和百度合作了一年，然后在谷歌工作了一年。

之后，我在 OpenAI 刚成立不久就加入了，在那里工作了大约 5 年，发展了一些关于 Scaling Law 的想法，帮助构建了一些早期的 GPT 模型，还与他人共同发明了人类反馈强化学习方法，后来这个方法被用来生产一些商业聊天机器人。然后在2022 年底，我离开了 OpenAI ，创立了 Anthropic ，并一直管理这个公司至今。

Erik Torenberg

这是一个问题。我们这个经济学播客一般会多谈一些经济学方面的内容，而不是纯技术方面的内容。

那么，谷歌是否是 AI 时代的贝尔实验室，因为他们产生了导致现代深度学习和 Transformer 等技术的研究，但他们并没有很好地将其商业化，有点像贝尔实验室一样。他们通过自己的IT垄断来资助这些研究，也有点像贝尔实验室。

很多有趣的人在那里工作，然后像贝尔实验室的F AI rchild人们一样，离开后创办了公司。你认为这是一个恰当的比喻吗？

Dario Amodei

是的，尽管没有一个比喻是完全契合的，但我肯定认为这个说法有道理。当我在谷歌的时候，很多人觉得这像是他们学术生涯的延续。

这和贝尔实验室很像，都是一种工业环境，但有很多与学术环境相似的地方，只不过它有更多的资源去实现一些事情。

人们在那里研究很多东西， Transformer 只是推动这个领域的关键发明之一，但它只是正在研究的可能上百个项目中的一个。

如果你站在组织的高层角度看，就没有什么合理的方式来区分它和其他99个正在发明的东西。那时的策略更像是让一千朵花开。

我想就是在那个时期，我第一次开始有了关于 Scaling Law 假设的想法，比如我们需要将一些创新整合在一起，并将其大规模应用，而理论上，谷歌是最适合做这件事的地方。他们拥有世界上最大的集群，他们有很多有才华的工程人员，他们基本上拥有了所有的要素。

但谷歌的机器是以一种特定的方式组织的，它是为了做搜索。我认为它并没有真正组织起来，将所有这些部分拼凑在一起，并大规模实施一些与以往业务完全不同的东西。

Erik Torenberg

对，就像贝尔实验室不是为了发明电脑并把电脑带给每个人而设立的，它是为了提供电话服务。

Dario Amodei

对，确实如此。它是一家电话公司。所以，我不能代表谷歌发言，但显然现在他们不仅发明了这些了不起的东西，他们还是四家公司之一，拥有前沿模型。他们既是我们的合作伙伴也是竞争对手。我认识那里很多人，他们都非常聪明。

但我认为你说得对，有一段时间，如果他们能将这些要素以正确的方式组合起来，他们可能是唯一的游戏参与者。但不知为何，事情并没有朝那个方向发展。

Erik Torenberg

这引出了我们要讨论的另一个问题。实际上，想要邀请你参加这个节目，是因为我们在做另一个播客时想到的。

我主要在讨论互联网企业的经济学，而 Erik 提到了一些关于 AI 商业的悲观主义观点，他质疑 AI 公司有多大的护城河。

显然，这对 Anthropic 和其他我们称为初创公司但实际上已经很大的公司非常相关。是的，所以请告诉我们你是如何看待 AI 公司商业护城河的。

Dario Amodei

是的，我会把这个问题分成两个分支。我要说的是，要把 Scaling Law 假设和商业问题完全分开是有点困难的。所以，让我们先考虑一下 Scaling Law 假设在某种非常强的形式下是成立的，然后再考虑一下它可能只在某种程度上成立或完全不成立的情况。

在这种假设非常强烈的情况下，我可能已经在其他地方公开谈到过，但这是一个你现在训练一个价值一亿美元的模型，它的表现大约相当于一个优秀的大学新生，然后你训练一个十亿美元的模型，它的表现相当于一个优秀的研究生，当你训练一个一百亿美元的模型时，它的表现相当于一个诺贝尔奖得主。

然后你把这个模型投入使用，几乎为所有人服务。它成为你的同事，成为你的个人助理，帮助国家安全，帮助生物学研究。

我认为在那个世界里，这个系统以及基于这个系统的产品将成为经济的一个非常大的部分，但仍然有一个问题是：收益流向哪里？它们会流向Nvidia吗？会流向 AI 公司吗？会流向下游应用吗？而且蛋糕如此之大，我的第一反应是它们会流向所有这些地方。

Erik Torenberg

对，没错。但你想一下太阳能，太阳能显然会变得非常巨大，需求越大，太阳能的需求也会越大。然而，很难说出哪家太阳能公司赚了大笔利润。

尽管这里面有很多创新，但它仍然是一个高度商品化的产品，没有品牌效应、网络效应，也没有任何锁定机制。

对于任何一家太阳能公司来说，在这个眼前彻底改变我们世界的领域中赚取利润是非常困难的。

所以，我并不是百分之百确信，尽管像太阳能那样蓬勃发展，但这并不一定意味着公司会获得丰厚的利润，但我愿意听取你的观点。我只是想知道，你认为 AI 会如何与太阳能不同，为什么会有不同的结果？

Dario Amodei

是的，我想说两点，我会谈到你提的问题，因为我认为在大多数情况下，这是一个重要的问题。也许我只是想说，如果 Scaling Law 假设是正确的，这将会非常非常巨大。

所以即使只有 10% 的利润流向供应链的某个部分，它仍然会非常大。只要你把这个“蛋糕”做得足够大，这就会成为最有趣的问题。

尽管如此，对于那些决定如何分配资金的人来说，显然一万亿流向这里，十万亿流向那里，对他们来说是非常重要的事情。

但让我们真正来回答你的问题，因为我认为在所有情况下这个问题都很重要，只不过是“蛋糕”的大小问题而已。首先，我认为在模型方面，这取决于 Scaling Law 假设。

如果我们真的在构建十亿或一百亿美元的模型，可能不会有超过四五个实体，可能还会有几个国家级的参与者来构建这些模型。因此，我们可能看到的是更像寡头垄断，而不是垄断或完全商品化。

我想也有一个问题是，是否会有人发布一个十亿或一百亿美元的开源模型？我对此有些怀疑，不确定是否有人真的会走到那一步。

而且即使真的发布了这样的模型，其中一个与开源软件不同的地方是，这些大型模型的运行成本实际上非常高。

大部分成本是推理成本，而不是训练模型的成本。因此，即使你只在推理过程中提高 10% 到20%或30%的效率，也可能抵消这一效果。

所以经济学方面有点奇怪。你确实有一个巨大的固定成本需要摊销，但也有每单位推理的成本，而这些小差异可能会产生很大的影响，前提是模型被广泛部署。所以我不确定这会如何发展。

Erik Torenberg

这其实有点像重工业的经济学，这有点像炼钢的运作方式。

Dario Amodei

还有一点，我想说的是，在这些少数模型中，我们已经开始看到模型之间的个性差异。所以商品化是一种可能性，但我确实看到即使在寡头垄断的情况下，某些特定的模型部署方式也可能被商品化，尽管我不确定。

但首先抵制商品化的因素之一是，嘿，我开发了一个非常擅长编程的模型，你开发了一个非常擅长创意写作的模型，第三个人开发了一个非常擅长娱乐和互动的模型。这些是不同的选择。

一旦你开始做出这些选择，你就开始围绕它们建立基础设施。所以在我看来，这为一定程度的差异化创造了前提条件。

另一种可能导致差异化的因素是基于模型之上的产品。尽管你可以在理论上将模型层与产品层分开，但实际上它们之间是相互关联的，跨组织合作也可能具有一定挑战性。

因此，虽然在模型层面上有一种“单一路径”的逻辑，许多公司在多模态方面朝着同一个方向发展，增加模型的智能性，加快推理速度，但产品之间的差异非常大。

如果你看看我们做的这个叫 Artifact 的东西，它是一种实时可视化模型编写的代码的方式。我们做这个， OpenAI 做他们的事情， Google 做他们的事情。

我认为这也是公司之间差异化的来源之一。我认为我们已经发现，基于模型之上的应用程序的经济学，与只是通过 API 提供模型的经济学有很大不同。而这些应用程序从相对简单到越来越复杂的趋势也是差异化的一个源头。

Noah Smith

如果 Scaling Law 像我们预想的那样成立，规模如此之大，你认为这些公司在某个时候会被国有化吗？这是否可能带来另一种护城河，或者你对此有何看法？

Dario Amodei

是的，这不是人们在谈论护城河时传统会提到的东西。我认为这涉及到国家安全问题。我们可以分开讨论两种世界观：一种是 Scaling Law 成立的世界，另一种是 Scaling Law 不成立并且发展停滞的世界。

如果发展停滞，那么这只是一种像互联网或太阳能这样的技术，可能规模更大一些，但并不是史无前例的，在那种情况下，我认为不会被国有化。我认为谁获得价值的问题将成为中心议题。

但如果 Scaling Law 是正确的，我们正在构建类似诺贝尔奖得主水平的模型，或者超越顶尖的行业编码者，那么国家竞争的问题、误用的问题以及模型的自主性将成为焦点。

我在其他地方也提到过，我不确定是否会有真正的国有化，但我认为政府可能在其中扮演重要角色。我们可能会到达一个地步，这些模型可能成为美国及其盟国最有价值的国家防御资产之一。

我们将非常关注这些模型被对手窃取的风险，或者对手能否跟上我们的步伐，或者我们能否比对手更快地部署这些模型。

我想象一下，一个能够整合美国或其盟友所有情报信息的模型，或者协调我们所有的军事或物流行动的模型，这听起来非常强大。

Erik Torenberg

那么你认为 Leopold 在讨论中国与美国时的观点如何？

Dario Amodei

是的，我认为 Leopold 的文章非常有趣，有很多我都同意的内容。它可能在国有化和国家安全的观点上比我更进一步，但我的观点与他的差别并不大。

我确实认为，当技术变得足够强大时，像四五家公司自主操作并做他们想做的事，这种情形不会导致好的结果。作为其中一家公司的负责人，我也这么认为。

因此，出于国家安全原因，政府参与行业的模式有很多种。比如 SpaceX 的公共合同模式、公共私营合作模式、类似国家实验室的模式，或者是实际的国有化模式。

这其中某种模式在某个时候会显得合理。我不知道它会是什么样子，也不知道什么时候是合适的时间。我怀疑现在可能不是合适的时机，但如果 Scaling Law 是正确的，事情可能会非常迅速地发生变化。

Erik Torenberg

是的，这很符合我多年来对互联网公司的思考，最终它们成为政府的一部分。我有一个大概念，关于电力的故事，最初，当电力开始普及时，制造商试图将蒸汽机拆掉，换上发电机。

然而，这样做反而增加了损耗，因为他们保留了工厂的原有布局，电力效率反而降低了，导致亏损。后来，有人意识到，可以把电力并行地分配给多个工作站，这改变了制造业的工作方式，从一条流水线变成了各自独立的工作站，带来了巨大的生产力提升，持续了几十年。

所以我一直怀疑， AI 可能会类似。我认为互联网其实也是如此，但我认为 AI 尤其类似于此。最初，大家似乎都在把 AI 视为一个人，有人甚至在谈论 AI 数量与人类员工数量的比例，这对我来说毫无意义，因为 AI 并不是可以分割成个体的。

我猜大家现在都在考虑用 AI 直接取代人类，但我认为这只是第一步，就像电力直接取代蒸汽机不是一个好主意一样。

我预测，人们会发现，在少数情况下这种直接替代才能起作用，比如客户服务和其他定义明确的任务。然而，大多数情况下，这种直接替代并不奏效，然后就会有一个“加德纳炒作周期”，当人们意识到“这行不通”时， AI 被视为一个“失败的科技”。

然后，一些有创意的企业家会说，“我们可以用 AI 做一些不一样的事，而不仅仅是像人类一样操作。”当然，我无法预见这些创意是什么，如果我能预见的话，我可能已经是亿万富翁了，但我认为人们会找到一些创意的方式来使用 AI ，以前人类员工从未这样使用过。

这些创新不仅接管了一些人类任务，还会补充其他人类任务，创造出全新的商业模式。然后，我们会看到一个重新崛起和繁荣的过程。这是我的预测，我的加德纳风格的预测。我疯了吗？

Dario Amodei

这有点像是我同意的和我可能不同意的事情的混合。或者说，这种观点是对的，但还有其他似乎与之矛盾的事实也同样成立。

首先，我基本同意你的看法，我现在正在实时思考这个问题。如果你把现有模型的质量冻结在某个水平，那么你说的一切都成立。我们在商业活动中基本上看到了类似的情况。

我们既提供你可以直接对话的Claude AI ，也通过 API 将模型出售给一大批用户。人们确实花了很长时间来弄清楚如何最好地使用这个模型。

我们应该把它变成一个聊天机器人吗？模型的可靠性问题，我认为正在驱动你所说的一些担忧。比如说，我有一个模型，它 95% 的时间里给出正确的答案，假设它是用来提供财务信息或分析法律合同的。

也许这个准确率比人类更高，但人们并不知道如何处理剩下的5%时间，即模型没有给出正确答案的情况。它不会像人类那样给出错误的答案，那么如何检测这些情况？如何进行错误处理？

在理论上有用的东西在实践中是否有用是完全不同的事情。我之前提到过我们推出的 Artifacts 功能，当时我们有了 Claude AI ，你可以让它写一些代码，然后将代码粘贴到编译器或解释器中，它会生成一个 JavaScript 视频游戏，或者其他东西。

但往往会有一些错误，然后你会回到模型问，“如何修正这个问题？”闭合这个循环确实带来了很大的不同。我们还看到模型可以组织小模型的运作，这与把模型看作单个人的思维方式非常不同。

我们有更大、更强大的模型，以及更快、更便宜但不那么聪明的小模型。有些客户使用的大模型负责整体任务，而它会分派数百个小模型去执行任务，然后这些小模型汇报给大模型。

所以你看到的不是一个人，而是像蜂群一样执行任务的现象。这种做法完全不是人类的工作方式，更像是一个蜜蜂群体如何执行任务。

所以我认为，我们还在摸索如何最好地使用这些模型，还有很多不同的方式可以利用这些模型。

但我也认为，随着模型变得更智能，它们解决这些问题的能力会增强。随着它们变得更智能，我们会更善于将它们转变为 Agent ，它们会更善于执行端到端的任务，人类的参与度将会减少。

因此，问题依旧回到是否 Scaling Law 会继续成立。如果成立，就像你描述的一系列过程一样。如果冻结，创新和研究创新停止，那么你描述的过程将会继续展开。

Erik Torenberg

我基本上认为 Scaling Law 会带回“愚蠢的用例”。因为现在，我能用ChatGPT做的最“愚蠢”的事情之一就是让它给我写一篇关于某个话题的文章，风格要像之前的某些文章一样，而它能够完美地完成这件事。现在它还做不到这点，甚至远远达不到这个水平。

但理论上，如果我们继续 Scaling Law，最终会到达这样一个点，我只需要说，“给我写一篇这样的文章”，然后我就能征服世界，因为我可以用 AI 生成无数高质量的内容，占据你的思想领域。

Dario Amodei

我花了不少时间阅读你的文章，我不得不承认，如果这些文章的数量是无限的，那将非常强大。

Erik Torenberg

哈哈，你会为此发笑。但没错，我明白这个想法，这很有趣，因为这意味着技术创新最终会使商业模式创新变得不那么重要，因为你可以通过按下按钮完成所有事情。

Dario Amodei

是的，界面和业务流程创新就像模型智能的替代品，你拥有越多其中一个，越不需要另一个。所以这创造了有趣的动态，类似于重叠的革命，每个革命到市场的时间比前一个更快，但也许音乐会在某个时候停止，我们不确定。

关于 Scaling Law ，我总是说，没有人应该相信它是某种基本的物理定律，认为它们一定会继续。这只是一个经验观察，随时可能停止。

我已经观察了它们 10 年，我的猜测是它们不会停止，这只是基于我观察的时间长度的推测，但这只是一个 60%～70% 的可能性。

Erik Torenberg

正如他们所说，趋势是你的朋友，直到最后的转折点。

Dario Amodei

我以前从没听过这个说法，但确实是这么回事。

Noah Smith

那么，什么会改变你的看法？是什么会让你调整概率？

Dario Amodei

什么会让我调整概率？首先，如果我们训练了一个模型，并尝试扩展它，但它表现得非常糟糕，然后我们尝试了几次仍然没能成功，我会觉得，“哦，看来趋势要停止了”。

或者如果我们耗尽了数据，无法生成足够的合成数据来继续这个过程，那时候我可能会说，“嘿，这看起来真的很困难。”至少趋势会暂停，可能不会停止，但这可能会发生。我的猜测是这些事情不会发生，但这确实是一个非常复杂的问题。

Noah Smith

你对军备竞赛有多担忧？它们在你整体的 AI 风险图景中占多大比重？你更担心美中之间的竞争，还是公司之间的竞争？

Dario Amodei

是的，我不确定。这种情况可能并没有一个单一的正确答案或好的答案。我对不同的事情感到担忧。首先，我担心的是现在被称为“安全性”的东西，尽管这是一个有点奇怪的术语。

我把它分为两部分：AI 系统的自主行为，目前这还不是一个大问题，但一旦我们开发出 Agent 系统，并且这些系统变得更加智能，那么我会更加担心。这可能会随着 Scaling Law 的成立而迅速发生。

另一个问题是对模型的误用，这可能是更为分散的误用或扩散风险。因此，我们需要非常谨慎地进行操作，我们必须确保采取适当的检查措施来应对正确的风险，不要走得太快。

这对我们来说非常重要。我可以谈谈我们的“负责任的扩展计划”，即我们如何在关注这些风险的同时继续扩展模型。

但另一方面，还有一件事我担心的是，Noah 你写了很多关于美中竞争的内容，比如我读过你关于“冷战二”的文章。作为当前形势的描述，我认为它是非常正确的。

不管我们是否希望它发生，它似乎正在发生。如果我们认真对待这些关于 AI 模型强大能力的假设，它们真的有可能单独改变国际舞台上的权力平衡。

那么我们就必须问问，在构建出这种规模的模型之后，民主国家还是专制国家将主导世界舞台？我认为我们不仅应该担心 AI 的安全风险，尽管我对这些风险非常担忧。

我们还应该担心的是，假设我们做得一切都对，我们不必担心 AI 本身，或者恐怖分子、小规模的扩散者滥用 AI ，那么我们必须确保某些价值观得以生存甚至取得胜利。

例如，一个由 AGI 推动的专制政权听起来真的非常可怕，如果你认真思考这个问题，这是我们绝对不想看到的情况。所以我们需要兼顾这两者。

两者之间经常存在紧张关系。我认为有一些政策可以同时解决这两者的问题，但也有一些政策两者之间存在冲突。我非常喜欢美国对芯片和半导体设备采取的政策。

我认为遏制专制国家是一个有效的策略，因为它有两个作用：一方面，它给我们带来了优势，另一方面，它为我们争取了更多时间来应对风险。它基本上给了我们一些喘息的空间，否则这两者之间会有一个艰难的权衡。

我感觉除了国家之间的竞争之外，公司之间的竞争也是如此。如果情况变得足够严峻，公司可以被纳入一个共同的法律框架。我们可以讨论什么样的监管是合适的。

如果证据表明这些事情确实危险，不管是误用还是自主性方面，那么协调问题是可以解决的。这就是政府和监管的作用所在。但国际协调问题极其难以解决。国际社会基本上生活在霍布斯所说的无政府状态中。

希望我们能够签订裁军条约，我们绝对应该争取合作。但没有机制来执行它。所以我支持尝试，即使我相信我们的成功几率可能不大。

Erik Torenberg

好的，我想换个话题，谈谈对劳动力的影响，这是另一个大家都喜欢讨论的话题。Eric Brynjolfsson 有一个论点，我基本上同意，即生成式 AI 至少目前压缩了技能差异。我们在 GitHub Copilot、呼叫中心、大学论文写作和其他标准测试中看到了这一点。

首先通过的任务是生成式 AI 的应用场景，我们看到那些技术较差的人做得更好，技术较好的人稍微有进步，而那些顶尖的人则没有太大进步。

所以最终，顶尖人才的技能变得不再那么有价值，因为较差的人可以更多地与顶尖人才竞争。对我来说，这是一个令人鼓舞的发现，因为这意味着某种程度上，正如工厂工人能够与手艺人竞争一样，现在我们有了“思维工具”。

就像你可以从英国北部某个村庄里找到某个人，他制造的布料可以和最好的工匠一样好，至少达到 90% 的水平，但价格只有 10% 。因此，你压缩了技能回报的分布，也许这可以对抗不平等。你对此有何看法？

Dario Amodei

是的，我认为，按时代来看，我的观点完全与此一致。以目前的情况来看，我的观点绝对符合这一点。有趣的是，随着编程模型的改进，我之前合作过的一些最有经验的程序员表示，这对他们帮助不大，没有太大用处。

不过，随着 Claude 3.5 的出现以及未来的模型，可能来自其他公司的模型，他们偶尔会发现模型有更多的用处。但我绝对认为，如果你看看GitHub Copilot之类的工具，它确实起到了平衡作用。

我也同意这是件好事。如果我们看看互联网时代，它的影响，你们比我更了解。它有一种集聚效应，所有东西都变得全球化，新闻、音乐、作家，然后它们创造了巨大的回报给超级明星，这推动了增长，但也带来了很多不平等。所以，我认为这种平衡是一种好的影响。

不幸的是，随着 Scaling Law 的继续，这可能只是一个阶段。可能还会有另一个阶段， AI 模型开始能够做所有人类能做的事情，然后它们可能会成为一种平衡因素。

我同意你最近说过的观点，Noah，比较优势仍然非常重要。我认为即使 AI 在编程方面比人类更强，甚至在生物学方面更强，哪怕有一些小部分任务仍然由人类完成，人类和经济体仍然会在围绕人类仍能完成的那部分任务进行调整。即使 90% 的代码由 AI 编写，人类仍会在剩下的 10% 里变得非常出色。

即使 100% 由 AI 完成，你仍然需要设计规格，仍然需要将其与其他内容连接起来，仍然需要编写产品。惊人的是，这仍然需要人类的参与。

所以我认为比较优势将比人们预想的持续更长时间，即使在这些疯狂的扩展世界中。我不认为它会永远持续下去，但我认为它将比人们预想的持续更长时间。

Erik Torenberg

另外，我在关于比较优势的帖子里可能没有说得很清楚，这篇文章引起了很多关注，但我认为有一件事我可以更明确一些，即如果 AI 的上游限制与人类的上游限制相同，那么我们就有麻烦了，比较优势也就没什么用。

因为两者都在争夺能源。一个简单的解释是，如果数据中心消耗的能源使得种植粮食的成本增加，粮食价格上涨，人们会感到愤怒，这对人类来说是件坏事。但在一个上游限制不同的世界里，大多数人只考虑了能力、下游的互补性和替代性。

我在谈论的是生产要素的互补性和替代性。举个例子，如果 AI 在制造过程中，最大的瓶颈不是能源，而是制造足够的计算能力的能力，那么我认为这对我们有利。

因为这就像在我的例子中，Mark Andreessen和他的执行助理都是独一无二的，他们的生产要素约束是不同的。

类似地，我认为如果 AI 在资源方面的瓶颈更多地与计算能力有关而不是能源，那么比较优势对我们更有利。我本来应该对此更明确一些。你基本同意这个观点吗？你对此有何看法？

Dario Amodei

是的，这听起来很合理。你在说的是，如果 AI 的生产过程和人类非常相似，那么我们会遇到更大的麻烦，但如果它只是一个服务器农场，输入完全不同，那么我们就没问题。我还没有深入思考过这个问题，但这听起来很有道理，至少从表面上看是如此。

如果我们处在一个 AI 正在重塑世界、重新设计整个经济的世界中，这就有点像 Scaling 曲线的末端，那么我们可能在讨论一些不同的事情。但如果正常的经济规则适用，我认为它们在一段时间内仍然会适用，这听起来很合理。

Erik Torenberg

是的，关于超规模化的世界，我们在讨论的内容与某些模型中的情况基本吻合，这些模型的直觉与我们简单模型中的结果非常接近。

是的，确实存在一个世界，在这个世界中，Scaling Law 能力确实存在，并且它的运作方式与我们想象的类似。

但我的另一个问题是，是否有必要考虑一个极度富裕的世界， AI 如此强大，以至于为我们提供了惊人的生物技术、惊人的制造技术和惊人的一切，一切都变得好 10 倍、100 倍，然而人类自身却陷入贫困？在什么情况下，我们需要担心一个极端富裕的世界，而人类却极度贫困？

Dario Amodei

是的，让我一个一个地回答这两个问题。首先，关于极端富裕的世界，这是我们所希望的。

我经常谈论风险，既包括 AI 的自主性问题，也包括误用和国家安全问题。所以人们可能会从中得到一种印象，认为我只是个末日预言者，认为所有这些坏事都会发生。

不，我的观点更多是，默认情况下，我认为会发生非常好的事情，而我痴迷于坏事，因为它们是我们与这些好事之间唯一的障碍。它们是唯一可能使事情脱轨的因素。所以我非常痴迷于找到这些障碍并消除它们。

首先，极端富裕的世界，我经常思考生物技术，因为我曾经是生物学家，我认为我们真的低估了 AI 在生物学领域的潜力。

10 年前，当我还在这个领域时，人们的态度是，生物学中获得的数据质量存疑，而且数量有限。

实验往往存在混淆因素，虽然大数据和 AI 的分析能力很好，但它最多只是起到辅助作用。也许随着AlphaFold的出现，这种看法有所改变。

我的看法是， AI 模型可以在生物学家或共同生物学家的角色中发挥作用。如果我们看看推动生物学进步的技术，它们确实主要集中在几个技术上，例如基因组测序——读取基因组的能力，这对于现代生物学来说至关重要。

最近，CRISPR基因编辑技术——编辑基因组的能力，这对于许多实验、尤其是动物实验非常重要，并开始在制药和疾病治疗中变得重要，尽管它仍需要变得更加可靠，还有许多其他技术需要发展。

如果我们能正确使用 AI ，它可以将这些发现的速度提高 10 倍甚至 100 倍。比如 CRISPR，它的关键部分来自细菌的免疫系统，这一点在 30 年前就已被发现。

但将其与基因编辑的想法联系起来，了解如何使用它，以及需要添加的其他元素，这些想法在 30 年前并没有被实现。所以我认为，如果我们能大幅提高这些发现的速度，也会大幅提高我们治愈疾病的速度。

我的想法是，是否可以有一个压缩的21世纪？我们能否通过 AI 在 10 年内实现整个21世纪的生物学进步？如果你想到我们在 20 世纪的生物学进步，并将其压缩到 5～10 年内，我认为这是非常可能的。

我真的认为这是有可能的，而且我们可能治愈那些困扰人类数千年的疾病。这当然会极大地提高生产力，扩大经济规模，延长人类寿命。所以这非常好，这是我们都希望看到的。

至于人类陷入贫困，我想最简单的坏故事是，所有这些巨大财富被创造出来，发达国家的 GDP 增长达到两位数，但财富的回报主要集中在开发这些技术的公司、这些公司的员工以及生产所需的互补资产上。

而普通人可能会因此而未能分享到这些财富，尤其是在发展中国家，这种担忧可能更为合理。

当你考虑到人们被排除在一个增长的经济体之外时，我认为这种情况在国家之间发生的更多，而不是在国家内部，尽管在国家内部也发生了这种情况。所以，我认为这可能是最容易发生的情况。

在国家内部，国家有重新分配的历史，但我们在向撒哈拉以南非洲重新分配资源方面做得不够好，因为没有一个政府实体具有这样的管辖权。

Erik Torenberg

这是问题的一个方面，我觉得人们不太常考虑的是这种影响对其他国家的作用，但这可能会让我们走得太远。你还有什么问题吗？

Noah Smith

我有一个问题，关于风险的两面。一些人说，因为我们无法真正理解人类大脑的运作，回到我们对话的开始，他们认为我们不应该担心 AI 会发展出意识或自主性，因为我们连自己的编程都无法理解，又怎么能编程或理解 AI 呢？

这是安全问题的一方面。另一方面，关于 AI 对国家的影响，我很好奇我们是否可以更深入地探讨其中的风险。

Dario Amodei

是的，我想在安全方面，有几个不同的角度。首先，我认为我们无法理解人类大脑的运作，这一事实本身不应该让我们对 AI 系统感到过于安心。

毕竟，这个世界上有一些非常糟糕的人，对吧？如果我看着一个两岁的孩子，我很难预测他是会成为甘地、希特勒，还是介于两者之间的某个角色。

我们真的没有办法预测这一点，也许可以做些猜测，但这是非常困难的。所以你不知道你会得到什么。我认为 AI 系统也一样。

另一方面，这并不意味着这些系统必然是无法控制的。我们有办法教育人类，我们有办法在他们之间创造一种权力平衡。

因此，这不是一个完全让人安心的信息，但也不是一个完全可怕的信息。如果有的话，这表明一些我们在使人类保持一致方面遇到的老问题，我们可能会在 AI 身上也遇到。

不过，如果我们能理解系统内部发生了什么，我认为这会大大改善局面。我们在 Anthropic 有一个团队，自从公司成立以来就一直在研究可解释性，即试图了解模型为什么会做出某些决策。我从经验中知道，这在理解人类大脑时是非常困难的，但在软件中要容易得多。

尽管算法复杂性和计算复杂性仍然存在，但我们可以面对这种复杂性，而不必担心如何进入大脑而不伤害到其中的生物体。

所以我们应该尽可能多地进行这方面的工作。如果我们做得非常好，情况可能会比我们预测人类行为的情况更好。但另一方面，我们对人类已经了解了很多，而对 AI 了解得少得多。

所以如果我要提出一个悲观的观点，那就是我们已经看到 AI 系统在部署时表现出异样，它们有时会犯一些很难理解的错误，有时它们能做到人类做不到的事情，但有时它们会犯人类不会犯的错误。我认为从安全角度来看，这是一个值得担忧的原因。

关于俄罗斯和中国将发生什么？我会回到出口管制这一点。我们没有现成的硬性治理机制来控制那里会发生什么。尽管我们在这里有很多关于安全问题的辩论，我很高兴看到中国也有人在思考同样的问题。

但我们没有办法确保他们做得对。没有民主问责机制，专制政府的历史表明它们往往比民主政府更鲁莽。所以我认为，从多个角度来看，当它们处于领先地位时，通常是不利的消息。

因此，在某种程度上，我们在“加速发展以击败它们”和“思考安全性”之间存在矛盾。但有些事情我们可以做，这些事情从两个角度来看都是有利的。我认为我们应该努力找到更多这样的事情并付诸实施。

Noah Smith

SB1047 已经获得了一些人的支持。有人担心这可能会导致我们在监管方面的路径依赖，你对此有何看法？

Dario Amodei

是的， Anthropic 针对这个问题写了两封信，第一封信是针对最初的法案，我们当时担心它有点过于严厉。法案的发起者实际上解决了很多（虽然不是全部）我们的担忧，大约解决了60%左右。经过修改后，我们的态度变得更加积极了。

我认为我们从分析的角度来表达了我们的观点，我们在运行安全流程和测试模型安全性方面有很多经验，所以我们觉得通过提供信息、提出意见，而不是选择立场、与对方斗争或其他政治联盟所做的事情，我们可以在这个生态系统中扮演更有用的角色。

但总体来说，我们对修改后的法案持更积极的态度。我们对最初版本的担忧集中在所谓的“预防性强制执行”上。

法案的运作方式与我们以及 OpenAI 、 Google 和其他公司开发的负责任扩展计划（RSP）非常相似，这些计划是一种自愿机制，要求在开发更强大的模型时进行一系列测试，包括对自主性误行为、生物武器滥用、网络攻击和核信息的测试。

如果要将这些测试变成法律，有两种方式可以实现。一种是政府部门来制定这些规定，这个部门会规定你必须进行哪些测试，采取哪些安全措施，如果模型足够智能通过测试，那么行政机构将会制定所有这些规定。

我们担心的是，这些测试还非常新，并且几乎所有的灾难都还没有发生。所以我们与那些担心的群体一致，认为这可能会出错。测试可能变得愚蠢，或者以更恶意的方式被重新利用，成为政治工具。

另一种方式，我们认为更优雅，也许是一个更好的起点，尤其是在这个快速发展的领域，我们认为很快就会出现这些风险，但它们还没有发生。

这种方式我们称之为威慑机制，它要求每个人都必须写出他们的安全和保障计划，每个人都可以自己决定如何进行测试。

但是，如果发生了坏事，比如 AI 接管世界，或者更普通的网络攻击，法院会检查你的计划，并评估这是否是一个合理的计划，是否有人合理地认为你采取了所有可以采取的措施来防止灾难发生。

希望通过这种机制，公司之间会出现一种向上的竞争，竞争的目标不是成为最慢的斑马，而是预防灾难，不成为灾难发生时需要承担责任的一方。

当然，意见不一，许多人仍然反对这个新法案，我理解他们的出发点。这是一项新技术，我们还没有看到这些灾难，也从未对其进行过监管。

但我们觉得它找到了合适的平衡。时间会告诉我们是否通过，即使不通过，这也可能不是我们最后一次看到类似的监管提议。

正因如此，我们认为我们可以通过指出其优点和缺点，最好地参与这场讨论。我们确实认为，经过修订后，优点超过了缺点。这是一场正在进行的对话。

Erik Torenberg

这种法案不会让你把业务搬出加州吧？

Dario Amodei

是的，这是最让我困惑的地方。有些公司在谈论将业务搬出加州。事实上，这个法案适用于在加州开展业务或在加州部署模型，搬迁公司总部无论是好是坏，都不会改变你与法案的关系。

老实说，我很惊讶反对者没有说这很可怕，因为它适用于任何地方。这就是为什么我们真的想确保其优点超过缺点，这一点我们确实感受到了。至于搬迁总部，这只是戏剧性的谈判策略，与法案的实际内容没有关系。

Erik Torenberg

关于对齐的问题。大多数人都在思考如何构建一个以 AI 为基础的世界，在这个世界里人类能够过得很好，所有的事情都对人类有利。

我则经常思考如何构建一个以 AI 为基础的世界，让兔子也能过得好。我非常喜欢兔子，它们从宇宙中得到的待遇有点不公平，比如在野外的兔子平均只能活 1.5 年，但在圈养的环境下，它们可以舒适地活 10～14 年。

那么，除了把兔子作为 Anthropic 的官方动物之外——我绝对认为应该这样做， Kipling 会和我一起推动这一点——我们如何在一个超级 AI 的世界里为兔子创造一个好的生存环境？

Dario Amodei

是的，我也曾思考过类似的问题。我有一匹马，我会形容马有点像巨大的兔子。它们的行为和特点就像猎物动物一样，但你真的想保护它们，它们会激发你内心的保护欲望。

你想确保它们有一个好的生活。我想，如果我们以正确的方式思考 AI ，希望我们能够建立某种普遍的原则，比如对待弱小生物应该友善。

这意味着人类应该对兔子和马友善， AI 也应该对人类友善。希望 AI 也会友善地对待兔子和马，这是这种原则的延伸。

我有点怀疑，如果我们真的建造了善良而强大的 AI ，它们可能会像我们看待兔子和马一样看待我们。我们有点无助，有点可爱，需要被保护。

Erik Torenberg

好吧，我确实认为兔子对齐问题需要更多的关注。实际上，我写过的为数不多的科幻短篇小说之一就是关于一个未来世界的， AI 决定保护兔子和其他毛茸茸的小动物，并偶尔对那些可能威胁到它们的人类进行打击。

Dario Amodei

是的，我不知道，如果你靠近兔子太多了，可能会被警告：“这是你最后的警告，太空激光正在瞄准你。”这种事确实发生过。

Erik Torenberg

很高兴再次见到你。

Dario Amodei

是的，很高兴再次见到你。我非常喜欢你的文章，尤其是关于国际和国家安全形势的那些。

我基本上和你持相同的观点，实际上，我认为这些问题更加重要，因为如果我对 Scaling Law 的看法是正确的，那么这将是一次巨大的技术革命，它将在同一时间发生。

这有点像二战期间原子弹的建造，也许这个比喻有点戏剧化，但我认为它更加突出这些问题，并且产生了一些我们必须应对的紧张局势。我非常关注这个问题，你的分析对我思考这些问题非常有帮助。

深度｜Anthropic 创始人 Dario Amodei 最新洞察：关于护城河与风险，AI 大多数情况很难直接替代人