作者：天空之城·城主

前言：

Max Tegmark教授，未来生命研究所创始人，大名鼎鼎的“暂停AI研究倡议的发起人”，今天在智源大会上做了一个精彩的演讲，题目是《如何掌控AI》，在此整理分享。

作者认为演讲最有趣最有价值的部分，是详细讨论了AI的机械可解释性，这实际上是研究，人类知识究竟是如何储存在神经网络里那些复杂的连接关系里的。这个方向的研究如果持续下去，或许最终可以真正解释LLM大语言模型为什么会产生智能这个终极问题。

演讲之外，有趣的事实是，作为“暂停AI研究倡议”发起人，主题演讲却是关注如何进行一个更深入的AI大模型研究。也许正如Max自己最后所说，他并非AI三巨头之一Yann LeCun教授所说的厄运者，他实际上对AI充满希望和向往，只是我们可以确保所有这些更强大的智能为我们服务，并用它来创造一个比科幻作家过去梦想的更鼓舞人心的未来。

谢谢大家，早上好。

我会说一点普通话，但并不擅长。今天我想谈一谈如何让我们的计算机更值得信赖。但首先，我想说我非常高兴回到中国。多年来，在麻省理工学院工作过的许多优秀学生都是来自中国的。如果你有兴趣来麻省理工学院学习并与我一起工作，请申请。

现在让我们谈谈如何控制人工智能。我个人对人工智能非常感兴趣，对它为我们带来的各种机遇感到兴奋。今天早上我们已经听到人工智能可以做很多美妙的事情，不仅能帮助中国，还能帮助世界。举个例子，全球几乎所有国家都同意联合国的可持续发展目标。我们最近发表的一篇论文表明，人工智能可以帮助我们更快地实现几乎所有这些目标，如果我们能够控制好技术的发展，甚至可以超越这些目标。我相信这是我们人类生活中重要的课题。

然而，现在有很多人担心我们是否能够控制人工智能。就在几周前，AI教父杰弗里·辛顿在这里也谈到了这个问题。我们是否正在接近计算机提出并改进自身的想法？可能是的，我们可能正在走向这一步。这可能会带来快速的发展，这是一个问题，我们必须认真思考如何控制它。

我们能做到吗？实际上我们还不知道。我们还没有到达那个阶段，但我们可以尝试。这种情况似乎有点令人担忧，尤其是OpenAI的首席执行官Sam Altman提到了ChatGPT和GPT-4。他认为，最糟糕的情况是我们所有人都失去控制，而人工智能超越了我们。这些并不是对人工智能一无所知的随机人士，他们是该领域的领导者，其中包括图灵奖得主Yann LeCun、Geoffery Hinton和Joshua Bengio等。在不久前，世界各地的AI研究人员签署了一份声明，警告人工智能面临灭绝的风险。

为什么会有这么多人对此表示担忧？其实，这种担忧早已存在。与人工智能的想法一样古老。早在艾伦·图灵的时代，就有人担心这种情况的发生。Irving J. Good甚至在我出生之前就提出了这个问题。过去的九年里，包括我在内的许多人，如斯图尔特·罗素、史蒂芬·霍金、弗兰克·威尔切克等，都曾对这个问题表示担忧。

现在的担忧变得更加紧迫，因为我们已经接近了人工智能能够愚弄人类的程度，即通过图灵测试。换句话说，人工智能可以掌握语言，这是过去许多研究人员认为将非常接近人类所能做到的一切的标志。大型语言模型已经取得了很大的进展。

尽管听起来有些令人沮丧，但这也有一些积极的方面。我希望人们能认真对待这个问题，这将改变大国之间的关系。过去，当人们只关注人工智能给予他们力量的想法时，每个人都争相竞逐，争取尽快获得它。但是一旦人们开始认识到这可能会终结地球上每个人的文明，超级大国之间的动力就会完全改变。如果我们灭亡了，无论是美国人还是中国人都没有区别。与其把它看作是一场军备竞赛，不如将其视为一场自杀式竞赛。无论谁先获得不可控制的超级智能，每个人都将在那时灭亡。因此，尽管听起来可怕，但我认为现在是东西方共同努力的时候，以确保我们能够控制人工智能的发展，建立合作伙伴关系而不是竞争关系。

那么我们该如何做到呢？在接下来的演讲中，我将探讨如何控制人工智能，以便我们能够构建出美好的未来，并确保它们为我们服务而不是对抗我们。

我们需要解决两个主要问题。第一个问题是对齐，即如何确保一个单独的人工智能实际上按照它的主人的意愿行事。Yann LeCun在他的谈话中提到了他的膝上型电脑不太对齐的情况，因为它在谈话过程中出现了故障。

第二个问题是如何使全球各组织、公司和个人保持一致，确保他们的动机是将人工智能用于善事而不是恶事。

如果我们只解决了第一个问题并广泛应用非常强大的人工智能，那么我们可能会面临这样的情况：某些人、恐怖分子或其他希望控制世界并执行我们不希望的行动的人可以利用这项技术。因此，我们还将在最后讨论这个问题，这涉及到策略领域。

但主要是我想谈谈如何调整计算机和人工智能的技术问题，以使它们更好地按照我们的意愿行事。我们将从Stuart Russell和其他演讲者的讲话中听到许多方面的内容，但我想着重讨论您如何更好地理解这些系统内部发生的事情的具体方面。这涉及到机械可解释性的领域，这是一种非常强大的可解释性形式。一旦您理解了它，就可以改变系统，从而更好地信任它。这是一个相对年轻但非常小众的领域。

最近，我在麻省理工学院组织了世界上关于这个主题的最大规模的会议，但与这里相比，参加会议的人数非常有限。我希望能让您相信这是一个非常有前景和令人兴奋的领域。我很高兴与在座的许多人一起开展这方面的研究项目。

机械可解释性是一个非常有趣的领域。你训练一个你不理解的复杂神经网络来执行智能任务，然后尝试弄清楚它是如何做到的。

我们要这样如何做？您可以有三个不同层次的抱负。最低层次的抱负是仅对其可信度进行诊断，了解您应该信任它多少。例如，当您开车时，即使您不了解刹车的工作原理，您至少希望知道是否可以相信它会减速。

下一个层次的抱负是更好地理解它，以使其更加可信赖。最终的抱负是非常雄心勃勃的，这也是我期望的，那就是我们能够从机器学习系统中提取出它们学到的所有知识，并在其他系统中重新实现它们，以证明它们将按照我们的意愿行事。

Stuart Russell可能在他的演讲中提到了一些能够证明系统工作的证明代码的概念。这有点像病毒检测器的对立面，如果病毒检测器能够证明您要运行的代码是恶意的，它将拒绝运行，否则将运行。证明代码的概念是硬件要求软件向其证明它会执行正确操作的地方，只有在能够提供证明的情况下才会运行。我们希望将这个概念与机械可解释性相结合，首先通过训练机器学习系统自动发现知识，然后使用其他人工智能技术将这些知识提取出来，并转化为某种形式的证明代码。

我将在接下来的演讲中更详细地讨论这些细节，但首先让我举一些例子，让您了解机械可解释性领域的发展速度有多快。例如，最近我们的研究小组在麻省理工学院完成了一项论文研究，我们在实验室研究了大约七年的时间。我们发现大型语言模型中的知识是通过一种有趣的近似方式学习的，它由许多我们称为量子的知识片段组成，可以单独学习和研究。

我们对单个标记应用梯度，只使用所有梯度的点积，并对它们进行归一化和相似矩阵处理，然后进行谱聚类。因此，我们能够自动识别大型语言模型正在学习的这些知识片段。我们展示了一些例子，其中许多只是事实性的知识。但是随着模型规模的增加，我们发现了更多的知识。这些例子展示了模型学到的各种量子。这项研究表明，当以相同的顺序进行训练时，大型语言模型总是倾向于学习相同的量子，这类似于孩子们学习爬行然后行走的顺序。数据量越大、参数越多、计算能力越强，模型学习的量子就越多。

由此，我们实际上能够对为什么会得到这些缩放定律做出有趣的预测。众所周知，你得到的损失像计算方面的幂律一样下降，关于数据集大小、参数的数量。这三者可以同时解释。如果你只是假设你需要的那些量子技能的频率分布也是幂律，如Zipf定律。对于这些不同的比例定律如何相互关联，我们有一个小公式。

机械可解释性的一个不同且有趣的部分是提取知识在模型内部的表示方式。例如，东北大学波士顿的David Bowe教授小组，他们最近发现GPT如何存储艾菲尔铁塔位于巴黎这一事实。他们弄清楚了它是如何表示的。他们能够在神经网络中编辑这些权重，告诉它这是一件真实的事情。他们还发现了它的存储方式，它实际上是一种非常简单的方式，即线性编码。基本上，你有一个矩阵，一个位于变压器内部的MLP。当你将它乘以编码巴黎的向量时，结果是一样的。唯一的区别是矢量不是真实的东西。当你将它乘以编码巴黎的向量时，结果是具有大系数的矢量编码Rome。

近半年来，许多小组发表了很多不错的论文，发现不同种类的知识是如何存储的。我们在麻省理工学院做了很多研究如何表示算法信息的工作。如果你有这样的抽象乘法表，也许是普通的乘法，也许是其他一些群运算，你只是想预测当你像这样组合两个元素时会发生什么。例如，您想预测所有红色示例，并且您有一个测试集，其中包含所有被阻止的绿色示例，但这里的表格比5x5大得多。这是如何运作的？

这是我们所做的一个简单示例，其中您必须执行的操作是加上模59。你基本上拍了两张以像素为单位的图像照片或类似的东西，然后你把他们送进来。你知道任何群运算总是可以表示为一组矩阵乘法。我们将编码训练成矩阵，然后我们训练解码器如何解码它。然后我们往里看，在训练时如何在高维内部空间中表示？

突然之间，尤里卡！（注：突然有亮点的意思）神经网络有洞察力。所有的点都落在嵌入空间的一个二维超平面上作为一个圆。如果你考虑模加法，就像你有一个包含所有数字1、2、3、4到12的时钟，如果是11点加上两个小时，则为1点。它重新开始。它发现了这一点，当它发现这一点时，它就能够概括并解决它以前没有见过的例子，因为它提出的这种表示自动嵌入了这个操作是可交换和结合的，它可以利用它来填写表格的其余部分。如果您只是在没有模块化部分的情况下进行普通加法，那么您会发现它将开始代表一条直线中的所有实体，而不是圆。如果你过度拟合，你会看到它以某种随机的愚蠢方式表示，所以它总是可以重复训练数据，但它永远不能概括。

有一种需要很长时间才能泛化的情况，如果你在它什么都学不到而且总是很困惑的情况下训练，嵌入甚至没有改变。我们还可以使用机器学习来尝试让解决方案变得更简单、更容易让我们理解。通常，神经网络可以通过许多不同的方式来完成相同的任务。我们想要最简单的，但它通常会学习更复杂的一种，因为有比简单的更复杂的。如果你看看人脑，它是非常模块化的。我们在这里做视觉，在这里听，等等，等等，这样需要大量交流的神经元靠得很近。那是因为在大脑中，如果大脑必须长距离发送信号，这是非常昂贵的。它会占用更多的头部空间，消耗更多的能量，导致时间延迟。但是在神经网络中，在一个全连接的前馈神经网络中，你可以在不改变损失函数的情况下改变层中所有神经元的顺序。它也不会改变任何常用的正则化项。

在这里，我们不鼓励我们的人工神经网络变得简单。我们做了一个简单的测试。我们有一个想法。如果我们在神经网络中添加一个损失函数，一个正则化器，会怎样，有点像L1范数，我们再次惩罚权重以使其稀疏，但我们也将其乘以神经元之间的距离。我们将每个神经元嵌入到一个点中，将神经元实际嵌入到一个真实的空间中，二维或三维或其他。我们惩罚，所以长连接的成本更高。看看会发生什么。

你训练一个神经网络，对于我们刚刚看到的例子，过了一会儿，它不仅变得更加稀疏，而且你开始看到结构。它有模块，这个，这个，这个。这些有点像我们之前谈到的这些量子。有趣的是，我们可以看看他们每个人，他们做了什么。这个人做那个圈子是为了发现我们谈到的圈子技巧。这个发现了一种不同的方法。然后，它们在顶部以一种纠错的方式组合在一起。有点像三票的多数投票，变得更加准确。这也适用于我们尝试过的许多其他示例。

在这里，我们尝试了置换，而不是模块化加法，24个元素的置换群。它制作了一个非常简单的神经网络。众所周知，您可以将其视为排列四面体的四个角。这个群有一个九维的表示，对应于可用于将四面体旋转到自身并翻转它的三乘三矩阵。果然，它发现一开始这里只需要九个神经元就可以获得完美的准确性。此外，它重新发现了很多我们可以在数学课上学习的群表示论。

例如，它发现这里的这个神经元要么是负一，要么是一，取决于它是偶排列还是奇排列，它是否反映四面体。当我们查看公式时，当我们训练神经网络来预测排列时，当我们训练神经网络来预测简单函数时，这再次惩罚了长连接，它简化到您可以看到人类更容易解释的程度。

例如，左边的方程式，它输出两种不同的东西。第一件事只取决于 x1、x2 和 x4。第二件事只取决于 x1 和 x3。虽然一开始只是乱七八糟，最后你可以看到它实际上学会了将其简化为两个完全独立的神经网络，不互相交谈，分开更容易理解。

下一个，有功能共享。当你稍微看一下，你现在可以看到，哦，首先发生的是学习平方数。然后将它们结合起来。对于第三个，你可以看到所有东西都组合成一个神经元。那是平方根下的东西。然后它学会在最后一步计算平方根通过在 x 轴上针对输出绘制那个神经元的激活。它正是平方根函数。

这也适用于更大的系统。MNIST 就是这样。这些都是小例子，但我认为这是一个有趣的领域。我想让你明白的是，我们人类不必花太多时间来弄清楚神经网络是如何工作的如果我们可以训练他们先简化自己。它变得容易得多。

在这种情况下，我们看到神经网络通常不必要地复杂，因为你有这种排列对称性，你可以对一层中的神经元进行任何排列而不会增加你的损失。通过消除这种对称性，您会变得简单。你得到模块化。

许多神经网络中另一种不必要的并发症是连续的。因此，如果你有一个前馈神经网络，它可以做一些真正智能和准确的事情，你可以对你的数据进行任何连续的非线性变换，如果它是可逆的，有一些层。然后你可以有更多的层来移除那个转换。它仍然会执行相同的操作，但可能会更复杂。

所以和来自北大的这位很棒的研究生 Liu Ziming，我们在这方面取得了一些不错的结果，它可以在我提到的所有这些不同的连续转换中简化自己并发现问题中隐藏的对称性。我们将它应用于一个非常著名的黑洞物理问题。

当 Carl Schwarzschild 在 1915 年发现黑洞时，他认为当你到达事件视界时你就会死去。因为如果你看这里的公式，这个描述时空形状的所谓度量张量，你除以 r 减去 2m。所以当 r 等于 2m 时，你除以零。这听起来很糟糕。也许你会死。不。17 年后，Gilles Strand 和 Panne-Lavey 发现您可以连续变换坐标系。这是史瓦西发现的一个愚蠢的坐标系。有一个更好的，你可以看到没有任何危险发生。没有被 r 减去 2m 的除法。在 r 处只有一个奇点等于零。他们花了 17 年才发现这一点。我们的自动化人工智能工具在一个小时内发现，有一种方法可以大大简化这个著名的物理问题。

既然有幸来到中国，就不得不说一下AlphaGo、AlphaZero等。当我们被告知它在下围棋和国际象棋方面比人类更好时，这当然引起了很多新闻。这里也有一些关于机械可解释性的非常有趣的工作。Google DeepMind 的这个团队发现，通过采取数百万个游戏位置让人类编写的国际象棋程序 Stockfish 计算每个位置的价值，你有多少材料等等。AlphaZero 是否真的自动重新发现了这些东西？

他们发现，是的，AI其实是自己自动发现的，一个主教大约值 3 个兵，一个车大约值 5 个兵，等等。它甚至自动发现了国际象棋中许多更复杂的价值衡量标准。就像罗马埃菲尔铁塔的例子，在这里我们发现人类很容易提取它。你可以只用一个 softmax 层对其进行线性解码，即其中的信息。

与此相关的是，Stuart Russell 及其同事写了一篇非常重要的论文，表明除非我们能够证明这一点，否则我们不应该过分相信人工智能。因为你们都被告知在围棋中你永远无法打败人工智能。你可能相信它，因为即使是柯杰也无法击败它。但事实证明，这是错误的。因为这篇论文，他们发现他们可以进行对抗性攻击。反对这些 Go 程序。通过放置一个小陷阱并诱使计算机包围您的棋子。然后你开始包围电脑，同时它也在包围着你。如果这是一个足够大的群体，计算机将不会注意到这一点。最后，噗，你赢了。负责围棋程序的其中一位人，在不使用任何计算机的情况下，能够在超过 50% 的时间内击败世界上最好的围棋程序。因此，除非你能证明这一点，否则不要相信被认为非常强大的人工智能系统。

这是我对机械可解释性的看法。Yann LeCun 在他的演讲中提到一种想法，大型语言模型可能缺乏世界模型。我听到很多人这么说。但我认为那不是真的。这里有一篇非常漂亮的论文展示了这一点。这是一个经过训练的转换器，一个大型语言模型，经过训练可以玩比围棋简单得多的游戏。奥赛罗游戏。实际上，他们所做的只是给了它一堆这样写的游戏。他们只是给了它一系列的动作。并训练它预测下一步行动。他们没有告诉它任何关于游戏规则的信息，也没有告诉它游戏是在一个世界的棋盘上玩的，或者类似的东西。

尽管如此，我还是发现在这个Transformer内部它已经建立了一个世界模型。这是一个8x8的二维世界，棋盘上有棋子。它之所以这样做，是因为事实证明，通过拥有良好的世界模型，它可以更轻松地完成接受训练的任务。我认为当你使用百度的Ernie Bot（文心模型）或GPT-4或类似的东西时，你会以同样的方式看到。它显然能够模拟一些不同的人。如果您开始以某种风格写作，它会尝试以该风格继续。因此，大型语言模型可以构建它们之外的模型。

我想在这里强调的最后一个例子是关于机械可解释性的进步。它与理解神经网络功能的最终方法之一有关。这是用符号公式代替整个事物。这称为符号回归。如果我给你一个电子表格，一张数字表，我要求你从其他列中预测最后一列，那就是符号回归。如果是线性函数，那就是线性回归。超级简单，对吧？你只需反转一个小矩阵。但如果是像这样的任意非线性函数，这个问题很可能是非NP难的，指数级的困难。因为长度为N个符号的可能公式的数量呈指数增长。

我们在麻省理工学院的小组中为此做了很多工作，并发现我们在科学和工程中真正关心的绝大多数公式都是模块化的。这意味着许多变量的函数可以写成具有较少变量的函数的组合。

我们发现，如果你先训练一个黑盒神经网络来准确地拟合函数，然后只需研究黑匣子的梯度并寻找某些代数性质，您可以在不知道模块是什么的情况下发现任何模块化，甚至非常复杂。这让您可以将复杂的问题分解成许多您可以解决的更简单的问题。

比如我这里给它一个数据表，看看能不能拟合动能的公式，根据爱因斯坦的相对论。我在x轴上向您展示了每个公式的复杂程度，在y轴上，它的近似值有多糟糕。我们最感兴趣的是既简单又准确的凸角。所以它发现了正确的那个。但它也发现了这种近似。你们可能都在高中或更早的时候学过，牛顿的近似。质量乘以速度的平方大于二。我们在各种物理教科书中的大量方程式上进行了尝试。我们实际上在这个符号回归任务上获得了最先进的性能，只需利用神经网络的力量。

所以黑匣子必须学习的不可思议的力量。但我们并没有就此止步，那是第一步。然后一旦你有了发现知识和数据的神经网络，您执行这些其他步骤来提取知识。所以总而言之，我希望我已经让你相信机械可解释性是一个非常有趣的领域，一个非常有前途的领域。让我也试着说服你，它会继续有趣和有前途。这很像神经科学。

你有一个可以做你的大脑的系统，可以做非常聪明的事情。但这是一个我们不了解的黑盒子，除了这比神经科学容易得多。因为当你在清华或北大这里做正常的神经科学时，您一次只能测量1,000个神经元，在千亿之中，而且你必须获得一些伦理委员会的特别许可才能对人类进行实验，而且有噪音。当你进行机械解释时，你可以随时测量每个神经元，每一个重量。

你没有道德委员会。您甚至可以构建自己的有机体并进行尝试。因此，即使很少有人在很短的时间内在这个领域工作过，它的进步比传统神经科学快得多。这给了我希望，如果我们中有更多人加入这个领域，我们可以取得非常非常快速的进展，并远远超过第一个雄心水平。只是弄清楚是否信任事物，让他们变得更好一点。我真的认为这是第三个也是最雄心勃勃的选择，使有保证值得信赖的东西成为可能。

让我再说一件事来说服你。拥有比我们聪明得多的东西并非没有希望。我们可以证明它是安全的。

首先，我们不必自己编写证明。我们可以委托AGI或超级智能来编写证明，因为检查证明是否正确要容易得多，而不是发现证据。正确的？所以如果机器给你一个非常非常长的证明，您可以用Python编写自己的程序，它是如此简短，以至于您完全理解它。这检查了整个证明，就像，是的，这是对的。我相信它。我可以运行它。同样你可能会想，哦，如果一个研究生需要一年的时间来写一篇关于某事的论文，这不会缩放。但是我在这里向您展示的所有工具都差不多，在机械解释中。他们是自动化的，你可以让机器完成所有艰苦的工作，并首先简化自己。

然后你可以使用其他自动化工具来弄清楚，它真正学到了什么？它是怎么做到的？并想出办法，做一些同样聪明的事情，但是实际上可以保证安全的地方。这对我来说是非常有希望的，因为我永远不会相信比我们聪明得多的东西，除非我能证明。但如果我能证明这一点，我会相信它。

因为无论它多么聪明，它不能做不可能的事。因此，这提供了一个真正保持对系统控制的机会，那比我们聪明得多。我们使用这些技术让他们证明自己的可信度，然后我们只运行我们实际有证据的那些。

关于第二部分，我也简单说几句。如果我们有这些机器，那将服从控制机器的人。我们如何确保人们或公司不做坏事，用自己的机器？这当然是策略的问题。那么让我们再听听Joshua Bengio的讲话，这是非常令人兴奋的，因为我们可以带来所有的好处。

他说的就像你记得的那样，我们现在已经通过了图灵测试。那是什么意思？这是非常令人兴奋的，因为我们可以带来所有的好处，随着人工智能在社会上的积极应用。但也担心强大的工具也可能有负面用途，社会还没有准备好应对这个问题。这就是我们所说的本质上的原因。

让我们慢下来，让我们确保我们开发出更好的护栏。所以这封信说让我们暂停一下，前面提到过。我想说清楚，它并没有说我们应该暂停人工智能，它并没有说我们应该暂停几乎任何事情。到目前为止，我们在这次会议上听说过，我们应该继续做几乎所有你们都在做的精彩研究。它只是说我们应该暂停，暂停开发比GPT-4更强大的系统。所以这对一些西方公司来说主要是一个暂停。

现在，原因是这些正是系统，恰恰是可以使我们最快失去控制的系统，拥有我们还不够了解的超级强大的系统。暂停的目的只是让人工智能更像生物技术，在生物技术领域，你不能只说你是一家公司，嘿，我有一种新药，我发现了，明天开始在北京各大超市销售。首先你要说服中国政府或美国政府的专家，这是一种安全的药物，它的好处大于坏处，有一个审查过程，然后你就可以做到。

如果我们为那些具有如此强大功能的人工智能系统建立这样的护栏，他们真的可能造成伤害。然后我们将变得像生物技术，正确的。有一个公平的竞争环境，不是逐底竞争。我们走得慢一点，但结果是我们拥有的一切都是安全的。这会破坏创新吗？好吧，让我问你这个。生物技术创新是否因为必须获得药物批准而遭到破坏？当然不是。我们生活在生物技术的黄金时代，其实恰恰是领域对危险品的监管太弱了，这反而经常破坏创新，比如民用核电，这方面的投资基本上已经崩溃了，例如，至少在福岛之后的西方，如果他们再小心一点就好了，没有福岛和切尔诺贝利，所以我们都可以从中受益。

让我们不要犯那个错误，让我们变得更像生物技术，使用我们最强大的系统，不像福岛和切尔诺贝利。

最后我只想说，我觉得中国确实有一个独特的机会来为人工智能的安全和明智治理做出贡献。

当然，像超级智能这样非常强大的人工智能的好处和风险都将由全人类共享，所以没有一个国家可以单独解决这个问题。我认为中国确实处于独特的位置，都是因为中国是世界领先的科技大国，所以它可以帮助领导研究。因此，不仅是关于如何让AI变得强大，还有如何让它变得健壮和值得信赖。由于中国的国际影响力与其启发和塑造全球人工智能议程（包括人工智能监管）的能力一起增长，中国的声音真的很重要。

我还认为中国相对于西方的优势在于中国拥有现存最古老的文明之一，200年在中国是很短的时间，不像在美国那样很长时间，出于这个原因，中国有一种更长远的传统，因此，也有相当多的注重安全的传统，因此，举例来说，就在上周，我非常高兴看到中国的全球安全倡议实际上明确谈论防止人工智能风险。

我真的很欢迎这种中国人的智慧和领导力，这样我们就可以通过控制人工智能来拥有美好的未来。谢谢。

宏江：

非常感谢Max发人深省的演讲，我们确实想让您在这里再停留10分钟。那么请我的老朋友清华大学讲席教授来和大家对话，亚勤请。

亚勤：

好的，谢谢宏江。

Max，很高兴再次见到你。很高兴再次见到你。这当然是一次信息量很大、很有启发性的谈话。谢谢。

我首先要感谢您在提高AI风险和挑战意识方面的领导力和冠军地位。谢谢你。

我们谈论两种类型的智慧，而这两种类型的智慧在竞争中。一是发明新事物、新技术的智慧，包括人工智能在内的人类创造力。另一种智慧是控制它并确保它朝着造福人类和社会的方向发展的能力。显然在您看来我们有点落后，第二名落后了。我记得你组织了很多活动，当然还有组织、未来生命研究所以及所罗门人工智能会议的23条原则。那是2017年？是的。

所以我的问题是和2017年相比，你觉得第一、第二的差距是扩大了还是缩小了？

Max：

我认为不幸的是它被扩展了。所以与五年前甚至2020年我上次在中国相比，我们看到的是AI力量的增长比很多人预期的要快。2020年的大部分同事没想到2023年我们能通过图灵测试。智慧，是的，它的消失比我们希望的要慢一点。这正是为什么现在人们更愿意暂停最冒险的工作，正是为了给智慧赶上的机会。

亚勤：

在您的书《生活 3.0》中 -- 我是这本书的忠实粉丝，我儿子也是 -- 你说人生的三个阶段，对吧？

生命1.0是四十亿年前开始的最原始的生命形式。生命2.0就是我们所在的位置。它是一个拥有文明、语言和我们现在拥有的所有系统的人。而生命3.0就是AGI，是机器智能，

你说它是超智能。这当然涉及思想、文化、软件和硬件。你认为我们在哪里？我们有多近？你想改变你对生活3.0的定义吗？它是纯碳还是碳和硅的混合物？

Max：

我们人类，也许你已经是生命2.1、2.2，因为我们可以植入心脏起搏器、人工耳蜗，也许我们的一些孩子与他们的手机如此紧密相连，他们几乎是其中的一部分。在2和3之间。

但重要的是要记住，一方面，生命3.0是一个非常鼓舞人心的想法，对吧？在人类存在的最初200,000年左右之后，真的被剥夺了权力，只是想不被吃掉，不想饿死，对我们的未来几乎没有控制。

我们现在，因为科学和技术，成为我们自己船的船长，成为我们自己命运的主人。我认为这很令人兴奋。我们看到，如果我们用更好的AI继续这一趋势，更接近生命3.0，我们还可以做得更多。与其在太空中的这个小旋转球上愚蠢地争论谁应该拥有这片小领土，我们拥有这个令人难以置信的宇宙，拥有如此丰富的资源，我们可以在其中繁衍生息数十亿年。所有这些都对我充满希望和激励。

但重要的是要记住，生命3.0不是一回事。就像下一步一样。可能的生命3.0形式的空间，人工思维的空间是巨大的。而我们去什么样的生命3.0，我们有很多选择。

我个人热爱人类。我想我想用生命3.0引导未来，有同情心，有情感，有感觉，关心我们关心的一些事情。不是某种僵尸，完全无意识的机器，他们关心的只是我们认为非常平庸的东西。我认为这些都是真正的可能性。

我想要被赋予力量，而不仅仅是和你坐在一起，我们一起吃爆米花，然后等着看会发生什么。但是问问自己我们想要什么，然后朝着那个方向前进。因此，它将成为人类智能和机器智能的理想结合，造就世界上最好的东西。这一切皆有可能，但它不会自动发生。它会发生，因为这里的人们认真思考我们想去的地方，我们努力朝着那个方向前进。

亚勤：

Max，你出生在瑞典。你在欧洲长大，在美国生活和教书。你周游世界，和很多中国同事交谈。那么让我问你一个关于人工智能治理状态的问题。如果你用1到10的等级给AI治理的水平打分，10是最好的，您如何评价中国、欧洲和美国？

Max：

顺便说一句，我喜欢这个问题。

我最喜欢的名言之一是荷兰文艺复兴时期的科学家克里斯蒂安惠更斯。他说科学是我的宗教，世界是我的国家。我觉得就是这个原因。

因此，如果我们审视世界本身，我认为首先，我们应该为全人类做出贡献。我认为它很低。我认为我们可以做得更好。我认为这三个国家地区中的中国迄今为止在监管人工智能方面做得最多。欧洲排名第二。我们与Future生命研究所就教育欧洲的策略制定者进行了大量合作。例如，现在他们正在完成欧盟人工智能法案。美国位居第三。

我认为，如果我们能够帮助欧洲提出真正明智的监管，美国很可能会效仿。我们在GDPR中看到了这种情况。例如，美国人并不想为了隐私而做任何类似的事情。但在欧盟通过这些法律后，美国人收到的垃圾邮件开始减少。然后它开始在美国也越来越流行。

亚勤：

好吧，Max，你的职业生涯是在数学、物理、神经科学，当然还有人工智能方面度过的。显然，在未来，我们将越来越依赖跨学科的能力和知识。我们有很多研究生，很多未来的年轻人。

在年轻人如何做出职业选择方面，您对他们有何建议？

Max：

首先，我的建议是在人工智能时代，专注于基础知识。因为经济和就业市场的变化会越来越快。因此，我们正在摆脱这种学习12年或20年，然后余生都做同样事情的模式。它不会是那样的。

更重要的是，你要有扎实的基础，并且非常善于创造性、思想开放的思维。这样才能身手敏捷，随波逐流。

当然，要关注整个人工智能领域正在发生的事情，而不仅仅是在你自己的领域。因为在就业市场上，首先会发生的事情不是人被机器取代。但不与人工智能打交道的人将被与人工智能打交道的人所取代。

我可以再添加一点吗？我看到时间在那里闪烁。

我只想说一些乐观的话。我觉得Yann LeCun是在取笑我。他称我为厄运者。但如果你看看我，其实我很开心很开朗。对于我们理解未来AI系统的能力，我实际上比Yann LeCun更乐观。我认为这是非常非常有希望的。

我认为，如果我们全速前进，将更多的控制权从人类手中交给我们不了解的机器，那将以非常糟糕的方式结束。但我们不必那样做。我认为，如果我们努力研究机械可解释性和今天将在这里听到的许多其他技术主题，我们实际上可以确保所有这些更强大的智能为我们服务，并用它来创造一个比科幻作家过去梦想的更鼓舞人心的未来。

亚勤：

谈谈Yann LeCun，就一分钟。我非常尊重Yann。他是先驱。在他的开创性工作之后，我们做了很多工作。但有一件事我不同意，只是为了引起一点争论。他谈到了系统1和系统2。我认为AI已经通过了系统1，并且真的在努力让系统2发挥作用。在丹尼尔·基德曼的分类法中。

其实我有不同的看法。我认为System2可能是AI在可预见的未来可以实现的。System1实际上是最难的。因为那是我们甚至不知道如何推理、如何推理的本能能力。就像自动驾驶一样，我花了很多时间研究自动驾驶汽车。你可以学习如何驾驶汽车。但是一旦你学会了，正是那种肌肉记忆，那种本能，系统1，实际上给了你那种优势。这就是为什么我们的AI系统存在问题和麻烦。也就是说，如果您阅读埃里克·肯德尔(Eric Kendall)的书《搜索记忆》(The Search Memory)。他讲了显性决策和隐性决策，大致对应系统1和系统2。你会同意我的看法还是赞同Yann的看法？

Max：

我认为你说得很好。这也是我认为我们可能都同意Yann LeCun的观点。架构将再次改变。现在每个人都喜欢，哦，Transformer，Transformer，Transformer。但我非常有信心，当我们获得通用人工智能和超级智能时，它看起来一点也不像Transformer。相反，我们现在正在开发的一些东西可能最好是其他系统中的组件。

你已经有了像auto-GPT这样的东西，人们在大型语言模型周围放置循环，并用更多的传统机器学习来补充他们可以做的事情。到目前为止，从几乎所有机械互操作性的工作中也很明显的一件事是，每次我们弄清楚大型语言模型如何做某事时，我们就像，天哪，这太愚蠢了。我可以做得更好。

所以它有点发现了最小可行的解决方案。有三种糟糕的算法，然后它会进行纠错并让它们投票或进行其他操作。所以我认为机械互操作性不仅会给我们带来人工智能的东西，我们可以信任，因为我们最终可以证明它，而且它也会更有效率。

更广泛地说，我设想未来我们可以使用这些强大的黑盒神经网络来挖掘算法。它发现了所有这些不同的算法。定义是独立的。但是随后您以最佳方式将它们组合在一起。然后你开始获得更高效、更简单、更可靠、更值得信赖的系统。

我们知道它会以这种方式结束，因为即使Ernie Bot和聊天GPT以及我们在这里听到的不同旗帜模型都很棒，看看它们使用了多少瓦的能量。你的大脑可以做很多事情，以致于在20瓦的情况下它们做不到。

亚勤：

是的，为了节省时间，我们必须结束对话。但我只想说这个。它非常强大，AI，但它是及时的，有必要对其进行控制。我用Max你的话来结束这一切。让我们被人工智能赋予力量，而不是被人工智能压制。

谢谢。

Max：

谢谢。非常感谢你们。

以机械可解释性去掌控AI：Max Tegmark教授智源大会精彩演讲（附中文视频）