（一）AI芯片挑战者入场

尽管A100已经是英伟达上几代的老产品了。

而在国内知名互联网公司内部，很多人仍然排队等用。

最近，谭老师我有个经历，

某个大模型训练论坛刚结束，想到前排加演讲嘉宾微信。

这时候，不知道是因为走得太慢，还是过道太窄，

突然背后被人推了一把，那人抢先我一步与嘉宾交流。

好家伙，这人是对科技，抱有多大的热情呢。

仔细一听，嚯，推销GPU集群业务。

当下，GPU的确是“黄金商机”，是该拿出如火的热情，谁挡道就把谁推开。

AI芯片的头号玩家当然是英伟达。

好消息是，伴随着老牌芯片厂商依次入场，变化的曙光似乎来了。

2023年12月，AMD拿出自家AI芯片MI300X 。

AMD硬件相当强大，被视为英伟达最有利的挑战者，

虽然，AMD在软件定制化优化方面还有很长的路要走。

2024年4月10日，英特尔入场了，

带来了AI芯片Gaudi 3。

你说突然袭击也好，正常出牌也罢。

两个重量级路标事件出现了。

这意味着：以前是其他厂商都不行，完全上不了牌桌。

现在是，挑战者完成了从0到1的过程，难能可贵。

略显遗憾的是，国产芯片厂商势单力薄。

不要灰心，仍有希望。

时光没有穿梭机，

英伟达上几代产品 A100 在设计之时，

也不可能考虑到大语言模型的种种需求。

这一代的需求，这一代应对。

（二）英伟达超级节点：一直往上堆

一位在美国大会上亲眼看到超级节点

GB200 NVL72

的读者告诉我，

他深受震撼。

这个大家伙可以说是近期最让部分硬件爱好者尖叫的产品了。

对于英伟达的玩法，我的总结是：

不要Scale out，而要Scale up。

这个押头韵的句子，很洋（装）气（B）。

于是，配上谭老师我的土味翻译：

不要往外堆（Scale out）

而是往上堆（Scale up）

重点来了，如何区别两种堆法？

“往外堆”在互联网大厂内部由来已久，

很有年头，

“往上堆”是英伟达玩AI一路摸索出来的。

曾几何时，

“往外堆”是互联网大厂最熟悉的打法。

我搞一堆普通的机器，

以超大规模并行的方式做大集群，

这种方式在“搜索推荐广告”计算领域，

行之有效，

有效的原因在于，

那时候计算密度没有那么高。

互联网公司搜推广是主流业务，

而搜推广计算中，真正密集计算量的部分少。

生成式AI大模型一手擎天，

可是，这属于稠密计算，

英伟达的“往上堆”，需要看下技术细节，

于是我和某国产AI芯片初创公司产品总监Winnie聊了聊，

作为历经Arm和阿里平头哥的芯片老兵，

我每次和她聊，收获都爆棚：

B200是把两个芯片拼在一起，

这两个芯片都是GPU。

GB200是三个芯片并在一起。

之所以用“拼”和“并”两个不同的词，

是因为技术上有差别，

封装工艺不同。

这三个芯片分别是，两个GPU，一个CPU；

CPU是英伟达自产的，名叫Grace。

记住这个G，就是GB200的第一个字母。

GB200是典型的，根据“往上堆”的思路设计的产品。

GB200 NVL72更是这个思路，

把72颗B200芯片全部连接起来。

关键是虽说有72个，但是工作起来像一个。

这真是汪峰的歌唱的，

这是飞一样的感觉。

用自己芯片的内存，和用另一个芯片的内存，

用的时候，没有感觉到跨芯片了。

官方有这样一句话：

rack-scale 72-GPU NVLink domain, that can act as a single massive GPU

超级节点工作起来像一个巨大的GPU，

这个就是GB200 NVL72的灵魂。

怎么做到的。

当GB200系统里三个芯片全都是英伟达的芯片，

芯片之间用英伟达特有网络就更方便了。

芯片间通信在极致的拉高（Chip to Chip）。

再通过多个芯片互联构建一个更大规模的系统。

再用那种英伟达特有的网络把GPU互联，

从芯片到多芯片系统，从一台服务器到多服务器节点（Node）。

因为只要你往外堆，出了一定范围，就免不了外部通信。

既然“往上堆”，那就只要内部通信，不要外部通信。

当走“内部通信”，你虽然有72个GB200芯片，但是彼此之间的网络超快，

这样就能感觉不到内存之间的 “距离”。

甚至好几百个GPU也能以这种方式相联。

既然官方产品是NVL36和NVL72。

那么这种扩大规模的互联，

就是用“外部通信”链接，取36的倍数。

也就是说，以最小单元是36，翻倍互联。

比如，照片中更有NVL576，

就是72 乘以8（个机柜）。

576卡集群就要液冷方案了，

不过机柜间的链接已经算是“外部通信”了。

（英伟达官方没有NVL576，

数字是从图片中数出来的。）

所以，打法非常明确，尽量走内网，而非外网。

一位原阿里云技术专家告诉我，

这是“通信局部性更强了”。

当超过这个局部区域的话，再跟外部相连的时候，

就只能走那种较慢的网络了，英伟达特有的网络用不了。

这样，那就降速。

在这种往上堆的过程中，精巧设计就来了。

就是三层级架构（Hierarchy），

用来管理通信和数据移动。

两种通信前面已经仔细介绍了，

第一节点内，

第二节点外。

有关数据移动，还有一点，

内存池（Memory pool）。

写到这里我也不由的感慨一句，2年前，

就有阿里云AIS（基础设施服务部）的朋友告诉我，

一定要留意GPU池化技术。

也就是GPU虽然多，但是它们会形成一个统一的巨大的内存池。

这个池子为所有GPU提供了一个共享的内存空间。

看看这些设计，可真是变强的法宝。

这个内存池，讲的是一个统一内存编址的事儿。

统一内存编址在计算机系统里非常重要，

对大模型尤其重要，

你可以认为是内存是一个统一的地址。

统一内存编址允许所有处理器或计算单元访问相同的内存空间。

这对上层软件的影响如何体现呢？

比如数据库，

如果能放在同一个内存编址数据取用都很方便，

如果放不下，分开两个数据库，

查询，顺序的难度都增加了。

数据库如此，大模型亦如此。

因为这些模型需要处理大量数据，

有着巨大的“中间计算结果”。

并且这些数据可能分布在多个GPU上。

那种8张GPU卡的AI服务器训练模型的时候，

模型稍大些就放不下了。

服务器内存不足，训练过程可能会遇到错误或失败。

所以，机器小，大的模型训不了。

这时候，内存设计的越大越好。

放得下，就不用把模型拆开，分开放了。

可以看到：

一方面，英伟达把超级节点做得通信局部性更强了，

算力密度更高了。

另一方面，把GPU互联，

形成非常大的集群，

或者再拿超级节点来组集群。

AWS选择了NVL72来支持公有云计算服务。

这些可能是单节点计算能力不够的时下，最好的解决方案了。

没有什么更神奇的了。

换句话说，难题摆在这里，没有神药。

那时下的GPU集群能有多大呢？

答案是：万卡。

（三）万卡集群

要知道，去年十月，

谭老师我还在写千卡技术多么的酷炫，

美国玩大模型的那帮人眼瞅着把玩万卡集群。

万卡是训练基础模型最好的选择了。

反正就是

发展也太快了。

国内也有头部玩家在飙万卡集群，

就我所知，甚至有双万卡

（英伟达有一万张卡，华为昇腾910B也有万卡）。

公开信息中，字节跳动在学术论文中谈到用于训练大规模语言模型（LLM）的生产系统MegaScale的情况，讲的是一件万卡级别进行千亿级别模型训练的事情。

美团大模型则是万卡起步，原因是王慧文的光年之外被美团收购后，

把卡都留给美团了。

上万块GPU互联的集群，成不以亿计算，非常昂贵，

因此，这种级别的系统架构极其复杂，优化得好，性能高，优化得不好，很糟糕。

优化对整体系统性能来说，至关重要。

系统优化难度可想而知。

难题摆在这里，

一方面要有好的芯片，

一方面要有好的AI基础软件团队优化。

AI芯片并非孤立存在，

从AI芯片到AI集群，硬件和软件协同奏响乐章。

AI芯片和AI基础软件都非常重要，

理应在AI浪潮中率先受益。

最后，国产AI芯片赶紧搞，

在线催，赶着用，挺急的。

（完）

《我看见了风暴：人工智能基建革命》，

作者：谭婧

长文系列

漫画系列

大模型算力饥渴，没有神药，只有万卡集群+超级节点