国产GPU越来越多，为什么反而更难用？

三年前，不少做模型的公司和算力建设方最头疼的问题是"有没有卡"。如今国产芯片、服务器、集群方案都多起来了，新的问题却冒了出来：拿到一批卡，并不等于拿到了同等规模的好用算力。

据 InfoQ 报道，资深网络工程师陈维（2019 年离开工作近二十年的中兴通讯，2023 年加入 AI 基础设施创业公司基流科技）就点出了这个变化：国产算力的竞争，正从"单颗芯片"转向"整个计算系统"。

卡能跑起来，只是第一步

模型迁到新芯片上，接口能对上，顶多算"能跑"。国内既有 GPU 也有 NPU，各家软件栈、运行库、算子实现都不一样。接口对了，不代表性能能到生产要求——整套计算和通信的调度可能全变了。

陈维打了个比方：一种芯片做某段计算要 3 秒，换另一种只要 2 秒；但如果原来的算力与通信调度没跟着调，两者就没法充分重叠，一部分卡只能干等着。单个环节多等一点无所谓，可放大到上千张卡、成千上万次训练迭代，性能损失就明显了。

真正麻烦的环节集中在算子和通信：缺的算子要补，有的要重调，通信库要适配，显存管理、算力与通信的重叠策略也得重排，连运维监控都得跟着改。表面只是"换一种卡"，落到生产环境，却变成了一项系统工程。

万卡之后，通信就是算力的一部分

集群从几十张卡扩到上万张，通信就从"一个环节"变成了决定效率的关键。一次数据同步卡了，等着它的可能是一整组、甚至大批加速卡。

更麻烦的是，AI 训练的网络流量有明显突发性：先算一段，再短时间集中同步大量数据。平均带宽看着不高，但同步那一刻网络必须顶得住。所以系统得把观测粒度切细，才能看清瞬时拥塞和算通有没有充分重叠。

基流科技为此做了个 VenusCL 通信组件，重新分配 CPU 和 GPU 的活，让 GPU 尽量专心算。据陈维介绍，在客户已完成千卡集群基础调优的前提下，这套通信库还能再带来约 2%—6% 的性能提升。别小看这几个百分点——放到万卡规模，换算下来可能对应上亿元的既有算力价值。为了这几个点，团队花了接近一年。

千卡以后，故障得靠系统定位

集群一大，一个典型的毛病就冒出来了：训练 Hang——任务不退出也不报错，但就是不往下走了。问题可能在某张 GPU、某台服务器、某张网卡或某条链路上。几十张卡还能逐台查，几千张卡靠人一台台翻可能要几天，而且故障未必能稳定复现。

基流科技曾在一个约 3800 张卡的集群里遇到这类问题，用自家的 Megatrace 工具（给通信过程打点、智能分析）在故障复现时快速定位到某台服务器上的一张 GPU，把它下线后训练才恢复稳定。这也说明：就算硬件型号完全一样，大集群内部也难免有个体差异。

多种芯片并存，怎么不打架？

现实中，一家企业很难只拥有一种芯片：有的分期建设买了不同型号，有的早期用海外 GPU、后来转国产。可把这些卡简单接到一张网上并不算完——性能、显存、通信节奏都不同，混着跑，快的会一直等慢的，效率被最弱的一环拖住。

一种思路是让高频通信尽量发生在同型号设备内部；另一种是按各自特长分活，比如推理时把预填充（Prefill）交给更擅长计算的芯片、解码（Decode）交给显存带宽更合适的芯片。

陈维并不回避异构的损耗，但他认为：三组原本没法协同的算力资源，即便单组有效率损失，合起来的有效算力仍可能高于只用其中一组——用一部分极致性能，换来更高的存量利用率和更大的硬件选择空间。

在他看来，国产算力最后会走向一定程度的融合和标准化，但不会一步到位。要统一的未必是底层实现，而是用户调用和系统连接的方式。从"有卡可用"到"算力真正可用"，中间隔着的，正是整个系统工程。

来源：InfoQ《国产 GPU 越来越多，为什么反而更难用？》

原文链接：https://www.infoq.cn/article/pkyTD9OWfpU7QvIbLX2j