两周前刚说CUDA神话松动，SemiAnalysis转头点赞英伟达vLLM——AMD追赶的不只是硬件

7月13日，两周知名半导体研究机构SemiAnalysis在社交平台发文，前刚高度肯定英伟达在vLLM推理引擎上的说CA神性能优化成果，同时直言AMD在部分模型的话松vLLM支持上仍存在显著差距。

此前，转赞英D追华尔街见闻曾报道该机构指出，头点英伟达的伟达“CUDA护城河正遭受缓慢侵蚀”，其最大竞争压力来自越来越多超大规模云厂商和AI模型公司转向自研ASIC，硬件针对训练或推理等特定场景构建专用芯片体系。两周

这两则看似矛盾的前刚判断，将AI芯片竞争的说CA神焦点从“硬件性能比拼”拉回至一个更本质的问题：在推理时代的规模化部署中，软件生态的话松深度往往比单代GPU的硬件领先更具决定性。

对于日均处理数十亿次推理调用的转赞英D追AI企业而言，“部分模型支持良好”与“全模型稳定优化”之间的头点鸿沟，在规模效应下会被急剧放大。伟达在硬件竞争白热化、自研ASIC不断蚕食推理份额的背景下，英伟达在推理软件栈上的深厚积累，正成为比硬件参数更持久的竞争壁垒。

vLLM的差距：生态闭环的较量

vLLM是目前大语言模型推理领域应用最广泛的开源引擎。SemiAnalysis选取vLLM作为评判基准，本身就传递出一个明确信号：开源推理生态已成为衡量AI芯片真实性能的关键战场。

以Kimi K2.5这一千亿参数级混合专家（MoE）模型为例，双方差距尤为明显。

英伟达GB200 NVL72通过机架级NVLink将72张GPU高速互联，支持宽专家并行（Wide EP）规模达8至16。这一架构大幅减少了每张GPU承载的专家权重，降低了HBM带宽压力，并使All-to-All通信得以在高速NVLink域内完成，而非依赖较慢的InfiniBand网络。最终，其每GPU吞吐量可达12,000 token/s以上。相比之下，AMD MI355X在同一测试中表现逊色，主要原因在于其难以实现同等规模的专家并行与机架级互联。

在软件层面，英伟达推出的Dynamo分布式推理框架将vLLM深度集成，专门针对MoE模型实现了预填充与解码分离（Disaggregated Serving）、高效KV缓存传输以及双批次重叠等优化。这套框架在NVL72上能充分发挥硬件潜力，而AMD目前仍主要依赖标准vLLM与DISAGG版本，针对超大MoE模型与宽并行场景的深度优化尚未跟上。

“部分模型”措辞背后的全覆盖鸿沟

SemiAnalysis将AMD的落后限定在“部分模型”上，这一措辞包含两层深层信息：

1. AMD并非全面落后：在通用计算场景中，其MI系列GPU已具备一定竞争力，Meta近期签署的巨额采购订单也验证了这一点。
2. “部分”凸显了实质差距：即全面性软件生态覆盖的缺失。

在AI推理场景中，企业客户追求的是稳定、可预期的部署体验。维护两套软件栈以覆盖不同模型的成本，往往是决策时的决定性因素。

AMD要从“部分领先”跨越到“全面可用”，所需的软件工程投入可能比硬件迭代更为耗时。这不仅是编写更多驱动和适配层的问题，更意味着要在数以千计的模型架构、不断演进的开源框架以及分散的开发者社区中，建立广泛的兼容性和信任。

推理时代，软件才是真正的护城河

当AI产业重心从训练向推理迁移，软硬件的战略价值正在发生结构性重估。

• 训练任务集中且可控，硬件性能差距可凭资本投入弥补；
• 推理任务则是分布式、持续性的，微秒级的延迟差异在每天数十亿次调用中被成倍放大，直接转化为成本结构的分化。

英伟达的软件生态壁垒由三个层面叠加构成：

1. 覆盖约400万开发者的CUDA工具链及其二十年积累；
2. 对所有主流机器学习框架的优先适配；
3. cuDNN、TensorRT、NCCL等优化库形成的深度绑定。

三者叠加产生的迁移成本，远超任何单一硬件参数的差距。这一判断与SemiAnalysis两周前的分析形成呼应。彼时，该机构指出Anthropic已形成由谷歌TPU、亚马逊Trainium和英伟达GPU共同构成的多平台算力架构，大量Claude模型训练运行于TPU，Claude Code推理则越来越多部署于Trainium，英伟达GPU的份额正遭自研ASIC缓慢侵蚀。

然而，此次对vLLM性能的正面评价表明：英伟达在推理软件栈深度优化上的领先幅度，并未随硬件竞争格局的演变而同步收窄。

(责任编辑：热点)