NVIDIA称，基于SemiAnalysis AgentX工作负载的测量显示，Vera Rubin NVL72在智能体推理任务上的每兆瓦吞吐量比GB300 NVL72高30倍，每百万token成本低35倍。
AI解读：智能体AI（如自动编程或深度研究）每项任务消耗的token是普通聊天的15倍，因为它们要反复调用工具、阅读长文档并不断推理。NVIDIA Vera Rubin NVL72的新数据直指这个痛点：在模拟真实编程会话的AgentX测试中，每消耗一兆瓦电，它能处理的智能体工作量是上一代GB300 NVL72的30倍，每百万token的成本也降低35倍。对受电力配额限制的数据中心运营商来说，这意味着同样电价下能产出更多AI服务或赚更多钱。不过这些数据是NVIDIA自行测量、尚待SemiAnalysis审核的早期结果，且未计入Vera CPU的推理性能，购买决策前应等待第三方复核。普通用户无需立即行动，但依赖大模型API的开发者可留意后续成本变化。
NVIDIA于2025年7月29日发布博客，公布Vera Rubin NVL72平台的早期推理基准测试结果。官方数据显示，在SemiAnalysis AgentX工作负载（由录制的真实智能体编码会话组成，保留了实际上下文增长、工具调用和子代理生成）下，Vera Rubin NVL72的每兆瓦吞吐量比GB300 NVL72最高提升30倍，每百万token成本最高降低35倍。这些结果尚未经过SemiAnalysis审核。
NVIDIA引用OpenRouter数据称，智能体AI工作负载消耗的token是简单聊天请求的15倍。例如，AI智能体调研一家公司以做投资决策时，会查询金融数据库、搜索新闻和文件、调用子代理进行同行比较和估值建模，然后综合成推荐。每一步累积的token成为下一步的输入，使长上下文处理成为智能体AI性能的核心。
基准测试细节与归因
NVIDIA表示，这些数据是使用SemiAnalysis AgentX工作负载测量的。该工作负载基于真实世界的智能体编码会话记录，保留了实际的上下文增长、工具调用和子代理生成。NVIDIA称，结果反映了当前Vera Rubin NVL72的性能，但尚未反映Vera CPU在工具调用方面的性能。
具体测试中，NVIDIA将Vera Rubin NVL72与GB300 NVL72在DeepSeek V4 Pro模型上对比。结果显示，GB300 NVL72每兆瓦吞吐量比Hopper架构高15倍；Vera Rubin NVL72则比GB300 NVL72高30倍。NVIDIA称，Blackwell平台在Kimi K3、MiniMax M3、GLM5.3、Qwen3.5和DeepSeek V4 Pro等多个智能体模型上都表现出领先性能。
NVIDIA还提到GB300 NVL72在DeepSeek V4 Pro上比Hopper架构每兆瓦吞吐量高15倍，这一代际跳跃得益于更大的GPU扩展域和协同设计的软件。但这些对比的具体测试条件（如功率、批处理大小等）未在来源中详细说明。
技术实现与平台组成
NVIDIA将性能提升归因于平台各层面的“极限协同设计”。文中列举的技术包括：分离式服务（将上下文处理prefill与响应生成decode分离，可独立扩展）、速率匹配（同步prefill和decode GPU的token生成速度）、大规模专家并行（在扩展域内分布混合专家模型的子网络）、分布式KV缓存（扩展内存并分级卸载不活跃上下文）、KV感知路由（将请求定向到已有缓存的GPU）、融合CUDA内核（如MegaMoE）。
硬件层面，Rubin GPU配备第五代Tensor Core和第三代Transformer Engine，并支持NVFP4 4-bit量化。NVLink和NVLink Switch的第六代产品相比现成以太网替代品提供10倍高的数据包速率和3倍低的延迟。软件栈包括TensorRT LLM和Dynamo。全平台是七芯片架构，除GPU外还包括Vera CPU、Groq 3 LPU、NVLink 6 Switch、BlueField-4 DPU、Spectrum-6 SPX和ConnectX-9 SuperNIC。
NVIDIA DSX MaxLPS技术可在GPU、机架和工作负载层面管理功率，在同兆瓦预算下最多可多配置40%的GPU，进一步提升每兆瓦吞吐量。Vera Rubin已全面投产，并在生态系统中扩展。