AWS在SageMaker AI上对两款30B MoE模型进行基准测试，比较了G5、G6、G6e与G7实例。结果显示G7在吞吐量和延迟上优于前代，且NVFP4原生支持带来成本优势，但结果受限于特定模型和工作负载。
AI解读：AWS实测数据显示，Blackwell架构的G7实例在运行30B MoE模型时，比上一代G6和G5实例更快、更便宜。以Qwen3-Coder-30B为例，G7在同样的测试负载下输出吞吐量比G6高约60.8%，平均延迟降低约37.6%。对于依赖MoE模型的AI编码助手或企业AI助手，这意味着用户能感受到更快的响应，同时每处理一百万个token的成本可能降低数倍——比如在对话场景下，G7的成本比G6低约4.9倍。但“更快更便宜”是有条件的：测试结果取决于模型架构、量化格式、输入长度和并发数，长上下文的RAG场景会显著拉低吞吐并推高成本。实际部署前，应使用自己的模型和工作负载特征进行基准测试或使用AWS的推荐工具，而不是直接照搬这里的数字。
AWS机器学习博客发布了一项基准测试，对比了在Amazon SageMaker AI上使用NVIDIA Blackwell GPU的G7实例与上一代G5、G6、G6e实例运行30B Mixture-of-Experts（MoE）模型的性能。测试涵盖两款模型：Qwen3-Coder-30B-A3B-Instruct-FP8和NVIDIA Nemotron-3-Nano-30B-A3B-NVFP4。结果显示，ml.g7.12xlarge在编码工作负载下吞吐量比G6高出约60.8%，平均延迟降低约37.6%；在另一项测试中，G7的成本每百万输出token比G6低约4.9倍（聊天场景）和5.6倍（RAG场景）。但AWS强调，这些结果仅适用于测试的特定模型、配置和工作负载。
G7硬件与NVFP4支持
基准测试比较了不同GPU代际的实例：G5使用A10G，G6使用L4，G6e使用L40S，G7使用RTX PRO 4500 Blackwell。对于12xlarge配置，G5和G6各有4块GPU共96GB显存，G6e有4块共192GB，而G7使用2块GPU共64GB显存。
G7是唯一原生支持FP4张量核心的实例。NVIDIA的NVFP4格式可将模型压缩至每权重约4比特，仅产生极小的质量损失。G5和G6运行NVFP4权重时没有硬件加速，这让G7在MoE部署上具有结构性优势。AWS还指出，MoE模型在解码阶段受内存带宽限制，因为每个token只激活部分专家，更高的内存带宽能直接降低token间延迟并提高吞吐量。
Qwen3-Coder基准测试结果
在编码场景中，AWS使用DJL LMI 28.0容器部署Qwen3-Coder-30B-A3B-Instruct-FP8，在ml.g5.12xlarge、ml.g6.12xlarge和ml.g7.12xlarge上运行相同的非流式工作负载（100个请求，并发4，平均128输入token和128输出token）。
结果如下：G7的输出吞吐量为391.3 token/s，比G6（243.4）高60.8%，比G5（346.3）高13.0%。平均延迟方面，G7为1315.8ms，比G6（2109.7ms）低37.6%，比G5（1475.2ms）低10.8%。P99延迟上，G7比G6低54.7%，比G5低20.2%。
此外，G7的流式测试显示，平均TTFT为118.9ms，平均ITL为8.9ms，输出吞吐量为408.1 token/s，适合交互式编码助手。
Nemotron-3-Nano部署推荐与成本分析
第二个场景使用SageMaker AI的Generative AI Inference Recommendations工具自动评估配置，目标为优化吞吐量。模型为NVIDIA Nemotron-3-Nano-30B-A3B-NVFP4，推理框架为vLLM。测试了两种工作负载：短上下文（512输入/256输出token）和长上下文RAG（3500输入/200输出token）。
结果中，g7.48xlarge在两种负载下都提供最高吞吐量（分别为2397 token/s和816 token/s），而g7.2xlarge提供最低估算成本，分别为每百万输出token 0.90美元和2.29美元。G7相比G6e成本每token低约1.4倍；相比G6，聊天负载下成本低约4.9倍，RAG负载下低约5.6倍。
AWS同时指出，长输入会降低吞吐并提高每token成本，且结果仅限于测试的模型、配置、区域和工作负载，生产部署前应使用自身特征进行基准测试。此外，G7目前仅在美国东部（俄亥俄）和美国西部（俄勒冈）区域提供。