NVIDIA发布NVLink Fusion与NVHBM，为定制XPU提供高达30%性能提升
NVIDIA NVLink Fusion与NVHBM技术旨在帮助超大规模企业和AI公司部署定制XPU，实现最高30%内存带宽提升、25%更多计算核心面积和15%功耗节省。
AI解读：NVIDIA推出NVLink Fusion和NVHBM，是为了解决AI加速器扩展时遇到的内存带宽、芯片面积和功耗瓶颈。NVHBM通过定制HBM基础芯片，相比标准HBM4e提供最多30%的内存带宽提升、25%的计算核心面积增加和15%的功耗降低。这意味着定制XPU能支持更大的AI模型，更高效地处理KV缓存读取和推理任务。对于超大规模云服务商和AI公司来说，这些改进直接降低了部署大规模AI数据中心的成本，例如在1吉瓦数据中心中可额外容纳多达15000个XPU。NVLink Fusion作为连接技术，让定制XPU能接入NVIDIA的NVLink网络和MGX机架架构，从而实现半定制AI工厂的快速部署。不过，这些数据来自NVIDIA的官方声明，实际性能效果可能因具体工作负载和集成方式而异。因此，相关企业应基于自身需求评估是否采用这项技术，而普通用户无需立即关注此新闻。
NVIDIA在官方技术博客上发布了NVLink Fusion和NVHBM两项技术，旨在帮助超大规模企业和AI原生公司设计和部署定制XPU（AI加速器）。NVLink Fusion是连接技术，使XPU能够接入NVIDIA的AI基础设施平台；NVHBM是一种定制HBM基础芯片技术，据称可提升内存带宽、节省芯片面积并降低功耗。
NVHBM的三项关键改进
据NVIDIA官方博客，NVHBM相比标准HBM4e可提供最多30%的内存带宽提升、25%的计算核心面积增加和15%的HBM功耗降低。这些数据来自NVIDIA的测试，实际效果可能因应用而异。
- 带宽提升：每堆栈最多30%的内存带宽，有助于加快大型模型推理中的token吞吐。
- 面积节省：通过重新设计的物理内存接口和将内存控制器移入3D HBM堆栈，PHY和支持面积减少67%，互连布线简化，提供最多80%的可用硅片面积，使主计算芯片面积最多增加30%。
- 功耗降低：HBM功耗比标准HBM4e降低15%，在机架和数据中心层面累积节省电力。
NVLink Fusion的作用和部署影响
NVLink Fusion基于第六代NVLink技术，通过NVLink Fusion chiplet连接定制XPU和NVLink网络，使机架内的XPU形成一个统一的scale-up域。上游，XPU可通过NVLink-C2C连接CPU。该架构允许客户将定制XPU与NVIDIA的GPU、网络和软件栈结合，支持异构计算，并简化数据中心的运维和资源重配置。
- NVLink Fusion是NVIDIA发布的，用于连接定制XPU和NVIDIA的AI平台。
- 博客提到，通过NVHBM和NVLink Fusion的组合，每个XPU的整体端到端性能可提升30%。
- 该技术旨在减少开发和部署复杂性，加速半定制AI工厂的上市时间。
大规模部署的潜在收益
NVIDIA博客指出，功耗节省在大型数据中心规模下影响显著。以一个1吉瓦数据中心为例，使用2000W的XPU，功耗节省可支持额外多达15000个XPU的计算余量。
- 该技术的目标是支持更大的AI模型和更复杂的推理工作负载。
- 内存带宽提升有助于减少数据饥饿，提高XPU利用率。
- 面积增加使XPU设计者可以在固定封装内增加更多功能，如更强大的矩阵引擎或缓存。