AWS与高通达成多代定制芯片合作,聚焦AI推理
高通将为AWS设计多代定制芯片,双方还合作开发高达1.6太比特的光互连技术;作为交换,高通将使用AWS的Bedrock服务加速芯片设计。
AI解读:AWS和高通这次合作是双向的:高通为AWS设计用于AI推理的定制芯片,而高通自己则用AWS的Bedrock服务来加速芯片设计流程。这意味着AWS在自家Trainium、Graviton和Nitro之外,又多了一个外部芯片供应商。
对AWS来说,增加高通这个选项,主要看中的是推理场景下的能效——每个token的能耗成本直接影响利润。对高通来说,这是自6月以来第三个大型数据中心客户,目标是到2029年实现150亿美元的数据中心收入。
不过要提醒的是,这些定制芯片要覆盖“多代产品”,意味着从设计到量产再到部署还有相当长的周期,短期内的实际影响有限。对于普通用户和开发者,短期内不太需要为此改变现有使用习惯。
高通将为AWS设计覆盖多代产品的定制芯片,重点面向AI推理。作为合作的一部分,高通将使用AWS的Amazon Bedrock服务加速其芯片设计流程。双方还在开发带宽高达1.6太比特的光互连技术,以应对AI基础设施中不断增长的数据流量。
AWS与高通的合作内容
据The Decoder报道,高通为AWS设计的定制芯片将覆盖多个产品世代,聚焦于AI推理任务。AWS将把这些芯片加入其自有的Trainium、Graviton和Nitro芯片家族。
合作中,高通贡献其在低功耗芯片设计方面的经验,而亚马逊提供其云基础设施。双方还联合开发带宽达1.6太比特的光互连技术,用于处理AI基础设施中的高数据流量。
- 高通将使用AWS的Bedrock服务来加速芯片设计流程。
- 此次合作主要面向推理工作负载,因为每token的能耗成本直接影响利润。
- 高通在边缘设备端同样注重能效。今年3月,高通AI研究部门发布了一个框架,可在智能手机上运行推理模型。
高通的数据中心扩张
亚马逊是高通自6月以来在数据中心领域的第三个大型客户。此前,Meta已采用高通的Dragonfly C1000服务器处理器,微软则在其Azure中部署了高通的HBC内存架构。
高通的目标是到2029年实现150亿美元的数据中心收入。