微软提出用“有效产出率”衡量AI基础设施

微软认为,AI投资不应只看芯片、token和数据中心规模,还要衡量系统最终产生多少可用智能与实际成果。

AI解读:对负责AI预算的人,这篇文章提出了一个更贴近业务的问题:花掉的算力最终完成了多少可用工作?如果模型调用很多,却需要大量返工,token单价低也未必划算。把任务成功率和人工复核成本一起算入评估,比单看芯片数量更有助于比较方案。不过微软的“有效产出率”仍是一种衡量思路,文中的高消耗案例不能当成每个智能体任务的常态,也不能直接据此预测自己的预算。

微软借用半导体行业的“良率”概念提出AI的“有效产出率”:资本、电力、芯片和数据中心只是投入,真正需要衡量的是这些资源能否转化为价格可承受、能够完成工作的智能。

微软引用自家AI Diffusion Report称,全球约 18% 的劳动人口已经使用AI,但大多数使用仍是聊天式交互。随着系统转向规划、调用工具和执行长流程,单项智能体任务的token消耗可能达到普通聊天的 3400 倍以上。

文章给出的路径分为两类:一类是在现有架构上继续提高效率、利用率和经济性;另一类是改变模型、材料和系统架构本身。上述数字和判断均来自微软,尚不能视为行业统一测量标准。

信息来源