产品Google AI Developers·原文 2026年8月25日本站收录 2026年9月5日

Google发布Inspect Viz热力图工具:用颜色矩阵一目了然对比AI模型评估成绩

Google AI开发者发布新脚本,可将Inspect AI评估结果渲染为热力图,让利益相关方无需逐行查看日志即可快速识别模型技能差距与性能上限。

AI解读:Google的Inspect Viz热力图工具解决了AI评估结果难以向非技术同事(如老板或投资人)解释的问题。以前评估数据是表格或日志,需要观众现场做“心算”才能看出哪个模型更强、某项技能是否带来提升。热力图把准确率映射成颜色深浅,一眼就能看出哪个配置成绩高(比如示例中 3.6-flash加某个技能组合得分 1.0),也方便按技能或按模型对齐来观察规律。不过作者也提醒,热力图只展示准确率单一维度,无法同时显示成本或延迟,且聚合后隐藏了波动性。目前该工具是开源脚本,需要Python环境安装inspect_viz库,适合数据科学团队快速做汇报或初步比较,但若要做深入的成本、性能分析,还需配合后续教程中的BI报表方案。

Google AI开发者Katie McLaughlin发布博客文章,介绍如何使用开源库Inspect Viz将Inspect AI评估结果渲染为 2D热力图,方便向投资人、管理层等非技术利益相关方展示多个大语言模型(LLM)在不同技能上的准确率表现。

热力图解决了什么痛点

文章描述了一个场景:数据科学负责人需要在时间紧张的会议上,向观众展示四个LLM候选模型在十个内部工具上的性能对比。如果直接在评估仪表板中调整列和排序,在演示屏幕上难以阅读,观众需要现场做心算。热力图将准确率映射为颜色强度,利用人眼对颜色梯度的自然辨识力,让观众“一眼”看出性能差异。

工具用法与演示结果

使用该工具需要Python环境,安装inspect_viz库(需同时有inspect_ai和pandas)。运行脚本 `python3 inspect_viz_heatmap.py logs -o heatmap.html` 即可生成HTML热力图。

热力图包含两个轴:纵轴是模型,横轴是技能。示例数据中,3.6-flash模型在平均得分上高于 3.5-flash-lite;添加技能(skill)普遍能提升得分(其他条件相同的情况下)。高亮单元格(如 3.6-flash配合gemini_api_skill得分 1.0)代表顶尖配置。

热力图的局限性

文章指出热力图本身存在三点局限:只能映射两个维度到一个颜色强度(此处是准确率);无法同时展示token成本、系统延迟或可靠性;聚合样本后丢失了结果的一致性或波动性信息。

作者建议进一步导出原始遥测数据到电子表格和BI仪表板,以便做多维度深度分析,并预告了后续教程将介绍如何将输出数据导入Google Sheets和Data Studio。文章还说明博客系列包含AI生成的图表,以及AI辅助的少量文字编辑。

信息来源