新基准ObserverBench测试可解释性估计是否真正适配下游干预任务：平均准确的内部估计仍可能选出错误动作
该基准将估计精度与所选动作造成的损失分开报告，在GPT-2-small、Qwen2.5-7B等模型任务中发现高AUROC并不等于部署损失更低。
AI解读：可解释性方法常用来指导模型干预，比如激活操控或安全监控，但一个内部估计在平均意义上准确，未必能帮模型选出最优动作——这是ObserverBench要解决的核心矛盾。它把每个任务固定为模型、信息边界、可用动作和损失函数，分别报告估计精度和动作损失，用实验证明：在电路干预任务中，能更好预测未见过效应的成对观测器并不总是选择更低损失的；在安全分诊场景，即使分数能完全区分违规，当违规成本不同时，固定预算的分配也可能出错。对关注模型可解释性或安全部署的开发者，直接意义是：不要只看精度或AUROC这类排序指标，而应针对具体干预目标评估方法。该方法仍在基准阶段，提供固定任务合同和可运行的基线，尚未覆盖所有主流模型或真实生产环境，因此不一定需立即改变现有工具，但它为选择干预策略提供了更严谨的测试框架。
arXiv于2026年9月2日发布论文（编号arXiv:2609.03026），介绍ObserverBench，一个用于测试内部估计器（称为观察者）是否足以胜任其指导的干预、控制或安全任务的基准框架。研究指出，平均意义上准确的内部估计仍可能选择次优动作。
测量设计与实验发现
每个任务固定模型、信息边界、允许的动作、决策规则、留出案例和损失。基准将估计精度与所选动作造成的损失分开报告。
实验部分显示：在GPT-2-small和Qwen2.5-7B的电路干预任务中，成对观察者能更准确地预测未见过的效应，但并不总是选择更好的动作；而基于动作损失训练的观察者则选择损失更低的动作。
在安全分诊任务中，一个能完全区分违规的分数，当违规成本不同时，可能无法有效分配固定的干预预算。
在Qwen2.5-7B、Gemma-2-9B-it以及前瞻性冻结的Qwen3.5-9B APPS任务上，AUROC排序监控器的方式可能与部署损失不同，且最佳信息源随模型变化。论文还报告了稀疏SAE读出在Qwen面板上的表现落后于层匹配的密集对照，这一结果基于所公开的激活密度或检查点不匹配。
- 论文由Vijay Erramilli提交，共28页、4张图，来自arXiv论文“ObserverBench: Testing Mechanistic Estimates for Intervention and Control”。
- 代码、基准、排行榜和提交界面均已发布，并提供了冻结工件版本。