83项研究系统性综述：过半LLM测试预言机在无规范依据下做出判定
作者提出“权威来源”分类法，认为LLM-as-a-judge等标签只说明判定方式，不代表判定可信。
AI解读：LLM正越来越多地被用于判断软件行为是否正确，方式要么是编写测试预言机，要么直接充当预言机。这项系统综述梳理了83项研究后发现，过半数的预言机在做出判定时没有任何规范（specification）作依据——它们只依赖模型训练时学到的知识。这意味着，两个外观相同的判定可能建立在完全不同的基础上：一个基于书面规范，另一个只是模型的“记忆”。作者因此提出，评估任何LLM预言机时，首先应问：它的判定依据来自哪里？这项研究的价值在于为开发者和测试工程师提供了一个判断工具：当LLM给出的测试结果被质疑时，你能否拿出一份规范或可追溯的证据来支持它？如果答案是不能，那么该预言机就更像是一种“参考意见”而非“裁决”。目前，超过一半的研究用“与已知预言机的相似度”来评估预言机质量，而非用注入故障能否被捕获来衡量，这可能导致评估结果与实际检测能力脱节。对普通开发者而言，这提醒你在依赖LLM做测试判定时，最好保留一份可核查的规范或规则作为后盾，以便在判定引发争议时能自证。
一项遵循PRISMA 2020指南的系统文献综述，从2,436条记录中筛选出54项研究，再通过引文追溯（snowballing）扩展至83项，旨在回答：LLM测试预言机的判定权威来自哪里。论文发表于IEEE Access，通信作者为Ali Hassaan Mughal和Muhammad Bilal。
核心发现：过半预言机无规范依据
综述发现，所分析的语料中，略超过一半的预言机在做出判定时完全没有规范可参考，而这一特性既是它们能处理无规范代码的原因，也使被质疑的判定缺乏可依赖的后备依据。
研究中，预言机质量最常见的评估方式是将其与已知预言机进行相似度比较，而非检验其能否捕获注入的故障。作者据此建议，面对任何LLM预言机，首先应问：为这一判定辩护时，你依据的是什么？
分类方法：权威来源、形式与裁决机制
作者沿三个维度梳理语料：预言机权威的来源、其表现形式（form）以及裁决机制（mechanism）。研究发现，来源与机制相互交叉而非重合，因此“LLM-as-a-judge”这类标签只说明了判定是如何产出的，并没有说明为何应当信任该判定。
本综述的协议、检索式及逐研究编码表均已公开，并提供了复现包（replication package），供后续研究者检验与扩展。