新基准HalluPeer：检测学术同行评审中的LLM幻觉
研究团队构建了包含 12,000 篇论文和 38,000 条评审的基准，发现现有检测器难以区分幻觉与合理批评。
AI解读：学术评审越来越多地借助大语言模型（LLM）辅助，但模型可能生成流畅却无依据的陈述，削弱评审可靠性。HalluPeer基准专门为此设计：它提供对齐的论文内容、人工评审和注入幻觉的评审三元组，并定义了针对同行评审的幻觉分类法。研究者在 12,000 篇论文和 38,000 条评审上的实验表明，现有检测器难以区分幻觉与合理批评，且真实评审中确实存在这些幻觉模式。对期刊编辑、审稿人和使用LLM辅助评审的研究者来说，这意味着目前的自动评审工具仍需人工核实，特别是对来源的核查；研究者可以借助HalluPeer的代码和分类法开发更有效的检测方法。
一项新研究引入HalluPeer——一个专门用于检测科学同行评审中幻觉的基准。该基准提供对齐的三元组：论文内容、人工撰写的评审以及注入幻觉的评审，并对检测、分类和定位进行了标注。研究基于 12,000 篇论文和 38,000 条评审展开实验。
研究动机与基准构建
随着学术同行评审规模扩大，大语言模型（LLM）被用作评审助手，但模型可能生成流畅却无依据的陈述，影响评审可靠性。现有幻觉基准并非为同行评审设计，因为评审验证需要将陈述与长篇技术论文进行核对。
研究团队提出一种流水线：归纳出同行评审特有的幻觉分类法，识别评审上下文，并通过自动过滤注入幻觉。该工作被EMNLP Findings 2026接收。
实验发现与公开资源
在 12,000 篇论文和 38,000 条评审上的实验显示，现有检测器难以将幻觉与合理批评区分开来。对真实评审的评估则表明，HalluPeer定义的幻觉模式在真实评审中确实存在，凸显了来源感知验证的必要性。
项目页面及代码已公开，地址为https://github.com/Lin-TzuLing/HalluPeer.git 。