新基准KC-Bench评估LLM智能体知识冲突处理能力
研究团队推出KC-Bench，一个包含238个手工筛选任务的多轮交互基准，测试模型在事实修正、身份一致性及时间冲突等场景下的表现。
AI解读：KC-Bench的推出源于大语言模型（LLM）越来越多地通过工具与环境交互时，需要同时处理用户指令、自身知识和实时观察之间的冲突。该基准设计了238个任务，覆盖世界知识冲突、输入不一致和跨来源时间冲突等场景，并借助用户模拟器、状态化工具和确定性环境断言来测试模型。评估了包括DeepSeek-V4-Flash、GLM-5.2和MiniMax-M3在内的九款模型，结果显示没有模型能在所有设置下可靠处理事实修正、身份一致性检查和时间冲突解决，且漏掉的冲突可能传导至工具调用或模拟的受保护数据流。对于开发者而言，KC-Bench提供了一个可复现的诊断工具，用于定位模型在冲突感知推理方面的短板，而不是像传统基准那样对整个智能体框架进行排名。不过，其效果局限于模拟环境，尚不能直接推断模型在真实生产系统中的表现。
一项名为KC-Bench的新基准旨在评估大语言模型智能体在通过工具行动时处理知识冲突的能力。该基准由Yaxing Lyu、Shengjie Zhou等研究者提出，相关论文于2026年9月3日提交至arXiv（编号2609.03588）。
KC-Bench包含238个任务，这些任务从超过1000个生成候选中人工筛选而来。基准结合了用户模拟器、有状态工具、确定性环境断言、开源自然语言评估器以及人工轨迹验证，主要针对世界知识冲突、输入不一致和跨来源时间冲突三类场景。
评测结果与局限
研究团队评估了包括DeepSeek-V4-Flash、GLM-5.2和MiniMax-M3在内的九款模型，结果显示跨领域表现差异显著：没有模型能在所有设置下可靠处理事实修正、身份一致性检查和时间冲突解决。
论文指出，在模拟环境中，被模型遗漏的冲突可能传导至工具调用或合成的受保护数据流。研究者强调，KC-Bench旨在隔离模型层面的行为，而非对完整的智能体框架进行排名，其目标是提供一个可复现的诊断工具，用于开发具有冲突感知能力的推理和执行机制。