新框架A-CEGIS用反例作反馈，让AI代理在4轮内解决90%自然语言转正则任务
arXiv论文提出A-CEGIS，通过确定性预言机生成紧凑反例，指导代理多轮修正，在30个任务上将成功率从零样本的17%提升至90%，并修复全部隐藏任务。
AI解读：这条新闻解决的是大模型生成代码后无法自行纠错的问题：单次生成的测试掩盖了代理在真实部署中根据反馈修改错误产物的能力。A-CEGIS引入一个确定性检查器，对代理提出的正则表达式做全匹配验证，一旦出错就返回一个最简的假阳性或假阴性例子作为下一轮提示。在30个自然语言转正则任务上，4轮内这种反例反馈能让90%的任务被解决，远高于零样本生成的17%、通用自我纠错的27%和仅报错的23%；完整诊断流程中，加上对抗性样本加固后，所有隐藏任务最终都被解出，平均2.7轮成功。对做智能体评估或提示工程的开发者来说，这意味着你可以用低成本、确定性的反馈方式替代模糊的自我纠错提示，显著提高多轮对话式任务的成功率，而且不需要额外训练模型。但要注意，A-CEGIS依赖可验证的完整匹配规则，目前只适用于正则表达这类存在客观判据的任务，无法直接套用到开放式文本生成，而且论文没有披露在更大规模或更复杂任务上的效果。
arXiv论文提出轻量框架A-CEGIS，用反例作为反馈来评估和引导AI代理在多轮对话中自我修正，解决自然语言到正则表达式的合成任务。实验中，诊断性反例反馈在4轮预算内解决了30个NL-RX-Turk任务中的90%，而零样本生成仅有17%的成功率。
框架核心：确定性预言机生成反例提示
A-CEGIS的工作流程是：代理先提出一个正则表达式，一个确定性预言机（oracle）按全匹配语义检查该表达式的正确性。如果出错，系统生成一个紧凑的反例——可能是误报（false positive）或漏报（false negative）——作为下一轮修正的输入，引导代理改进其答案。作者Sidhesh Badrinarayan和Adithya Parthasarathy在论文中指出，这种诊断性反例反馈在4轮消融预算内解决了90%的任务。
作为对比，通用自我纠错（generic self-correction）只解决27%的任务，仅报错而不给出具体反例的反馈解决23%。在包含强化（hardening）的完整诊断流程中，代理在最终轮次前解决了隐藏测试集中的全部任务，平均2.7轮达到成功；经过针对性探测后，鲁棒成功率保持在77%。
- 归因：上述成功率和对比数据来自论文在30个NL-RX-Turk任务上的实验结果。
- 作者建议：A-CEGIS衡量的是代理跨轮次改进的效率，并增加了超出原始隐藏案例的实用鲁棒性检查。