研究:将指令复制两次可将医疗问答通过率提升2.95个百分点
arXiv预印本提出“指令复制”推断期控制方法,无需重训或改变解码,可消除30.2%残余失败,但最终回答准确率保持不变。
AI解读:这项研究针对的是大语言模型在执行复杂指令时经常“跑偏”的问题——模型读了医生的诊断步骤,却在生成检查路径时遗漏或错序。作者提出一个极简的黑盒技巧:把程序性指令原样重复两遍,而不是像通常的提示工程那样改写或强调。数据显示,在300道医学多选题、8种指令位置条件下,重复指令让通过全部8项可观测测试的确定性响应比例从90.22%提升到93.17%,消除了30.2%的残余失败。但关键局限在于,最终答案的准确率仍是60.21%——也就是说,这个技巧改善的是“过程合规”,不是“结果正确”。对真正依赖模型生成轨迹做下游修复的医疗问答系统,这一差异可能意味着修复成本大幅下降;对只关心最终答案是否正确的用户,则没有明显价值。需要强调的是,这项研究来自arXiv预印本,且其自身设计的盲审挑战未达到预定的28/30确认标准,23.3%的提前承诺率上升也提示重复指令可能让模型过早固定思路,实际部署前仍需谨慎评估。
arXiv预印本(编号2609.04024v1)提出一种名为“指令复制”(instruction duplication)的黑盒推断期控制方法:仅将程序性指令重复一遍,不进行重训练,也不改变解码方式。研究者在7个经指令微调的模型、300道医学多选题、8种指令放置条件和16,800次计划生成中测试该方法。
实验结果显示,将指令从一份复制为两份,确定性All-8诊断指标(即通过全部8项可观测测试的响应比例)从90.22%提升至93.17%,提高2.95个百分点,消除了单份指令后剩余失败的30.2%。
复制指令的方式与效果边界
在预临时(pre-provisional)TF-IDF召回率上,复制指令使结果从73.44%提升至74.81%(提高1.38个百分点,Holm校正p<0.001),但最终答案准确率保持在60.21%,未发生变化。
研究同时记录了复制指令带来的副作用:过早承诺(premature commitment)的比例从1.52%上升至2.30%(Ho校正p=0.00536)。作者对此的解读是,复制指令提升了过程合规性,但未能改善最终答案的正确性。
论文还报告了一项盲法挑战审计(blinded challenge audit)的结果:30项方向性确认中有10项,20项感知一致,未出现反转。但结果未达到预定的28/30确认标准,意味着外部审计未能充分支持该方法的优越性。
下游维修场景中的差异体现
论文指出,当生成轨迹被下游系统用于操作时,过程合规性的提升可能产生实际价值。在Answer Engineering(AE)这一场景中,显式轨迹状态决定了局部修复的方式:此前发表的“原因优先、禁止编辑”的SSNHL终点记录为25.1%;仅使用系统AE时的复现结果为84.2%;而加入同样的尾部复制指令后,该指标提升至97.1%。
在传导性诊断分支保持(conductive diagnostic branch preservation)方面,对应的数值分别为:无编辑基线58.9%、复现AE为78.6%、AE加复制指令为73.8%——后者在AE内部有所下降,但仍比无编辑基线高出14.9个百分点。
作者总结称,指令复制是一种低复杂度、对放置位置敏感的控制方法,其实用价值取决于下游系统如何处理暴露出的轨迹。该研究由Victor Lavrenko(PeaceTech VC, Israel)提交至arXiv,论文共7页、2张表格,代码和可复现工件已公开。