研究:将智能体提示拆分为独立槽位后,反思/控制槽承载几乎全部优化价值,均分预算反而有害

新论文提出的HARNESSEVO方法将LLM智能体的harness拆成四个独立进化槽位,在ALFWorld任务中显示优化收益集中于反思/控制槽,而均匀分配计算预算会导致所有槽位冻结。

一篇新预印本论文提出,优化大语言模型智能体的外部提示(harness)时,收益高度集中于反思/控制部分,而非均匀分布;将有限计算预算均分给不同组件会拉低效果。该研究由Michael Nguyen等人完成,6 月 25 日提交至arXiv(编号 2609.02889),论文共 17 页,属计算语言学(cs.CL)领域。

方法:把harness拆成四个独立槽位

现有反思式提示进化方法通常把harness——模型外部的文本脚手架,包括人设、策略、格式规则和控制启发式——当作一个扁平字符串整体优化。HARNESSEVO则把harness分解为四个可分别进化的槽位:角色(role)、任务策略(task-strategy)、工具/格式规则(tool/format-rules)、反思/控制(reflection/control)。

研究者使用同一个反思式优化器,在等预算(iso-budget)设置下,采用“leave-one-in”(逐槽加入)和“leave-one-out”(逐槽剔除)两种归因方式测量每个槽位对整体成功率的贡献。

ALFWorld结果:收益集中在反思/控制槽位

在ALFWorld任务上、使用冻结的 7B参数骨干模型测试,HARNESSEVO的整体二元成功率(0.657)相对于原始harness(0.642)和扁平字符串进化(0.642)没有显著提升。

但分层分析显示,几乎所有有用优化价值都集中在反思/控制槽位:该槽位leave-one-in增益为 +0.119;其他槽位单独加入均为无效(null)。

作者强调,该效应依赖具体任务。在WebShop任务上,所有槽位均冻结为空、所有方法效果相同,表明“并非预算饥饿,而是确实不存在反复出现、可语言化的控制失败”——即该任务没有可供优化的空间。

  • ALFWorld成功率:HARNESSEVO 0.657;原始harness 0.642;扁平字符串进化 0.642。
  • 反思/控制槽位leave-one-in增益:+0.119。
  • 其余槽位(角色、任务策略、工具/格式规则)单独加入均无增益。

均分预算陷阱与集中预算的恢复效果

论文还展示均匀分配预算的坏处:若将 64 次rollout均分到四个槽位,每个槽位只有 16 次,低于优化器的有效搜索下限(effective search floor),导致所有槽位冻结在其空种子状态。

相反,将预算集中投给高贡献(high-credit)的反思/控制槽位,仅用均分时一半的预算(推测为 32 次rollout)就能恢复丢失的增益,成功率提升至 0.761(对比全局 0.657)。

  • 均分 64 rollout:每槽仅 16 次,低于搜索下限,全部冻结。
  • 集中预算到反思/控制槽:用一半预算达到 0.761 成功率。
  • 结论:harness价值是局部化的;均匀分预算可能主动有害;应先做信用分配(credit assignment),再开始结构化进化。

信息来源