arXiv新框架MemoryLACE:显式建模证据生命周期,长时记忆推理性能提升且运行时间缩短66.6%

该轻量级框架通过稀疏合并、取代和矛盾三类关系组织文本证据,在BEAM和StructMemEval基准上达到同骨干网络最优性能。

AI解读:长时LLM智能体需要在多次交互中保留信息,同时分辨重复证据、历史状态、更新内容和未解决的矛盾。现有文本记忆系统虽能高效检索语义相关记忆,但这些关系往往是隐式的;而结构更复杂的方法虽能建模这些关系,却带来更高的复杂度。MemoryLACE的核心思路是:不构建全局知识图谱或进行全局反思,只对每条文本证据的“生命周期”做局部显式建模——用稀疏合并、取代和矛盾三类关系连接证据,保留原子化的自然语言记忆及其来源。检索时不再孤立地取回记忆,而是重构出包含当前、历史、支持和冲突证据的证据单元,供下游推理使用。在BEAM和StructMemEval两个基准上,使用开源权重和专有LLM骨干网络,MemoryLACE在同骨干网络对比中取得最高总体性能,并在BEAM上将端到端运行时间相对最强反思式基线Hindsight缩短66.6%。消融研究显示,生命周期扩展和时间感知是性能提升的主要贡献因素。对构建长时记忆系统的开发者而言,这个框架提供了一条低复杂度路径:在不需要全局图或全局反思的情况下,也能显著改善长时记忆推理。不过,结果仍基于基准测试,实际应用中的效果和限制需在具体场景中验证。

arXiv 9月2日发布的一篇计算语言学论文介绍了一种名为MemoryLACE(MemLACE)的轻量级记忆框架,用于显式建模文本证据的生命周期。该框架在BEAM和StructMemEval两个基准上,使用开源权重和专有LLM骨干网络,均达到同骨干网络对比中的最高总体性能。

框架设计与机制

MemoryLACE通过稀疏合并(merge)、取代(supersession)和矛盾(contradiction)三类关系,显式建模文本证据的生命周期,同时保留原子化的自然语言记忆及其出处(provenance)。

与独立检索记忆不同,MemLACE会重构出包含关系感知的证据单元,为下游推理暴露当前证据、历史证据、支持证据和冲突证据。

论文作者来自慕尼黑工业大学等机构,包括Meriem Yacoubi、Pia Schmidt、Nenad Petrovic、Ahmed Frikha、Martin Kirchhoff和Alois Knoll。

性能与效率结果

在BEAM基准上,MemoryLACE的端到端运行时间相对最强反思式基线Hindsight缩短了 66.6%。

消融研究识别出生命周期扩展(lifecycle expansion)和时间感知(temporal awareness)是性能提升的主要贡献因素。

作者总结称,显式建模文本证据的局部生命周期,足以显著改善长时记忆推理,而无需构建全面的知识图谱或进行全局反思。

信息来源