RATL:将历史预测残差作为可检索记忆,提升多变量时序预测

arXiv论文提出RATL,一种即插即用的残差检索与反馈修正方法:冻结基础预测器,训练专属残差记忆,推断时按相似历史上下文检索残差轨迹并路由组合,在多数真实基准上提升基础模型表现。

AI解读:RATL解决的核心问题是:时序预测模型在推断时只依赖自身参数,忽略了历史中相似情境下它犯过的错误。论文把检索增强的思路从文本生成搬到数值预测——与其直接检索相似的历史目标值(这在不同样本尺度下容易失真),不如检索该基础模型自己在相似情境下的预测残差(真实值与预测值的差距),用这些误差信号来修正当前预测。方法上,RATL冻结基础预测器,把它的历史残差变成只用于训练的专属记忆;推断时在因果约束下从相似历史上下文检索残差轨迹,再用一个感知集合的路由器按预测块和变量选择组合。实验以iTransformer为主干,结果显示多数设置下RATL能进一步提升冻结基础模型的准确度,消融实验也表明学习到的路由比直接使用残差反馈更有效。对实际使用者来说,RATL是即插即用模块,可以叠加在现有预测模型上而不必重新训练基础模型,但这篇论文仅基于arXiv摘要,未提供完整实验细节与代码,效果还需以全文和复现结果为准。

来自arXiv的论文提出RATL,一种面向多变量时序预测的即插即用残差检索与反馈修正方法。RATL的核心做法是:冻结基础预测器,用其历史预测残差构建仅用于训练的专属记忆;推断时在因果可用性约束下,从相似历史上下文中检索残差轨迹,再通过一个感知集合的路由器(按预测块和变量)选择和组合这些轨迹,以修正当前预测。

论文作者为Yuchen He、Yueyang Cang、Zhiyuan Ning、Ningyu Wang、Li Shi。依据摘要,实验以iTransformer作为主要的冻结基础预测器,在真实世界基准上对比多个强预测基线,并测试跨主干(backbone)的迁移性;结果显示在大多数实验设置中,RATL能进一步提升冻结基础预测器的性能。

信息来源