当世界仍保留错误时，清理代理历史有害

arXiv:2611.14654v1 Announce Type: new Abstract: 工具使用语言模型代理会积累自身错误的记录，而一个能够压缩、修复或移交此类记录的系统，决定了在错误的影响仍存在于世界中的情况下，它对这些错误的表述。

先前的研究在固定的世界状态下清理历史记录，此时展示修正步骤和声称已完成是同步进行的。我们询问相同正确的内容，根据历史记录的表述方式以及世界所包含的内容，是有助于还是有害于。我们在任务中途冻结一个代理及其精确的世界状态，编辑历史记录或世界，并让接收模型继续。

在 AgentCE-Bench 上，在代理提交错误值后，我们保持世界固定，并通过两种自然编辑添加正确值：在保留的错误旁边添加诚实的注释，或代理自己完成的动作。该注释将恢复率（即接收者正确识别的剩余目标比例）从匹配的中性注释下的 51% 提高到 66%。

完成的动作将其降低到低于未编辑的历史记录，从 50% 降至 44%，因此仅凭值的存在并不能预测其效果。在 AppWorld 上，在数据库写入后，我们变化其收据是报告成功还是失败，以及其效果是否存在。

当效果不存在时，成功的收据将整体任务成功率从 45% 降至 28%；而当效果存在时，则从 38% 提高到 49%。在两个接收者上，这两种效果相差 27 个百分点，在 97.5% 的置信度下，八个接收者中有六个呈正向差异，在 95% 的置信度下有七个呈正向差异。

因此，历史记录编辑的效果取决于它所描述的世界，而在世界仍保留错误的情况下，将历史记录编辑得看似干净，可能会使代理比完全没有编辑的情况更糟糕。