Harness 能迭代,经验却会丢:Agent 自我改进还差一本账
一篇关于 Self-Improvement Memory 的论文,把每次修改的原因、结果和适用环境记下来。跨模型任务里,带记忆的 Harness 得分 84.75,仅继承代码的方案 73.42。代码继承只是表层,经验能否被重新判断才是难点。
Harness 可以不断迭代,代码也能继承。麻烦在于,下一轮优化的人或 Agent 打开仓库,只看到改过的提示、工具链和评测脚本,看不到当时为什么改,改了之后解决了什么问题。
Xudong Han 在推文里提到一篇论文,标题是 Self-Improvement Memory Enables Continual Recursive Self-Improvement,arXiv:2611.18856,提交于 2026 年 11 月 13 日,第一作者 Xin Yu,合作者包括 Fei Xia、Jiaqi Pan 等。论文关心的是 Continual Recursive Self-Improvement,翻成直白的话,就是已有的 Harness 优化方法,能不能在换数据集、换底层模型之后继续用,并且越用越准。
先把 Harness 说清楚。这里可以把它理解成包在模型外面的执行框架,提示词、工具调用、任务拆解、评测流程、失败修补策略,都可能算在里面。模型负责生成,Harness 负责把生成过程约束到可执行、可评测。问题是,Harness 里很多设计带着现场信息。某个重试逻辑是为某类超时加的,某个提示顺序是为了绕开某版模型的格式毛病。底层模型一换,这些设计有的仍然有效,有的已经过时。只继承最终代码,等于把现场记录扔了。
论文提出的 Self-Improvement Memory,简称 SIM,记录的是修改账本。每次改动按反复出现的 Harness 问题分组,写下修改理由、预期效果、实际结果和评测环境。新任务到来时,优化器可以参考这本账,判断哪些经验值得保留,哪些需要重新试。SIM 放在 Harness 优化器上,不放在任务求解策略上。这个位置很关键,它记的是优化过程本身。
实验数据比概念更有说服力。在跨模型的 Workspace 任务中,使用 SIM 的最终得分是 84.75,仅继承 Harness 继续优化的方案是 73.42。另 10 组 Coding 优化实验里,SIM 有 9 组领先。论文摘要还给了更细的数字,在 coding 的 10 次独立源运行中,带 SIM 的成对 continuation 平均比 harness-only continuation 高 2.36 分,p=0.003。四个领域的跨数据集和成对跨模型比较里,SIM 的最终得分也高于 harness-only 和 root-cause-only continuation。
这些数字说明一件事:优化过程的记忆有独立价值。代码继承像交接一个项目,只给结果不给讨论记录。SIM 补的是讨论记录,而且要求记录适用环境。底层模型或任务变了,系统不能无条件相信旧经验,需要重新判断。这个动作比单纯保存历史更难。保存历史只是日志,重新判断才叫记忆。
一个值得注意的判断是,衡量 Harness 的自我改进能力,或许不该只看它在固定模型、固定 benchmark 上能刷到多少分。更该看模型和任务不断变化时,它保留了多少有效经验,又主动修正了多少过时判断。能继承代码的系统很多,能解释自己为什么改、并在新环境里推翻旧结论的系统少。
论文链接:https://arxiv.org/abs/2611.18856
推文链接:https://x.com/Xudong07452910/status/2122898087668793390
发布时间: 2026-11-19 01:34