自改进Agent先学会别把记忆改坏
Google Cloud 的 GUARD 把基础模型冻结,让 Agent 只改提示词、技能、工具规则和记忆,并用执行前自检和回归门控决定一次编辑能否留下。43 个托管 SDK 任务到 80.80%,但和 Meta-Harness 的差距统计上不硬,真正值得抄的是门控和记忆卫生。
Google Cloud 的论文 GUARD 给自改进 agent harness 装了一道回归闸门。基础模型冻结,Agent 可以改自己的提示词、技能、工具规则和记忆。一次编辑能不能留下,看它的收益是否盖过它弄坏的行为。arXiv DAIR.AI 解读
自改进 agent 的常见毛病很具体:局部过拟合、灾难性遗忘、记忆污染。权重没动。改的是 harness。反思和标量分数容易把两件事混在一起:这次编辑新弄坏了什么,以及原本就没解决的问题。结果就是修一个点,踩另一个点,记忆越写越脏。
GUARD 的做法是把每个任务拆成执行前自检。每轮用这些检查给轨迹打分,钉住已经掌握的规则,把新破坏的行为排在前面。候选编辑用 group-relative fitness 比较,Soft-HURT gate 只在收益大于回归时放行。测试时一个冻结的 harness 单次跑。这个设计不花哨,方向清楚:先让系统知道改坏了什么。
数据上,43 个托管 SDK 任务到 80.80% 准确率,比初始 harness 高 8.89 个点,p = 0.008;比 Meta-Harness 高 6.28 个点,每任务少用 54.5% token。程序性记忆任务里,更新正确率 90.1%,记忆污染为 0。激进重写方案的更新正确率接近,但污染到三倍。这个对比比单点准确率更有画面:记忆不是写得越多越好,写脏了后面都得还。
回复里 Karthik Bhaskar 提醒看 Table 2 的 caption:五种配置都优于基线,80.80% 是五种里的最后一个,同样 43 个测试任务均值 77.09%;和 Meta-Harness 比 p = 0.11,95% CI 跨零。所以 80.80% 不能当成唯一结论。回归门控和记忆卫生比某个最高分更值得抄。
评论区还有几个落地问题。Sam 问 harness 改动什么时候回滚。Draxx 问检查集是固定测试集,还是随新失败增长。Amol 问如果编辑今天帮了任务,却慢慢改变输出风格,GUARD 能不能抓到,还是只看分数。这些问题在推文里没有完整答案,得翻论文正文。另有网友认为硬编码自改进循环已经过时,提到 Octopus-SI-OS 这类让 harness 原生改自己的路线。路线可以争,回归测试和记忆污染还是得有人管。
对做 agent harness 的人,GUARD 的信号不复杂:先把“改坏了什么”变成可检查的记录,再谈递归自改进。否则涨点可能只是把旧能力挤掉,记忆看起来更丰富,实际更难用。
发布时间: 2026-11-19 23:28