agent 自改 prompt 修好一个坏掉三个,Google 的补丁是先算破坏账
Google 新论文 GUARD 盯上了 RSI 的软肋:agent 编辑自己的 harness,不碰模型权重,但一次修改常常修好一个任务、悄悄弄坏另一个,几轮下来还不如从头。GUARD 的做法是每次保留编辑之前先回答一句,它弄坏了什么。43 个任务上准确率从 72% 到 81%,作者自己提醒测试集小,数字当方向看。
模型权重一行没动,agent 却在变。它改的是 harness,也就是 prompt、技能、工具规则和记忆。RSI(递归自我改进)干的就是这件事。
Google 最近一篇论文把这个过程里最难看的部分拍了出来:一次编辑修好某个任务,同时悄悄弄坏另一个。几轮下来,自己编辑自己的 agent 可能比那个从来没改过的原始版本还差。
问题出在它学习用的信号上。一个任务的分数把两件事混在一起:这次编辑刚刚弄坏的行为,和 agent 一直没解决过的缺口。只看分数,agent 分不清哪个是哪个。
分不清的后果很具体。它会写一条宽泛到能盖住所有情况的规则,把原来能用的技能覆盖掉,或者把过期的规则一层层堆进 prompt 里。
GUARD 每轮做四件事
- 任务跑之前,agent 先把它拆成一串 yes/no 自检项
- 跑完之后,拿 trace 对照这串检查打分
- 已经通过的规则固定住,新弄坏的检查排到最前面
- 同一批任务上并行试几个候选编辑,收益大过破坏才留下
被拒的编辑进日志,避免原样重来。到测试阶段这一整套关掉,一个冻结的 harness 单次跑完。
论文在四条持续变化的任务流上做了对比。别的自编辑 harness 上下震荡,新编辑覆盖旧技能时直接跌到普通 agent 下面。GUARD 在每个检查点都往上走,没有下降,也没有遗忘。
43 个测试任务,日历工具一直在演化,准确率从 72% 提到 81%。8 个任务变好,没有一个变差,每个任务消耗的 token 不到起点的 Half。作者在推文里专门提了一句:测试集小,81% 是五个 GUARD 配置里最好的一个,均值大约 77%。数字当方向看。
一个没人回答的软肋
评论区有人问得很准:写 yes/no 清单的,和改 harness 的,是同一个 agent。一次坏的编辑完全可以给自己写一套能过的检查。论文里没看到它测这些清单本身出错的频率。
日志那条防线也有缝。它只挡逐字重来的被拒编辑,条件收窄一点的变体照样能过。
还有人说,这跟维护爬虫是同一个道理。修一个站点的解析规则之前,得先把上个月的页面留着当 fixture,否则三个站点会悄悄挂掉。
GUARD 不是孤立的。前一篇论文 SIM(Self-Improvement Memory,arXiv:2611.18856)给优化器一份日志,记录每次编辑为什么做、预测结果和实际结果。SIM 让优化器记得一次编辑为什么存在,GUARD 检查一次编辑会破坏什么。两篇合起来,闭环才勉强合上。GUARD 的论文在 arXiv:2611.23476。
真正难的问题被推进了一步:agent 该不该改自己的 harness,已经不用吵了。现在要决定的是 harness 里哪些部分它不许碰,以及谁来裁定它自己写的那份检查清单是否成立。第二个问题,比循环本身更难。
发布时间: 2026-11-21 08:01