Wink Pings

Opus 上调好的 harness,到 Gemini 只有 68.41:自改进缺的是一本编辑记忆

Google 这篇 RSI 论文把记忆放在 harness 优化器身上。Opus 上演化过的 harness 换到 Gemini 只有 68.41,低于种子 harness 的 73.89。SIM 存下每次编辑的理由、预测和结果,十次编码配对里九次赢,平均多 2.36 分。评论区的提醒也值得看:只有编码结果被复制,run-to-run 噪声和成本列可能把结论带偏。

Google 刚放出一篇关于 RSI 的论文。推文说它值得收藏,重点放在 harness 层。harness 可以理解成模型外面的工作台:工具调用、上下文组织、评测循环、提示和修补逻辑都在里面。RSI 常被翻成递归自我改进。这篇论文把它落在 harness 层,模型权重不动,改的是外面的工作台。

推文截图

论文标题是 Self-Improvement Memory Enables Continual Recursive Self-Improvement,arXiv 编号 2611.18856。它研究一个很实际的问题:harness 优化通常固定模型和 benchmark。模型或 benchmark 一换,优化器得决定旧 harness 哪些部分继续用,哪些要改。问题是 harness 本身不会解释当初为什么改,也不会说明改完效果如何。

论文给了一个很刺眼的数据:在 Opus 上演化出来的 workspace harness,换到 Gemini 上起点是 68.41,低于普通种子 harness 的 73.89。换句话说,调过的版本在新模型上先输一截。评论者 Fouad 说,一个没有编辑历史的 evolved harness,差不多就是别人的 dotfiles。这个比喻不太好听,但准确。

方法叫 Self-Improvement Memory,简称 SIM。它装在 harness 优化器上,任务求解策略不装。SIM 按反复出现的 harness 问题给历史编辑分组。每次编辑存四类信息:为什么改,预测会怎样,实际结果怎样,评估上下文是什么。提案器和选择器在做新改动前都读这份记忆。新尝试继续追加进去。

论文首页

论文结果:四个领域里,包括 Terminal-Bench 2.1 到 Terminal-Bench 4,SIM 在六个跨数据集和四个 Opus 到 Gemini 设置上,比只继续用 harness 或只继续根因分析得分更高。十次独立编码源运行的配对继续实验里,SIM 赢了 9 次,平均提升 2.36 分,p=0.003。

这个结果有吸引力,但评论区的提醒不能略过。Beshoy Armanios 指出,只有编码结果被复制。十次配对源运行,SIM 赢 9 次,均值 2.36 分,95% 置信区间 1.05 到 3.68,TB4 分数大约 19 到 22。其他领域每个条件一次 run,作者也说 rollout 没捕捉优化方差。John Rood 补了一刀:harness 选择本身能让每次通过成本波动到 4.4 倍,通过率变动不到 0.4 分。一个只看准确率的循环,可能花大钱买噪声。成本要跟理由存一起,不然优化器会优化错列。

回复截图

关于 run-to-run 噪声,有网友贴了另一篇论文 arXiv:2611.19359。那篇在 Gemma 4 31B 编码 agent 上做配对测试,19% 任务在两次相同 no-memory run 之间翻转。一个在 48 个任务上读到 +8.3 分的记忆提醒,在接下来 50 个任务上变成 -10.0 分。这个提醒不是针对 SIM,但它说明小样本单次 run 的记忆结论很容易坐在噪声上。看 SIM 的 2.36 分,也要看它的配对设计和置信区间。

SIM 里有几个细节值得拿出来。记忆服务的是改 harness 的那部分系统,不是执行任务的 agent。预测结果在测试前写下,事后不能悄悄改写故事。失败编辑也要保留,还要保留让它失败的条件,否则下一个优化器会重新发现同一个诱人错误。Aiden 提了个好问题:提案器和选择器读同一份记忆,什么阻止它们一起同意同一个错误教训?这大概是后续要补的验证机制。

对做 agent 的人,结论很朴素:如果准备自动进化 harness,把每次编辑的理由和结果跟代码放在一起。只存 diff 不够,只存最终分数也不够。日志里至少要有为什么改、当时预测什么、实际发生什么、在哪个模型和 benchmark 上发生。评论区已经有人打算周一上线记录每次 harness 编辑的版本。动作很快,希望日志列别只写 score。

原文链接:https://x.com/omarsar0/status/2122701047118635485
论文:https://arxiv.org/abs/2611.18856
Chat with Paper:https://academy.dair.ai/papers/self-improvement-memory-enables-continual-recursive-self-improvement-2611.18856
另一篇噪声论文:https://arxiv.org/abs/2611.19359

发布时间: 2026-11-18 03:32