Wink Pings

模型自己改记忆提示词,再把收益蒸馏进权重:Kimi-K2.6 比手工方案高 11.4 分

Meta 的 Self-Improving Memory 让同一个模型既当任务 agent 又当 meta agent,自动改 LOAD 和 OFFLOAD 提示词,再把优化轨迹蒸馏回权重。三个 Continual Learning Bench 任务上,优化提示词平均 56.0,手工最佳 44.6,通用 36.1;蒸馏后在通用提示词下 43.1,对比 37.6。

Meta 的 Jason Weston 在 X 上发了一组 thread,介绍 Self-Improving Memory。核心做法:让模型自己发现怎么管记忆,再把发现的行为蒸馏进权重。任务 agent 和 meta agent 用同一个模型 Kimi-K2.6。

Self-Improving Memory 主推图

Agent 的记忆通常靠手写提示词:做完一个子任务后,用 OFFLOAD 提示它把学到的东西写进持久化记忆目录;下一个子任务开始前,用 LOAD 提示它读回来。子任务之间上下文清空,只有文件系统里的记忆目录跨任务保留。问题在于,没有一套手写记忆策略能在所有任务上赢。图 2 里 Summary、Retrieval、Skill、Hypothesis 四个手工方案在 Database、Codebase、Spectrum 上各有胜负。

Figure 1:模型教自己更好的记忆能力

Figure 2:没有单一记忆表示能赢所有任务

方法分两段。

第一段是 harness optimization。meta agent 读任务 agent 的轨迹,找记忆使用失败的地方,改 LOAD 和 OFFLOAD 提示词。每个候选跑 5 次完整任务流,按平均分排序,选前 4 个当父本继续改。初始池是 4 个人工写的 harness。

Thread 图:优化通用 harness

Figure 3:通用 harness 与两个阶段

第二段是 harness distillation。用优化后的提示词跑任务,记录完整轨迹;把轨迹里的优化提示词换回通用提示词,保留模型输出;用 LoRA rank 64 微调注意力投影层,损失只算 assistant token,包括推理和工具调用。

Thread 图:harness optimization 结果

Figure 4:每个任务上优化 harness 都超过手工 harness

结果:优化后的提示词在三个任务上平均 56.0,最佳手工 44.6,通用 36.1。比手工高 11.4 分,比通用高 19.9 分。Codebase 提升最大,20.6 分。蒸馏后在测试时只用通用提示词,平均 43.1,对比在通用轨迹上 SFT 的 37.6,高 5.5 分,约 14.6%。相对 No SFT 的 36.1 高 7.0 分,但博客说这个对比是描述性的,因为基座模型是单独评估的。

Thread 图:harness distillation 结果

Figure 5:蒸馏把部分收益搬进权重

有个细节值得看:meta agent 生成了 44 个修订,37 个没有超过上一轮最佳。Database 和 Spectrum 在第一轮搜索就到 53.8 和 49.9,后面没再涨;Codebase 到第四轮才到 64.3。自动搜索的关键不是模型会自己变好,是评估和选择。没有评分筛选,大部分修改是噪声。

Thread 图:案例研究

Figure 6:任务流上的学习与搜索进展

案例在 Codebase 上。Summary harness 只有 34.3,通用 33.5,最佳种子 43.7。轨迹报告发现笔记越写越大、反复重新发现仓库路径。改成复用已记录路径和失败规则后到 52.2。下一轮报告发现文件只追加、没有索引,改成紧凑 quickstart、带索引的 registry、分开的 fix 文件后到 55.7。另一个只保留最近两次修复细节的 Summary 修订只有 36.6。

Figure 7:meta agent 如何改 Codebase harness

这套工作最值得看的是把提示词收益搬进权重。但蒸馏只拿回 5.5 分,优化提示词本身的 11.4 分收益并没有全部进模型。博客也承认,提升可能部分来自记忆组织和检索,部分来自任务解决行为,要拆开机制还得做行为分析。另外搜索只针对 LOAD 和 OFFLOAD 指令,优化 harness 和通用 harness 只差这两组提示词,所以替换回通用提示词时不需要额外纠正步骤。Meta agent 和 task agent 同模型,等于模型训练自己发现的技能。

博客:https://facebookresearch.github.io/RAM/blogs/self_improving_memory

Thread:https://x.com/jaseweston/status/2122691693543817397

作者包括 Tong Chen、Chuanyang Jin、Eryk Helenowski、Weizhe Yuan、Jason Weston、Ilia Kulikov、Xian Li、Swarnadeep Saha。

发布时间: 2026-11-18 00:28