Wink Pings

Meta FAIR自改进记忆实测:模型自写记忆提示,比人工最优方案高11.4分

Meta FAIR推出面向大模型持续学习的自改进记忆框架,让Kimi-K2.6自主生成记忆加载、卸载的提示规则,再将优化后的逻辑蒸馏进模型权重。基准测试显示,这套方案得分56.0,较人工编写的最优记忆框架高出11.4分。

大模型做持续学习,一直绕不开遗忘的问题。连续学习新任务时,模型要么记不住新输入的知识,要么新内容覆盖掉之前学过的旧知识。

之前行业里常用的解法,是在模型外层加一套记忆调度框架,由算法人员人工编写提示词,规定模型在什么场景下加载历史记忆,什么场景下卸载无关的上下文内容。这套方案的效果高度依赖人工调优经验,换个模型或者任务场景,往往就要重新改规则。

Meta FAIR最近公布的自改进记忆技术,换了个思路。

研究人员用Kimi-K2.6作为测试基座,让模型自己编写LOAD和OFFLOAD两类记忆操作的提示词。模型会在测试过程中迭代调整提示逻辑,筛选出效果最好的版本,之后再通过知识蒸馏技术,把这套优化后的调度规则直接固化到模型权重里。后续推理时,不需要额外挂载外部提示,模型自身就自带记忆调度能力。

对比测试在持续学习基准Continual Learning Bench上进行。最终这套自改进方案拿到56.0分,此前表现最好的人工手写记忆框架,得分只有44.6,分差达到11.4。

从现有测试结果看,模型自己摸索出的记忆调度逻辑,对自身推理特性的适配度,比人工设计的规则更高。

信息来源:MarkTechPost
作者:Michal Sutter
原文链接

发布时间: 2026-11-20 05:46