记忆文件可能只是拐杖：三个 Agent 没学会，9B 小模型改权重学会了

Continual-ARC 这组结果不太给 agent memory 面子。unify 的 Daniel Lenton 发布了一个新基准，专门测持续学习：模型或 harness 在任务反复出现时，能不能记住有用的东西，并且把学到的东西用到没见过的新任务上。基准用了 ARC-AGI-1 的 25 个任务，每个任务在 200 次访问的流里返回 8 次，每次都是新网格，缓存答案没用。流结束后两个冻结测试：已见任务的新网格，考记忆；100 个没见过的任务，各一次，考泛化。指标叫 share learned，拿学习者和它自己清空记忆后的版本比，模型强弱不占便宜。

任务页 把 25 个流任务和 100 个留出任务都列了出来。流里的任务每个出现 8 次，留出任务只在最后出现一次。

三个 agent harness 在 GPT-6 Luna 上跑。Daniel 的结论很直接：OpenClaw、Hermes Agent、Prime Agent 在高 effort 下能解 93% 到 95% 的题，但同一个 puzzle 再出现时，它们没有变便宜。把记忆删掉，结果也没变化。一个保存每道题程序的 baseline 反而一上来就把成本降下去，并保持住。

更尴尬的是被明确告知该记什么之后。给它们一个检查过的程序，每道 puzzle 一个，三个 harness 都能记住，节省了完美记忆的 17% 到 62%。但没见过的新题上，没有一个变好。Daniel 写：记忆一直在，判断力没有。原因在回复里：Prime Agent 根本没为后续存东西，它的 Python skills 还导入失败；Hermes Agent 在 525 次返回里打开了 524 次 skill，但大多是通用提示；OpenClaw 保存了每次对话，却很少回去看。

对照组是训练权重。Qwen3.5-9B 在 Prime Agent 里，由 GLM-5.3 Flash 当老师，带专家指导做 DAgger 模仿，两个并发用户时，已见测试从 22.2% 到 79.8%，留出测试从 18.4% 到 62.3%。小 9B 模型改权重后，记忆和泛化都涨了。Daniel 在引用推文里说，训练一个小的 9B 模型权重，两件事都做到了。有网友在回复里说，memory files might just be a crutch。记忆文件可能只是拐杖，真正难的是让模型在任务流里更新判断。

Daniel 也留了 caveat：只测了一个领域、几个模型，而且不是最强的模型，更强的模型可能保留更多。但他的判断是，真实在岗学习需要权重变化，harness 会变成训练模型的东西，不是不断变大的 markdown 文件堆。harness 除了控制和给工具上下文，也越来越像训练管线的一部分。它可以保持小而高效。

有网友在回复里打了个比方：一次性任务容易，三周前开始的怪项目需要笔记、收据和地图。记忆是整场任务。这个比喻放在 agent 上不违和。Continual-ARC 开放提交，跑完公开流后可以送验证，unify 会在 50 个外部没见过的 puzzle 上重跑代码。基准不追求单一排名，它想解释学习者怎么学。论文和提交入口都在：论文，提交。