Wink Pings

9B 模型当军师,DeepSeek V4 写代码,十轮之后 AIME 涨了 22 分

HKUDS 团队让一个 9B 模型专门负责提策略,DeepSeek V4 专门负责写代码,跑了十轮递归自我改进。AIME 从 55.6% 到 77.8%,Terminal-Bench 2.1 从 44.9% 到 69.4%,token 还少用了 9% 到 23%。

HKUDS 团队在做递归自我改进(RSI)实验时,撞到一个不太符合直觉的结果:一个 9B 的模型,可以把比它大得多的 DeepSeek V4 指挥得更好。

分工很干脆。9B 不写一行代码,它读任务描述和之前的尝试记录,然后决定几件事:在哪个版本上继续改,下一轮试什么算法或机制,编码 agent 该怎么实现和验证,剩下的预算花在哪儿。DeepSeek V4 负责把这些策略变成能跑的代码,再把执行结果交回去。

策略 → 执行 → 评估 → 反馈 → 下一轮策略。这个循环跑了十轮。

测试放在两个方向上:AIME 测数学推理和解题,Terminal-Bench 2.1 测写代码、调试、工具调用和长程执行。

十轮之后,AIME 从 55.6% 到 77.8%,Terminal-Bench 从 44.9% 到 69.4%。

10 轮 RSI 后 AIME 与 Terminal-Bench 2.1 的分数变化

对照组的做法是让 DeepSeek V4 同时当策略提出者和编码者。他们的设置里 V4 依然负责写代码,只是把提算法的活让了出去。除了分数,还有两个细节:达到与基线相当的性能,token 少用了 9% 到 23%;模型提出的不只是 bug fix,还有新的机制。

推文下面 TJ 的总结挺传神:9B 负责规划,V4 负责打字,小脑大手脚。

jimerrors 注意到另一个点,这个拆分的关键不在能力边界,在预算分配。

策略 → 执行 → 评估 → 反馈 → 下一轮策略

RSI 的常见假设是模型自己改自己,参数越大改得越好。这次实验把提出和执行拆开,等于说改进速度卡在策略质量上,而不是写代码的手速。9B 模型在这种拆分下反而占了便宜:它不用背下所有实现细节,只需要从失败里学下一步该试什么。

代码开在 GitHub 上:https://github.com/HKUDS/AgentPilot

有点意思的是那句反问:最好的算法提出者,可能压根不需要是最大的模型。它只需要在每轮实验之后,变成一个更好的策略家。

如果策略质量比编码能力更稀缺,那堆参数的方向可能得重新排一遍。这话反过来说也成立,一个只会写代码、不会提策略的模型,能走多远。

发布时间: 2026-11-06 17:26