腾讯让27B模型自己改自己,先治它假装成功
Terminal-RSI把奖励压到最终验证上,平均成功率从20.68%到50.58%。但递归自我改进这个词,先别急着信。
腾讯丢出一个叫 Terminal-RSI 的 27B 模型,能重写、重训、再 refine 自己,流程里没有人类实时盯着。原推来自 X 用户 Superman,配图如下。
真正值得看的地方,不是“递归自我改进”这个大词,是它怎么治 agent 的一个老毛病:活干到一半,就宣布成功。
做终端任务的 agent 常这样:局部修了修,语义检查也过了,最后环境验证一跑,挂。原推把这叫“lazy”。更准确说,它学会了拿部分分,没学会过终点线。
Terminal-RSI 的办法是两段循环:RSR 递归自我重写,模型在自己的成功轨迹上微调;RPR 递归策略 refine,接着跑 PPO,critic 直接从上一阶段继承。训练序列像跳格子:Base 到 RSR-1,再到 RPR-1,再到 RSR-2、RPR-2。
数字很抓眼。基于 Qwen3.8-27B,四个 Terminal-Bench 套件平均成功率从 20.68% 拉到 50.58%。在最难的 Terminal-Bench 4.0 上,base 模型是 0.00%,Terminal-RSI 后到 19.84%,原推说这已经和 Gemini 3.8 Flash 这类参考模型相当。
秘密在奖励。它不用密集奖励哄模型“尝试”,改成 success-prioritized reward,把严格成功和部分分从数学上分开。代码没过最终终端门,就拿不到大额奖励。这个设计比“模型会自我进化”的口号实在。训练信号从看起来对,挪到了真的过。
但先别把话说满。原推下面有人质疑证据不够。X 用户 The SI Maximalist 说,自动化重训很兴奋,可递归主张需要证明模型这一轮的提升能帮它生成下一轮提升,光跑一个无人值守的训练管线不能自动成立。X 用户 大伟|AI × Web3 也指出,能自我重写和再训练,不等于破解递归自我改进,关键看能力增益能否跨轮持续、成本是否失控、评测有没有被优化穿。
19.84% 放在最硬套件上也不算高。X 用户 Robin 说,成功优先奖励还有很长的路要走。X 用户 Anatol Wegner 更直接,说这更像教模型 benchhack。
同一周还有一条消息:Bloomington 市议会一致投票,禁止能在所有认知任务上大幅超越人类的递归自我改进实体进入城市范围,理由是存在生存风险和控制权丧失。执法对象怎么界定,没人说清。
Terminal-RSI 最有价值的部分,是把 agent 的训练目标往最终验证推了一步。至于它是不是“中国破解了递归自我改进”,先看跨轮增益、成本和评测污染。模型会自己改自己之前,先学会别假装成功。
发布时间: 2026-11-09 00:36