Wink Pings

只改0.016%权重,Qwen数学从7.9%到48.1%,全程没训练

只改 0.016% 的权重,Qwen3.5-0.8B 在 MATH-500 上从 7.9% 升到 48.1%,没有梯度也没有训练。GPT-6 Astra 还认出了四个游戏网络,给卡斜坡的 PPO 车写补丁,甚至从规则直接写出 Breakout 权重。

Rohan Paul 转发时称,MIT 研究者的实验显示,GPT-6 Astra 可以不改梯度、不跑训练,直接编辑另一个模型的权重。引用链里的作者 Rikiya Takehi 把这套做法叫 Weight-Space Programming。

最抓眼的一组结果:Astra 在 Python notebook 里拿到 Qwen3.5-0.8B 的原始权重,外加 50 次练习数学题的测试预算。它没有跑梯度,也没有训练,只改了 0.016% 的权重,就把 Qwen3.5-0.8B 在 MATH-500 上的成绩从 7.9% 拉到 48.1%。作者称数学最高提升 6 倍,指令跟随提升 3 倍。

Astra 看到的毛病很具体:模型会反复重复自己,直到撞上长度限制。它把这个习惯追到两层网络写出的一个内部信号,然后把这个信号从权重里减掉。循环消失后,模型能把原本就会解的题做完。按 0.8B 参数估算,0.016% 大约是 12.8 万个参数。有网友在评论区算完这笔账,直呼离谱。

img

这组实验不止一个场景。四个共享架构、输入和动作的游戏策略,Astra 只读原始权重文本,没有工具和游戏列表,四个都认出来了:Breakout、Pong、Pac-Man、Freeway。

PPO 车卡在斜坡,给权重、场景和一次失败轨迹,Astra 回一版补丁,改 3.5% 权重,成功率到 100%。

更激进的是从零写权重:给 MinAtar 规则和代码,Astra 一回复写出 Breakout 网络权重,零训练零工具,得分比训练 500M 步的 PPO 高 20 倍。

作者把这套做法叫 Weight-Space Programming,博客里给了更多细节:https://rikiyat.github.io/blog/weight-space-programming/

img

评论区里两种声音最集中。有网友问,修重复循环的补丁在非数学提示上还成不成立,会不会悄悄弄坏别的能力。也有人先盯评测设置,认为这种幅度得先看 eval 怎么搭。还有网友问,模型能不能改自己的权重,改完谁来审计。这些疑问目前没有被实验回答。

现在能确认的是,模型权重开始被当成可读可写的代码来改。改的地方小到 0.016%,结果大到足够让人先停下来看评测。

发布时间: 2026-11-03 17:36