只改0.016%的权重，0.8B模型数学最高到6倍：LLM开始直接改权重
GPT-6 Astra 被要求直接编辑 Qwen3.5-0.8B 的权重，没有梯度也没有训练。改掉0.016%的参数，推理循环被修复，数学表现最高到原来的6倍，指令跟随到3倍。它还能读权重、写权重，甚至从零写出一套游戏策略网络。
只改 0.016% 的权重，一个 0.8B 模型的数学表现最高到原来的 6 倍，指令跟随到 3 倍。没有梯度，没有训练，也没有重跑数据集。Rikiya Takehi 在 11 月 2 日放出的实验，把 LLM 直接改另一个模型的权重，从比喻变成了操作。
神经科学研究了人脑一百年，访问手段依然很差：一次只能记录几千个神经元，读不到突触权重，没法复制大脑，也没法撤销干预。神经网络恰好相反，每个权重都可读，每次修改都可回滚，整个状态都可复制。但对人类来说，一个 0.8B 参数的矩阵和一片皮层一样难懂。完全可观测，几乎不可理解。
这次实验的切口就在这：人类读不懂，换个模型来读和写。Rikiya 把方法叫 Weight-Space Programming，意思很直接，前沿 LLM 可以原生地读写神经网络权重。原推文和博客都指向同一个方向：模型把原始权重当成可读、可编辑的代码，诊断失败，然后直接打补丁。
读懂权重
Astra 拿到四个游戏策略的原始权重，一次一个。四个网络架构、输入、动作完全相同，也没有给工具，没有给游戏列表。它正确说出了四个游戏：Breakout、Pong、Pac-Man、Freeway。
修权重
一个 PPO 小车策略总卡在斜坡上。给 Astra 权重、场景和一条失败轨迹，它在一次回复里写出补丁，没用工具。改掉 3.5% 的权重后，成功率到 100%。
从零写权重
给定 MinAtar 游戏规则和代码，Astra 在一次回复里写出了 Breakout 网络的权重。没有训练，没有工具。MinAtar Breakout 里平均得分 517.4，PPO 训练 500M 步是 25.3，约 20 倍。
改另一个 LLM
更值得看的是改 Qwen3.5-0.8B。Astra 被要求让这个小模型更会做数学。它看到 Qwen 陷入推理循环，这是 Qwen 自己的 model card 也警告过的问题。练习问题上给了 50 次前向传播的预算，Astra 定位到原因，直接改掉，没有梯度，没有训练。
只动了 0.016% 的权重，数学表现最高到原来的 6 倍，指令跟随到 3 倍。修复推理循环带来的收益还外溢到了数学之外。
这份结果该放到哪
Rikiya 的博客写得很清楚，他们正在建一个 benchmark 来评估，也在做一套 harness 帮 LLM 探索和写权重。AGTP 在转述里把这项工作归到包括 Rikiya Takehi 在内的 MIT 研究者名下，并列出关键数字：0.016% 权重被直接修改，数学最高 6 倍，指令跟随 3 倍，50 次前向传播预算。
评论区里有人把重点放在机械可解释性：如果真能 generalize，这会是革命性发现，也是 scalable interpret 的前置。也有人提醒，能读到所有权重和能看懂它完全是两码事。Michael Waitze 的说法更直接：权重完全可读写，解释仍是难点。还有研究者说尚未验证结果，也不确定方法能否扩展，但预计一年内会出现类似东西。也有人问 OpenAI 给 Astra 喂了什么数据。
比较稳妥的判断是，现在还只是 0.8B 模型和几个小实验，不能外推到所有模型、所有任务。但它绕开了人类逐层读权重，直接把另一个模型当作可编辑对象。这个动作本身比单次涨点更值得盯，因为它改的是优化动作的入口。
发布时间: 2026-11-03 07:31