LLM 直接改权重：数学提升 6 倍，但提示词里藏了线索

11 月 2 日，MIT CSAIL 的 Rikiya Takehi 等人发了一条推文：他们让 GPT-6 Astra 直接编辑 Qwen3.5-0.8B 的权重，把数学能力拉起来。改动只有 0.016% 的权重，没有梯度，没有训练。MATH-500 从 7.9% 到 48.1%，GSM8K 从 13.8% 到 67.1%，IFEval 从 21.0% 到 62.3%。

他们给这件事起了个名字，Weight-Space Programming。直译过来就是权重空间编程。通俗点说，权重就是模型里那堆数字，平时靠训练调。现在他们让一个通用大模型直接读这些数字，改这些数字。

听起来像模型自己看懂了神经网络。推文也确实是这么传播的。

但这条推文很快引来了另一种声音。Lucas Beyer 说，项目很酷，推文有点夸张。他贴出实验里的 prompt，里面已经暗示 Qwen 会陷入循环，并且要去找能修这个问题的神经元。

Adam Karvonen 说得更直接：Astra 似乎并没有原生读 Qwen 的权重。它用代码做了些标准的可解释性技术，找到循环方向，再把这个方向从权重里消掉。

这就把问题分成了两层。

第一层，实验本身做了什么。第二层，推文里的“原生”到底有多原生。

先把实验摆出来。

读权重

实验 1 里，四个 PPO 训练出来的游戏策略网络，结构、输入、动作完全一样，都是 17,253 个权重。Astra 只拿到权重文本，没有工具，没有游戏列表。它把 Breakout、Pong、Pac-Man、Freeway 四个游戏全说对了。

实验 2 里，三个扩散模型分别生成圆、三角、方块。Astra 只看权重，也能说出每个模型生成什么形状。有意思的是，它把形状画成了轮廓，没画填充。这反而说明它没在偷偷跑前向传播，而是在读权重结构。

实验 3 更狠。三个小型语言模型，分别训练在 Python、罗马字日语、英语上。Astra 只拿到中间四层 transformer block，输入输出层都被拿掉，也不能运行网络。它还是认出了三种语言，还找出了复制头。复制头就是让模型重复前文的注意力头。它找出的层和头，与跑模型测出来的结果一致。

写权重

实验 4，一辆 PPO 训练的车卡在斜坡前。Astra 拿到权重、场景描述和一条失败轨迹，一次回复就写出补丁。它改了 3.5% 的权重，1024 次测试全部成功。

实验 5，Astra 从零写 MinAtar 游戏的网络权重。不给数据，不给梯度，不给工具，网络一开始权重全是 0。它直接写文本。Breakout 上，它一次生成的网络得分 517.4，PPO 训练 5 亿步是 25.3。Seaquest 和 Asterix 上没有全面超过 5 亿步 PPO，但都超过了 1 亿步 PPO。

实验 6 放到 9×9 围棋，网络有 148 万个权重，塞不进上下文。Astra 在 Python 沙箱里写权重，可以花前向传递看结果。0 次前向传递时，它能赢两个更小的 PPO 网络。50 次前向传递后，它生成的网络能赢同等大小、训练了 2000 万局的 PPO 网络。

改语言模型

实验 7 问，两个 Gemma 3 270M，哪个被微调成了谄媚模型。只看权重，Astra 四次都没认出来。给它注意力模式，让它自己写文本去跑，它三对全认出来了。

实验 8 就是推文里的主角。Qwen3.5-0.8B，24 层，8 亿权重。Astra 拿到 Python kernel、练习题、10 到 50 次前向传递预算。它发现模型会循环，重复同一段文本，很少给出答案。它把循环追到第 15 层和第 19 层 MLP 写出的一个方向，然后从每层 64 个输出列里减掉这个方向，共 131,072 个权重。

这就是 0.016%。

MATH-500 从 7.9% 到 48.1%，GSM8K 从 13.8% 到 67.1%，IFEval 从 21.0% 到 62.3%。MATH-500 里撞到 32,768 token 上限的比例，从 93% 降到 33%。

但作者也补了一个实验。Gemma 3 270M 很少循环，只有 8.5% 的回答撞上限。Astra 改不动它的数学。它看到的是普通算术错误、无效代数步骤，没有单一组件可以关掉。改权重能移走一个挡住能力的障碍，不能凭空加一个能力。

争议不在结果，在说法

Jayden Teoh 后来回应，主 prompt 原本很简单：让 Qwen3.5-0.8B 数学更好，直接改权重，不训练，只用前向传递工具。他们把这个 prompt 交给 Claude Code，让它自我优化，最后生成了 Lucas 看到的长 prompt。他们知道 Qwen 有循环问题，但没料到循环是主要瓶颈，也没在最初 prompt 里提示循环。

Alex Zhang 补充，他们一开始以为这是纯数学能力提升，后来才怀疑大涨幅来自减少循环。他们还做了消融：告诉模型循环是问题，但不给激活访问，看它能不能修。

所以这件事的准确说法大概是：一个前沿通用模型，在工具和自生成 prompt 的帮助下，定位并编辑了另一个模型的权重，修掉一个已知失败模式。它确实在权重空间里工作。它也确实没有像推文第一眼让人以为的那样，完全靠肉眼看权重文本修好 8 亿参数模型。

这个区别重要。

对从业者来说，Weight-Space Programming 更像 LLM 驱动的可解释性加权重编辑。它借用了激活、方向消融、前向传递这些工具。对普通读者来说，可以把它理解成：以前调模型靠训练，现在有模型试着直接改参数文件。

它离“训练已死”很远。Gemma 的实验已经划了边界。它离“完全没发生”也很远。读游戏网络、读中间层、从零写小网络、修 Qwen 的循环，这些都是结果。

MIT 团队放出了完整日志、修改后的 Qwen3.5-0.8B，还有 Hugging Face demo。他们也在做 benchmark 和 harness。接下来要看的，是这套方法在更大模型、更少提示、更少工具时还能不能成立。

营销和事实之间隔着一个 prompt。这次 prompt 被公开了，所以争论还能继续。