GPT-6 Astra 直接改权重：0.016% 的改动，把 0.8B 模型数学成绩从 7.9% 拉到 48.1%

MIT CSAIL 的 Rikiya Takehi 等人在 11 月 2 日发布了一组实验结果：让 GPT-6 Astra 直接读写神经网络权重。没有梯度，没有训练循环，也没有让模型自己写训练脚本。作者管这个叫 Weight-Space Programming。

权重是什么？对普通读者，可以把它想成模型里所有可调数字。传统上这些数字由优化器根据梯度更新。Weight-Space Programming 换了个方向：把权重当文本或张量交给通用 LLM，让它读结构、找故障、直接写新值。Astra 可以用 Python 读权重，做矩阵乘法分析，某些实验里还能做有限次 forward pass，也就是让网络前向跑一遍。它不能训练，不能拟合数据，也不能搜树。

实验 8 最扎眼。目标是 Qwen3.5-0.8B 的数学能力，0.8B 指约 8 亿参数。这个模型在 MATH-500 上只有 7.9%，而且 Qwen 的模型卡提醒它有 thinking loop 问题。Astra 在 50 次 forward pass 预算下，定位到第 15 和第 19 层 MLP 写出的某个方向，在每层 64 个输出列里减掉这个方向，共改 131,072 个权重，占 0.8B 权重的 0.016%。不跑梯度，不做训练。结果 MATH-500 从 7.9% 到 48.1%，GSM8K 从 13.8% 到 67.1%，IFEval 从 21.0% 到 62.3%。MATH-500 撞 32,768 token 上限的比例从 93.0% 降到 33.1%。10 次和 25 次 forward pass 时效果差很多，说明预算和诊断过程有用。

说训练没用了，过头。作者自己也做了反例：Gemma 3 270M 很少循环，Astra 读失败案例只看到普通算术和代数错误，没有单一组件可关掉。它的编辑最多让 MATH-500 动一个点左右，Astra 自己报告这个增益未确立。能删掉一个挡住能力的故障，和从零加一个能力，是两件事。这个边界比数字更值得看。

读权重部分也有意思。实验 1 用 PPO 训练四个同尺寸游戏网络，输入输出和层宽都一样，只把 17,253 个权重文本给 Astra，不告诉候选游戏，它四次都报对游戏名。实验 2 从 DDPM 权重判断生成圆形、方形还是三角形，它把形状画成轮廓，更像在读输出层结构，没有依赖 forward pass。实验 3 去掉小语言模型的首尾层，只给四个 transformer block，Astra 仍能判断训练语料是 Python、罗马字日文还是英文，并找出 copying head。它用的方法后来对应到 Elhage 等人的电路分析，但提示里没提这篇工作。

写权重部分更像压力测试。实验 4 给一个在 Kinetix 斜坡任务里卡住的 PPO 网络，Astra 看权重、场景和一段轨迹，一次修改 3.5% 权重，让车先倒车再冲坡，1,024 个 episode 全成功，原网络 256 个 episode 全失败。实验 5 从零写 MinAtar 网络，不给数据、损失、梯度、工具，也不让网络先试玩。Breakout 上 Astra 一次生成网络得 517.4 分，PPO 100M 步 15.8 分，PPO 500M 步 25.3 分；Seaquest 得 53.1，PPO 500M 步 88.9；Asterix 得 53.2，PPO 500M 步 55.2。实验 6 写 1.48M 权重的 9x9 Go 网络，0 次 forward pass 能赢两个小 PPO 网络一半以上对局，50 次 forward pass 后能赢同尺寸、训练 20M 局的 PPO 网络。

也有失败。实验 7 想让 Astra 只凭 Gemma 3 270M 权重判断哪个模型被微调成迎合用户。四次尝试都失败，它能找到权重差异，但映射不到行为差异。放宽到允许它写文本、只看两个模型的 attention pattern，三对模型都选对。这个细节说明纯权重读取还没到万能，工具和干预会改变能力边界。

作者在博客末尾列了可能方向：不跑评测就审计后门或隐藏能力，降低优化成本，零数据加能力或遗忘，模型合并，递归自我改进。听起来很大。眼下更准确的判断是：LLM 开始能对权重做局部、可解释的编辑，尤其在故障明确、网络不大、预算受控时。它离替代大规模训练还远。真正值得跟踪的是，这套方法能不能变成可复现的工程流程。几次漂亮 demo 不够。

链接：博客 https://rikiyat.github.io/blog/weight-space-programming/ ，完整日志 https://github.com/RikiyaT/lm_understand-logs ，实验 8 的权重 https://huggingface.co/RikiyaT/Qwen3.5-0.8B-weight-space-programming ，demo https://huggingface.co/spaces/akhaliq/weight-space-programming-demo 。