只改0.016%权重，数学从7.9%到48.1%：LLM开始直接读写权重

推文来自 DSPy 的账号，内容是 Rikiya Takehi 的线程。研究团队让 GPT-6 Astra 去编辑 Qwen3.5-0.8B 的权重，目标是提升数学能力。结果先看数字：只改了 0.016% 的权重，MATH-500 从 7.9% 到 48.1%，IFEval 分数提升 3 倍。没有梯度，没有训练。

0.8B 模型按 8 亿参数算，0.016% 大约是 12.8 万个权重。这个改动量很小，却修掉了模型的推理循环。推文说，GPT-6 Astra 能直接读改神经网络权重，作者把这套方法叫 Weight-Space Programming。

对普通读者，权重可以理解成模型内部的可调参数。常规做法是用数据训练、用梯度更新。这里的说法是，前沿 LLM 直接找到并改写权重，像编辑一段结构化数据。它同时碰到两个老问题：优化和可解释性。

推文还提到，GPT-6 Astra 能在没有环境反馈的情况下识别已训练网络的任务，并生成比 PPO 训练 1 亿步更强的游戏网络。这个部分更像能力展示，具体细节要看博客。博客署名包括 Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattab，来自 MIT CSAIL。

博客和推文链接：

• 博客：https://rikiyat.github.io/blog/weight-space-programming/
• 推文：https://x.com/DSPyOSS/status/2117314457294504426

目前这些数字来自研究者的公开描述。代码、复现条件和评测细节，应该以博客和后续讨论为准。关键数字是 0.016%。6 倍只是结果。