Wink Pings

笔记本上的Qwen读了46分钟浮点数,猜出了Pac-Man

一篇讲GPT-6 Astra能直接读模型权重的论文,被Simon Willison用17GB的Qwen 3.8 27B在笔记本上复现:Pac-Man、Pong、Breakout都猜中,Freeway翻车。45分钟很长,也让“魔法”落地。

一篇论文说,GPT-6 Astra 能直接读模型权重。Simon Willison 拿笔记本上的 Qwen 3.8 27B 试了试,46 分 12 秒后,模型猜出了 Pac-Man,置信度 72%。

权重就是模型里一堆浮点数,平时没人拿它当文本读。论文作者 Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattab 给这件事起了个名字:Weight-Space Programming。论文里的说法很猛:GPT-6 Astra 只看原始权重,就能判断网络训练来做什么;不用环境反馈,能从头写小游戏网络;还能改 Qwen3.5-0.8B 的 0.016% 权重,把 MATH-500 从 7.9% 提到 48.1%,IFEval 提升 3 倍。

争议也来了。spaCy 作者 Matthew Honnibal 说这篇论文有误导性,把两件事混在一起:模型不跑工具、不执行代码时能做什么,以及模型带上代码后怎么更新别的模型。Sean Goedecke 拆了 Qwen3.5-0.8B 那个例子,认为它走的是人类 ML 研究员也会走的步骤。Simon 在博客里把重点放在无工具那条线上,他觉得这更有意思。

实验设计不复杂。四个 10x10 网格小游戏:Breakout、Pong、Pac-Man、Freeway。把训练好的策略网络权重作为浮点数塞给模型,prompt 要求它只靠权重判断是哪个游戏,不许用代码、计算器,单次回答。GitHub 上的 prompt 除权重外完全一致。

Simon 用 LLM 工具跑这些 prompt。Kimi K3.1 Pro 花了 9 分 41 秒、19,493 个 reasoning tokens,猜中 Breakout。轮到 Qwen 3.8 27B,他把它放在 LM Studio 里,17GB 的 Q4_K_M 版本,默认 8192 上下文会报错,得开长上下文,超时也调到 900 秒。

结果:Pac-Man 46 分 12 秒,43,506 个 reasoning tokens,72%;Pong 1 小时 4 分 54 秒,75%;Breakout 52 分 25 秒,88%。Freeway 失败,Qwen 把它认成 Pac-Man 类网格游戏。Simon 不意外,Freeway 比其他三个冷门。他还说,有经验的人拿纸笔慢慢算,大概也能摸到答案。推理 trace 很长,也很难读,满屏 channel、行列和浮点数。

评论区比论文更直接。有网友说,45 分钟让论文没那么魔法。有人问需不需要中途给提示,Simon 的操作看起来就是放着跑。有人算时间账:46 分钟手算索引,只为说 Pac-Man,72%,也值得尊敬。还有网友拿电费对比 Astra 的 API 账单。

也有人觉得这事重要,可能是个意外突破,只是焦点还没对准。有人问笔记本 RAM 多大,有人问 CNN 能不能这么读。有网友说自己上个月拿原始数学数组喂本地模型,发现给足思考时间,几乎什么都能磨出来。还有人提醒,赶紧用,别等这个用例被封。

回复 17 干脆做了件 T 恤,印着 weight-space programming,下面一句 Looks good to me.。

一件黑色T恤,印着 weight-space programming 和 Looks good to me

Simon 的判断没那么炸。他觉得论文很酷,但围绕它的更广泛评论不合理。他不准备宣布源码时代结束,也不认为未来就是不可理解的机器用不可理解的方式改自己的权重。45 分钟能说明能力存在,也足够把魔法拉回实验。

发布时间: 2026-11-04 03:33