TensorFold 1.3.3:解码提速 13.8%,prefill 耗时却是黑盒
TensorFold 1.3.3 发布,24 小时合并 124 个 PR,GLM-5.3-Flash 解码速度提升 13.8%。x 用户 @DonaldJ.Gorbachev 则算了一笔硬件账,并追问:1,040,384 token 的 prefill 到底跑了多久?
TensorFold 1.3.3 发布了。Ash Hart 在 X 上晒出的成绩单:24 小时合并 124 个 PR,解决 34 个 Issue。GLM-5.3-Flash 在四台 DGX Spark(GB10)上以 TP=4 跑出的中位 drafted decode,从 151.51 tok/s 涨到 172.39 tok/s,提升 13.8%。MiaAI_lab 提供了背后的 kernel。
这次更新还有一串功能:Metal 上 GLM-5.3-Flash 支持 DFlash2 drafting;MOSS-Image 通过 /v1/images/generations 在 CUDA 上生成图片;GLM-OCR 在 HIP 上运行;DeepSeek-V4.1 的 CUDA 构建加入 structured output,长 prompt 的 prefill 改为分块执行,且不打断正在跑的回复;LFM2-MoE、LFM3、MiniMax-M3、Qwen3.5-2B 在 Metal 上可以穿插填充新 prompt。服务端多了 per-request deadlines、prompt-cache flush endpoint,以及 deferred/namespaced tools。
但这张成绩单换了个角度看,是另一笔账。x 用户 @DonaldJ.Gorbachev 在转发里把标题写成 The five-second epistemology of TensorFlop 1.3.3,顺手把 TensorFold 拼成 TensorFlop,大意是:五秒就能看穿这次发布的技巧。
他算了几笔:
一是硬件成本。四块 GB10 就是四台 DGX Spark。按 7,900 美元列表价,光主机就 31,600 美元,200G 线缆还没算进去。这个组合换来的带宽是 1.09 TB/s 的 LPDDR5X。
二是 prefill 秒表。prefill 是模型读完整个 prompt、算好中间状态、再开始生成第一个 token 的阶段。Ash 的 benchmark 写的是 1,040,384-token prompt 之后的中位 drafted decode。Donald 指出,这个数字没回答一个更基础的问题:四台机器在吐第一个 token 之前,prefill 跑了多久。他的参考数字是,2x Spark 上 1M prefill 要 13.6 分钟。如果四台 Spark 在这个环节没有明显改善,那发布帖里最亮眼的 decode 数字就只是长文本的尾段速度。
三是 24 小时 124 个 PR。平均 11.6 分钟合并一个,这个节奏更像是流水线自动产出,谈不上充分审阅。Donald 还补了一句:DeepSeek-V4.1 到现在才加上 structured output 和 chunked prefill,基础能力补得不算快。
为了说明问题,他顺手拿厨房里的 Wave 10 系统比了一下。五颗 AMD MI50(128 GiB HBM2)加两块 Blackhole P150A(64 GiB GDDR6,另有 330 MiB on-die Tensix L1 SRAM),四根 800G FABRIC_1D 线缆互联。总价不到 1 万美元,off-chip 带宽 6.14 TB/s,是四台 Spark 组合的 5.6 倍。他说这套系统能跑 763B 的 DeepSeek-V4.1-Flash-1017,170/170 个 gfx906 kernel 全部 zero-scratch,不用 Python;冷 NVMe .kvblk 恢复 780K context 花了 357 ms,并在一套真实 132 步 C++17 构建上验证过。相关说明放在 GitHub 上。
这场争论不是简单的快慢之争。Ash 给出的是发布公告里最漂亮的那段速度,Donald 问的是成本和 prefill 这些没人晒的环节。AI 推理的 benchmark 从来不只是数字真假,还取决于你截取哪一段作为卖点。下一版如果能公开 1M prefill 秒表,争论会少很多。
原帖:https://x.com/donaldgorbachev/status/2124255546056614286
发布帖:https://x.com/ashxhart/status/2124248353722474508
Wave 10 系统说明:https://github.com/bespokeontology/dsv41-wht128-hlut2/releases/tag/v2.1.0-wave10-192g
发布时间: 2026-11-22 06:33