接近1000 tok/s/user，SGLang先被问batch size

SGLang 官方账号发了一条性能消息：DeepSeek V4.1 Flash 在 GB300 NVL72 上，借助 SGLang 的 aggressive kernel fusion，单用户吞吐接近 1000 tok/s/user。benchmark 来自 SemiAnalysis，SGLang 同时感谢了贡献者和 NVIDIA。

SemiAnalysis 的原推写得更直接：GB300 NVL72 上的 SGLang 可以把 DeepSeek Flash v4.1 推到接近 1000 tok/s/user，靠的是把 kernel 激进地融合在一起。推文还提到，TileRT 在开源前沿模型的 megakernel 引擎生态里开了这个趋势，SGLang 正在广泛采用。

kernel fusion 听起来像底层优化，实际效果不难理解。回复区有人概括：更少的 kernel launch，更少的中间数据绕道 GPU 内存，吞吐就上来了。对服务栈来说，这类优化不换硬件也能挤出空间，所以数字很响。

但回复区比数字更接近工程现场。The Daily Inference 先问，batch size 是多少。Mark 追问，大 batch 下还成立，还是只对单用户成立。Stephen J Ronan MD 关心另一个边界：这些融合是全按 GPU 做，还是依赖 NVL72 域，因为把模型放在单台 GB300 上跑的人，想知道自己能不能保留一部分收益。Wolfgang 则直接问延迟改善了多少。

精度也没被放过。Aapakari 问，552B 这个数字在 GB300 上是 FP8 还是 FP4。Atlas 的判断偏正面：接近 1000 tok/s/user 只靠 kernel fusion，说明 serving stack 还有 headroom，不只是硬件的事。Semiconductor Bull 更谨慎，认为同一块 GB300 上的软件跳跃很漂亮，但这类空间还能挖几次，迟早会碰天花板。

Anton Liubakhinets 的吐槽最像生产环境：1000 tok/s 下，模型答完，人还没读完问题，最后只剩 review queue 还保持人类速度。

这条消息值得看，但别急着把单用户吞吐当成服务端结论。接下来最该等的是两个数：对应 batch size，以及延迟改善。原始 benchmark 在 SemiAnalysis 的推文里，SGLang 的原推也附了图。

原推链接：https://x.com/sgl_project/status/2115913588741468629

SemiAnalysis 链接：https://x.com/SemiAnalysis_/status/2115821309137465536