SGLang把DeepSeek V4.1 Flash推到1.09M tok/s，评论区在追问那40%
主推只给了峰值总吞吐和并发1下的943 tok/s/user。评论区把cache命中、并发扩展、MegaKernel细节都拎了出来，这些数字比峰值更接近生产账单。
SGLang项目在X上放出一组数据：过去四天，DeepSeek V4.1 Flash在AgentX上跑SGLang，单GPU峰值总吞吐从654K tok/s升到1.09M tok/s。统计口径包括cache、新输入和输出。没有预警，也没有长文解释，只有一句“还有更多”。
同一组测试里，超低延迟场景也给了数：并发1时943 tok/s/user，靠MegaKernel。对做推理部署的人来说，这两个数字指向不同方向：一个看峰值吞吐，一个看单用户交互速度。实际系统很少同时拿满两头。
图来自SemiAnalysis InferenceX，标题是DeepSeek V4.1 Flash 552B Agentic Token Throughput per Chip vs. P90 Interactivity。横轴P90 Interactivity，单位tok/s/user，0到1000；纵轴每芯片Token Throughput，单位tok/s/chip。绿色折线标了9xDEP2+1xDEP16、8xDEP2+1xDEP16、5xDEP2+1xDEP16、3xDEP2+1xDEP16、TEP2、TP4等配置。图表更新时间2026-10-30。它把吞吐和交互性放在一张图上，读者能直观看到折线在不同配置下的取舍。注意主推给的是每GPU峰值总吞吐，图给的是每芯片吞吐对P90交互性，两个口径别混。
评论区的问题比主推更有信息量。有网友问1.09M里cache hit占多少，有人问更高并发下的表现，也有人算账：提升65%，但使用量只增25%，剩下40%去哪了。还有回复提到943 tok/s/user这个数更关键，剩余延迟主要来自host侧DSpark检查，以及较大draft上那些仍会冒泡的小型fused all-reduce。这个说法没有在主推里展开，MegaKernel的细节也还没给链接。
所以现在能确认的是：SGLang在AgentX上把DeepSeek V4.1 Flash的峰值总吞吐推到了1.09M tok/s/GPU，并发1下给出943 tok/s/user。不能直接确认的是：cache命中占比、跨并发扩展曲线、端到端延迟构成，以及MegaKernel具体做了什么。对生产部署来说，后面这些比峰值更难糊弄。峰值是广告牌，cache命中和并发曲线才是账单。
发布时间: 2026-11-01 04:46