100万token预填约12秒，Baseten开源DeepSeek推理引擎

Baseten 的 Phil Howes 把 DeepSeek-V4.1-Flash 的推理引擎开源了。核心引擎是 Rust + CUDA，没有 PyTorch、SGLang、DSL。GitHub 表格给出的数字是：4 卡 GB300 解码 1740 tokens/s，8 卡 B300 到 2060 tokens/s；100 万 token 预填分别 13.2 秒和 11.7 秒。Phil Howes 在推文里写的是 4xB300 约 1740 TPS，8xB300 2060 TPS。TPS 是每秒 token 数，token 可以粗略理解为模型输出的一小段文本。

仓库叫 deepseek-ultrafast，支持 1M 上下文长度，也支持多服务器 KV cache 共享。部署要求写得清楚：4 卡 GB300、4 或 8 卡 B300、4 或 8 卡 B200，CUDA 13 工具链，Redis 做多机 KV cache 协调。模型已经上线 Baseten Model APIs。

性能之外，多机 KV cache 共享是这个发布里更实际的部分。每台服务器把最近对话的 KV cache 放在主机内存里。下一轮请求落到别的服务器时，那台服务器通过 RDMA 直接从持有缓存的机器拉取，主机内存到主机内存，不重算 prompt。Redis 记录每段对话的缓存归谁所有，并广播归属变化。README 里说，这套设置去掉了前缀感知路由的需求，让简单的纯负载感知路由成为 SOTA。对部署团队来说，这比一个漂亮的 decode 数字更接近日常问题。

还有一个细节值得留意。Phil Howes 回复说，团队把结果和别人的工作合并，并引入了一些即将开源的 SGLang 工作；mahmoud 把它做成完整推理服务器，跨 RDMA 共享 KV cache。README 的致谢里又写，内核由能读 FlashInfer 和 SGLang 源码的 coding agents 优化。核心引擎没有用 SGLang，但优化内核的 coding agents 读了 SGLang 和 FlashInfer 的源码。开源世界的边界有时候比口号模糊。

Sarah Guo 转发时写的是 the future is generated, continually learning inference engines in open source。素材里没有展开 continually learning 的实现。有网友追问，这是否意味着权重会在服务时变化。也有人问 batch size、请求混合比例，以及长预填和短追问同时到达时的单请求延迟、TTFT。这些问题在素材里没有答案。

现在能确认的是，代码已经公开，模型 API 已经可用，性能数字和复现脚本都放在仓库里。至于这些数字在真实交互式编码 agent 场景里能保留多少，要等更多请求模式跑出来。