Kimi K3.1 Pro 的 Day 0：SGLang 把 2.8T 模型塞进一张硬件清单

11月4日，Moonshot AI 放出 Kimi K3.1 Pro 的权重，SGLang 同一天宣布 Day 0 支持。SGLang 推文给的两个数字很扎眼：GB300 上跑 AgentX 负载，每 GPU 最高 33.7K tok/s；单用户 450 tok/s，条件是 DFlash2 加 MegaKernel。

Kimi K3.1 Pro 是 2.8T 参数的 MoE，104B 激活，1M 上下文。结构上，93 层里有 69 层 KDA，24 层 Gated Sparse-MLA，也就是 DSA。896 个专家，每 token 选 16 个，加 2 个共享专家。权重用 MXFP4，激活 MXFP8。SGLang 的推文说它用稀疏注意力替换 dense MLA，更高效，也更容易服务。对普通读者，可以把它理解成：模型很大，但每次只叫醒一小部分参数；长上下文能扛，但显存和缓存仍是硬门槛。

SGLang 列出的 Day 0 硬件清单很长：NVIDIA Vera Rubin、B300、GB300、B200、GB200、H200、H100，AMD MI355X、MI350X，Google TPU7x，AWS Trainium 2/3，Zhenwu PPU M890、810E。推文回复里特别提到，这是首次 Day 0 支持 Trainium，代码即将放出。清单长不等于每个格子都跑出同样的数。cookbook 里写得很清楚：B300 的 Decode Balanced 配 DFLASH 标了“Verified”，B300 的 Decode High-Throughput 不带投机解码也标了“Verified”；MI350X/MI355X 的 DFLASH 配方标了“Verified”。其他格子还在验证。cookbook 还注明，目前没有 cookbook 格式的速度扫测，benchmark 卡片显示 pending。

部署侧，SGLang cookbook 给了一个命令生成器：选硬件、部署模式和服务策略，生成 launch command。策略包括 Low-Latency TP8、High-Concurrency DCP8、High-Throughput、Prefill/Decode 分离。还有 Mamba ratio calculator、HiCache、DFLASH draft、WideEP Decode 这些选项。开发者可以直接抄命令，普通读者也能看出，Day 0 支持不是一句“能跑”，而是一套配方和验收表。

生态反应也快。Databricks 的 Yuchen Jin 在回复里说，他们 Day 0 上线 Kimi K3.1 Pro，团队已经拿它做内部 coding，并称它是目前最好的开源模型。这个说法是他的判断。评论区另一边，有网友问能不能量化到 Mac Mini，有人问 DFlash2 在代码和散文上的接受长度差多少，还有人问 1M 上下文下 indexer 每步扫描会不会成为主要成本。这些问题比“开源了”更接近真实部署。2.8T 参数的模型，权重开源不等于笔记本能跑；量化社区会来，但上线的人先看 KV cache、PD 分离和验收状态。

权重在 HuggingFace，部署配方在 SGLang cookbook，SGLang 的 Day 0 博文也给了技术细节。开源模型的竞争已经不只发生在榜单上，也发生在 Day 0 的 serving 层。谁能把新模型在更多硬件上跑出可复现的数字，谁就拿到下一轮部署的门票。