vLLM 开始自己改自己:Inferact 公开自主推理系统的生产数据
Simon Mo 解释 Inferact 和 vLLM 的边界:vLLM 继续开源,Inferact 围绕它做能自己调优、自己改代码的推理系统,优化回灌上游。文章还给了 MiniMax M3.1 Flash 和 Kimi K3.1 的生产数据。
Simon Mo 发了一篇长文,解释 Inferact 和 vLLM 的关系。很多人问过:哪些留在开源项目,谁来维护,Inferact 到底做什么。他的回答很直接:vLLM 继续开源,Inferact 围绕 vLLM 做一个自主推理系统。系统和团队找到的引擎优化,都回灌 vLLM,给整个社区用。
原文推文:https://x.com/TheZachMueller/status/2123144022839492769
Simon Mo 长文:https://x.com/i/article/2123131336982712320
先补上下文。vLLM 是开源推理引擎,做模型上线后的 serving。Inferact 是围绕 vLLM 的团队,文章里说,他们聚集了一批做推理的工程师,很多人参与过 vLLM。
推理的麻烦在于三样东西各自跑:模型架构每周变,芯片厂商拿来的硬件可能没有调好的 kernel,客户流量从短对话切到长上下文 agent。每个新组合都要单独调,调不好就丢吞吐、丢稳定性。vLLM 要桥接这个缝隙。但 Simon Mo 说,不能靠堆人暴力搜索一个组合爆炸的空间:5000 多个模型,1000 多种芯片架构,workload 数量没有上限。
Inferact 的答案是 autonomous inference system,围绕 vLLM。Autonomous 在这里的意思很具体:给一个目标,系统自己推进,自己找反馈,不用人一步步告诉它下一步做什么。文章列了五件事:看生产流量或获授权的流量,也从社区分享里学;适应新模型、新硬件、客户流量变化;改自己的代码,也改自己积累的知识和工程判断;遇到路障自己绕;按每个 workload 的目标持续优化。
这套描述听起来像自动机器学习,重点落在推理部署的脏活累活:kernel、并行策略、批处理、路由、回退路径、端到端 benchmark。Simon Mo 给了一个凌晨 3 点的例子。实验室发布新模型 preview,系统在没人醒着时开始 profile。新 attention variant 没有 tuned kernel,先走通用路径,延迟不达标。4 点系统自己开 hillclimb,一些 agent 写 megakernel,一些把新 op 和现有 kernel 融合,还有一个重写引擎。过夜后,几个候选单独看赢,端到端输。只有通过完整 serving benchmark 的组合才往前走。早上,这套组合按客户 workload 和芯片架构上线,赢的改动进 vLLM 上游。晚上,系统复盘,发现大多数失败候选死在同一道端到端门槛,于是改自己的 agent,把这项检查提前。第二天继续。
这个流程依赖生产和开源互相喂。生产端,单独写一个引擎、做一个优化不难,因为推理任务通常可验证。但孤立收益放到生产分布上经常不够稳。vLLM 跑生产,还要靠分布式推理栈扩展。要验证性能收益,只有经过生产流量考验的引擎才可信。开源端,vLLM 是优化能复利的地方。核心引擎设计成可组合,每次 release 让所有用户受益。自主推理系统从社区、学术实验室、合作伙伴里拿知识。Simon Mo 说,vLLM 有世界上最广的推理需求知识库,他们也会让系统帮忙 triage issue、更快测试 pull request。
Inferact 要做三件事:vLLM 在开源里继续领先,团队持续优化并回灌;围绕 vLLM 建自主系统,维护推理引擎,按 workload 定制;人类设目标。Simon Mo 说,这两件事都需要人的品味来定质量线和提供改进系统的想法。Inferact 只有在 vLLM 对所有人持续变好时才赢。
文章给了两个已经在生产里跑的例子。
MiniMax M3.1 Flash。M3.1 带了新架构:带 indexer 的 sparse attention、大 MoE、视觉输入、原生 DSpark speculative decoding。vLLM 要在 NVIDIA 和 AMD 上从 day 0 跑出优化性能,生产 serving,workload 还在变:长上下文 agentic coding,短输入长输出,最后变成 decode-bound serving。做法是开源和生产同一个 branch,切换前把 100% 线上 M3 流量 shadow 到 M3.1,对这股流量跑生产 hillclimb,从本地 gate 推到在线 shadow eval。结果:p50 TTFT 从第一个非 PD endpoint 的 1.5 秒降到生产 0.8 秒;expert-parallel prefill 路径的补丁把 TTFT 降低 60% 到 70%;pipeline-parallel prefill 比 tensor parallel 多 19% 到 46% 吞吐;AMD 每卡输出提升 56%;MSA attention、indexer、NVFP4 MoE 这些缺失 kernel 进了上游,NVIDIA 和 AMD 的 day-0 镜像发出。
Agent V 在 Kimi K3.1 上。Agent V 是共享 agent 基础设施,在 Slack 里问它,它在 sandbox 里完成任务,原生支持 hillclimbing。Kimi K3.1 上到自己的 serving stack 后,某些 batch 的输出质量下降。Agent V 上 16 个 agent 做 hillclimb,复现问题,根因定位到一个依赖 batch 组成的 attention routing switch,修复上线。K3.1 质量:DeepSWE 分数从 0.558 到 0.602,匹配模型参考准确率。prefill:24 小时 hillclimb 让 800k 上下文在 GB300 上 TTFT 快 2.78 倍。decode:30 小时 hillclimb 把 p99 每输出 token 时间降 35%。K3 在 GB300 生产:每 GPU 吞吐从约 0.77M tokens/min 到 1.4M tokens/min,大约 1.8 倍,时间从 9 月中到 10 月底。Agent V 大部分跑在 Kimi K3 本身,由 vLLM 服务:约 79% 自然会话和 53% 全部 token 来自自己的开放权重部署。
Simon Mo 也说了边界。AIS 是 north star,还没到。现在算力紧,没法很好模拟世界去测试没发生过的流量,这也是 Agent V 要安全重写自己所需的能力;反馈回路还窄,只来自自己运营的部署和客户、社区分享。下一步:给 vLLM 做一键可观测,让系统看到更多;做跨合作伙伴和 vLLM 社区的 Agent V,让整个生态喂它;做能看 workload、适应模型和芯片、自己改进而不用等他们的系统。
这事值得看的地方,在优化方式。现在推理引擎的性能靠少数懂 kernel、懂分布式、懂硬件的工程师手工调。如果这套东西跑通,系统自己提候选、自己跑端到端、自己回滚,人的工作往上移:定目标、定质量线、判断什么值得做。Simon Mo 把话说得克制,AIS 还没完成,生产数据先摆出来了。对 vLLM 用户来说,短期更实际的问题是:这些上游改动什么时候进 release,哪些 kernel 和并行策略能在自己的 workload 上复现。对做推理系统的人来说,Inferact 把竞争点摆到了自动 hillclimb 和端到端验证上,不只是单点 kernel 优化。
发布时间: 2026-11-19 06:33