凌晨3点,推理系统开始自己改引擎
Inferact 想围绕 vLLM 造一个自主推理系统:自己找瓶颈、写内核、跑基准,再把赢家合并回 vLLM。Simon Mo 给了两个生产案例,也承认离全自动还很远。
Woosuk Kwon 转发 Simon Mo 的一篇长文,解释 Inferact 到底在做什么,以及它和 vLLM 的关系。问题很具体:哪些留在开源项目,谁来维护,Inferact 图什么。Simon Mo 的答案不绕:Inferact 围绕 vLLM 构建自主推理系统,vLLM 继续开源,系统和团队找到的每项引擎优化都回流 vLLM。原文在这里,转发链接在这里。
先补一点上下文。vLLM 是开源推理引擎,模型上线服务时,速度和成本很大程度上取决于这一层。Simon Mo 把问题收得很窄:推理就是他们要解决的唯一问题。
推理的麻烦在于组合爆炸。每周都有实验室发布新模型架构,芯片厂商设计硬件时没有现成的调优 kernel,客户流量又会从短聊天变成长上下文 agent。每个新组合都要单独调优,才能跑得稳、跑得快。模型、硬件、负载各自演进,中间的差距会吃掉吞吐和可靠性。vLLM 的任务是桥接这段差距,但搜索空间有 5000 多个模型、1000 多种芯片架构,还有几乎无限的负载形态。靠人力穷举不现实。
Inferact 的方案是自主推理系统,AIS。自主的意思是:给它目标,它自己推进,自己找反馈,不需要人告诉它下一步做什么。按 Simon Mo 的描述,系统会观察自己运营或获授权观察的生产负载,从社区分享中学习,不需要访问客户的部署;它会适应新模型、新硬件和客户流量变化;会演化自己的代码,也演化积累知识和工程判断的“大脑”;它会像一支强工程团队那样绕过路障;还会按每个负载自己的目标持续优化。人类负责设定目标,提供质量标准和想法。
这套系统跑起来是什么样,Simon Mo 给了一个普通日子的例子。
凌晨 3 点,实验室发布新开放模型预览,系统在 Inferact 员工醒来前开始 profiling。新 attention 变体没有调优过的 kernel,只能回退到通用路径,错过延迟目标。
凌晨 4 点,系统自己启动 Hillclimb:一些 agent 写 megakernel,另一些把新算子融进已有 kernel,还有一个从零重写引擎。
过夜,多个候选单独看赢了,端到端却输了。只有通过完整服务基准的组合继续往前走。
早上,这个组合按客户负载要求和芯片架构上线,胜出的改动合并回 vLLM。
晚上,系统复盘自己的一天,发现多数失败候选死在同一道端到端 gate,于是重写 agents,让它们先跑这个检查。
第二天,继续。
这听起来像科幻,但 Simon Mo 给了两个已经在生产里跑的例子。
一个是 MiniMax M3.1 Flash。它带来新架构:带 indexer 的稀疏 attention、大 MoE、视觉输入,还有原生 DSpark 推测解码。vLLM 需要在 day 0 就在 NVIDIA 和 AMD 上以优化性能跑生产服务。麻烦的是负载一直在变,从长上下文 agentic coding 到短输入长输出,再到最终 checkpoint 让输出长度翻倍后的 decode-bound 服务。他们的做法是开源和生产同分支,切流前把 100% 线上 M3 流量 shadow 到 M3.1,再针对这股流量跑生产 Hillclimb,把改动从本地 gate 推到在线 shadow eval。结果包括:p50 首 token 时间从第一个非 PD endpoint 的 1.5 秒降到生产环境 0.8 秒;expert-parallel prefill 路径的补丁把 TTFT 降低 60% 到 70%;pipeline-parallel prefill 比 tensor parallel 吞吐高 19% 到 46%;AMD 每卡输出提升 56%。缺失的 kernel,包括 MSA attention、indexer 和 NVFP4 MoE,都进了上游,day 0 镜像也发给了 NVIDIA 和 AMD。
另一个是 Kimi K3.1 上的 Agent V。Agent V 是他们的共享 agent 基础设施。在 Slack 里问它,它会在 sandbox 里完成任务,原生支持 Hillclimb。把 Kimi K3.1 接到自己的服务栈时,某些 batch 的输出质量下降。一个 16-agent 的 Hillclimb 复现了问题,根因定位到一个依赖 batch composition 的 attention routing switch,修复随后上线。修复把 DeepSWE 分数从 0.558 提到 0.602,匹配模型参考精度。prefill 侧,24 小时 Hillclimb 让 GB300 上 800k 上下文的 TTFT 快了 2.78 倍。decode 侧,30 小时 Hillclimb 把 p99 每输出 token 时间降低 35%。GB300 上的 K3 生产吞吐,从 9 月中到 10 月底,每 GPU 从约 0.77M tokens/min 提到 1.4M tokens/min,大约 1.8 倍。Agent V 大部分跑在 Kimi K3 上,由 vLLM 服务;约 79% 的自然会话和 53% 的 token 来自他们自己的开放权重部署。
但 Simon Mo 没有把话说满。AIS 是 north star,还没到。现在算力稀缺,无法足够好地模拟世界,去测试那些从未发生过的流量;反馈回路也还窄,只来自他们运营的部署,以及客户和社区分享的信息。接下来要做的,是一键可观测性,让系统看到更多;做跨合作伙伴和 vLLM 社区的 Agent V,让整个生态给它反馈;以及让系统观察负载、适应模型和芯片,不等他们出手就改进自己。
这套设计里,vLLM 不只是被优化的对象,也是系统获取真实需求的入口。开源项目提供组合性和社区知识,Inferact 做自动化优化和生产线。风险也在这里:系统越依赖自己运营的流量,越容易把已知负载当成全世界;算力不够时,自我改进速度会被基准跑批能力卡住。Simon Mo 把这些限制写得很清楚,也承认会失败很多次。
真正值得看的,是凌晨 3 点那个画面能不能变成日常:系统自己发现缺口,自己写候选,自己跑完整基准,自己把赢家合并回开源项目。
发布时间: 2026-11-19 17:37