230次实验，94个有效：Agent把LLM推理优化跑成了流水线

Yangqing Jia 在 X 上发了一篇手打分析，主题是用 agent fleets 优化 LLM 推理。他给的数据来自自家 DeepSeek 4.1 Flash 的优化：单步 2.41 ms，配合 Dspark 生成速度最高 2300 tok/s，agent 任务稳定在 1800 tok/s 左右。Agent 跑了约 230 个优化提案，94 个被验证有效。

这件事值得看，因为大部分讨论还停在 kernel。Yangqing Jia 的结论是，端到端系统里还有大量空间。以下是他的 8 点观察，以及评论区的几个补充。

收益不只在 kernel 优化。超过 50% 的优化没有新 kernel，靠的是配置、计算图、启动顺序和其他策略。Kernel 已经被踩得很熟，但端到端系统其他部分仍有很多可拿的收益。
MegaKernel 可能被高估。在非小模型上，MegaKernel 想一口吃太大。他们多数实验里，把小块算子粘进已有 kernel，或把多个小 kernel 融成中等 kernel，收益最大。这个结论可能只适用于 NVIDIA GPU，因为底层驱动已经高度优化；vLLM 最近在 TPU 上用 megakernel 也有不错结果。
KernelBench 和真实 serving 是不同问题。很多 kernel 在孤立测试里是正收益，放进端到端组合后变成负收益。Yangqing Jia 一直想要 Accel-Sim 这样的模拟器，但目前模拟器在计算和内存混合的复杂延迟模式上，准确度还不够。
不想被钉在工位上，验证就变得非常重要。只要能定义什么叫正确，比如数值测试、端到端质量评估，agent 就能跑很久。他们没有干预运行，只做了三件事：加 GPU 机器，确保 token 限制没被打到，提高信用卡额度。
收敛不用担心。他认为社区已有共识：目标设定后，agent 最终会收敛。关键变成收敛速度，而第 4 点里的信用卡额度很真实。
低并发下，SASS 编辑这类低层汇编手段效果变小。主要原因变成等待内存和缓存。
热路径已经部分解决，但还有得挖。他认为未来几个月更大的收益会来自更宽的分布式 serving 栈，以及单个 serving 引擎之外的系统优化。这会涉及很多系统和 SRE 经验：搭好 telemetry，做不打断生产流量的 A/B 测试，类似当年推荐系统做的事。
Agent 做端到端优化是必需。230 个实验，每个可能耗掉一个人一周，手工实验加 Claude Code 也至少要几天。这个体量和速度，让人力带宽原本覆盖不了的优化方向被跑了一遍。

评论区里，Quantized 追问有多少优化来自 batching 或调度变化。Yangqing Jia 回复：调度约 20 个，让 kernel launch 更程序化约 5 个，比如重排 stream 和 stream 依赖。类别由 agent 自报，但人工抽查后认为分类相当准确。Aleksandar Janca 说，第 4 点放到推理之外也成立，agent fleet 的上限取决于判断正确性的检查。Lei Wang 补了一句：LLM 很会造 tech，还不算会造 science。Science 基于更小的规则集，Tech 是在无限组合里搜索。

Yangqing Jia 最后留了一个矛盾判断：目前 agent 更像好工程师，能大规模执行已知 insight，是在更快地插值。他还没看到 agent 设计出 PagedAttention 或 Winograd 这类算法。但未来几个月，从现有知识库外推，未必不可能。

这组结果里最值得注意的，是优化对象从单点 kernel 转向端到端系统。只盯 kernel，可能会错过一半以上收益。另一个判断是，agent 现在更像高速执行器，能把已知 insight 跑到人跟不上的量级；它还没证明自己能提出同等量级的新算法。这个边界值得继续看。

原文链接：Yangqing Jia 的 X 帖子