AI 自己优化推理栈，14 个 PR 已合并：300% 提升背后，人类还在守门

14 个上游合并 PR，8 个语音和全模态模型，吞吐提升 7.6% 到 344.3%。这是 OpenRSI 和 SGLang-Omni 交出的第一份生产级 RSI 作业。原始推文在这里：https://x.com/GenAI_is_real/status/2119910916762608057

RSI 常被拿来演示 benchmark 和玩具问题。这次的目标很具体：让 SGLang-Omni 里的全模态模型跑得更快，不动模型权重，也不拖慢其他模型。agents 提假设、设计实验、读结果、继续改；独立 verifier 验证每个增益，agent 看不到它。每个合并后的改动成为下一轮 baseline。人负责定义任务、benchmark、guards、系统设计和最终 review。博客把这条路径叫 Harnessed RSI。

方法上有个关键区别。常见做法是工程师盯着 Codex 或 Claude Code，每一轮都由人读输出、决定下一步。人就是循环。Harnessed RSI 把人的位置往外挪：agent 在内层持续实验，harness 在外层决定何时判定、把经验带进下一轮，回合按 compute 扩展。人的工作没有消失，前移到问题定义和验收。图里能看到这个结构。

RSI-Anything 把 proposal 变成可执行 benchmark，再让 agents 迭代代码、复现增益、开 PR。SGLang-Omni maintainer 多轮 review，有时自己写代码或复现结果，最后决定 merge。博客给了 14 个 PR 的五类模式：

• 空闲线程别再自旋，把 CPU 核还给队列里的活。#2524 单独测出来值 +32.5% streaming 吞吐。
• 张量跨阶段别来回变 Python list，保持 tensor，最后消息再带 typed bytes。#2555、#2778。
• 跳过没人用的计算，比如不需要的 quantizer reconstruction、重复的 reference audio 编码。#2525、#2882、#3071、#3136。
• 小 GPU launch 太多，用 CUDA graph 或融合 kernel 一次回放。#2779、#2859、#2880、#2901。
• prefill 和 decode 在两台机器上别轮流等，提前开始下一个请求。#2881、#3071、#3136。
  这些改动几乎都在动模型外围的 runtime 开销。博客也写了代价：#2859 增加约 41 秒启动和 3.7 GiB 峰值显存；#2881 抬高了一些 streaming 尾延迟；MOSS-TD 的 64 客户端 streaming first-text p95 也上升过。数字要看部署配置，同一个 #2524 在 8 核上值 +82.9%，16 核上只有 +33.6%。

速度方面，博客说前六个模型里有五个，第一个通过所有 guard 的候选在 8 小时内出现。OpenRSI 回复里写得更具体：4 到 8 小时找到通过 latency 和 WER guard 的提速，24 到 48 小时复利到 1.44x 到 2.20x。主推推文还澄清了 300% 那个数：模型支持开始两天、没做人工优化就交给 OpenRSI，所以幅度才夸张；多数已经看到明显提升的模型在 30% 左右。公开摘要给的范围是 7.6% 到 344.3%，博客表格里 H100 最高到 326.5%，344.3% 出现在 H200 的 Ming3-TTS 行；博客另提醒 H200 streaming baseline 偏低，MOSS-TTS 的 +149.5% 要谨慎读。

更值得看的是瓶颈变化。问题定义清楚后，推理优化从“专家注意力有限”变成“compute、评测器质量、review 带宽有限”。agents 会优化被测量的东西，所以 benchmark、质量检查、防 reward hacking 的 guard 变成主要工程工作。语音场景里 WER 只覆盖转写准确率，覆盖不了声音听起来如何。博客自己承认了这一点。

有网友在回复里追问：一个提速过了所有测试，却在 WER 抓不到的地方改变行为，谁来接？harness 会不会回滚已合并 PR？公开材料没有给出自动回滚机制。现在的防线还是独立 verifier、latency 和 WER guard、maintainer review。review 中位约 3.5 天，最多 23 个 commit，人的带宽仍是硬约束。它离全自动 RSI 还有距离，更像一个被 harness 管住的外层循环。AI 在改进 AI 跑的基础设施，这句话已经能落地；但最后一道门，暂时还在人手里。

RSI-Harness 和 RSI-Anything 已开源：https://github.com/OpenRSI-Foundation/OpenRSI-Index/tree/main/RSI-Harness 。SGLang Summit 2026 在 11 月 12 到 13 日于旧金山 Fort Mason 有相关议程：https://www.sglang.io/summit