AI自己调推理栈，14个PR合进SGLang-Omni，最高涨344%

OpenRSI 和 SGLang-Omni 团队把 Recursive Self-Improvement 用到了生产 AI 基础设施上。结果不是一篇只讲概念的博客：8 个语音和 omni 模型，14 个 PR 被 SGLang-Omni 维护者 review 后合进上游，吞吐提升 7.6% 到 344.3%。H100 上最高 +326.5%，H200 上最高 +344.3%。最高数字有 caveat，后面说。

RSI 这个词最近被用得很松。信的人和不信的人，对 AI 怎么赚钱的判断已经分叉。OpenRSI 这次给了一个能检查的版本：agent 改进服务 AI 模型的基础设施，每次验证并合并的改动成为下一轮基线。人负责定义问题、系统设计和 review，agent 负责实验密集的那部分工作。

推文里有个细节值得先放前面：最高 300% 级别的提升，是因为这个模型在支持流程开始两天就交给 OpenRSI 团队，还没做手工优化，所以增益特别大。多数看到明显提升的模型，增益大约 30%。30% 也不小，但和 344% 不是一回事。

方法叫 Harnessed RSI。今天常见做法是工程师驱动 coding agent：人挑实验、读结果、决定下一步。人是循环。Harnessed RSI 把人从性能优化的内循环里拿掉，但没有把人从工作里拿掉。人写 proposal，定义 task、benchmark、baseline 和 verifier。agent 在内循环里改代码、跑实验、测量。RSI-Harness 管外循环，决定什么时候判分，把每轮经验带到下一轮。独立验证器看不到 agent 的投机路径，只认复现。合并后的改动成为新基线。

流程叫 RSI-Anything：人写 proposal，agent 把它变成可执行 benchmark 和 evaluator，然后迭代、复现、开 PR。SGLang-Omni 维护者 review，有时补代码，有时自己复现。博客说 review 中位约 3.5 天，最多 23 个 commit。瓶颈从“专家没时间做实验”移到“review 带宽和 evaluator 质量”。

14 个 PR 大致分五类，目标都是运行时开销，不改模型权重或采样设置。第一类，空闲线程自旋抢 CPU 核，让它们 sleep，把核还给流水线。第二类，tensor 跨 stage 被转成 Python list 再重建，现在 tensor 保持 tensor，只在最后消息里带 typed bytes。第三类，跳过没人用的计算：不需要的 quantizer reconstruction、重复的 frontend、超出需要的音频特征提取。第四类，小 GPU launch 太多，用 CUDA graph 或融合 kernel 一次 replay。第五类，prefill 和 decode 在两台机器上互相等，改成 prefill 机器提前处理下一个请求，decode 机器空出来就接上。

具体数据看几个模型。CosyVoice3 在 H100 非流式/流式 +44.4%/+46.2%，H200 +48.1%/+56.3%。MOSS-TTS 在 H100 +48.5%/+76.3%，H200 +65.2%/+149.5%，但 H200 流式基线偏低，博客提醒这个 +149.5% 要小心读。Qwen3-TTS +25.2%/+4.7%，Qwen3-ASR +14.2%/+5.0%，Whisper +7.6%/+12.2%，MOSS-TD +18.8%/+30.0%。Ming3-TTS 的 0.5B 模型在 H100 +326.5%/+93.9%，H200 +344.3%/+114.5%。Ming3 这个范围包括 28 个其他 PR，#3136 还修了 baseline 的采样 bug，benchmark 复用参考录音，不能全算 OpenRSI 的功劳。博客把这些 caveat 写出来了，这点比只放最大数字可信。

速度方面，前六个模型的最优搜索 run 里，五个在 8 小时内出现第一个通过所有 guard 的候选。24 到 48 小时复合出 1.44× 到 2.20× 的增益。注意每个 task 有自己的 benchmark，图里的 reward 不能跨面板比较，也不能直接和表 1 的吞吐增益混着读。Guard 会查延迟和 WER，快但质量退化的候选拿不到奖励。

这里有个没被回答的问题。有网友在回复里问：一个加速通过了所有测试，但改变了 WER 抓不到的行为，谁负责发现？Harness 会不会回滚已经合并的 PR？博客没有直接回答。它只说输出正确性和质量在报告的测试覆盖内检查，不保证波形或感知质量不变。文章自己也承认，对语音来说 WER 不够。这是 RSI 落到生产 infra 后最实际的一关：evaluator 是产品，guard 写不好，agent 就会优化你测到的东西。

OpenRSI 说下一步想把今天仍由人跑的循环更多交给 agent，走向完全自主的 RSI for AI infrastructure。听起来像大会标题。可检验的部分已经摆出来了：14 个合并 PR，公开的 task、harness 和 blog，维护者 review 过，数据带 caveat。RSI 要证明自己，靠这种能复现、能被 review 打回、能合并的 PR。SGLang Summit 2026 上有一场 fireside chat 聊这个，时间在 11 月 12 到 13 日，地点旧金山 Fort Mason。