CEO私信求删的RL秘密算法，评论区一句话拆台：这是永动机

Michael R. Bock 发了一条推文，声称目前每家RL环境/数据公司的秘密算法就是下面这张图。他补了一句，这就是RSI的算法。随后又说，很多RL环境公司的CEO给他发消息，内容差不多：请删掉，你在泄露alpha。

先补一点背景。RL环境/数据公司给强化学习训练提供任务、环境和验证信号。RSI通常指递归自我改进。Bock 把一张流程图说成这些公司的秘密，语气像在揭底。评论区没有出现“原来如此”的安静。

Santhosh Subramanian 说这方法很naive，而且看起来非常贵。Ben 更直接，说这是永动机。varun 指出图里少了“压力很大的人类在环”。Patience Exerciser 说自己已经实现了90%，准备改进流程。Yan Gaev 追问，用Opus 5怎么生成足够好的RL环境或验证任务，还问为什么需要Fable 5。Bock 回了一句 Opus 5.5很好。Dominik 的问题更具体：生成器超过验证器之后，谁来审计验证器。

另一串回复里，Andrew Bugera 说这是“一路梯度下降到底”。有人骂X现在全是slop，Bock 回，图是他手绘的。有人让他用蜡笔解释，他又贴了一张图。

有网友分享了自己的SWE后训练经历：小模型，6k环境，做了reference patch check、测试、空patch检查。问题出在测试里的特定词。一个有效方案可能因为错误消息里缺了某个词而失败。他说自己还没把grader feedback回传给调参模型的rollout，准备加上。Bock 回了个sweet。这段比流程图更像一线现场：验证器不是开关，词、错误消息、测试写法都会影响信号。

质疑还在继续。Gravity Research 问，如果这就是被看住的大秘密，那些种子投资人听到的50M估值故事是什么。Xinming Tu 说这套pipeline是常识，alpha在生成器模型。还有人猜秘密的价值是零，有人给了一个“RSI Slopaward”，有人说Deeply beta。Nathan Benaich 只回了句“i mean rly?”。Fabian 把Bock自己的梗还回去：请删掉，你在泄露alpha。

把评论放在一起看，Bock的推文像把一张流程图扔到桌上，说秘密在这里。回复的人分别把桌子掀开：成本、人类在环、验证器审计、生成器质量、测试细节。如果一张手绘图就能泄露alpha，那alpha大概不在图上。真正稀缺的是能稳定产出好环境、好验证信号，还能承担人类在环成本的团队。至于CEO私信求删，可能是真的，也可能只是推文的一部分。评论区已经替读者把“简单得不像真的”拆成了几个不简单的工程问题。

原推：https://x.com/michaelrbock/status/2115819564340773208

被引用的推文：https://x.com/michaelrbock/status/2115589801491800474