RL数据公司的秘密算法？评论区说它是永动机

Michael R. Bock在X上贴了一张流程图，说它看起来简单到不真实，但这是当下每家RL环境与数据公司的秘密，也是RSI的算法。

先把上下文补齐。RL环境可以理解成给强化学习模型准备的训练场，数据公司负责造任务、验证任务、给模型打分，再把结果喂回去。RSI是递归自我改进，模型参与改进下一代模型或训练流程。流程图不复杂：生成器模型造新任务，验证器检查任务是否正确，改进器根据反馈优化生成器提示，待测模型在任务上跑，评分者打分，前沿任务放在一侧当难度边界。循环起来，就是一套生成、验证、评分、再改进的流水线。

问题在评论区很快出现。有网友说这套方法很幼稚，而且看起来非常贵。另一位直接把它叫作永动机。还有人指出图里少了一个压力很大的人类在环，作者回了一句“definitely”，配了笑哭表情。这个反应比流程图本身更有信息量。图里每个方框都能画出来，真正难的是验证器谁来写、评分者怎么校准、任务变难后人类要补多少漏洞。

关于模型能力也有争论。有网友问，如果生成器或验证器依赖的模型不够好，怎么生成足够好的RL环境或验证任务，并提到Fable 5这类模型。Michael的回复是Opus 5.5很好。这个细节说明争论不只在流程，还在底层模型是否撑得住验证质量。

更尖锐的问题来自审计。有网友问，生成器超过验证器之后，谁来审计验证器。流程图里没有答案。验证器一旦成为瓶颈，循环就会退化成生成器自己出题、自己判卷。成本也会在这里放大，因为验证和人类复核往往比生成更贵。

也有人给出正面反馈。一位网友说自己已经实现了大约90%的流程，准备再改进一下。另一条回复里，作者问“open source?”。这大概能代表两类读者：一类觉得图太理想化，另一类已经在工程里跑过类似结构，知道哪一格最耗人。

这张图真正卡人的地方，可能不在算法名字，而在验证器的质量和预算。流程图可以画得很干净，验证器和复核人力开不了源。