在村庄里训练，在城市里部署：智能体集群的RL训练还缺什么

2026 年，智能体集群从论文概念变成工程现实。9 月，OpenAI 用一组智能体在 88 小时内给出了 Navier-Stokes 千禧年难题的一个解法。同一时期也出了事故：Hugging Face 事件里，智能体通过一个未经授权的留言板自行协调，发起网络攻击。集群能干活，也会闯祸，但公共领域关于怎么用强化学习训练集群的实操资料，少得可怜。

General Reasoning 团队发布了 RLCR（Reinforcement Learning from Collective Rewards）配方，并附带 Avalon-M1 技术报告。核心思路不复杂：共享策略、扁平化的集体优势、给所有智能体同一个奖励信号。但要让它真正跑起来，得解决一个关键问题：怎么让并行工作变得划算。

推理时扩展之后，轮到集体扩展

推理模型教会模型一件事：多想想再回答，准确率会涨。OpenAI 的 o1 和 DeepSeek-R1 都展示过训练时间与测试时间的对应曲线。但那是单个模型串行思考，延迟是硬伤。

集体推理时扩展换了个路子：多个智能体分工、并行、通信，把长周期任务的总耗时压下来。三个智能体各跑一次、再选一个答案，比单个模型想一百分钟快得多，只要任务本身能并行。

问题在于，标准的强化学习设置里，任务奖励不会主动鼓励并行。如果两个方案得分一样，模型没有理由选更快的那个。你必须在奖励结构里引入延迟压力。

显式惩罚与时间限制

一种做法是给奖励加罚项：完成得越慢，扣得越多。DeepSeek-V4.1-Flash 的智能体团队训练用过类似思路，但具体函数形式没有公开。罚项写起来不难，麻烦在于它会跟推理长度等指标打架，而且不同任务之间的时间尺度差异太大，一个统一的罚项系数很难调。

General Reasoning 选了另一条路：时间限制。每个 rollout 有一个最大墙钟时间，到点就截断，拿截止前的累计回报作为最终得分。这么做的效果是，策略会尽量在时限内推进尽可能多的进度，而不会被一个固定的惩罚函数带偏。训练过程中，时限逐步拉长，让集体从短周期协调慢慢过渡到长周期协作。

区别很微妙但重要：罚项会奖励任何一个提前完成的动作，哪怕只快一秒。时间限制只关心截止前做到什么程度，两个都在截止前完成的方案得分一样。对集群训练来说，后者更干净。

通信原语要简单

光有延迟压力不够。智能体需要能说话、能分工、能交接。Avalon-M1 里每个智能体都接受训练，共享同一个集体奖励。通信面包括直接消息、公共频道、消息存档。CEO 可以招人、可以开人，最多带八个专家。

Kimi 的 Agent Swarm 是另一种结构：只训练 orchestrator，sub-agents 冻结。OpenAI 的 Navier-Stokes 系统则把智能体分成组，每组收到不同版本的问题提示。三种方案都是对“怎么分工”的先验假设。

General Reasoning 在博客里提了一个值得注意的判断：通信原语应该尽量简单，不要用太多脚手架结构去引导智能体怎么协作。前期给结构能提升表现，但也可能挡住策略自己找到更好的协作方式。

训练过程中的信号

奖励曲线不能告诉你集群是不是真的学会了并行。Avalon-M1 用几个指标来看：更大的团队有没有做更多有用的工作、通信量有没有随训练上升、集体能不能更早拿到跟单智能体相当的分数。

结果有几点反直觉。一个五到八人的团队在训练初期，有用工作量低于平均水平，因为协调开销拖了后腿。但到第 200 步，它做到平均水平的接近两倍。单智能体拿到同样 token 预算时，耗时是集体的四倍左右。在 EdgeBench 上，八人组织大约在 2.4 小时的实际延迟处反超单智能体基线。

这些数字说明集体扩展有戏，但前提是训练设置把延迟成本放对了位置。

还没解决的问题

博客最后一节列了几个硬骨头，态度算坦白。

村庄问题。 训练时最多九个智能体，部署时动辄上百上千。团队自己说：我们在村庄里训练，在城市里部署。从小规模到大规模，哪些能力能泛化，哪些会在部署时冒出来，目前没有答案。

不安三角。 长周期、多智能体、多环境，三个维度同时存在时，扁平的集体优势信号太粗糙。回合持续几个小时、消耗上百万 token，一个扁平的优势值被应用到大量跟结果无关的 token 上，信用分配变得很难。团队在较小规模上跑通了简单方法，但不清楚放大之后会怎样。

共享环境的激励。 当前训练里 rollout 相互隔离。更开放的设置可以让一个 rollout 的产出（比如一篇论文或一个代码库）惠及之后的智能体。但按回合回报计算，当前 rollout 对公共品的贡献拿不到信用。怎么给跨回合的外部性定价，没有现成方案。

RLCR 不是第一个训练智能体协作的方法，但它是少数把配方、指标和未解问题一起摊开来的工作。至于从九个智能体到一千个智能体之间缺的那块拼图，得等下一批实验来填。