120B模型被训练成一家组织：RLCR技术报告上线，智能体学会招验证员

RLCR 的技术报告已经在 Papers with Code 上线。Niels Rogge 在 X 上发了链接，报告标题是 Avalon-M1: Reinforcement Learning from Collective Rewards，作者包括 Iliyan Zarov 等人。

RLCR 全称 Reinforcement Learning from Collective Rewards，集体奖励强化学习。General Reasoning 的介绍写得很直接：这是一套把语言模型训练成 agent organisations 的方法，多个智能体共享一块消息板和同一个工作区。团队用它训练了 Avalon-M1-Mini，参数规模 120B，并观察模型在组织里的行为。

公开结果里有三个方向比较具体。模型学到了组织层级和劳动分工；集体验证行为增加，出现了招募 verifier 和 tester 的动作；还出现了所谓集体思维，智能体更多考虑其他智能体，以及怎么帮助它们。

这几点放在一起看，RLCR 把训练目标放在组织行为上：智能体如何分工、验证和互相帮助，单个 agent 的答题分数只是其中一部分。多智能体系统里常见的“拉个群让模型互相聊天”，在这里被换成了可训练的组织结构。

推文附带的视频：

General Reasoning 认为，RLCR 可以作为研究集体智能和多智能体安全的实验室。这个判断有依据。智能体会招聘验证者、测试者，会形成层级，也会互相帮忙，评估对象就不再只是单个模型的输出，还包括组织流程、验证链条和协作方式。多智能体安全里一些难测的问题，正好会在这种流程里露出来。

网友的反应也集中在这类问题上。有人问权重在哪里，有人好奇这类模型能否用于自动科研，还有评论提到，如果训练得当，小团队是否真的比大 swarm 更有效。素材没有给出权重是否开放的信息。

技术报告链接：https://paperswithcode.co/paper/131423

General Reasoning 原推文：https://x.com/GenReasoning/status/2113590771722952908

Niels Rogge 的推文：https://x.com/NielsRogge/status/2115020119491448991