1000个Agent不比1个更聪明,swarm买的是延迟
Gregor Zunic 把 will brown 的 swarm 提示翻成三句话:Hoeffding 只让你更确信成功率,投票选最常见答案,99%验证器也可能让一半胜利变假。swarm 买延迟,不买智能。
Gregor Zunic 在推文里把 will brown 的 swarm orchestration 提示翻成三句话:1000 个 agent 解一个任务的频率和 1 个 agent 一样;Hoeffding 只让你更确信这个数字;投票选最常见答案,对错都选;就算 best-of-n 加 99% 验证器,在困难任务上也有一半胜利是假的。最后一句更直接:swarms buy latency, not intelligence。
先把背景补齐。Hoeffding 不等式处理的是独立有界随机变量。N 个 agent 各自尝试任务,单个成功率是 pτ,群体成功率会收敛到 pτ。N 变大,样本均值偏离期望的概率指数下降。它约束置信度,不提升成功率。换句话说,多跑几个 agent 能让你更确定 pτ 是多少,但不会把 pτ 抬高。推文里那句 1000 agents solve a task exactly as often as 1 agent,说的就是这个。
投票看起来像聚合智能,实际先看 agent 错得是否一致。多数投票取最常见答案,正确答案常见就选对,错误答案常见就选错。若所有 agent 以相同方式失败,投票只是把同一个错误答案放大。评论区有人提到这一点:Hoeffding bounds the confidence, not the success rate. voting still picks the same wrong answer when every agent fails the same way.
验证器是另一个瓶颈。Best-of-N 先生成多个结果,再让 checker 选。99% 的 checker 听起来高,但错误接受率 1% 在困难任务上足够制造虚假胜利。Gregor 的图里强调,1% 的错误接受率会让一半成功变得虚假。图还列出至少有一个成功的概率表,并指出验证器准确性对结果的影响。这里没有魔法,只有误差预算。
评论区也不是一边倒。Santosh Mohan 说这些 agent 不独立也不随机。will brown 回应,azuma-hoeffding 可扩展到 martingales,不需要 iid。Karthik A Sankararaman 说负相关甚至比独立更好。Papa Smurf 讽刺说这解决了 alignment。Shuofeng Mark Zhang 认为太模糊,只是集中不等式。这些讨论把前提摊开了:独立性、相关性、验证器误差,都会改变 swarm 的收益。
所以 swarm 的卖点更实际:并行采样、降低延迟、在独立且多样时提高至少一个成功的概率。它不自动买来智能。若 agent 高度相关,投票没有增益;若验证器有偏,best-of-n 会把偏差放大。真正要优化的是 agent 的多样性、失败模式的相关性,以及 checker 的错误接受率。1000 个 agent 很热闹,但热闹不等于更聪明。
发布时间: 2026-11-02 05:28