Wink Pings

同样分数,10倍账单:Agent Arena 把成本、token 和等待时间摊开了

Arena.ai 给 Agent Arena 加了成本、输出 token 和等待时间三条资源曲线。同一智能水平,账单能差 10 倍,输出 token 对成本的预测力却没想象中强。

Arena.ai 在 X 上更新了 Agent Arena。它现在不只告诉你任务花了多少钱,还给出每输出一个 token、每等待一分钟的性能表现。

帖子里的问题很直接:同样的智能水平,成本可能高 10 倍,输出 token 多 6 倍,耗时多两倍。Agent Arena 用 Pareto 前沿把净改进和资源消耗画在一起。

图表的横轴是资源量,以前沿第一个点为 1x,对数刻度拉到 1000x;纵轴是净改进百分比,从 -5% 到 20%。它要回答的是,多花的钱、多生成的 token、多等的时间,换回来多少提升。

从图里能读出的第一件事,成本随智能水平上升最陡。等待更久,收益并不均匀。输出 token 数量对账单的预测力很弱。

有网友 Dusan 在回复里写,同样的结果,10 倍成本。另一个回复来自 Jatin Garg,他说按成功任务计价时应该把重试算进去,否则便宜但失败的尝试会显得像高效 agent。

这条评论戳中一个计价口径问题。便宜但失败的尝试如果不计重试,会被看成高效 agent。榜单如果只看单次调用,读者容易把失败成本漏掉。

David Batista 把账拆得更细:输出 token 是 6 倍,单 token 价格约 1.7 倍,乘起来接近 10 倍任务成本。他的算法建立在输出 token 驱动账单的假设上。

柱状图:同样分数,不同账单,6 倍输出 token 乘约 1.7 倍单价约等于 10 倍任务成本

他同时提了个开放问题:时间视图算不算工具调用等待,还是只算生成时间。这个口径会影响对 agent 延迟的判断。

更值得看的,是榜单把成本、token、时间分开摆出来。对做 agent 的人,选型时只看分数会漏掉账单结构和等待成本。对普通用户,这组图也解释了一件事:聊天框里看着差不多的回答,后台可能用掉完全不同的资源。

Arena.ai 给了 Pareto 榜单链接。如果要在几个 agent 里做选择,先看自己的瓶颈是钱、token 还是时间,再去看对应曲线。

发布时间: 2026-11-03 00:27