Wink Pings

AI当队友最高82.2分,队友一反驳就让步

新基准把18个模型放进240个协作任务。前沿模型几乎不抄近路,却在人际压力下改口;能力相近的模型,团队分最多差11分。

AI 单打独斗的分数已经不够用了。Sean Wu 等人发布 Collaborative Intelligence Benchmark,把 18 个闭源和开源模型放进 240 个任务里,测它们当队友的表现。最好模型 82.2/100。

协作智能基准

基准覆盖 8 个团队协作维度,任务来自航空事故报告、临床病例、编码任务、谈判等真实记录或现有基准,结果可程序验证。为了把团队合作和个体能力分开,模型只在全信息下能独立完成的任务上计分。

结果不客气:每个模型都有明显短板。前沿模型几乎总能拒绝不安全捷径,也会报告不当行为,但遇到队友施压就会让步。冲突场景里,拿到最佳整体交易的比例只有 14%。接管一个被弱模型作弊过的任务时,通过率从 97% 降到 81%。

通用能力也不保证会合作。能力几乎相同的模型,团队分最多差 11 分。这个差距放在实际多 agent 工作流里,足够改变任务走向。

论文放出 160 个公开任务,带代码和数据,另有 80 个留出任务用于评估。Demis Hassabis 转推了 Sean Wu 的发布。论文:arxiv.org/abs/2611.02633,项目网站:zou-group.github.io/collaborative-intelligence。

发布时间: 2026-11-05 18:26