所有 AI 实验室都在刷同一张卷子，只是没人说重考了几次

Jason Wei 做了件很书呆子的事：把 2026 年前沿实验室在发布材料里报告过的 benchmark 全数了一遍，做成一张频率分布图，名字叫“benchmark 的 benchmark”。

结果是这样的。

四张卷子几乎通吃：HLE、SWE-Bench Pro、DeepSWE、Terminal-Bench，12 家前沿实验室全都报过。简单说，HLE 考专家级知识问答，SWE-Bench 系列考改代码，Terminal-Bench 考在命令行里干活，DeepSWE 也是软件工程类任务。Scale AI 在这四张里参与了两张，SWE-Bench Pro 和跟 CAIS 合作的 HLE，另外 MCP-Atlas 排在第九。

出题最多的是 OpenAI：SWE-bench Verified、BrowseComp、GDPval。用竞争对手造的卷子，似乎没人有心理障碍。

Anthropic 只有一个上榜，BioMysteryBench，基本没人用。评论区有人替它着急，也有人觉得这恰好说明榜单量的是发布习惯，不是能力。

学界贡献不少。Princeton 两个，SWE-bench 和 CharXiv；Stanford 一个，Terminal-Bench；Berkeley 两个，CyberGym 和 Agents' Last Exam；NYU 一个，GPQA。

DeepSWE 值得单独说一句：6 月才第一次出现，到年底 12 家实验室全报了。Terminal-Bench 更夸张，一年里从 2.0 迭代到 4.0，四个版本。

图看下来，容易觉得行业终于有了共识。但“universal adoption”这个词经不起细看。

先是过滤条件。有网友指出，这张图只收录至少三家公司在发布材料里用过的 benchmark。也就是说，普及率是在一个已经筛过的池子里量的。小众但有区分度的卷子，从一开始就不在图上。

然后是版本。一年四个版本的 Terminal-Bench，各家实验室报的可能是四份不同的卷子。Cloris 在回复里说，按 benchmark 家族看采用率没问题，但比分必须精确到版本和 harness，否则“共享一个名字”不等于“共享一场考试”。

还有次数。Kritin Vongthongsri 提到他们在 τ-bench 上复跑的结果：第一次通过的占 83%，连跑 8 次全部通过只剩一半左右。发布材料里一般只写第一次的数字。

最后是 adoption 的定义。Max Petrusenko 问得直接：所谓采用，是实验室在 PPT 上写了个数，还是外部团队能复跑出一致结果？这两件事在图上长得一模一样。

有网友的总结更狠：48 份报告里出现 HLE，说明的是方便，不是严谨。挑一张容易塞进发布会的卷子，成本比挑一张真正区分能力的低太多。

所以这张图的真正价值不在排名。它把发布会习惯画成了曲线：四张卷子通吃，说明行业暂时达成了一致；一年换四个版本、单次运行就报数、过滤掉小样本，说明这份一致比看上去松。Jason Wei 说想每年做一次，如果真做，那大概是最值得追更的元评测：看同一把尺子怎么被重新定义。