AI指数换过考卷，排行榜分数还能直接比吗

Artificial Analysis Intelligence Index 是一个把多个基准测试加权成一个总分的模型排行榜。Hamel Husain 把当前 9 个基准测试的权重历史拉了出来，发现权重随时间变化不小。这个指数由 9 个 benchmark 组成，权重是人为设定的。

权重一动，排名就可能动。AlphaBeta 给了一个量化习惯：在已公布权重附近做随机扰动，比如按 Dirichlet 分布抽样，重新排序，统计第一名还保住第一名的频率。如果小改权重冠军就翻，这个指数测到的更接近权重配置。Zeeshh 问得更直接：有没有模型纯靠重新分配权重爬榜，单项能力没变。

Harrison 认为权重只是较小的故事。按他的统计，1 月的 10 个 benchmark 只有 3 个还在，v5 有 40% 的权重压在 10 月 27 日新增的 3 个基准上。v4 分数和 v5 分数基本是两场不同的考试。Omkar Ray 补充，v5 里 Briefcase、FrontierCode 2.0、Terminal-Bench-Science 各占 15%，HLE 和 SciCode 退休。版本之间的一次跳变，有一部分来自尺子换了。他问有没有人用 v5 权重给老模型重新打分。素材里没人给出结果。

这件事比权重漂移更麻烦。权重变化还能重算，考卷换了，老分数就失去同一把尺子。Simon Livson 把问题推到极端：今天领先的模型，放到冻结的 v4 权重组合里，是否还领先。Aniket Tapre 则建议把权重历史直接贴在分数旁边，至少让读者知道最大偏移发生在哪。

Mert Gulsun 在回复里解释了更新逻辑。他们的目标是给这些能力快速变化的系统一个平衡、最新的视图，所以需要持续监控和改进指数成分。更新原因包括测试饱和、用户和厂商用例转移。他还说，这个指数应该被看作一段更深旅程的起点，他们另外做了很多指数和基准，以及让用户自建基准的 Optima。这个回应没有直接回答老模型重打分的问题，但把指数会持续变化说得很清楚。

其他人在看单项。Tim Lai 说，他想看每个 benchmark 的列，不只总分。加权平均的中立程度，取决于谁在选权重。akshit.io 注意到 v5 的知识工作权重从 40% 降到 25%，类别权重又回到各 25%。Eddie 给了一个实用建议：如果用指数选模型，记下自己看的是哪版权重，一个月后同样的头条分数未必还能直接比。

Yoeven 提了另一个细节：在 GDP.pdf 上，Artificial Analysis 先用另一个 OCR 模型取文本，再交给被评测的 provider。他质疑，原生文档处理本来应该是基准的一部分，有些模型 OCR 更强，先统一 OCR 可能改变输出质量，也让这个测试偏离原始的 GDP.pdf。他贴了截图。

把这些回复放在一起，能看到两种不确定性。一种是权重在动，模型可以靠配比变化上升。另一种是题目在换，版本之间的总分未必测量同一种能力。对普通读者，指数仍然能快速给出大致位置。对拿它做选型的人，单项分数、权重版本、题目清单，可能比一个总分更有用。下次看到某模型涨了多少分，先问一句：这是哪版考卷，哪套配比。

原推文：https://x.com/HamelHusain/status/2120340744665989528