73分并列第一，账单差7倍：决策模型榜单开始惩罚“自信地答错”

Artificial Analysis发布了Decision Index v2。榜单顶部三个决策模型只差1分，账单却拉开到7倍以上。Drex Max v1.1和GLiDE v1.2同为73分，Mammoth 27B为72分。成本上，Drex Max v1.1每百万任务102美元，GLiDE v1.2要780美元。

Decision Index测的是一类专门做判断的模型。它们从固定选项里选答案，给每个选项一个概率，一次调用完成。适合路由、分诊、文档判断这类任务。语言模型也能做，但会生成结构化输出，成本和时间曲线不一样。v2把文档决策、工具调用、知识、推理和等价问题一致性放在一个加权分里。45%的评测基于私有数据集，v1是25%。这个变化是为了降低刷榜空间。

新指标奖励校准

v2换了主指标Decision Score。每题0到100分。答对落在50到100，答错落在50到0。模型对首选答案的置信度越高，分数离50越远。换句话说，答对且自信会加分，答错且自信会扣得更狠。有网友在回复里写，自信地答错是最贵的错误。这个判断放在决策模型上很贴切。路由错了还能人工兜底，模型很确信地路由错，代价更高。

AA-Paperclip占30%

新增的AA-Paperclip权重最高，30%。它包含1500份私有文档，简历、收据、发票、AI和机器学习研究论文。每份文档有5个决策和10个事实抽取，总共15个答案。模型要把15个答案作为一个决策联合评分，全对才算通过。Decision Score里，文档置信度是15个答案概率的乘积。

通过率把这个差距放大了。Claude Haiku 5.5 Max通过92%的文档，GPT-6 Luna Max通过86%。决策模型里，Drex Max v1.1通过63%，GLiDE v1.2通过62%，Decider v1.2通过55%。Drex Max v1.1的答案正确率有97%，接近Claude Haiku 5.5 Max的99%，但文档通过率只有63%，对面是92%。差距主要丢在决策上。Drex Max v1.1在71%的文档里做对全部5个决策，在88%的文档里做对全部10个抽取。单题正确率高，联合决策通过率不一定高。这个设计对真实文档工作更接近。

等价问题一致性

AA-Symmetry占15%。它用120道基础题，做出440个变体，变化包括重排选项、交换标签、把是/否问题改成否定问法。模型要在不同表述下保持答案和高概率一致。Base Labs的模型靠高弃权率领先。Mammoth 27B拿96分，Elephant 9B拿93分。Mammoth 27B在99%的题上选同一个答案，Drex Max v1.1是91%，GLiDE v1.2是88%，Clef是67%。

这里有个读榜细节。一致性高不等于任务做得好。模型如果经常承认不知道，并且对不知道很自信，也能在一致性上拿高分。AA-Symmetry有价值，但它测的是稳定性。看总榜时得把弃权率拆开看。

权重也调了。AA-Omniscience-Decision v1.1和HLE-MultiChoice v1.1各占15%，从25%降下来。AA-Omniscience-Decision把“I don’t know”选项换成十种说法。HLE-MultiChoice加了同样十种措辞的拒绝选项。EvalSafe-ONET-AA占15%，是Typesafe的ONET benchmark实现。NVIDIA的When2Call保留，权重从25%降到10%。WildGuardTest因为饱和被移除。

成本陷阱在计费结构

决策模型的每百万任务成本差异超过60倍。Celeris-1.1 Decision是14美元，Decider v1.2是68美元，Drex Max v1.1是102美元，三者站在Decision Index对成本的Pareto前沿。Clef是859美元。GLiDE v1.2的标价只比Drex Max v1.1高33%，但每百万任务成本是780美元，接近8倍。原因是计费方式。多数决策模型把一份文档的输入按一次计费，回答所有问题。GLiDE v1.2和Decider Flash v1.2每道题单独跑一遍，每次都重新计输入。一个AA-Paperclip任务，GLiDE v1.2大约用63k输入token，Drex Max v1.1大约9k。Decider Flash v1.2因此要196美元，接近Decider v1.2的三倍，尽管它的token单价只有一半。

有网友在回复里写，按问题重复收文档费，该贴警告标签。选型时只看token单价会踩坑。账单结构比单价更能决定真实成本。

语言模型分数更高，账单也更重

把语言模型放进榜单，Claude Haiku 5.5 Max拿77分，GPT-6 Luna Max拿76分，比Drex Max v1.1高约3分。代价是成本和时间。GPT-6 Luna Max每百万任务1530美元，Drex Max v1.1是102美元，15倍。GPT-6 Luna Max每个任务11.34秒，Drex Max v1.1是275毫秒，约40倍慢。Claude Haiku 5.5 Max每百万任务6240美元，每个任务32.65秒。Celeris-1.1 Decision最低56毫秒，Elephant 9B是70毫秒，Jev 1.14是92毫秒。Mammoth 27B比GPT-6 Luna Max低4分，速度快118倍。

这组数字说明决策模型和语言模型在解决不同问题。语言模型能拿更高分，适合复杂推理和开放输出。决策模型便宜、快、概率可校准，适合高频判断。榜单把两条曲线放在一起，选择时看的是业务能接受多少延迟和多少钱。

榜单有用的地方和需要留神的地方

v2把置信度纳入主指标，方向对。决策模型最怕自信地答错，校准比单看准确率更接近真实收益。45%私有数据也提高了刷榜难度。不过，AA-Paperclip占30%且完全私有，有网友问能不能放一个held-out切片让其他实验室复现。顶部只差1分，这个质疑不过分。另一个细节是AA-Symmetry对弃权率的奖励，读总榜时得拆开看。

完整结果在Artificial Analysis Decision Index。公告原文在X。