别只盯着最强模型：Fireworks AI新增31个领域基准，但组合模型没那么简单

10月28日，Fireworks AI宣布其Specialized Intelligence Index（SII）新增31个合作伙伴。这个索引干的事很直接：把不同领域的实践者自己搞的评估收集起来，让团队能比较各种模型在具体任务上的表现，而不是只看通用榜单。

SII在9月22日首次推出，现在合作伙伴增加到46位，覆盖14个领域。新加入的伙伴带来了从网络安全、法律、金融、芯片设计到医疗、生命科学、营销、客服等领域的基准。

举几个具体例子。Zapier的AutomationBench让agent在47个模拟应用里干活，销售、营销、运营、客服、财务、HR都有，评分标准就一条：工作流有没有跑完。BioBench有1337个任务，测的是agent在生物学场景里的能力和安全防护。SheetBench有50个表格任务，从清洗数据、做透视表到预测营收。Robocurve的DataCenterBench Tier 1让机器人做数据中心维护，比如接电缆、操作控制面板。Letta的FrontierMemory看模型能不能从自己过去的尝试里学习，同时把成本算进去。

还有一批coding和专业工作的评估加入。Snorkel AI的Senior-SWE-Bench由普林斯顿和威斯康星大学麦迪逊分校的研究者参与构建。Scale AI的SWE-Bench Pro V2包含私有的商业案例。Upwork的SWE-Clar测试AI是否问对问题并交付能用的软件。Surge AI一口气加了六个基准，覆盖医疗、金融、会计、税务、数据科学和软件工程。另外还有DesignArena（对设计质量盲投）、Hebbia的金融服务基准、Commure的RCM-Bench-1（收入周期运营）、Nimble的Web Context基准、TaxCalcBench，以及Parallel的搜索能力评估。

关键数字里有一组挺实在：在DuetBench-Diagnosis上，GLM 5.3比Claude Opus 5低3个Elo点，但成本低77%。这对做成本敏感型产品的团队来说，比“哪个模型总分第一”有用得多。

Fireworks的Lin Qiao在推文里抛出一个判断：下一代AI领导者不会靠选一个最好的模型赢，而是靠构建最好的模型组合，结合产品设计、品味和判断。这话听着有道理。但模型组合这件事，真正难的地方不在“组合”，在“验证”。

一位叫Marius du Preez的网友在回复里晒了自己的用法：Flash做苦力活，每次解决成本0.24美元，Opus 5只在“闻起来像真bug”的时候才调用。这是典型的分层策略，简单任务给便宜模型，复杂任务给贵模型。听起来很美。

另一位叫John Rood的网友直接泼了冷水：模型组合在第一次出现分歧时就很难办。路由逻辑假设你知道哪个模型是对的，但看到答案之前你并不知道。两个模型意见不一致时，你没有裁判，最后的裁决变成“你更喜欢哪个答案”。只有每个任务都有廉价的验证方式时，混合模型才能胜过它最好的那个成员。

这个观察值得细想。很多“模型组合”的演示里，路由规则是：简单任务给小模型，复杂任务给大模型。但怎么判断任务简单还是复杂？你得先让模型做，或者用另一个模型来判断。这本身就带来成本和误判。更麻烦的是，两个强模型给出不同答案时，你选谁？在代码场景里，如果测试能跑通，那可以。但在法律分析、金融判断、营销文案这些领域，没有单元测试。这时候“组合”就退化成“选一个你顺眼的”。

SII的价值在于它提供了真实问题上的证据，让团队能看清楚每个模型在特定任务上到底值不值那个钱。比如做生物信息学的，可以直接看BioBench里的任务得分和成本，而不是对着通用榜单猜。做表格自动化的，SheetBench的50个任务比任何“综合能力”排名都更有参考价值。

但别指望一个索引就能解决“哪个模型对”的问题。它给的是证据，不是答案。Fireworks说下一代赢在模型组合，这话没错，但组合的前提是验证。没有廉价验证的领域，组合的收益有限。有廉价验证的领域，组合才真正成立。这个区别，比“选哪个模型”重要得多。