银行模拟器里的AI跑分：Claude Opus 5.5 拿609，Grok 4.7 拿241
Veris AI发布FinAgent Arena，在模拟银行里测AI代理做AML案件和TreasuryQA。满分1000，Claude Opus 5.5拿609，Grok 4.7拿241，成本也扣分。
Veris AI 发布 FinAgent Arena，一个衡量 AI 代理在银行高保真模拟环境里做金融任务的指数。模拟对象是一整家银行的后端：核心银行、CRM、生产力工具、金融犯罪系统、项目管理和工程系统，内部协作者和外部客户也被模拟进去。测试时让领先模型配上各自原生 harness 跑真实任务。首批两个基准是 TreasuryQA 和 AML Bench，之后每周增加。
榜单里十个代理在同一家模拟银行、同一个冻结世界里，各处理一桩反洗钱案件，再从文档库里回答一个问题。AML Bench 是 153 个调查 × 3，TreasuryQA 是 70 个问题 × 3。Arena Index 满分 1000，奖励做对且稳定，按美国银行付人做这两类工作的权重加权，成本超过当前领先者会扣分。规则写得很直白：成本每翻倍超过 $1.95，扣 20 分。
视频里把模拟银行拆成三层：服务器机房、分行、后台办公室。绿色主调，柜台有人排队，后台有人对着双屏处理案件。代理要干的活就落在这些系统里。
| 排名 | Agent | Harness | Arena Index | AML Bench | TreasuryQA | 篮子成本 | 成本惩罚 |
|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 5.5 | Claude Code | 609 | 652.6 | 568.5 | ~$2.00 | −0.7 |
| 2 | GPT-6.1 Sol | Codex | 567 | 691.1 | 461.7 | ~$0.88 | 0 |
| 3 | Gemini 4 Argon | Gemini CLI | 566 | 615.4 | 541.8 | ≈$2.98 | −12.2 |
| 4 | Claude Sonnet 5.5 | Claude Code | 492 | 672.0 | 355.8 | ~$1.40 | 0 |
| 5 | Gemini 3.8 Flash | Gemini CLI | 478 | 511.1 | 452.6 | ≈$2.22 | −3.7 |
| 6 | DeepSeek V4.1 Flash | Pi | 415 | 611.2 | 277.5 | ~$0.31 | 0 |
| 7 | Kimi K3 | Pi | 384 | 642.4 | 238.0 | ~$2.86 | −11.0 |
| 8 | GLM 5.3 Flash | Pi | 362 | 652.1 | 195.9 | ≈$0.26 | 0 |
| 9 | GPT-5.6 Terra | Codex | 278 | 575.0 | 130.2 | ~$1.46 | 0 |
| 10 | Grok 4.7 | Grok CLI | 241 | 625.6 | 105.6 | ~$4.04 | −21.0 |
TreasuryQA 的图把成本和正确率放在一起看：横轴是每个问题的平均代理成本，对数刻度从 $0.25 到 $4.00；纵轴是 pass@1，从 10% 到 70%。绿线是帕累托前沿。图里能看到便宜模型不一定差，贵模型也不一定稳。
单看 pass@1 会好看很多，银行不会因为一次答对就买单。Arena Index 把稳定性、任务权重、成本放进同一个分数，排名更接近运营视角。比如 GPT-6.1 Sol 的 AML Bench 比 Claude Opus 5.5 高，但 TreasuryQA 低，篮子成本也低，Index 仍差 42 分。
完整报告在 veris.ai/leaderboard/arena。TreasuryQA 与 @hu_yifei 和 @reductoai 团队合作。原帖在 这里。
发布时间: 2026-11-03 02:40