给 Opus 配个便宜写手,准确率掉了 14 个点,账单还涨了
12 个真实困难任务、41 种配置、1188 次运行。Ibragim 的测试结果不支持多智能体省钱叙事:Opus 单独 81% / $1.20,配 DeepSeek 后 67% / $1.29。提示词让 Opus 主动委派,成本才降到 $0.71。
多智能体架构最近很热。分工、并行、让便宜模型写代码,听起来能省钱。Ibragim 拿 12 个真实困难任务做了一轮测试,结果不太配合这个叙事。
先看最扎眼的对比。Opus 5.5 medium 单独跑,任务通过率 81%,每任务 $1.20。给 Opus 配 DeepSeek V4.1 Flash 1017 当写代码的工人,通过率掉到 67%,每任务涨到 $1.29。省钱没发生,准确率还少了 14 个百分点。
这组数据来自 Ibragim 的 HARD12 leaderboard。测试集从 Terminal-Bench 4、DeepSWE、SWE-rebench、SWE-bench Pro V2、Longtail-SWE 里选了 12 个任务,任务难度对齐他的日常工作。每个配置跑 3 次,总共 41 个配置、1188 次 agent 运行。任务和完整表在 leaderboard 链接里。
背景是 DeepSeek Harness 发布了一篇 Super-agent 架构长文,讨论把 Router 和 Worker 分开:Router 管全局上下文、优先级、分派和回复,Worker 在沙箱里并行修 bug、审 PR、跑测试,Watchdog 独立监控。社区画的流程很直白。架构图看起来像一支有调度中心的工程队。Ibragim 的测试相当于给这套思路算了一笔真实账单。
实验里最常见的主配置是 Opus 在 Claude Code 里计划和审查,禁止直接改代码,便宜模型负责写。可选的工人有 Haiku 5.5、GPT-6 Luna、DeepSeek V4.1 Flash、Qwen3.8 27B。结果平均下来,Opus 加便宜工人解决 55%,每任务 $1.25。最好的团队配置到 69%,也没追上 Opus 单独。
团队为什么输。71% 的团队失败,出现在工人单独也失败的任务上。多数情况下,工人就是上限。还有一部分失败发生在两个模型单独都能做对的任务上。一个例子:任务是让一个 agent 把工作交给另一个 agent。规格没说空输入怎么办,隐藏测试接受两种行为:抛流错误,或运行子 agent。Opus 给 DeepSeek 写了一张工单,加了第三条规则:返回错误信息,但不要抛异常。DeepSeek 照做。Opus 批准,说 8 个新测试都过了。隐藏测试拒绝。Opus 单独 3/3,DeepSeek 单独 3/3,一起 2/3。
钱花在哪。Agent 每一步都会重发完整上下文,prompt cache 让重复读取变便宜。缓存大约活 5 分钟。Opus 等工人 10 到 15 分钟,缓存过期,Opus 重新写上下文。按这个网关的价格,缓存写入是缓存读取的 25 倍,$5 对 $0.20 每百万 token。团队配置里,Opus 每任务花 $0.52 到 $0.84 在缓存写入上,整个工人只花 $0.06 到 $0.19。Opus 单独时缓存写入是 $0.33。多智能体把等待时间变成了缓存账单。
有些做法有效。Sol 审查便宜模型:DeepSeek 从 56% 到 64%,Qwen 从 28% 到 39%,审查成本约每任务 $0.07。更微妙的一条:让 Opus 继续写代码,但告诉它“你的 token 比工人贵 20 倍”。工人仍然写了 94% 的代码,pass@1 保持 67%,和硬禁止 Opus 改代码一样,Opus 自己的花费从 $1.19 降到 $0.59,总成本 $0.71。审查者是谁也重要。Sol 审查 Opus low,修好 3 次运行,没弄坏;Opus 审查 Sol,没修好,弄坏 4 次。self-review 对两者都没帮助。
关键表格可以看这几行:
| 配置 | pass@1 | $/task |
|---|---|---|
| Opus 5.5 medium | 80.6% | $1.20 |
| Opus + DeepSeek V4.1 Flash 1017 | 66.7% | $1.29 |
| Opus + DeepSeek,提示词委派 | 66.7% | $0.71 |
| DeepSeek V4.1 Flash 1017 单独 | 52.8% | $0.14 |
| Opus + Haiku 5.5 | 58.3% | $1.75 |
多智能体配置看起来像现代软件工程,账单看起来像云厂商的胜利。Ibragim 下一步准备给 Opus 试 1 小时缓存 TTL,再量总账单。这个方向比继续堆 worker 更接近问题本身。毕竟在团队配置里,最贵的常常是等它写完的人,便宜写手排在后面。
来源:
- Ibragim 原帖:https://x.com/ibragim_bad/status/2117662415965798757
- HARD12 完整表:https://ibragim.dev/leaderboard-v2/
- DeepSeek Harness Super-agent 长文:https://x.com/i/article/2116829218935857152
发布时间: 2026-11-04 06:38