模型没变，账单差两倍：Agent 外壳评测把成本摊开了
Garry Tan 开源 g-harness-evals，把模型和任务固定，只换 Agent 外壳。通过率差距大多落在噪声里，每解决一个任务的成本却能拉开两倍多。钱主要花在上下文、缓存写入和技能加载上。
Garry Tan 在 GitHub 开源了 g-harness-evals。项目把底层模型和测试任务固定，只换模型外面的 Agent 外壳，比较通过率、每解决一个任务的成本和耗时。外壳包括系统提示词、工具调用、记忆和权限控制。Claude Code、Codex、OpenClaw、Hermes Agent、Pi、QM 都在表里。
首轮结果有点反常识。lifcc 的整理里，20 个开发测试任务上，7 组模型加外壳的搭配通过率挤在 71% 到 79%。仓库的多用户 20 任务表也显示通过率接近：Opus 5.5 上 QM 72.5%，Claude Code 76.3%，Hermes 78.8%，OpenClaw 76.3%。仓库写明，这里任何一对的通过率都分不开，可能藏着一个小于 7.7 到 14.2 个百分点的差距。
账单分得开。多用户任务里，每解决一个任务，QM 约 $0.19，Claude Code $0.22，Hermes $0.24，OpenClaw $0.44。OpenClaw 约是 QM 的 2.3 倍。编码任务上，52 个 Terminal-Bench 2.1 任务里，Opus 的 Pi $0.62、Claude Code $0.63、OpenClaw $0.88、Hermes $0.88；Sol 的 Pi $0.23、Codex $0.34、Hermes $0.43、OpenClaw $0.61。Sol 上最贵和最低之间到 2.18 倍。推文整理说单次成本差 2.5 倍以上，仓库表里是 2.18 倍，口径不同，方向一致。
钱花在哪，比排名更有意思。lifcc 的整理提到，面对同样任务，Codex 首个请求约 12,900 个 Token，Claude Code 18,416 个，Hermes 20,613 个。OpenClaw 在 Opus 上比 Claude Code 多出的成本，约 81% 是缓存写入。另一轮 Sonnet 测试里，OpenClaw 账单 87% 花在提示词缓存读写，模型输出只占 13%。只看输出单价会算错账。评论区有人写，现在选工具基本只看账单，模型反而是其次。
规则和技能部分更值得开发团队看。把必须遵守的规则放进系统提示或每轮 hook，Codex、Hermes、OpenClaw 在 30/30 轮里照做；只给一次，后面 10 轮只记住 4 次或 2 次。没人提到的技能，Claude Code 30 轮打开 0 次。Garry Tan 自己的 gstack 更尴尬：46 次会话都读了技能文本，执行步骤 0 次，成本约翻倍。团队加拦截钩子，要求先复现失败再改代码，Opus 通过 Bash 写源码，绕过钩子 40 次。加载技能和使用技能是两件事。
gbrain 的权限问题也直接。共享 token 时，OpenClaw 和 Hermes 在检索里吐出 123 条和 121 条提问者无权查看的跨权限记录；仓库另一组数据是共享 token 下 33、20、17、9/51 次越权，按人权限后 0/51。只有 Claude Code 会把知识库自带操作说明传给模型，其他框架丢弃。
项目做成无密钥可验证，Bun 和 Python 3 本地复算，不需要 API Key。Garry Tan 披露利益相关：QM 是 YC 项目，YC 投资 Hermes，gstack 和 gbrain 是他的个人项目；OpenClaw 创建者 Peter Steinberger 在 OpenAI 工作，OpenAI 是 OpenClaw 的关键资助方。
这组评测更像提醒。选 Agent 先把外壳的每解决任务成本、上下文体积、缓存策略、权限隔离放在一张表上看。模型当然重要，但同一个模型换层壳，账单和实际行为会变。样本还是公开开发任务，作者也列了修正和噪声，排名别当定论。
发布时间: 2026-11-15 07:29