Wink Pings

同一模型,通过率从 40% 到 80%,中间只差一个 harness

同一个模型、同一份提示词,20 个任务里能直接通过的从 8 个变成 16 个。差别不在模型,在它周围那套控制系统(harness)。这篇拆解来自 Trackmind,覆盖七个常见失败和对应修复,附检查清单。

最近,X(原 Twitter)上一篇文章被大量转发。作者 @0xTrackmind 说,AI Agent 表现不佳,根源经常在它周围那套系统,模型本身倒没那么大问题。这套系统现在有个名字:harness。

推文称,这是 Anthropic 用来让单个 Agent 连续工作数小时、并在说完成前自我检查的同一套配置。一个循环,三种验证方式,一份可直接复制的文件,全在一页上。

Trackmind 推文截图

文章用一个实验证明这个观点:同一个模型 Claude Opus 5.5,同一份提示词(prompt),20 个任务跑两遍。A 组:直接把提示词丢进仓库,没有其他设置。B 组:提示词不变,但加了一个周末搭的 harness。结果:A 组有 8 个任务直接通过,B 组 16 个。重试死循环从 5 次降到 0,单任务成本从约 4.1 美元降到 1.6 美元,人工盯的时间从每天两小时降到 25 分钟。

LangChain 的数据也类似:coding agent 在 Terminal Bench 2.0 上的成绩从 52.8% 提到 66.5%,模型没换,换的是外层系统。OpenAI 也有类似报告:三个工程师驱动约 1500 个 PR,每行代码由 Codex 写。进度慢时,他们诊断的根源是环境定义不够清楚,模型本身并不弱。

作者给出一个公式:Agent = Model + Harness。模型负责推理,harness 负责其余一切:能看见什么、能用哪些工具、会话之间记住什么、什么算完成、禁止做什么、出错怎么办。模型放进聊天框只会回答问题,放进带终端、测试、权限和评审的仓库,才能干真活。

文章重点拆了七个失败场景和对应修复:

  1. 它做的是另一件事:先写任务合同。目标、约束、交付物、完成条件(done when)。最后加一行“如果卡住,停下来,把尝试写到 STATE.md,别猜”。
  2. 它迷路了:给地图,别给手册。一个不到 40 行的 AGENTS.md,标清楚架构、测试、产品规则、安全文档的位置,让它按需打开。
  3. 它说完成但没完成:让证据成为验收标准。用 check.sh 跑类型检查、lint、测试,只有输出 GATE: PASS 才算完成。并让一个独立的验证者专门找拒绝理由。
  4. 它做了没批准的事:把权限放在模型之外。按可逆性分级:可逆的放行、外部可见的需批准、不可逆的关闭。
  5. 它反复重试同一件事:给失败分类,设置重试上限。同一种错误连续出现两次就停,把尝试写入 STATE.md,升级给人类。
  6. 它忘了刚才的决定:把状态存在对话之外。STATE.md 记录当前步骤、决策、产物、风险和下一步。
  7. 同样的错误犯两次:把教训变成基础设施。规则写进 prompt 不如写进 lint 检查。错误发生一次,就让它变成环境自动执行的部分。

作者提醒,别一开始就上重型平台。从 Level 1 开始:任务合同、一张地图、几个工具。每加一层,都要对应一个确实发生过的失败。harness 里有些部分是为了补偿当前模型的缺陷,模型变强后要记得剪掉。

文章最后有一份检查清单,适合在给 Agent 真实权限之前过一遍。完整版在原文里:https://x.com/i/article/2113375170392203264

发布时间: 2026-11-21 07:06