同一个模型,20个任务成了8个。加一层外壳,成了16个
Trackmind 用同一套 Opus 模型、同一个 prompt 跑了 20 个真实任务,唯一变量是模型外面那层 harness。任务接受数从 8 变成 16,失控重试从 5 次降到 0,单任务成本从 4.1 美元降到 1.6 美元。模型没换,换的是包在它外面的东西。
Agent 说"完成了",测试是红的。它改了一个你没提过的配置文件。一小时前你做的决定它忘了。同一条坏命令重试 41 次,直到预算封顶才停下来。
这是 Trackmind 在文章开头列的症状。他在一个小服务上跑了三周 coding agent,每天早上打开仓库都是同一堆烂摊子。应对方式跟大多数人一样:重写 prompt,换模型,塞更多文档。失败照旧。
然后他换了个思路。问题可能不在模型,在模型外面那层东西。
他把这层东西叫 harness。公式很直白:Agent = 模型 + harness。模型负责推理、提出下一步动作。harness 是其他所有东西:模型能看到什么、能用哪些工具、跨会话记住什么、什么算完成、什么被禁止、出错之后发生什么。
同一个模型,放进聊天框里只能回答问题。放进一个有终端、有测试、有项目笔记、有权限控制、有 reviewer 的仓库里,它就能干真活。模型的智力没变,它所在的世界变了。
证据不止一份
LangChain 把自家 coding agent 在 Terminal Bench 2.0 上的成绩从 52.8% 提到 66.5%,从 30 名开外进到前 5。模型没动,只改了 prompt、工具和中间件。
OpenAI 那边描述过一个实验:三个工程师往一个仓库推了大约 1500 个 PR,每一行代码都由 Codex 写。进展慢的时候,他们的诊断不是"模型太弱",是环境定义得不够清楚。工程师的工作从写代码变成了设计环境、说明意图、搭反馈回路。
Trackmind 自己也做了一组对照。20 个真实任务,同一个模型,同一个基础 prompt,同一台机器。Run A 裸跑,Run B 加了他花一个周末搭的 harness。
结果:
- 不需要人工介入就能接受的任务:8/20 变成 16/20
- 失控重试循环:5 次变成 0 次
- 每个被接受任务的平均成本:约 4.10 美元变成约 1.60 美元
- 每天盯盘时间:约 2 小时降到约 25 分钟
模型一次没换。
六层
Trackmind 把 harness 拆成六层。
第一层,工具。工具越少越好,每个只干一件事。每个错误消息都得告诉 agent 下一步试什么。评论区有人补充说,这一层最容易被低估:如果工具能说清哪里错了、下一步该试什么,模型修复时就不用靠猜。
第二层,上下文。用短 CLAUDE.md 指向文件,需要时再打开,填满了就压缩。上下文是注意力预算,不是仓库。往里倒得越多,agent 懂的越少。
第三层,权限。读和测试自动放行。部署和删除要人批。全部动作放沙箱。告诉模型"永远别 merge 到 main"是愿望,保护分支是墙。一个关闭的通道和一个阈值很高的通道,不是一回事。阈值在有人赶时间的时候会被调低,关闭的通道不会。
第四层,钩子。工具跑之前拦密钥和保护文件。每次编辑之后格式化、lint、类型检查,没有例外。
第五层,验证。新的 reviewer 读 diff 不看总结,跑测试,失败就修,再跑。评论区有人把这条说得更细:reviewer 最好根本看不到 agent 自己写的总结,只能从 diff 和原始任务里重建意图。这样 review 才从确认变成找茬。
第六层,评估。harness 每次改动都打分,看成功率、token、轮次。留下赢的那个。
Trackmind 的原话是:模型是引擎,harness 是整辆车。
几个具体的坑
它干了别的活。 开工前写契约。目标、约束、交付物、完成条件,最重要的是"done when"那一行。"改善 onboarding 流程"这种话,有人坐在旁边听着还行,当成自主指令就是掷硬币。没有 done when,agent 会去解一个稍微简单点的问题,然后面不改色地报告成功。
它说 done 了但没 done。 Trackmind 裸跑那 20 个任务,agent 全部报告"完成",实际跑测试只有 8 个扛住。"完成"不是事实,是另一个模型输出。把证据变成门槛:bug 修好意味着失败的测试通过,页面能用意味着浏览器跑完了流程。能交给编译器的,别交给第二个模型去猜。他的门禁脚本就一个要求:不打印 GATE: PASS 就不算完。
它没批准就动手。 权限不要交给模型记。按撤销难度把动作分层:读、搜、跑测试、改工作分支,放行并留痕;发送、部署、购买,要审批;删数据、换密钥、全局发布,通道直接关掉。模型负责建议,harness 负责决定,工具负责执行。
它反复重试同一件事。 "失败了再试一次"是反复为同一个错误付费。按失败类型分流:超时就等一会再试,参数错就修工具调用,缺信息就去找,测试失败就看行为改代码而不是改测试,权限拒绝就找人。同一个失败两次没变化,停。给每个循环设尝试上限、时间上限和花费上限。三次之后升级。Trackmind 那晚的 41 次重试,在他加了三次上限之后再没出现过。agent 停在第三次,留了一条笔记列出试过什么。他说那是他从 agent 那里拿到的第一份真正有用的调试报告。
它同一个错犯两次。 大多数人修输出,harness 工程师修这一类失败。规则先写进 prompt,再写进指南并附上原因,再加一条 lint 让构建失败,最后变成强制检查。每一步都往下滑一格,直到环境记住这个教训,不用模型记。判断指南有没有用很简单:每一行都能追溯到一次真出过的事故。追溯不到,那行就是噪音。Trackmind 自己的指南从 6 行开始,三周后 31 行,每一行背后都能说出一个具体的早晨。
别一上来就搭平台
分层来。Level 0 只有 prompt 和模型,适合低风险的一次性任务。Level 1 加契约、短地图、几个定义清楚的工具。Level 2 加状态存储、真实检查、有界循环。Level 3 加权限、追踪、恢复路径、人工审批。
看到某一层的失败,再加那一层。harness 要比它控制的问题小。
还有一个诚实的提醒:harness 里有一部分是在补偿当下模型的短板。模型变强,有些部分会变成累赘。得回头剪。一个从不修剪的 harness,就是下一个需要调试的东西。
模型每几个月换一次。契约、测试、地图、状态、权限留下来。每一次把失败转化成基础设施,下一次跑得就更好。优势正在从 prompt 移到模型周围的系统里。
评论区有句话说得比正文还短:模型不是瓶颈,harness 才是差距。
发布时间: 2026-11-18 22:40