凌晨 4 点,Agent 报告“全部搞定”。现实:11/40
Anthropic 披露了构建自家 Agent 的完整方法论。问题从来不在模型,在模型周围那层叫 harness 的东西。6 层结构、7 种失败修复、1 条打包了所有内容的提示词,以及一个发生在凌晨 4 点的 40 个接口的故事。
你的 agent 没有在凌晨 2 点突然变笨。它的上下文塞满了。它没有“决定”跳过测试。只是它的世界里没有任何东西让测试变成必须。它也没有“幻觉”说任务完成了。它只是没有任何方式看到任务没完成。
Anthropic 最近披露了他们是怎样构建自家 agent 的。模型还是那个模型,他们把模型周围那部分拆开了,叫 harness。
Trackmind 在 X 上发了一篇长文,描述了一个典型场景。任务是迁移 40 个接口。模型在聊天窗口里跑,前 12 个接口干净利落。然后上下文被代码改动和测试输出塞满,发生压缩。它忘记哪些接口做完了,忘记自己选了什么命名规则。第 9 个接口被重新做了一遍,用的是另一种命名规则。凌晨 4 点,它报告:全部 40 个接口迁移成功。现实:11/40,两套命名,测试从未运行。
同一个模型,放进一个 harness 里跑。任务变成一份契约。进度存在文件里,不在对话里。每个接口都有一个测试,必须从红变绿。重试次数封顶。数据库配置只读。结果:39/40 绿,1 个升级给人类,并附带了明确原因。
Anthropic 在论文里描述过这种失败模式:“每个新会话开始时,对之前的事一无所知。” “后一个 agent 实例环顾四周,看到有进展,就宣布任务完成。” 他们的修复方式不是一个更聪明的模型,而是一个进度文件、一个结构化功能列表、git 检查点和真实的端到端测试。
模型没变。harness 变了。结果不同。
他们把自己构建 agent 的方法拆成了 6 层:
- 工具:6 把,不是 20 把。每把只干一件事。每次报错都告诉 agent 下一步试什么。
- 上下文:一份很短的 CLAUDE.md 说明文件。需要时才加载,绝不第一轮就把整个仓库丢进去。
- 权限:读和测试自动放行。上线和删除必须问人。
- 钩子:不指望模型记得跑代码检查。每次编辑后,钩子自动跑。
- 验证:agent 从不给自己的作业打分。换一个此前没参与过的评审者,读代码改动,跑测试。
- 评估:harness 的每次改动,上线前都有评分。
这 6 层被打包进了一条提示词。贴进 Claude Code,它帮你把整个 harness 建起来。6 层,1 条提示词,0 次死循环。
Trackmind 把 agent 最常见的 7 种失败,逐一拆成“听起来像模型问题,实际是 harness 缺了某块”:
- 它做的是另一个任务,不是你要的。缺契约。把任务写成一份契约,写清目标、范围、禁止项、完成条件。done_when 是最重要的一行,写不出来,agent 永远不会完成,只会停下来。
- 它无视项目规则。缺地图。一份很短的 AGENTS.md,只给目录和指针。规则放在它管辖的代码旁边,用到时才读。
- 它选错工具。缺工具边界。一把工具只干一件事,输出小,报错响,能碰什么由工具自己说。
- 它忘记刚做的决定。缺状态。写 PROGRESS.md,加 git commit。不写进文件的等于没发生。
- 它说“应该都过了”。缺传感器。退出码、截图、契约测试。只有能说“不”的才算证据。把“done”当证据的 harness 本身就是 bug。Anthropic 也发现了同样的问题:Claude 天生是个糟糕的 QA agent。解法是把构建者和判断者分开,不是把模型换掉。
- 它无限重试同一个修复。缺出口。同错误出现两次就停,预算超了就停,升级给人类。它缺的是一个事实,不是一次尝试。
- 它碰了不该碰的。缺墙。权限是基础设施,不是提示词里的句子。让模型提议任何操作,让 harness 决定哪些真的执行。危险动作永远需要人类批准。
怎么判断是模型的错,还是 harness 的错?三个问题:它能看见吗?它能做到吗?它能判断吗?任何一个答案是“不”,harness 有 bug。换个更聪明的模型进同一个盲区,依然是盲区。有个实用测试:给一个能干的人类工程师和 agent 完全一样的东西,同文件、同工具、同上下文。如果他也失败,那就不是模型问题。
不用第一天就把所有层建齐。每一层都应该由一次真实故障买单。一次性问题只需要提示词。20 分钟任务需要契约、地图和状态。过夜运行加写权限,再加 PR,需要全部。
持这个判断的不只 Trackmind 一个。OpenAI 在让智能体写代码的代码库里,也用了同一个词:harness engineering。AGTP 在 X 上汇总了相关讨论,分析了 50+ 篇帖子和 r/AI_Agents 上 5,500+ 条从业者评论,发现生产环境里真正的故障和 demo 里被吹的东西基本是两回事,7 个主要痛点浮出水面。
MIT CSAIL 在 11 月 20 日发了一篇论文,标题是 Language Model Harnesses Can Be Compositional Generalizers。论文论证了一个反直觉的现象:很多 coding agent 的 harness 在反复把历史、工具输出和推理过程追加进 prompt。一段持续变长的转录不是训练分布,所以 agent 会话越长可能越笨。好的 harness 应该让每一次给模型的内容都保持模型熟悉的样子,哪怕整个任务并不熟悉。
也有反对声。Matt Shumer 在 10 月 31 日说,harness engineering 通常是个错误。他的方案是:用模型被训练时配套的那个 harness,写好行为提示词。也有人补充,别过度工程化,保持简单。
安全视角也在场。Kirk Borne 提到了一本关于 harness 设计模式的书,覆盖安全控制平面、prompt 注入和记忆中毒。Brian Armstrong 观察到,很多 AI 写的 PR 仍然需要大量修改,人类 reviewer 的负担没有减轻。
有人用亲身经历验证了测试的重要性。Andrey Kucherenko 说,他让 agent 用测试证明每个重构 commit,agent 最后停在了一个 6,388 行的模块前,那个模块一个测试都没有。他说,一个永远不会停下来的 agent,才是他最不信任的。
模型下个季度就会换。harness 是你一直留着的东西。别再问哪个模型足够聪明,问哪个环境能让它可靠。这就是 harness engineering。
发布时间: 2026-11-22 11:04