Agent 老翻车，先别换模型

一条推文在时间线上转得挺凶。

说法很抓人：Andrej Karpathy 在 OpenAI 和 Tesla 干了 8 年，上周把学到的东西压成一场免费 2 小时讲座，路线是 Agents → Harness → Loops → Graphs。配文还补了一句，有些训练营收 15000 美元，教的东西没这个多。

评论区没这么客气。有人问链接在哪，有人说是 spam、是卖课，还有人直接纠正：别拿“上周”说事，这材料两年前就有了。

推文里那个“上周”确实站不住。但顺着它翻出来的那篇长文值得看。作者 Lunar，标题直译过来是《Harness 工程：构建不会散架的 AI Agent 完整指南》。

长文开篇就点了一个常被忽略的位置：大多数人修 agent，修错了层。

agent 一失败，先改 prompt。再失败，加更多指令。接着换模型、加工具、把上下文窗口撑大，指望下一轮表现不一样。

Lunar 的判断是，很多失败不是推理失败，是环境失败。agent 不知道哪些文件重要；工具用对了，但用错了地方；上一个会话做出的决定丢了；检查没跑就说做完了；部分失败后重复同一个动作；权限松到能碰不该碰的东西。模型未必有问题，模型外面那套系统不完整。

这套系统就是 harness。它的定义不玄：把模型的智能变成可靠干活的环境。

一个 prompt 改变一次尝试，一个 harness 改变每一次尝试。

下面几条是长文里比较硬的。

模型不是 agent。 模型能推理、生成、比较、选择。但 agent 还要跟真实环境打交道：理解任务、找上下文、选工具、保住状态、守权限、看结果、从失败里恢复、证明活干完了。强模型套在弱 harness 里，还是弱 agent。单轮回答可能漂亮，拉长到多步任务就开始飘。

先写任务契约。 大多数任务起点是一句模糊的意图，比如“优化一下 onboarding 流程”。这句话聊天够用，自主执行不够。harness 应该先把请求翻译成契约，回答五个问题：必须产出什么结果、范围内是什么、什么不能动、什么证据算完成、哪些动作要人批准。没有契约，agent 优化的是“看起来在干活”；有契约，它才能优化“被验证的完成”。

给地图，别塞手册。 把整个仓库、全部文档、所有对话历史倒进上下文，不叫上下文工程，叫上下文洪水。更好的做法是先给一张小地图，等任务需要时再取细节。上下文应该因为任务需要而扩张，不是因为信息存在而扩张。

工具要过网关，不是堆一堆。 给 agent 二十个工具，不会让它更能干，只会给它二十种犯错方式。工具网关管的是：隐藏不相关的工具、校验参数、限制路径和域名、加超时、让重试幂等、要求危险动作先确认、返回证据而不只是一个“成功”。模型可以提议动作，网关决定这个动作够不够格执行。

完成要靠证据。 agent 说“done”，只是又一次模型输出。完成得由环境里的可观察变化来判定。最便宜的确定性检查先跑：编译器、schema、校验和、查询、测试。模型负责处理模糊，代码负责处理管道。模型可以提议任务完成了，只有环境能证明。

验证要去攻击结果，不是给个第二意见。 干活的和评估的不该共享同一个目标。干活的想造最强方案，评估的想找它该被拒的理由。让同一个 agent 在同一个上下文里“再检查一遍”，它多半会保留制造错误时的那些假设。验证阶段要有明确的拒绝标准、能拿到产物、能拿到验收契约，必要时用独立工具或新上下文，还要有“拒绝但不负责修”的权限。

恢复要按失败类型来。 最常见的做法是：失败了，再试一次。这不是恢复，是重复。harness 得先给失败分类，再选下一个动作。重试至少要改变一个相关条件，否则就是在花钱复现同一个失败。每个循环都要有预算：最大尝试次数、最大时间、最大花费、最大破坏范围、升级条件。

harness 也会腐烂。 模型在变强，工具在变好，任务在变。昨天为旧模型打的补丁，今天可能正在挡住新模型用更好的策略。每个 router、evaluator、记忆层、重试规则都该被问：它防的是哪个失败？这个失败现在还常见吗？它加了多少延迟和复杂度？去掉会怎样？最好的 harness 不是最大的那个，是能可靠补上意图和证据之间那道缝的最小系统。

长文最后落在一次转向：第一代 AI 产品围着 prompt 建，下一代围着环境建。问题从“怎么让模型答得更好”变成“怎么搭一个系统，让好动作容易做、危险动作被控制、失败看得见、完成可证明”。

模型出智能，harness 出结构。

如果你手上的 agent 还在靠加形容词续命，先别急着换模型。去看看它周围那套东西。

原文链接：https://x.com/i/article/2096536117130481673