Wink Pings

多数人用 AI 还停在第一层:Karpathy 说的 harness 到底是什么

一条推文把 Karpathy 的旧话翻出来:别急着让 agent 干活,先把模型外面的 harness 做好。Livsun 把 AI 工程拆成五层,多数人停在第一层,真正拉开差距的是后面几层。

一条推文把 Andrej Karpathy 的一段话翻了出来:现在 AI 最大的错误,是逼 agent 干活,却没先掌握围绕模型的 harness engineering。推文还写,OpenAI 在 2016 年犯过这个错,代价是五年。这段转述的细节未必完全准确,但方向值得看:很多人把注意力放在 agent 上,忽略了 agent 下面的模型、上下文和运行环境。

推文附带的视频放在这里:

Livsun 随后写了一篇长文,把 AI 工程分成五层:Prompt、Context、Harness、Loop、Graph。每一层回答同一个问题:模型每一步到底能拿到什么。新模型几周一个,这五层不太会过期,因为上一层包着下一层。

Level 1:Prompt engineering,你是循环。 打开聊天框,打一句,读答案,再改一句。模型几秒答完,人几分钟改完,每次重试都等人。判断自己是否在这一层:最得意的技巧是一句咒语,比如“think step by step”或“你是一个世界级专家”,还有一个存满模板的笔记文件。咒语有用,但一句话给不了模型没有的事实、调不了工具、也没法自己检查结果。

Level 2:Context engineering,填窗口。 2025 年 6 月 Shopify CEO Tobi Lütke 说更喜欢 context engineering,因为这个词更能描述核心技能:给 LLM 提供足够上下文,让任务有解。Karpathy 回复 +1 并给出后来被反复引用的定义:context engineering 是“把刚好合适的信息填进上下文窗口,供下一步使用”的精细技艺和科学。最后四个字是重点:下一步。模型不知道你的项目、规则、昨天改坏的配置。它只知道窗口里此刻有什么。所以别再打磨句子,开始给窗口做预算:不变的规则放系统提示和 CLAUDE.md 一类项目文件;工具描述要能让模型分清该选哪个;记忆放之前的决策和状态;检索只放相关的 3 个文件,别放存在的 300 个;任务本身放最后,等前面的信息都加载完再读。卡点:上下文是模型能看到的一切,但还是一次调用,而且窗口还是你手工拼的。想让模型跑代码、开文件、查结果、再试一次,得造一台机器。这台机器是 Level 3。

Level 3:Harness engineering,模型是引擎,harness 是车。 harness 是模型外面那圈东西:把工具结果喂回去的循环、工具本身、权限、沙箱、记忆文件、事件钩子、运行轨迹。Claude Code 是 harness,Codex CLI 也是。同一个模型塞进两个 harness,会得到两个不同的 agent。按 Livsun 文章,OpenAI 在 2 月发布过“Harness engineering: leveraging Codex in an agent-first world”,里面一个仓库五个月长到约一百万行,Codex 写代码,工程师设计它工作的世界。复旦大学和北京大学的研究者在 4 月给出一组数字:论文 Agentic Harness Engineering 让一个 agent 只做一件事,持续修改另一个 coding agent 的 harness,并检查每次修改是否符合预测。十轮后,Terminal-Bench 2 pass@1 从 69.7% 升到 77.0%,超过人类设计的 Codex-CLI harness 的 71.9%;冻结的 harness 在 SWE-bench Verified 上少用 12% token;收益来自工具、中间件和长期记忆,系统提示贡献最少。最后一句值得多看:多数人花时间最多的地方,可能最不重要。今天能做的第一个 harness 动作:给 agent 一个它绕不过去的门。Claude Code 里 Stop hook 在 agent 每次想结束时运行,退出码 2 会阻止结束,并把错误送回去。这样“做完了”意味着测试通过。模型觉得自己做完,不算。卡点:再好的 harness 也在等你。每次运行都从人输入任务开始。你不在运行里的循环中,但你还是触发器。

Level 4:Loop engineering,别再当那个写提示词的人。 2025 年 6 月 7 日,Addy Osmani 给这一层命名。他的文章“Loop Engineering: Designing loops that prompt coding agents”一句话定义:loop engineering 是把自己替换成给 agent 写提示词的人。他把这层放在 harness 上面。离工具近的人先到:Peter Steinberger 说,不该再给 coding agent 写提示词,该设计会提示 agent 的循环;Boris Cherny 说,他不再提示 Claude,现在的工作是写循环。Osmani 的循环解剖有五部分加一个状态存放处:按计划醒来找活和分诊的自动化;worktrees,让并行 agent 不碰彼此文件;skills,存项目知识,需要时加载;plugins 和 connectors,接进现有工具;sub-agents,把提议的人和检查的人分开;一个状态文件或看板,记录做完什么、下一步什么。今晚就能开始:Claude Code 有 /loop,给间隔和任务,它会重复跑;不给间隔,模型自己定节奏。陷阱也在这里。基础 agent 循环只有一种结束方式:模型不再请求工具。把它放到定时器上,你造了一台能整夜花钱的机器。每个值得跑的循环都要有刹车:模型外面的完成检查,比如 Level 3 的 Stop hook;预算,最大运行次数、最大 token、最大金额;干跑规则,两轮没新东西就停;每步写状态,崩了能续,不用重来。Osmani 说清楚,循环不等于完全自治,检查工作和保留判断仍是你的事。循环去掉打字,去不掉思考。卡点:循环还是一条轨道。一个 agent、一个队列、一次一件事、重复。任务很宽时,比如审 40 个文件、查 12 个来源、审计每条路由,循环只是做得更慢。顶层要改形状。

Level 5:Graph engineering,画出任务的形状。 到这一层,别用步骤想,用节点和边想。节点是一个有明确输入输出的有限任务。边只在某个节点的输出喂给另一个节点的输入时存在。很多“第一步、第二步、第三步”的 agent 其实是塞满假边的图。一半步骤根本不读彼此的输出,它们排队没有理由。删掉假边,线变成菱形:split,一个节点把任务拆成独立块;fan out,多个 agent 同时做,各自干净的上下文;verify,一个门试图杀死每个发现,活下来的才放行;merge,一个节点只看幸存者并写答案。这已经不只是理论。按 Livsun 文章,Claude Code 的动态工作流从 6 月起是研究预览,让 Claude 把计划写成 JavaScript 脚本,用一群 subagent 跑,一次会话几十到几百个。路由在代码里,所以每次跑法一样,agent 之间的连线是普通代码,不再是一次模型回合。两条规则让图快且便宜:只在节点真的需要同时拿到所有结果时才等全部,比如去重和排序;其他地方让每个条目直接流向下一节点。模型分层:重复的 fan-out 节点用便宜模型,判断和合并用最强模型。

30 秒测试:你反复改同一句指令直到能用,Level 1。你每次任务前加载项目文件、对的文档和例子,Level 2。你的 agent 能跑工具、有钩子、检查不过不能说自己完成,Level 3。活开始时不需你打字,Level 4。一个请求扇出到多个 agent,被验证,再合并回来,Level 5。

本周能做的五件事,一层一件:把最常用提示词里“你是一个专家”全删掉,换成一个好输出例子。写一页项目文件,放规则、技术栈、决策、已完成事项,每次会话前加载,数数少改了多少次。加 Level 3 的 Stop hook,让 agent 测试失败时不能结束。给待办或收件箱放一个 /loop,配预算和状态文件,跑一夜,早饭时读状态。做一个菱形:把一次审查拆到多个文件,扇出,让一个怀疑者 agent 攻击每个发现,合并幸存者成一份报告。

Livsun 的结论很直接:写提示词的人写句子,Level 5 工程师写工作的形状,句子自己写出来。模型还会换,新 Claude、新 GPT、新 Gemini、每两周一个开放权重巨模型。每个都只是引擎。你围着它建的那些层,才是不会在发布日过期的东西。多数人会继续打磨第一层的句子。少数人往上爬,在别人还在打字时跑一支舰队。推文最后说,这比任何 3500 美元的 agentic engineering 课程都值。看完五层路线,这句话不算夸张。

Atish Raina 还录了一个 30 分钟的 AI Agentic Systems 视频,讲工具、检索、记忆、RAG、CAG、harness、evals、guardrails 在 agent 系统里的位置,链接:https://youtu.be/PMF81Nk4E6U 。原文和长文链接也放这里:https://x.com/Rel1vs337/status/2122720694786039967 ,https://x.com/i/article/2116485158471671809 。引用自 Livsun 的文章和推文,以及推文里引用的 Karpathy 说法。

发布时间: 2026-11-18 15:31