模型跑分再高,缺了这层东西照样翻车
Karpathy 说 AI 头号错误是忽略 harness engineering。一个开源课程把它拆成 14 讲、8 个动手项目,外加一组 Anthropic 自己跑出来的数据:同一个模型,9 美元 20 分钟和 200 美元 6 小时的产物差多少。
模型跑分再高,缺了这层东西照样翻车
模型这块,过去一年大家的注意力都在跑分和榜单上。但一个更实际的问题被忽略了:同一个模型,放在不同环境里跑,结果能差出几十倍。
Karpathy 在推上说了句话,大意是 AI 领域头号错误,是忽略 harness engineering。他没展开。一门叫 learn-harness-engineering 的开源课程把这个方向拆细了,14 节课,8 个动手项目,文件全放 GitHub 上,MIT 协议。
先把话说清楚:harness 是什么
简单讲,harness 是围绕模型搭起来的那套运行环境。模型负责决定写什么代码,harness 负责管它在什么时候、在哪儿、按什么顺序写。
课程把它拆成五个子系统:
- 指令:告诉 agent 先做什么、后做什么,该读哪些文件
- 状态:把进度写到磁盘,让下一个会话能接着来
- 验证:只有测试跑通才算完成
- 范围:一次只做一件事,不许越过任务边界
- 会话生命周期:开始前初始化,结束后留干净现场

这五块听起来都是常识。问题在于大部分人只给了模型一个提示词,剩下的什么都没搭。
一组能说明问题的数据
课程首页引用了 Anthropic 亲自做的对照实验。任务一样:搭一个 2D 复古游戏编辑器。模型一样:Opus 4.5。
没有 harness 那组,20 分钟花了 9 美元,产出的编辑器跑不起来。加上完整 harness(planner、generator、evaluator 分开)那组,6 小时花 200 美元,最后是一个能玩的游戏。模型没变。
OpenAI 那边对 Codex 的观察类似:在一个已经搭好 harness 的仓库里,同一个模型从「不太可靠」变成「可靠」。不是小幅提升,是量级变化。

这也解释了为什么很多人换了更强的模型,产出质量感觉没变。模型再强,进了没搭过的环境,还是按它自己的直觉来,该跳的步骤照跳,该早交差的照早交差。
课程本身长什么样
14 讲课,从「为什么强模型还是在真实任务上失败」一路讲到「单个循环怎么长成一张图」。8 个项目,从头到尾围绕同一个 Electron 桌面知识库应用,每个项目的解决方案就是下一个项目的起点。App 在长大,你的 harness 技能也在长大。

大纲里能看出几条主线:
前 3 讲打地基,把问题摆清楚,定义 harness,把仓库当作唯一事实来源。中间几讲讲多会话连续性、单任务范围控制、端到端验证怎么做成硬性条件。第 13 讲是 loop engineering,从手动给提示过渡到自动化循环,目标是、计时、maker-checker 三类。第 14 讲是 graph engineering,讲什么时候一个循环不够用,需要节点、边、共享状态和路由。
会话生命周期那张图很值得单看:开始读配置文件、跑 init 检查环境、读上一轮进度、挑一个未完成的功能、实现、跑验证、失败就修、通过就记证据、更新进度、留干净的重启路径。每一步都有对应的文件和命令,不是靠模型自己发挥。




课程最近的更新里加了一个叫「Frontier Harness Design Breakdowns」的章节,逆向拆四款产品怎么搭 harness:Pi 走极简内核加可编程扩展,Claude Code 是四层记忆、五级压缩、hooks、子 agent 隔离,Codex 把仓库当事实来源,AGENTS.md 当目录页,worktree 做隔离,DeepSeek 走的是「一切皆插件」加事件管道。这部分等于把课程里的五子系统框架拿去套真实产品。
想马上动手的话
不用先读完 14 讲才动手。最小起步就是往项目根目录丢几个文件:
你的项目根/
├── AGENTS.md agent 的操作手册
├── CLAUDE.md Claude Code 用这个
├── init.sh 安装 + 验证 + 启动
├── feature_list.json 有哪些功能,哪些做完了
└── claude-progress.md 多轮会话的进度记录
模板在资源库里,四种语言都有(课程本身翻了 15 种语言)。另外还有个 audit-harness.sh 脚本,一行 curl 就能检查你现有仓库缺了五个子系统里的哪些部分,不用装 Node.js。还有个 harness-creator 的 skill,生成一个生产级骨架,几分钟的事。
推荐这个课程的那条推文下面,作者 CyrilXBT 还挂了一篇长文,专门讲怎么用 Claude Fable 5.2。里面的思路和 harness 是同一件事的另一个切口:三模型分工(Fable 规划、Opus 执行、Sonnet 和 Haiku 检查),effort 档位跟任务匹配,提示里写清楚「谁是代码的主人」,明确要求「把整个任务做完再停」,上下文别没事塞满。那篇文章里有句话说得挺准:最聪明的模型交到懒得写提示的人手里,只会更快地产出更烂的东西。放到 harness 这个语境里,道理一样。
适合谁
已经在用 coding agent、想要更稳定输出的工程师;想系统理解 harness 设计的研究者;需要判断环境设计怎么影响 agent 表现的技术负责人。
不适合只想抄两个提示词模板、不打算让 agent 进真实仓库的人。课程要求你得能跑起一个仓库,让 agent 改文件、跑命令、看输出。
仓库地址:https://github.com/walkinglabs/learn-harness-engineering
如果你手上正好有一个 agent 项目在跑,先跑一下 audit 脚本,看看五个子系统缺了几块,比从头读理论省事。
发布时间: 2026-11-17 23:33