Wink Pings

同一个模型,9 美元做不出,200 美元做得出

Anthropic 做过一次对照实验:同一个 Opus 4.5,同一个任务,没有 harness 的版本花 9 美元、跑 20 分钟,产物不能用;有 harness 的版本花 200 美元、跑 6 小时,做出了真能玩的游戏。walkinglabs 把这套方法做成了免费课,14 讲、8 个实战项目、15 种语言。

Learn Harness Engineering

Karpathy 说过一句话:AI 领域最大的错误,是跳过 harness engineering。这条引用来自 X 上 @RoundtableSpace 的帖子,帖子同时挂了一个 GitHub 链接:walkinglabs 的免费课程 learn-harness-engineering,14 讲,8 个实战项目,15 种语言。

先把场景说清楚。你用 Claude Code 或 Codex 处理真实仓库里的任务。它读文件、改代码、汇报进度,看起来很正常。然后你跑测试,红了。它说完成了,但功能没通。你回头收拾,花的时间比自己写还多。很多人把这归到模型不够强。课程里的说法相反:这是 harness 的问题。

harness 模式

证据来自 Anthropic 的一次对照实验。同一个模型 Opus 4.5,同一个任务:做一个 2D 复古游戏编辑器。没有 harness,20 分钟花掉 9 美元,产物不能用。配上完整 harness,planner、generator、evaluator 分工,6 小时花掉 200 美元,做出了一个真能玩的游戏。模型没换,换的是它周围那套东西。OpenAI 用 Codex 报告了类似结论:在一个配好 harness 的仓库里,同一个模型从不可靠变成可靠。课程 README 的措辞是 qualitative shift,量级不一样。

harness 到底指什么

课程把它拆成五个子系统:

五个子系统

  • Instructions:告诉 agent 做什么、按什么顺序做、开工前先读哪些文件。不是一个大文件,是按需展开的地图。
  • State:记录做完了什么、正在做什么、下一步是什么。落盘,下一个会话能接着干。
  • Verification:测试不过就不算完成。agent 不能只靠嘴说自己赢了。
  • Scope:一次只做一个功能。不许顺手改三个,不许把没做完的功能从清单里删掉藏起来。
  • Session Lifecycle:开始时初始化,结束时清理,给下一次留一条干净的启动路径。

课程反复强调一点:harness 不解决 prompt 写得好不好的问题,它解决模型在什么环境里干活的问题。

课程里有什么

整个课程围绕同一个产品展开:一个 Electron 写的个人知识库桌面应用。8 个项目是同一个应用在八个进化阶段的样子,后一个项目的起点就是前一个项目的答案。应用在长,你的 harness 手艺也在长。

学习路径

2026 年更新了两块内容。Lecture 13 讲 loop engineering:从手动敲 prompt 转到设计循环,goal loop、timer loop、maker-checker 三种模式,核心是把自己从循环里挪出去。Lecture 14 讲 graph engineering:一个循环就是一个单节点图,当任务需要并行、共享状态、验证和回滚时,它已经不再是循环了。8 月还新增了 Frontier Harness Design Breakdowns,拿课程这套五子系统框架去拆 Pi、Claude Code、Codex、DeepSeek 四家的真实实现。

会话生命周期

现在就能用的部分

最省事的入口是四个文件,丢进仓库根目录:

AGENTS.md              agent 的操作手册
init.sh                装依赖、跑验证、起服务
feature_list.json      有哪些功能,哪些做完了
claude-progress.md     会话进度日志

Resource Library 里有现成模板,15 种语言都有,含简体中文。另外有个 audit-harness.sh,零依赖,不用装 Node.js,curl 下来就能对着这五个子系统检查一个现有仓库达不达标。

资源库

回复区里几条有用的

Danny B 说,五行 CLAUDE.md 把同一个任务从 0.77 美元降到 0.46 美元,同一个模型,同一个答案。

有人吐槽 harness engineering 就是带额外步骤的保姆工作。这个吐槽不算错。但你没法把一个需要盯着的活整个交出去,除非先把要求写进文件里。写文件这个动作,恰好就是 harness。

Michael Kisilenko 提到最常被跳过的是 memory 这一块。小团队的关键上下文往往躺在 WhatsApp 群里,agent 根本看不到。他做了个 Anyx,让群通过邮件触达 Grok Bot,bot 依据群里定过的事来回答。这条回复点出 harness 的边界:仓库里的事它管得了,仓库外达成的共识它管不了。

关于那 9 美元和 200 美元

这个对比容易被读成 harness 更烧钱。把账算完整:9 美元那版交付不了,真实成本是返工时间加上你自己的工时。200 美元买的是一个能跑的东西。哪个贵,取决于你的一小时值多少。

课程名里带 engineering,它教的内容也确实不像技巧,更像基建。适合已经在用 coding agent、被同一类问题反复绊住的人。只看 prompt 技巧的话,这课不适合你,README 里自己也是这么写的。

仓库地址:https://github.com/walkinglabs/learn-harness-engineering

发布时间: 2026-11-17 02:28