Wink Pings

Karpathy 说 Delete everything, keep Graph:AI 工程的五个层级

Andrej Karpathy 在 124 分钟演示中说,Prompting 即将消失,只剩 Graph。这篇文章基于 Livsun 的路线图,拆解 AI 工程的五层:Prompt、Context、Harness、Loop、Graph。大多数人在第一层,但竞争力在上面。

Andrej Karpathy 在一场 124 分钟的演示里给了一句判词:Prompting is going away. Delete everything, keep Graph。

视频里他从 Prompt 开始,一步步拆掉提示词,最后只剩下 Graph。这条推文还附了一篇长文,作者 Livsun,题目是 Prompt → Context → Harness → Loop → Graph: The 5 Levels of AI Engineering。它把 AI 工程拆成五层。模型每几周就换一次,但这五层不会过期。每一层回答同一个问题:你能给模型什么?

Level 1: Prompt engineering,你是循环

你写指令,模型回答,你判断,再改。这是最慢的方式,因为系统里最慢的是人。模型几秒出结果,人读、想、重新打字需要几分钟。卡在这一层的标志:手里攒了一堆魔法短语,比如 一步一步想、你是世界级专家。这些还有用,但没有任何句子能给模型它没有的事实、不能调的工具、或自查的方法。

从 1 到 2 的测试:下一次答案错了,别改提示词。问一句:模型当时需要看到什么?如果答案是文件、文档、例子或规则,那问题不在提示词,在上下文。

Level 2: Context engineering,填充窗口

Shopify CEO Tobi Lütke 在 2025 年 6 月说,他更喜欢 context engineering 这个说法,核心是把任务所需的所有上下文提供给 LLM。Karpathy 回了一个 +1,并给出了现在大家引用的定义:精妙地为下一步填充上下文窗口。

模型不知道你的项目、规则、昨天的决策。它只知道窗口里的东西。所以重点从润色指令转移到预算窗口:不变的规则放系统提示和 CLAUDE.md;工具描述;决策和状态;检索到的资料;最后是任务本身。但这一层的瓶颈是,你还在手工组装窗口。

Level 3: Harness engineering,模型是引擎,harness 是车

Harness 是模型周围的一切:工具、权限、沙箱、内存文件、钩子、运行轨迹。Claude Code 是 harness,Codex CLI 也是。同一个模型放进两个 harness,产出两个不同的 agent。

OpenAI 在 2 月发文讨论 harness engineering,复旦和北大的研究者也做了实验。让一个 agent 持续改进另一个 agent 的 harness,十轮之后 Terminal-Bench 2 pass@1 从 69.7% 升到 77.0%,超过人类设计的 71.9%,冻结的 harness 在 SWE-bench Verified 上少用 12% tokens。增益来自工具、中间件和长期记忆,不是系统提示。大部分人花最多时间的地方,恰恰是最不重要的地方。

今天的第一个动作:给 agent 加一道绕不过去的门。Claude Code 的 Stop hook 可以在 agent 试图结束时运行命令,测试不通过就阻止。

{
  "hooks": {
    "Stop": [
      { "hooks": [{ "type": "command", "command": "npm test --silent >&2 || exit 2" }] }
    ]
  }
}

现在 完成 意味着测试通过,不是模型觉得可以结束。

Level 4: Loop engineering,停止手动提示

Addy Osmani 在 6 月 7 日给这一层命名:Loop engineering is replacing yourself as the person who prompts the agent。它坐在 harness 的上一层。Peter Steinberger 说,你不应该再手动提示 agent,应该设计循环来提示 agent。Claude Code 的创造者 Boris Cherny 也说,他不再提示 Claude 了,他写循环。

循环的构成:定时醒来找活干的 automations,让并行 agent 互不干扰的 worktrees,存项目知识的 skills,连现有工具的 plugins,还有提议者和检查者分开的 sub-agents,加一个状态存储。Claude Code 的 /loop 可以直接用,例如:

/loop 30m read STATE.md, pick the top open bug, fix it in a worktree, run the tests, open a PR, then write what you did back into STATE.md

陷阱也很简单:agent 循环可能整夜花钱。所以每个值得跑的循环都要有刹车:模型之外的完成检查、预算、连续两轮无新进展就停止、每步写状态以便恢复。循环不是全自动,它去掉打字,但思考还是你的。跳过循环,每个错误最后都会变成你抱怨模型的理由。

Level 5: Graph engineering,画工作的形状

最高层不再想步骤,而是想节点和边。节点是一个有明确输入输出的任务,边只在输出喂给下一个输入时存在。很多 第一步、第二步、第三步 的 agent 里有大量假边,它们根本不读彼此的输出,只是排队。

删掉假边后,线变成菱形:split 把一个任务拆成独立块;fan out 让多个 agent 并行处理;verify 用质疑过滤结果;merge 用幸存者写答案。Claude Code 的动态工作流(研究预览,6 月发布)允许 Claude 写一个 JavaScript 脚本,用几十上百个子代理运行。

const parts = await agent(`Split this audit into independent parts: ${task}`, { schema: PARTS });

const findings = (await parallel(parts.items.map((part) => () =>
  agent(`Audit ${part.path}. Return every finding.`, { schema: FINDINGS })
))).filter(Boolean).flatMap((result) => result.items);

const verified = (await parallel(findings.map((finding) => () =>
  agent(`Try to disprove this finding: ${finding.claim}`, { schema: VERDICT })
))).filter((verdict) => verdict?.holds);

return agent(`Write the report from these verified findings: ${JSON.stringify(verified)}`);

两条规则:只在真正需要全部结果时等齐,其余情况让每个结果直接流入下一步;模型分层,便宜模型跑扇出,最强模型跑验证和合并。Rey 在推文里补了一句:每个人都能搭一个 agent,但几乎没有人构建运行它们的 graph。

大多数人还在第一层

评论区有条留言:The graph is the (new) moat。这句话值得记住。新模型每几周落地一个,但层级不变。每一层都包住下一层,所以现在学的不会在下个版本发布时作废。一个 prompter 写句子,一个 level 5 工程师写工作的形状,句子自己写自己。

本周可以做的五件事:

  1. Prompt:把你最常用的提示词里所有 你是专家 删掉,换上一个好输出示例。
  2. Context:写一页项目文件:规则、技术栈、决策、完成状态。每次开会前加载它,数一数你少纠正了多少次。
  3. Harness:加上面的 Stop hook,让 agent 不能在测试失败时宣布完成。
  4. Loop:放一个 /loop 到你的 backlog 或收件箱,带预算和状态文件,跑一夜,早上读状态。
  5. Graph:做一个最小菱形:把一次 review 拆成多个文件,扇出并行,让一个怀疑一切的 agent 质疑每个发现,合并幸存者成报告。

发布时间: 2026-11-20 13:00