Karpathy 70分钟没放幻灯片,AI agent 的差距在模型之外
Karpathy 用 70 分钟展示日常 AI 工作流,没有幻灯片。Whitemon 把 agent 失败拆成 harness、loop、graph 三层:先给模型环境,再给它可失败的证据,最后才谈多节点协作。
Andrej Karpathy 打开屏幕讲了 70 分钟,一张幻灯片都没放。视频由 @0xoctocat 推荐,内容覆盖 prompts、context、tools、workflows。屏幕共享会留下鼠标轨迹、窗口切换和卡顿。幻灯片容易把过程抹平。
这条推文说,这比 2000 美元的 AI 课值。更像一句传播话术。真正值得看的是 Whitemon 随后那篇长文:他把 agent 的失败拆成三层,harness、loop、graph。同一模型同一 prompt 结果不同,原因常在模型外的系统。
先别急着换模型
Whitemon 在文章里写了一个常见循环:agent 失败,改 prompt;再失败,换模型;第三次失败,加全大写 IMPORTANT,然后希望它好。有网友在回复里补了一句,这像 agent 开发的讨价还价阶段。
问题通常不在 prompt。多数时候也不在模型。问题在模型周围的系统。文章引用了 Karpathy 的一条推文,说自己作为程序员从没这么落后过,编程这件事正在被重构。他列了一串词:agents、subagents、prompts、contexts、memory、modes、permissions、tools、plugins、skills、hooks、MCP。Whitemon 说,这些词看起来像同义词,实际混了三个层。
Harness:给模型手、记忆和墙
Harness 是模型之外的一切。把模型从架构图里拿掉,剩下的就是 harness:终端、测试、浏览器、项目记忆、权限。
文章里有个例子:修登录重定向循环,issue 编号 #482。开始前先把请求变成有终点线的契约:目标、输入、输出、约束、完成条件。最重要的字段是 done_when。没有它,agent 会悄悄解决一个更简单的任务,然后说完成了。
上下文更像注意力预算。把它当仓库会很快耗尽。别把全部文档塞进窗口,给一个短根文件告诉 agent 东西在哪,需要时再加载。工具也不是越多越好。十个窄工具胜过四十个重叠工具。每个工具要有输入、输出、失败状态、权限级别。
权限墙要真能拦住。写“请不要动 migrations”只是愿望。agent 没有的权限才是墙。模型可以建议动作,模型外的策略决定它能不能跑。同一个系统不能既发明计划、批准风险、执行副作用。
还有记忆。决策、死路、未解决风险写进文件和 git 提交,不留在聊天里。这样下一次会话继承的是工作状态,不是对话摘要。
Loop:别在自信上循环,要在证据上循环
有了 harness,agent 能自己干一小时。然后它说:修好了,测试应该会过。注意“应该”。系统让它有能力,还没让它正确。
Loop 是有目标、证据、停止条件的反馈系统。Whitemon 给了一条硬规则:不要在自信上循环,要在证据上循环。agent 说完成了,不是停止条件。测试通过才是。
证据有强弱。最强的是确定性检查:测试退出码为 0、schema 通过、构建编译。然后是具体可观察:trace 显示它真的跑了测试。独立评审也强。最弱的是自评:看起来不错、我有信心、应该会过。一个检查只和它接受的最弱证据一样强。
写检查要在写代码之前。先定义什么叫绿,并放一个在当前代码上会失败的测试。修复前就通过的测试证明不了什么。写不出检查,说明任务还没想清楚。
反馈也不能只给判决。红了几乎不告诉 agent 什么。有用的反馈说清楚预期、实际、在哪看、试过什么。预期 vs 实际,把红灯变成方向。死路清单,防止第三次尝试悄悄回到第一次。
循环要有出口。同一个结果出现两次,就该升级给人。循环能修工作,修不了问题本身。
Graph:一个 agent 干活,另一个 agent 打分,不够
每一步都对了,整张票还是慢。真实任务不是一步:修 bug,检查 billing 和 admin 是否用同一个 helper,更新文档。一个 agent 在一个上下文里全做,第二个审计读第一个的笔记,重复同一个观点。它自己干活,自己评分。
Graph 是三件事:节点是有界工作,一个输入一个输出;边是真实依赖,一个节点的输出喂给另一个节点的输入;状态是节点之间活下来的东西。循环就是一个节点加一条回到自己的边。图不替代循环。多个循环要交接工作时,才需要图。
每条箭头都要过提前开始测试:如果 B 在 A 完成前开始,什么会坏?答案是什么都不会,就删掉箭头,并行跑。billing 审计可以在修复落地前开始,所以并行。PR 不能在修复前开,这条箭头是真的。
不是所有任务都需要图。五个节点能塌回一个循环还不丢东西,就塌回去。LangGraph 和 Google ADK 早就做节点、边、共享状态。词是新的,从单循环走向协调节点这件事是真的。
你该坐在哪
Level zero 时,你就是整个系统。手跑代码,眼睛检查结果,脑子决定下一步。模型是唯一没干重活的部分。
目标不是造一个永远不需要你的 agent。你是图里最慢、最贵的节点。把自己放在错误不能撤销的地方。按撤销价格设门,不按模型自信设门:文档、测试、一个函数,绿了就发;共享 helper、auth、schema,要绿加 trace 加第二意见;迁移、删除、发邮件、花钱,人来签。最后这一层没有分数。不是 0.95,也不是 0.99。模型没有数字可刷,也就没得争。
先修第一症状
Whitemon 给了一张症状表:在聊天和终端之间复制粘贴,修 harness 的工具;重试已经试过的东西,修 harness 的记忆;完成不检查就不算数,修 loop 的检查;同一个错误烧预算,修 loop 的反馈和出口;每一步都对但整体慢,修 graph 的形状;一个失败导致全部重跑,修 graph 的门。
最常见的错误是过早画图。先看 agent 做一遍活,收集 trace,再形式化真正值得形式化的部分。还有,让同一个模型写和评,它会共享盲点。测试第一,独立上下文评审第二,不能撤销的事找人。
下次 agent 说 done,先问哪一层说的。Harness 让它有能力,loop 让它诚实,graph 让它有组织。模型每季度会换,契约、工具、测试、状态文件、门不会换。失败如果被归到正确的层,系统会变好。
参考链接:Whitemon 的文章,原推文。
发布时间: 2026-11-21 07:57