斯坦福公开 Agent 课:5 美元,自己搭一个 Claude Code 式 harness
Stanford CS329Z Engineering AI Agents 的讲座、两次作业和课程站已经公开。HW1 用不到 5 美元 API 额度从零搭 agent harness,HW2 做 terminal-bench 风格评测任务。课程里还讲了 RAG、工具调用、DSPy、多 Agent、优化、安全和评测。
斯坦福 CS329Z Engineering AI Agents 的课程材料放出来了。讲座按天发在 Stanford Online YouTube,作业仓库和课程站也能直接打开。第一讲已经上线:YouTube。
课程由 Diyi Yang、John Yang 和 Michael Ryan 教。Diyi Yang 在斯坦福做 agent 安全、隐私和评测。John Yang 是 SWE-bench、SWE-agent、SWE-smith 和 ProgramBench 的共同创建者。Michael Ryan 是 DSPy 及相关开源 agent 项目的核心贡献者。这个组合决定了课程不会只停在调用 API 写 prompt。
课程主页写得很清楚,覆盖从简单 LLM pipeline 到 compound AI systems 再到 autonomous agents。具体主题包括数据、RAG、工具调用、agent 设计模式、框架与编排、记忆、多 Agent、优化、评测、安全和 coding agents。客座讲座里有 Terminal-Bench、SWE-bench,还有 Andrew Ng 的 fireside chat。相关课程也列了 CMU 11-768 和 MIT 6.S978。
作业比课程简介更有信息量。HW1 要求从零搭一个 agent harness。推文里说,用不到 5 美元的 API 额度,可以在家搭自己的 Claude Code。仓库里给了邮件归档、终端沙箱、LM 缓存和预算账本。默认测试不调用模型,先把确定性测试跑绿,再开 live tests。这个设计对学习者友好,也暴露了 agent 工程的日常:工具调用、上下文、缓存、预算、错误处理,哪一项都不性感。
HW2 由 John Yang 设计,要求做一个 terminal-bench 风格的评测任务,使用 Harbor 框架。作业要求自己设计任务和评测,不要求跑现成 benchmark。把会做 eval 放进作业,比多讲几个框架更有价值。Agent 系统最容易被忽略的环节就是评测,很多人把 demo 当产品,把一次成功当稳定。
需要提醒:课程建议有 NLP 或 AI 背景,默认你了解 LLM 怎么训练。第二讲会做速成。录播会与 Stanford Online 合作放到 YouTube。课程站:https://cs329z.stanford.edu/ 。想跟作业,可以从 HW1 仓库开始:https://github.com/cs329z/assignment1-harness 。HW2 仓库:https://github.com/cs329z/assignment2-evals 。
公开课程材料本身不稀奇。少见的是把 harness 和 eval 摆到中心位置。多数人习惯在成品 harness 里改 prompt,这里要求你拆开看模型外面那层代码。那层代码不酷,但决定 agent 能不能用。
发布时间: 2026-11-11 16:32