斯坦福那门自改进 Agent 课，真正在修的往往不是模型

Omar Sar 在 X 上放出了斯坦福 CS329A《Self-Improving AI Agents》的课程播放列表，笔记还在整理。评论区问得最多的两个问题是：agent 怎么知道自己真的变强了，以及它怎么不把错误学进去。

这两问，恰好是这门课最值得看的地方，也恰好是这个词最容易被糊弄过去的地方。

不过这次放出来的东西里，更值得先翻的不是课，是 Omar Sar 挂的两份论文集。Harness Engineering 收了 829 篇，Self-Improving Agents 收了 545 篇，每天更新，能通过 MCP 接进自己的 agent 里直接对话论文，账号免费。

Omar Sar 自己在回复里说得很直白：好的参考文献能帮大家省掉一堆互相听不懂的对话。这话不客气，但准确。这两年“自我改进 Agent”的讨论越来越乱，同一个词，有人指模型改自己的权重，有人指 agent 改 prompt，有人指它把经验写进记忆，有人指它重写自己的脚手架。各说各的。

把 829 篇 Harness Engineering 放在一起看，露出来一个判断：进步主要来自模型外面那层壳，不是权重本身。

Harness 在 AI 圈里指模型外围的一整套系统，agent loop、上下文管理、工具、记忆、编排、验证、运行环境都算在内。同样的模型权重，套不同的 harness，跑出来的结果能差出一大截。清单里那篇 Prime Agent 的数字被反复引用：在完全相同的权重下，ARC-AGI-3 从 30% 拉到 95.5%，权重一个字没动。

同类研究也越堆越多。有一篇直接叫《The Harness Is the Model》，说的是同一件事。还有一篇《Harness or Model?》，用污染控制过的私有测试集，专门把“脚手架带来的增益”和“模型本身的增益”拆开。结论方向大体一致：很多被算在“更强模型”头上的提升，实际是脚手架改对了。

这也是为什么清单从 GPT-2 讲起。GPT-2 那一代没有工具调用，没有技能，没有记忆，只有一个 while-not-EOS 的循环加 top-p 采样。六年下来，反复在做的一件事，是给这个循环塞它被允许做的新动作。工具调用、记忆读写、技能积累、子 agent 寻址、递归 REPL，每一步都是往循环里加一类新权限。所谓自改进，在这个视角下，大半是给自己加权限，不是给自己换脑子。

顺着这个思路往下走，会撞上一个所有人绕不开的问题：验证。

X 上一条回复把这一点说得最清楚：自我改进的循环，生死全看那个打分器。Agent 如果能看到评判它的 judge，它就会去学那个 judge，学怎么把事做好退到第二位。能证明它真的变强的，只有一套冻结的、它看不到的 held-out 任务集。

另一条回复补了同一个问题的另一半：自我改进只有在有人对“什么算更好”负责时才成立，否则 agent 会去优化最容易挪动的那根指标。

这两条其实是同一件事的两面。评分机制一旦被 agent 看见，它就会被 agent 反过来优化。所以清单里那么多论文都在谈 acceptance gate、statistical guarantee、masked erosion 这类词，难听，但全是“你怎么知道它真的变好了”的工程答案。

0xSoldier 的提问挺有代表性：很想知道 eval 这一块，agent 怎么知道自己真的变强了，而不是在给自己批作业。Varun Chopra 问的是另一半：它怎么避免把自己的错误固化下来。两个问题下面，贴的论文标题一个比一个长，没有一个答案能用一句话打发。

回到资源本身。两份论文集都划好了阅读路径，Harness 那边 21 篇，Self-Improving 那边 31 篇，不用从 829 篇里自己扒。MCP 工具可以接进 agent，让 agent 在研究过程中自己去拉这些论文，而不是靠一个固定书单。Omar Sar 强调这一点时用了两遍：全部免费，注册账号就能用。

从使用角度看，更靠谱的路径是先看那几十篇划好的清单，看别人怎么分代际、怎么分失败模式，再回头决定要不要钻进完整的 545 篇。829 篇那套偏工程，适合已经在搭 agent 的人；545 篇那套偏方法谱系，适合想搞清这个词到底指什么的人。

至于课本身。笔记还没放出来，播放列表先出了，评论区有人开玩笑说播放列表比笔记先到，笔记得对得起它。Stanford 这门课属于能当教科书读的那一类，不是发布会的 PPT 版本。

但真正的问题不在课上，也不在清单上有多少篇论文。真正的问题是：当一个 agent 说它变好了，你信不信它。这个答案，眼下还不在模型的权重里。