小模型采样一万次，能赢 GPT-4 吗？斯坦福把自我改进课全放出来了

斯坦福 CS329A Self-Improving AI Agents 的 9 节课已经全部放到 YouTube。课程主页和播放列表都公开，课程目标很具体：造一个能自我改进的智能体。骨架是一线经验加论文精读，两位主讲老师做过 PaLM、Gemini、Claude。

课程主线不复杂。9 讲围绕一个循环：采样 -> 验证 -> 筛选 -> 训练 -> 更强的模型。看的时候拿这条线当索引，每讲对应到哪一步，不容易看散。课程主页在 这里，全部视频在 YouTube 播放列表。

海报上的问题很直接：小模型，能赢 GPT-4 吗？标注写的是 LLAMA 3 8B，每题采样 10,000 次，并配有验证器。底部还有一句英文标语：LARGE LANGUAGE MONKEYS · REPEATED SAMPLING。这个画面比抽象讨论更有意思，采样堆到一万次，验证器到底能不能把答案筛出来。

为什么 coding agent 先普及，写作还不行？讨论里反复回到验证。有网友点出 generation-verification gap：代码先成熟，和模型偏不偏爱代码关系不大。测试、编译、执行能给出低成本、可重复的反馈。创意写作想复刻这条飞轮，缺的是可校准的 verifier，采样再多也补不上。另一个人补了一句：代码的采样和验证简单，因为编译器就是裁判。散文的裁判是另一个模型，而它自己也不太会写。

还有个更现实的提醒。有网友说，自改进最容易自欺的地方在验证成本。验证器一弱，循环转得越快，模型越相信自己变强了。先把验证成本打下来，再谈 9 节课的 loop，不然就是原地打转。评估集也有坑。有网友建议先留一组不参与筛选和训练的任务，最后再测。分数变高之外，也要看面对没反复打磨过的问题，能不能保住提升。

meng shao 还做了一个演示视频，用来快速过一遍课程骨架。他提到最近在磨一套演示视频 Skills，想用于课程、开源项目、产品发布和文章表达，等自己满意了会发布。对不写代码的读者，也可以先让 AI 用大白话讲一遍每节课的核心，再回去看原视频，啃起来没那么吓人。

课程适合周末慢慢啃。原推在 这里。