3000个PR,0.5%回滚率:Agent写代码的瓶颈已经换了位置
Lauren Tan在AI Engineer Code Summit上给出硬数据:一个人一个月往生产合3000个PR,回滚率约0.5%。她的方法绕开Prompt,把Agent犯过的错固化进代码库约束、lint和运行时验证。争议也很直接:谁来审每天100个diff,flaky怎么算,规则成本谁付。
Lauren Tan在AI Engineer Code Summit上放了一组数字:上个月她一个人往生产环境合了3000个PR,全团队1.1万个,回滚率约0.5%。她是SpaceX / xAI的GrokBot工程师。开场那句话更冲:所有代码都是垃圾(slop),除了我的。
这话在程序员圈里不算新鲜,配上数据就不一样了。多数人还在调Prompt,她把重点放在代码库本身。
她的做法可以拆成四层。
代码库才是最大输入。Agent很擅长照猫画虎。与其在文档里写规矩,不如把容易出错的路径物理封死:产品代码里禁用useEffect,跨进程import直接报错,注释几乎全禁。
每次Agent犯错,改成Lint,不改AGENTS.md。自然语言规则最脆弱。每次纠正完Agent,她把教训固化成确定性的静态检查或架构约束,让同类错误在提交前就发生不了。
用运行时验证让Agent自证清白。写完不算完,强制Agent自己跑测试、抓截图、录视频,甚至上形式化验证,拿运行结果证明功能没问题。
搭一个自下而上的信任金字塔:代码库约束 > 静态分析 > 运行时验证 > 人眼Review。确定性交给工具,人的精力留到最后一道关口。
这套打法的判断很直接:把约束写进代码里,别写在文档里。让最短路径就是正确路径。模型聪明程度不是主要变量,环境改造成什么样才是。
但数字本身会招人质疑。
有网友算了一笔账:3000个PR一个月,平均每天100个。瓶颈早就不在写代码那头,在谁能一天看完100个diff,还敢按merge。
也有人对0.5%回滚率不买账。AI写的代码第一遍都跑得通,坑全埋在边界条件里,等脚本输出对不上才发现。一个月3000个PR,哪有人细看。
还有回复指出,报错转check的前提是稳定复现。偶发问题会变成flaky,检查本身也要有回归测试。规则越开越多,CI时间越来越久,有网友说活干到最后,一半以上时间都在修规则。
Hux在回复里把讨论拉回执行面:核心在测试和自动校验,代码生成的瓶颈已经转到评审。
Yarchi在一篇关于agent swarm的文章里给了更完整的工程流程:共享文件夹、任务彼此独立、每个文件只有一个写者、checker必须是没看过作者过程的fresh agent、最多两轮修复、设置硬停止规则。文章也提醒成本:单agent大约用掉普通聊天4倍的token,多agent约15倍;Google、DeepMind和MIT的研究发现,平均来看agent团队并不比单agent更好,只有在任务能干净拆分时才占优。
回到Lauren Tan那组数字,最刺眼的地方不在写代码。Agent把生成速度拉起来后,评审、验证、回滚判断变得更贵。工具链吃掉确定性,人负责最后一小段不确定。
发布时间: 2026-11-17 22:35