Wink Pings

Anthropic 内部代码审查:从“互相盖章”到 AI 把关

Claude 写代码越来越快,等审查的改动排成长队,Anthropic 内部一度靠互相放行应付。半年后,AI 审查接管了绝大部分 PR:查出实质问题的比例从 16% 升到 54%,回滚少了 40%。拆解他们怎么做到的。

“Clark,你给我的 PR 盖章,我就给你的盖章。”

这是半年多前 Anthropic 内部的日常。Claude 写代码越来越快,等人审的改动排成长队,大家只好互相放行:看是谁提交的,扫一眼就批准。

Claude Code 团队的产品经理 Morgan Lunt 把那段时间叫作“歌舞伎表演”。审查的形式还在,其实没人认真看。

瓶颈从写代码转到了审代码

PR(拉取请求)是程序员提交一份代码改动、请别人检查后再合并进主代码的流程。一年前,Anthropic 和别的公司一样,几乎每个 PR 都由人审,代码产出的速度就是人写代码的速度。今天 Anthropic 的 monorepo 里,每天落地的变更从 5 月的约 2500 个涨到 9 月的三万个。产出一下子多了很多,审查就成了最慢的环节。

Lunt 引用了一项哈佛研究:企业引入 AI 编程智能体后,PR 等待审查的时间平均增加了 56%。他的理解是,PR 太多,人被淹没了。

Anthropic 的工程师擅长做智能体,很多人各自写了审查机器人,把自己审代码时关注的点写进去。结果一个 PR 上出现七个机器人,意见互相冲突。一个机器人要的改动,另一个不满意,来回改出五十、一百甚至两百次提交,改到最后偏离了作者原本想做的事。原因在于它们关注方向不同,又没有共享上下文和共同目标。后来,这些机器人的关注点被合并进一个主审查智能体,由它在内部去重、整理。

今年 7 月,Claude Code 的创建者 Boris Cherny 找到 Lunt 的团队,让他们把 Anthropic 的代码审查问题解决掉。

团队给自己定的目标是:90% 的 PR 合并时,除了让 Claude 干活的那个人,不需要再找任何人。按需要几个人参与,PR 被分成三类。零人参与:Claude 自己发现问题、自己修、自己提交、盯到合并。一人参与:某个人让 Claude 做了一件事,自动系统判断没问题就直接合并。两人及以上:留给账单、用户登录验证、应用自动更新这类绝对不能出错的地方,而且范围尽量收窄。

同时有一条底线:回滚、紧急补救和线上事故都不能因此变多。

用真实事故当考题

要知道审查智能体好不好,得有一套考题。他们把 Anthropic 历史上所有线上事故、以及被认定引发事故的 PR 整理成评测集,再请人抽查核对。没有用人为埋了 bug 的合成数据。

每道题的格式很简单。Lunt 现场展示了一个例子:某个 PR 合并后有客户收到了两次同一张发票,只好回滚,原因定位在某个文件的第 88 行。这道题记录的就是代码仓库在那个时间点的版本号、PR 编号、出问题的文件和行号,以及正确答案。成千上万道这样的题,就是评分标准。审查智能体被放回那个时间点去审那个 PR,看它能不能找到那一行。

衡量时看两个数。召回率:标准答案里列出的问题,它找到了多少。精确率:它报出的问题里,有多少是标准答案之外、大概率不该报的。只看召回率不行,因为让智能体随便报五十万条,迟早会撞中所有答案,但真正有用的提醒就淹没在噪音里了。

他们试了不同的提示词、不同的检查角度、不同的智能体分工结构,跑了几万到几十万次。方法就是反复试:改一处,成绩变好就留下,变差就扔掉。Claude 让同时跑大量实验变得很容易。

最后定下来的流程是:先派出一批负责找问题的智能体,再派出一批挑刺的验证智能体,专门质疑前者的发现,确认是真问题;然后按严重程度排序、去重,作为评论贴到 PR 上。发现分三档。重要问题会阻止合并;小问题不阻止,留着以后想集中清理时再翻;还有一档是改动之前就存在的老问题。完全无关紧要的,在验证阶段就被删掉。

让审查智能体适可而止

Lunt 说,他为了“收敛”这件事钻研了三个星期。智能体被要求找问题,就一定会找到问题;被要求修问题,就一定会去修。让一个找、另一个修,再问前一个“现在怎么样了”,它会接着找出越来越偏门、越来越鸡毛蒜皮的毛病。有段时间,智能体整夜来回找、修,一个 PR 上积累几十上百次提交,偏离用户原意,也没人看得懂。

他们的调法是让审查智能体一次把所有发现都报出来,修完之后不再越挖越深。现在九成多的 PR 在三轮“审查、修复”之内就能收敛。为此在提示词上花了不少功夫。

在问答环节,团队的工程师把审查要回答的问题分成三层。最底层是代码风格和整洁程度;中间一层是假设这个改动的方向是对的,它写得对不对、安不安全;最上层是这个功能该不该做、方向对不对。自动审查擅长的是中间这层,最上层留给人。Lunt 补充说,他们刻意不让审查智能体管得太宽,不会因为它觉得不妥就拦住你明确要做的事。防止有人往代码库里塞恶意改动,仍然要靠团队自己。

哪些改动还需要人看

审查之后还有一步风险分级,由一个机器人根据 PR 改了哪些文件、改了多少来决定要几个人批准。只改文档、影响面小的,直接通过;普通改动,让 Claude 干活的那个人负责就够了;涉及账单、自动更新这类高风险部分,要第二个人签字。

他们最早用的是“代码负责人”配置文件,按文件路径规定某个目录下的改动需要一个人还是两个人批准。Lunt 说这个办法太粗,后来又加了一层由大模型做的判断。比如账单相关代码,如果改动涉及业务逻辑,就要另一个人签字;不涉及,就直接放行。

他演示了三个例子。修改安装指南里的错别字,不需要额外审查。给订单列表加一个日期筛选,需要一个人,因为碰到了订单。改发布流程,要发布团队的人点头,因为影响面大。权限也按团队分,他在 Claude Code 代码仓库里能做的事,其他团队的人不一定能做。

整条流程,他称为六层防护:Claude 写代码的同一个会话里先自己跑测试、修失败、再派一个上下文干净的子智能体复查;PR 提交后由托管的 Claude Code Review 做深度审查;再过一遍安全审查;然后是常规的自动检查和测试;只有真正需要的 PR 才找人批准;最后合并。像瑞士奶酪,每一层都有漏洞,叠在一起就很难漏过去。

此外,Anthropic 的产品大多通过网页和自己控制的 App 发布,新功能上线默认是关着的,先开给少量内部测试者,再开给更多外部测试者,最后才全面开放。出了问题,几分钟内就能对所有人关掉,不用改代码。有网友提醒:少一道人工审批,背后得有这些兜底。尤其碰到账单和权限,不能只学自动放行。

普通团队怎么照做

Lunt 建议想引入自动审查的团队,先用自家的事故记录建一套评测集。大多数公司都有事故追踪系统,让 Claude 从里面提取被认定引发事故的 PR 编号,按上面的格式整理。他估计几天就能做完。之后可以拿它比较不同的审查产品,也可以拿它调审查规则。他说对 Anthropic 的产品有信心,但不希望大家凭他的感觉选产品,更希望各家用自己的评测证明这些工具可靠,有了底气才能放心撤掉人工。

工程师补充了一个更简单的检验办法:拿以前人审过的 PR,让自动审查回到那个时间点再审一遍。人当时提了三条意见,看它是不是都找到了,或者找到了更重要的;它没找到的那些,再看是不是真的重要,还是只是小问题,或者最后证明什么事都没有。

具体调法上,用 Claude Code Review 的仓库可以在根目录放一个 REVIEW.md 文件,专门写给审查智能体看:哪些问题要重点查,哪些不用管。比如自动生成的代码不用看,代码风格已经有自动检查工具管了不用提,小问题最多报几条,发现要按什么格式写,方便交给负责修复的智能体。Lunt 现场演示了加规则前后的对比:加之前是一条重要问题加一串小问题,加之后只剩重要问题。原来的 CLAUDE.md 继续写所有参与这个仓库的人和智能体都要遵守的规矩。审查时会检查改动有没有违反 CLAUDE.md 里的规矩。

规则还可以持续改进。Anthropic 内部有每周自动运行的任务,专门去翻人在 PR 上留的评论。如果有人回复审查意见说“这其实不是问题,因为……”,任务会从中提炼出规则补进 REVIEW.md,下次不再犯同样的错。Lunt 说这类反驳意见是非常有用的反馈,团队偶尔抽查一下 PR、在不同意的地方留句评论就够了。

内部推广时,Anthropic 的人都看数据。他们把评测里和每个团队相关的事故单独挑出来,给那个团队看效果,大家很快就有了信心。另一个原因是很多人早就不想维护自己的审查机器人了,交出去之后,出了问题直接找他们团队修就行。各团队仍然盯自己的指标:回滚次数、紧急补救、事故数量、稳定性。交出审查之后这些都在看,而大家的效率普遍提高了。

结果,以及一个提醒

Lunt 给出的结果:改用自动审查后,查出实质问题的 PR 比例从 16% 升到 54%,合并的 PR 数量翻了一倍,需要回滚的 PR 少了 40%。在他看来,这和自动驾驶是一个道理,用不着完美,比人强就够了。

内部 PR 的收敛数据也好看:一轮“审查-修复”就通过的从 65% 升到 78%,需要五轮以上的从 8.9% 降到 1.5%,平均审查轮数从 2.08 降到 1.32。

有网友对这个 16% 到 54% 提出过一个提醒:AI 审查更容易把风格、重复代码、缺测试都算成实质问题,尺子换了,比例自然上去。真正要看的,是那些会改变线上行为的发现有多少。这个提醒值得记着。

这套做法背后还有条文化规矩:谁让改动落地,谁负责修。小改动容易回滚,功能开关几分钟能关掉,错误不会滚雪球。

产品与下一步

Claude Code Review 在今年 3 月开放公开预览,10 月中旬正式发布,正式版是在内部这套系统基础上重写的,外部用户用到的和 Anthropic 内部用的基本是同一套。预览时审一个 PR 大约 25 美元,正式版按审查深度分三档,每次 5 到 25 美元。

命令行和桌面 App 里的 /code-review 是快速版,边写边审的人不想等十几二十分钟;PR 提交后自动触发的托管审查才是深度版。想在本地跑深度版,可以用 ultra review。审查默认先只看改动本身,需要时再去看仓库里的其他代码。目前只能访问单个仓库,跨仓库权限还在和隐私团队商量。有网友补充了一个细节:托管的 Code Review 会读仓库根目录的 REVIEW.md 和 CLAUDE.md,本地 /code-review 只读 CLAUDE.md,两边都要生效的规则写进 CLAUDE.md。

工程师说,他们试过给审查智能体更多工具、更多上下文、让它实际运行代码,大多没有带来提升,反而增加了成本、时间和复杂度。至于用哪个模型、什么推理强度,Lunt 说每出一个新模型答案都会变。现在内部的经验是 Opus 5.5 中等强度用起来性价比最高,团队会持续评测、调好默认配置。

Lunt 把在 Claude Code 团队工作比作在海边堆沙堡:做好的辅助结构会被下一代模型的能力冲掉。他不意外代码审查在不久后变成一个完全解决了的问题。分享开头的现场投票里,77% 的听众说审查是整个开发流程里最痛苦的一环。

这里最值得抄的,也许不是 AI 审查本身,而是那套用真实事故检验 AI 的评测方法。没有这个,换多少审查机器人都只是凭感觉调提示词。回滚少 40% 的数据,也是建立在“能快速回滚”的机制之上。少一道人工审批,意味着背后多一道别的保险。详细内容可以看 Anthropic 官方博客文章《Solving Code Review at Anthropic》。

发布时间: 2026-11-20 17:54