Wink Pings

同一个 GPT-5.5,234 条对 74 条:代码评审的差距可能不在模型

Javi 用同一套 200 个真实 PR 对比 GPT-5.5 在评审 harness 和 Codex 里的表现,命中专家意见 234 对 74。阿里 OpenCodeReview 论文给出同一行数据,也提醒这是自家 harness 跑自家 benchmark。模型没换,脚手架换了,分数差了一大截。

Javi 在 X 上贴了一组对比:同一个 GPT-5.5,同样 200 个真实 PR,在一个评审 harness 里命中 234 条专家评论,放进 Codex 只有 74 条。他问,问题在模型还是 harness?

原推。Javi 的回复给了论文和表格:同一行数据是 21.0% 对 8.4% 的 SEM-F1,422K 对 525K token。AACR-Bench 包含 200 个真实 PR、10 种语言、1,505 条专家验证评论。

OpenCodeReview 论文 banner

论文标题是 OpenCodeReview: Determinism over Non-Determinism for Cost-Effective Agent-Based Code Review,作者主要来自阿里巴巴和南京大学等,代码开在 GitHub。它换的是模型外面的评审流程。模型没动。

GPT-5.5 这一行:OpenCodeReview 的 SEM-F1 21.00%,精度 32.10%,召回 15.50%,生成 728 条评论命中 234 条;Codex 的 SEM-F1 8.36%,精度 27.82%,召回 4.92%,生成 266 条命中 74 条。两个系统 token 消耗接近,OpenCodeReview 用时 2m51s,Codex 2m58s。命中数差 3 倍多,SEM-F1 差 2.5 倍。

论文把 harness 拆成三段。规则引导分发先决定哪些文件要审、用什么规则审,避免 agent 每跑一次自己挑文件。文件级评审给每个文件一个 SubAgent,只开放六个工具,输出有上限:读文件、找文件、搜代码、看别的文件 diff、写评论、结束。独立反思只拿 diff 过滤评论,做证伪,不生成新评论。它的目标是删掉被 diff 直接打脸的幻觉评论,同时不误伤 agent 从仓库里找到的证据。

OpenCodeReview 架构图

这些设计指向一个判断:代码评审 agent 的瓶颈,很多时候不在模型会不会写评论,而在信息怎么进来、评论怎么筛出去。给 agent 最大自由,可能换来更长的工具链、更大的 token 账本和更不稳定的结果。论文的标题反过来写,determinism over non-determinism,用确定性工程压住不确定性。

OpenCodeReview 精度召回图

但别把这一行数据当终局。Javi 也提醒,这是阿里巴巴自家 harness 跑自家 benchmark,只能当一个数据点。AACR-Bench 的语义匹配由 LLM judge 判定,论文说每个配置跑五次取平均。这些都不能替代真实团队里的评审质量。更稳的读法是:模型能力仍然重要,六种后端分数从 17.90% 到 25.10%;但同一个 GPT-5.5 换 harness 能从 8.36 到 21.00,脚手架至少能吃掉一大块差距。

所以,234 对 74 这组数最有意思的地方,是它把问题从模型参数拉回到工程约束。模型背锅最容易,改 harness 更难。下一次看到评审 agent 漏评论,先看它拿到了什么上下文、能调什么工具、评论有没有被过滤。模型没换,分数换了,答案通常藏在这三层里。

发布时间: 2026-11-18 02:31