Wink Pings

Meta 用 agent 从代码库自动造 benchmark,质检无需逐任务人工标注

手工构建 coding eval 又贵又容易偏。Meta 的 Benchmark Factory 让 agent 从已合并的代码变更里自动生成评测,靠无需逐任务人工标注的质量锚检查,还故意喂坏 benchmark 验证效果。

Meta 用 agent 从代码库自动造 benchmark,质检无需逐任务人工标注

给 coding agent 做评测,需要一套任务和评分标准,也就是 benchmark。现成的 benchmark 未必贴合团队实际;手工构建和验证成本又高。Meta 的新论文提出一个叫 Benchmark Factory 的 agent 循环,自动从已合并的代码变更里构建 coding eval,并用一组不需要逐任务人工标注的质量锚自动检查。

Benchmark Factory

循环怎么工作

仓库里已合并的生产代码变更,天然带“需求”和“正确结果”。LLM agent 先写一条 sourcing query,从这些变更里挑任务;然后在候选任务上跑一组已知相对强弱的模型;如果结果不对,agent 诊断失败原因,修改查询、提示词或配置,继续修。直到 benchmark 通过质量锚。

质量锚是自动检查,不需要逐任务人工标注。例如:能力更强的模型得分应该更高,且差距要足够明显;难度要落在合理区间;多次运行方差不能太大。评分器和预期排序在开始前就冻结,agent 没法靠自说自话蒙混过关。每轮修复用全新上下文,状态写在文件里。达到轮次上限仍不达标,转人工。

怎么证明检查有效

作者故意造坏 benchmark 喂进去。太容易的被拒;五种坏评分器被拒;打乱模型标签、真实排序不存在时,随机重抽的坏 benchmark 最多只有 1.4% 漏过。在从未参与构建的配置上,这些 benchmark 能排出 Claude Opus 4.7 在高推理强度下优于低推理强度(60.6% vs 54.4%,p=0.002),GPT-5.5 优于 GPT-5.4(65.8% vs 60.5%,p=0.004)。9/10 的团队级对比方向一致。

论文指出,质量锚是必要但不充分的条件。工程师对 5% 样本打分,任务质量平均 2.3 分,评分判定平均 2.6 分,满分 3。人工审查仍然需要,但可以集中在循环修不了的地方。

评论区

有网友在推文下问:作者有没有先把修复从 git 历史里剥离?agent 很擅长在 git log 里看到答案。另一个网友觉得用合并变更生成任务很干净,仓库历史自己知道“done”长什么样。也有人担心“强模型应胜弱模型”这个锚,可能过滤掉小模型在内部约定上更好的任务,这类任务往往正是团队最关心的。还有一条建议:每隔几个月重新生成一次,否则 benchmark 会停留在“构建它时的代码状态”,跟不上持续演进的代码库。

链接

发布时间: 2026-11-20 22:37