先写 20 个失败案例,再决定用哪个模型
eval-driven development 的核心动作很朴素:先定义什么叫好,再用同一组 case 把模型、检索、架构、成本和延迟一起测出来。单次通过会骗人,平均值也会。文章里有 VPN 工单、OCR 丢行、100 个样本和 1000 个样本打架的具体例子。
AI 项目最贵的环节经常发生在选型会:几个人各推一个模型,谁也说服不了谁。Sergii Makarevych 在文章 Eval-driven development: how to choose model, retrieval, and design by testing instead of guessing 里给了一个更硬的替代方案:先写 eval,再建 agent。eval 是带评分的测试,给输入,看行为,打分。golden 是输入加一份“好行为”的画像,写清楚必须发生什么、绝不能发生什么、什么叫好。metric 是真正打分的检查,可以是代码规则,也可以是模型评审。judge 负责规则看不见的东西,比如语气。trace 是一次运行的全记录,工具调用和步骤都在里面。
这套东西解决的是 AI 项目的默认开局:模型选哪个,检索怎么配,单 agent 还是路由,工具上几个。没有 eval,这些问题靠 demo 和嗓门决定。agent 还会安静地坏掉,prompt 改一句、模型换一个,别处行为就漂了,测试没抓住。先把“好”固定下来,每个设计选项都拿同一组 case 证明自己。demo 越顺,越容易把没测到的路径当成不存在。
核心循环很短:
- 先定义 good,写成 golden 和清楚的 metric,最好在 agent 通过这些 case 之前就写。
- 让 agent 修到新 case 通过。能用代码判的就用代码,读起来才知道的才用 judge。
- 每次运行保存完整 trace,失败时能看见是哪一步坏了。
- 每个设计选项跑同一组 case,只发重复赢的方案。用户每发现一个 bug,就把那个 case 收进集合。
- 从第一个设计决定开始用,模型、检索、工具、架构都用。只有当逻辑固定、输出固定、单元测试已经足够时,才跳过。
单次通过很危险。Agent 不是确定性程序。采样有随机性,同一 prompt 可能换措辞;很多答案都正确,精确匹配会误杀;agent 还会自己选工具和顺序。文章里的 VPN 例子很具体:用户说 VPN 连不上,三次运行可以是先搜文档再答复、直接开工单、先搜没找到再开工单。哪次对,取决于规则。如果规则要求先查帮助文档,第二次就坏了;如果规则要求 VPN 故障必须开工单,第一次就坏了。所以问题要改成“跑几次,通过率多少”。一个 trial 是一次运行,pass rate 是通过次数除以总次数。五次里三次合规,通过率 60%,这个数比一次成功或一次失败都诚实。新 case 先跑 3 次,结果分裂就标记为不稳定,加到 5 到 10 次;关键安全 case 从 10 次起步。
测试集从真实失败开始。很多团队想要一个固定数量,文章说没有这种规则,方法比数量重要。先收真实工单、聊天记录、坏掉的 live run、人工检查抓到的 bug,去掉隐私,保留脏话、错字、半句话和怒气。每个任务至少覆盖三类行为:必须发生什么,绝不能发生什么,旧行为什么必须继续工作。用户遇到的逃逸 bug 要变成永久 case。还要留一个隐藏集,不能拿它调 prompt。调完主集,在隐藏集上跑一次。主集高分、隐藏集低分,就是过拟合。生成 case 可以当脚手架,别当长期地基。
检查器顺序是 code first,judge second,people third。程序能判的别让模型判。工具有没有调对、参数对不对、副作用是否真的发生、引用标记在不在,这些用代码。文章给了很具体的读数:50 次里 47 次调对工具,说明路由基本工作,3 次失败指向具体混淆;50 个回答里 42 个带引用,说明 grounding 弱,先补这个。模型 judge 只读代码看不见的东西:语气、政策细节、清晰度。judge 有偏差,位置偏差、冗长偏差、自偏好。用双向顺序、短好例配长坏例、不同模型族、先写理由再打分、给“证据不足”出口。人负责定义 good 和审计 judge。50 个抽样里人和 judge 一致 41 个,剩下 9 个 disagreement 就是 rubric 缺口。
结果和步骤要分开。路径自由时,只看结果。研究任务要正确摘要和真实来源,修 bug 要让失败测试通过且别的不坏。路径被规则锁死时,必须查步骤。资格先验证,不可逆动作前必须确认,护栏顺序要对,成本要有上限。文章里的数字:50 次里 46 次先验证资格,说明护栏基本成立,4 次跳过必须在发布前修;50 次里 43 次在正确位置请求确认,约七分之一动手太早,对高风险动作是 blocker;30 个不安全草稿里拦下 29 个,1 个逃逸定义下一个 probe。trace 无论 gate 什么都要记。分数掉了,trace 几分钟内指出错误文档、误读记录、跳过确认、工具对参数错。失败日志还会变成下一个 known-bad case。
一个分数是范围,不是判决。同一 agent 同一测试集跑两次,82 和 79 都可能出现。20 个 case 时每个 case 值 5 分,一次幸运猜测就能让头条跳 5 分。100 个 case 时每个值 1 分,200 个时每个值 0.5 分。比较版本要在同一组 case 上跑,读 per-case flips。旧版 60 个过 47,新版过 50,平均涨了,但 5 个从失败变通过、2 个从通过变失败,那 2 个就是藏在平均值里的 breakage。只对重复、明确的回归设 gate。候选版本连续两次明显输给固定 baseline 才拦。质量、成本、延迟画在同一张图上,避免质量涨 3 分、成本翻倍、延迟从 2 秒到 5 秒的坏交易。
系统选型也用同一套。模型够不够,检索 knob 有没有用,单 agent 还是多 agent,都在同一组 case 上比。小模型在简单任务上常常只差 2 到 3 分,成本十分之一,速度快一倍,这时小模型赢。难任务上大模型可能专门修好小模型总挂的 5 到 10 个 case,升级才有证据。检索一次只改一个 knob,先看正确文档在不在 top results,用代码;再看答案是否忠于检索内容,用 judge。re-ranker 把 faithfulness 从 36/50 提到 43/50,多 15% 成本,通常值;多一倍延迟只换 1 分,不值。多 agent 先别上,每多一个 agent 就多一个交接点,上下文、延迟、成本、调试都变重。只在 eval 显示某类模式能被拆分修好时才拆。
CI 要按速度拆。代码检查每 commit,秒级;judge 每 PR 和 nightly;多轮模拟和对抗 probe 放夜间或每周,别放 merge gate。文章里一个团队把 20 张连续工单从约 162 秒压到约 18 秒,快 9 倍。eval 跑几分钟,开发者就跳过;跑几秒,才会留下。每个 metric 在获得 gate 权力前,必须先在 known-bad set 上失败。一个 judge 对什么都说过,比没有 judge 更糟。成本从第一天可见:每次运行打印 token bill,昂贵检查抽样,频繁 judge 自托管。上线后闭环:每条回复过护栏,真实 thread 抽样 judge,不确定 case 进人工标注,失败聚类成新 golden。
几个回复把落地时的坑补得更具体。Emilio Ranucoli 说 eval-driven development 的前提是能复现失败状态,他们保存 raw payload 和完整 trace,才能确定性重放。Arpit 说 100 个样本的 eval 说自己赢了,1000 个样本说打平。Model Test Lab 给了一个 OCR 例子:平均 CER 0.15% 掩盖了 GLM-OCR 在倾斜页面悄悄丢掉 16 个词的一行,321/337 个词,只有单独的 hard-page set 才看见。Aleksandar Janca 说团队常跳过定义 good,模型选完才写 eval。Pascal 说单次通过率最容易被跳过,模型一次好看,后十次崩掉。Sundaram Kumar Jha 把新名字叫 verification driven development,名字换了,动作还是先定义可验证的好。
原文链接:https://x.com/sermakarevich/status/2123078038598365335
文章链接:https://x.com/i/article/2122698097268551680
参考:LangChain 的 What Is Eval-Driven Development,Anthropic 的 Demystifying Evals for AI Agents,OpenAI 的 Evaluation Best Practices。具体链接在原文参考列表里,引用观点以原文和上述回复为准。
发布时间: 2026-11-19 01:28