别信 demo,信数字:一份完整的 AI 评测打包
Sergii Makarevych 在 X 上打包了四篇 eval 长文:通用评测、agent 评测、eval 驱动开发、技能评测。评论区有人补了 NVIDIA 的开源工具 SkillEvaluator,把技能评测变成自动检查门禁。核心结论:别信 demo,别信单个数字,先检查你的 grader。
Sergii Makarevych 在 X 上发了一条帖子,标题是 Full package on evals。四个链接,四篇长文,把 AI 评测从通用到 agent 到技能全部打包。有网友在评论区说,一直在找能学 evals 的资源,太有用了。
四篇有个共同特点:每个数字都有出处,要么来自可运行的教程,要么来自发表的论文。如果只留一句话:别信 demo,别信单个数字,先检查你的 grader。
第一篇,通用评测:eval 由四部分组成
通用评测是基础。eval 是一个可重复的测试,用一个可信的数字告诉你,AI 系统有没有做你让它做的事,以及一次改动是变好还是变坏。
为什么需要它:语言模型不像普通软件。普通软件要么工作,要么崩溃。语言模型会流畅地、自信地、格式漂亮地给出一个错误答案。读一个正确答案,对后面一百个毫无预测力。
文章用一个虚构的自行车店客服助手跑完全程:60 张测试工单,triage 准确率 0.700,95% 置信区间 [0.583, 0.817]。真正值得记住的结论在 grader 上。模型 judge 和人工标注只在 36/60 个案例上一致,kappa 0.15。60% 的一致率听起来还行,但如果 judge 对一切都说“通过”,它也有 57% 的一致率,因为大部分回复本来就是通过的。kappa 扣掉了这部分运气。0.15 意味着这个 judge 基本等于瞎猜。
judge 还有五个已知偏见:位置(先展示的答案占便宜)、长度(长的赢)、自偏好(偏爱自己模型家族的风格)、把满意度当成功、以及 judge 身份(换个模型,赢家就变)。每一条都有对应的修复方法。
一个被反复引用的审计结果:GAUGE 用 25 个 agent、3700 条对话实测,只看到用户可见对话的 judge,区分正常 agent 和损坏 agent 的能力接近抛硬币(AUC 0.49)。给它工具调用和数据库状态,失败风险减半(AUC 0.73)。judge 模型多强不重要,给它什么证据才重要。
第二篇,agent 评测:看状态,别听回复
agent 评测讲 agent。普通模型只输出文本,agent 还会调用工具、改数据库。评测的重点变了:它做了什么,不只是它说了什么。
最有力的例子:一个只读最终回复的 grader,60 次运行通过了 58 次。而一个什么都不做、只会回“已处理”的 agent,在同样的只读检查里 20 次全过。只看对话不看状态,等于没测。
agent 评测需要两个数字。pass@k 是能力:试 k 次至少成一次。pass^k 是可靠性:k 次每次都成。客户体验到的是后者。文章跑出来 pass@3 0.85,pass^3 0.75,但按任务类别拆开:政策拒绝 1.00/1.00,普通操作 0.82/0.73,升级路径 0.50/0.00。平均值是真的,但没有用。
失败要归因到具体步骤,而不是记一个分数。文章里 12 个失败案例全部能回溯到第一个出错的工具调用:6 个是任务本身写错了,6 个是 agent 在退款前就回复了客户。一个类别解释了所有真实失败,修复方向明确。
第三篇,eval-driven development:先写测试,再写系统
eval-driven development讲流程。先把“好”定义成可测试的 eval,再开始选模型、配检索、定架构。之后每个选择都从争论变成测试。
几个可以立刻抄走的数字:
- 同一个 case 跑 3 次。3 次都同意,大概率稳定;3 次不一致,这个 case 就是 flaky,给它 5 到 10 次重复。
- 20 个 case 的测试集,每个 case 值 5 个百分点。100 个 case,每个值 1 个点。想在 60 个 case 上可靠检测 5 个点的回归,做不到,检测下限是 12 个点。
- 代码能判定的交给代码,judge 只看需要阅读才能评分的东西:语气、政策界限、清晰度。
- 留一个 hidden set 不参与调优,防止 overfit。
第三篇有个好比喻:一个分数是“点”,dashboard 是连接这些点的“线”。质量、成本、延迟三条线一起看,才能发现坏交易和缓慢退化。
第四篇,技能评测:大多数共享 skill 没有用
技能评测最反常识。skill 就是一段文本,装进 agent 的上下文,不改变模型本身。作者的测试框架:把 skill 拆成核心观点,每个观点配一个可测假设,然后测两个数字。adherence,agent 照做了吗。effect,做了之后有用吗。低 adherence 是文本的问题,高 adherence 加平 effect 是想法的问题。只看结果,分不清这两种失败。
数据不好听:
- 49 个公开的软件工程 skill,39 个零增益,平均涨 1.2 个点,token 开销最多涨 451%。
- 31,132 个 marketplace 技能,26.1% 带至少一个漏洞模式。
- 一台开发机上装了 89 个 skill,81 个从未被调用。
- 模型自己决定要不要加载 skill,触发率在多个测试里只有一半左右;列表越长,选对的概率越低,从 5 个 skill 时的 29.6% 掉到 100 个时的 3.3%。
结论直接:安装一个共享 skill,相当于合并一个陌生人的 PR,而且这个 PR 没有测试。要么先自己测,要么别装。
附赠一个工具:NVIDIA SkillEvaluator
Christopher K 在评论区补了一个项目,正好把第四篇的方法论变成能跑的代码。NVIDIA 的 SkillEvaluator,Apache 2.0,实验阶段。
它分三层。Tier 1 静态检查:500 多条规则,查质量、schema、PII、license、依赖漏洞,不需要 LLM key。里面有个 harness-check 很实用:检查你的 agent 会不会真的加载这个 skill,而不是装完吃灰。Tier 2 查重复和重叠。Tier 3 跑真实 agent,对比有 skill 和没 skill 的效果差。
接入方式是现成的 CI 模板。GitHub 或 GitLab 仓库里跑一条 skillevaluator ci init,自动生成 workflow,之后每次 skill 改动自动跑检查。门槛比第四篇描述的完整评测低很多,正好补上“共享 skill 没人测”这个缺口。
这套东西真正值钱的地方
四篇文章反复出现同一个建议:先读一百条真实输出,再写 grader。先跑一个什么都不做的 agent,再信任何数字。先检查 judge 和人类的一致率,再让 judge 决定发不发布。
工具能自动化的部分,SkillEvaluator 已经做了。读数据这件事,机器替代不了。这份打包值得收藏,不是因为它全,而是因为它把评测从“感觉没问题”变成了“数字说可以,并且我知道数字为什么可以”。
发布时间: 2026-11-20 00:42