16个eval框架看完,评判器才是最大的盲区
Sergii Makarevych 对比了16个 eval 框架,重新梳理了自己的 agent 评测方法。核心不是选哪个工具,而是先分清楚你在测哪一层,以及确认你的评判器不是个没校准的尺子。
Sergii Makarevych 在 X 上发了一条推文,说他研究完 eval 框架后,正在重构自己的 agent 和 eval 构建方法。他附了一张映射图,把 eval 类型、测试内容、以及 agent py 文件的引用对应起来,用来展示代码该怎么隔离,eval 才能跑起来。
他之前还写过一篇长文,对比了16个 eval 框架。那篇长文的核心结论,浓缩成几件事:
第一,所有能用的框架都在逼你做同一套四件套:数据(测试用例)、目标(被测系统)、评判(打分器)、运行(保存对比)。框架之间的差别只是这四样东西的形态和深度。
第二,评判器本身是系统的一部分,不是一个中立尺子。大多数团队自欺欺人的方式,就是拿着一个未经检验的 judge 给出的高分当证据。所以每个 eval 都需要两个数字:产品好坏,以及评判器和人的一致性。
第三,框架能评的层次,从细到粗:最终答案、单个步骤(比如一次检索、一次工具调用)、工具选择本身、整条路径、多轮对话、成本。不同层次的问题需要不同框架。lm-evaluation-harness 只适合跑公开基准和可复现的模型对比;Inspect 适合有工具、有沙箱的 agent 场景;Braintrust 或 MLflow 适合需要版本化数据、发布门禁、以及生产失败自动变成测试用例的平台。
第四,RAG 场景应该把检索和生成分开打分。Ragas 就是干这个的,四个指标:faithfulness、answer relevancy、context precision、context recall。分开打分才知道该调索引还是改 prompt。
评论区有一些值得注意的补充。有网友说,很少框架让你测试评判器本身,他会专门生成一些作弊输出,骗过评判器,看看哪些漏洞会漏过去。还有网友指出,trajectory 和 tool-call correctness 这些词在框架间还没有固定含义,同一份带正确答案的 trace 拿给两个框架跑,它们会在不同地方判定对错。这意味着,你选的框架其实定义了你的测试。
有人问了一个实际问题:这16个框架里,有没有哪个能把一条生产环境的坏 trace 一键变成新的测试用例。从评论看,这个循环似乎还是得自己手搓,平台型工具能辅助,但不是免费午餐。
回到那张映射图。作者在重构时,第一件事是把 eval 的类型和要测的东西明确下来,然后让 agent 的代码按可被 eval 的方式隔离。这个原则比选哪个框架更重要。因为如果你不知道自己在测哪一层,任何框架都救不了你。
原文链接:How to pick an eval framework that checks what you ship
发布时间: 2026-11-23 05:51