Eval框架最大的坑:你从没检查过评分器
评分器是系统的一部分,不是中立标尺。作者梳理16个eval框架,帮你避开选型误区:先定层次,再选框架,最后校准你的judge。
语言模型失败得很流畅:它给出的答案自信、结构完整,但可能是错的、不安全的、或者凭空捏造。读一个正确答案看不出问题,下一个可能就翻车。Eval框架就是把这个担忧变成循环:收集输入、跑系统、打分、保存对比。
但在选框架之前,有一个更根本的问题:你要测哪一层?最终答案、单个步骤、工具调用、整条轨迹、多轮对话、成本,是不同的检查。选错层,后面全错。
Sergii Makarevych 在一篇长文里梳理了16个eval框架。他给出的核心警告是:评分器是系统的一部分,不是中立标尺。每个eval都需要两个数字:产品有多好,以及评分器与人的一致率。最常见的自欺方式,是相信一个没校准过的judge。
四个基本部件
几乎每个框架都绕不开这四件事:
- 数据:测试用例,输入+期望答案+上下文
- 目标:被测系统,模型、prompt+模型、链、agent、retriever
- 评判:打分器,代码规则、模型判官、决策模型、人
- 运行:保存比较,实验、日志、矩阵
六个层次
作者把16个框架分成六个层次。
Level 1: 共享形状
每个框架的eval都长一个样:数据、目标、评判、运行。名字不同,本质一样。
Level 2: 代码优先
代表是Inspect。它把agent solver实现成一个循环:模型调用、工具、文件读取、沙箱、记忆、子agent。沙箱让模型写的代码跑在不碰你电脑的隔离环境里。打分可以是正则、相似度、模型判官、自定义代码。
一段Inspect的代码示例:
from inspect_ai import Task, task
from inspect_ai.dataset import example_dataset
from inspect_ai.scorer import model_graded_fact
from inspect_ai.solver import generate, system_message
@task
def security_guide(system="devops.txt", grader="expert.txt"):
return Task(
dataset=example_dataset("security_guide"),
solver=[system_message(system), generate()],
scorer=model_graded_fact(template=grader)
)
DeepEval把pytest变成runner,在CI里像跑单元测试一样跑eval,现成指标多,但轨迹指标需要自己的tracing。Pydantic Evals用类型化case和报告,支持每个case独立judge,还能线上采样。还有一个新兴的SkillEvaluator,专门测skill文件夹本身的加载、重叠和行为提升,约4000星星,但支持还是实验性的。
Level 3: 配置优先
lm-evaluation-harness用YAML定义任务,跑公开基准,稳定靠seed和repeats。Promptfoo用YAML矩阵测prompt×provider×case,断言种类丰富,包括工具调用和RAG,适合快速回归。
Level 4: 平台
Braintrust把实验当产品,数据集不可变,门禁写进CI,线上规则带采样。MLflow GenAI是自托管替代,judge目录更大,用pytest做门禁。
Level 5: 可观测性
Langfuse把evaluator挂到trace和dataset上,线上+线下闭环,有成本控制。LangSmith适合LangChain栈,但只能托管。Phoenix用纯函数evaluator,有预置的路径模板。TruLens的RAG三件套和judge校准是卖点。Evidently做表格行级检查,适合表数据。
Level 6: 单用途指标
Ragas只干一件事,把检索和生成分开打分。四个核心:faithfulness、answer relevancy、context precision、context recall。注意context recall必须有reference。Ragas本身不提供历史记录和门禁,要嵌入别的loop。
选型速览
| 层次 | 代表框架 | 适合 |
|---|---|---|
| 代码优先 | Inspect, DeepEval, Pydantic Evals | 带工具的agent,需要沙箱或pytest门禁 |
| 配置优先 | lm-harness, Promptfoo | 基准对比、快速回归 |
| 平台 | Braintrust, MLflow GenAI | 需要版本化实验和门禁 |
| 可观测性 | Langfuse, LangSmith, Phoenix | 调试线上路径 |
| RAG指标 | Ragas | 只调检索或生成 |
几条行动规则
- 先定层次,再选框架。
- 评分器必须有自己的成绩。先测它和人的一致性。
- 代码优先适合带工具和状态的agent;配置优先适合基准数字和快速矩阵。
- 平台买来了版本化数据、对比、门禁和线上闭环,但买不来统计重复。
- 可观测性工具买来调试能力,但需要显式judge和阈值才能说好话。
- RAG指标告诉你问题在哪:低precision修检索,低faithfulness修生成。
来源
基于 Sergii Makarevych 的文章《How to pick an eval framework that checks what you ship》,原文链接:https://x.com/i/article/2124208252066152448 。作者观点是:eval框架的价值不在指标数量,而在能不能把失败变成数据集,再把数据集变成门禁。
发布时间: 2026-11-22 05:40