Eval Optimizer:Agent评估不必每次都用前沿模型,成本直降50倍
Judgment Labs发布Eval Optimizer,自动为每个评估分配合适的计算。官方称一个客户案例中,单次评估成本从约0.06美元降至0.0016美元,降幅30-50倍。
Agent 数据评估有一个隐藏的浪费:所有检查都用同一个顶级模型跑。有的问题其实几行代码就能判断,有的需要一个轻量分类器,只有少数需要完整的长上下文推理。
Judgment Labs 今天发布了一个叫 Eval Optimizer 的工具,定位是一个“路由器”:你描述想评估什么,它自动选择 judge——也就是评判模型——并配置好评估流程。这里的 judge 可以是一段确定性代码、一个决策模型、一个 LLM,甚至一个完整的 Agent。官方博客里给出的客户案例,单次评估成本从约 0.045–0.075 美元降到 0.0016 美元,便宜了 30–50 倍。
评估为什么这么费事
Agent 数据评估,看起来复杂,本质就是同一件事:让一个模型或者一段代码,读一遍轨迹,然后打标签。轨迹是 Agent 和外界交互的记录。评估可以发生在实时监控、上线前离线测试、或者事后数据分析。差别在于什么时候跑、跑在哪份数据上。
所有评估都要先配置 judge。这个配置过程目前很手动:你得读轨迹,定义 rubric(什么算通过,什么算不通过),定 scope(只看一个回合还是整个会话),再选模型和计算量。rubric 通常要来回跑好几轮,才能和人的偏好对齐。
Eval Optimizer 要做的,就是把这套配置里能自动化的都自动化。它读取轨迹,找到每条 rubric 的证据集中在哪里,然后决定用哪个档次的模型。判断“Agent 有没有调用 complete_task 工具”,几行确定性代码就够,没必要让一个前沿模型跑在 8×H200 节点上。判断“用户是不是有点沮丧”,一个决策模型可能就行。只有当证据需要大上下文、判断需要真推理、或者要查外部环境(比如代码仓库、数据库)时,才轮到 LLM 或完整 Agent。
这个分区逻辑可以画成一张图:横轴是轨迹跨度,纵轴是 rubric 难度。确定性代码覆盖程序化检查,决策模型覆盖小上下文分类,LLM 负责需要推理或解释的,Agent 负责长轨迹加外部验证。边界是灰色地带,也是最难定的部分。
这里有一段官方演示视频,展示从用户描述到 judge 创建的过程:
客户案例:30–50 倍成本削减
官方给了一个客户案例。这个客户跑的是窄问题:一个回合的结果、用户首轮查询类型。他们的轨迹平均约 1 MB。如果用 LLM 读完整轨迹,单次评估预估 0.045–0.075 美元。Eval Optimizer 把这些问题路由到决策模型,同时用代码预处理只抽出决策模型需要的证据,单次降到 0.0016 美元。官方说这还不是最极端的配置。
有网友在评论区指出,便宜的 judge 可能随着 Agent 行为变化而漂移。解决办法是定期用贵的 judge 对一小份随机样本重新打分,盯着它。还有网友担心,不同评估之间分数是否可比,建议保留一个固定的前沿模型作参照。这些都是在实际使用中值得注意的问题。
接下来要做什么
官方列了三个方向:一是发一篇深度技术文章讲预处理代码如何生成、怎么安全地规模化运行;二是为评估定制推理——judge 配置完,负载是已知的,可以共享工作、优化吞吐;三是用客户自己标注的轨迹微调小型决策模型,让 judge 更准更便宜。
这篇发布最值得注意的点是:评估不该按模型大小收费,而应按问题难度。不是每个 Agent 评估都配得上一个前沿模型,但也不是所有问题都能用几行代码打发了。Eval Optimizer 恰好卡在中间,把“用什么模型”这件事变成可选,而不是默认。
发布时间: 2026-11-20 07:49