Wink Pings

1B token 的 Agent 轨迹,LLM 评委已经读不动了

Judgment Labs 测了 100 条最长 2M token 的轨迹:超过 1M 后,Agent-as-a-Judge 比 LLM-as-a-Judge 高 0.21 F1,成本低 62%。长轨迹把评估变成了搜索问题。

长轨迹把评委逼到墙角

长时程 Agent 现在一跑就是几小时,吐出几十万到上百万 token。Judgment Labs 给了一个数:平台上有 20% 的轨迹超过 1M token,最长的一条超过 1B。LLM-as-a-Judge 的老办法开始撞墙:装不下、读长了会漂、成本随长度线性涨。

这不是小问题。OpenAI 的 GDPval 里,专家任务平均 7 小时,有的按周算;METR 测过,最好的 Agent 在人类专家 1 小时的任务上只有约 50% 完成率,到 Claude Opus 4.6 已经接近 12 小时任务。Anthropic 那边 16 个 Claude Opus 4.6 Agent 并行,做出了一个受限 C 编译器,人类专家单干要数周或数月。任务越长,评委越难从几百次工具调用里找出证据。

错误藏在轨迹的哪里

以迁移客户记录为例。指令说只有邮箱一致才合并重复记录。Agent 在几百次工具调用前把同姓客户合并了,最后报告说迁移成功。评委要找到开头指令、中间每次错误合并、结尾的成功报告,再把它们连起来。

Rubric 的证据位置分三类:

  • 单轮就能判断:有没有泄露 API key。
  • 附近几轮能判断:工具失败后有没有恢复。
  • 散落在整条轨迹:最终总结和实际发生的事是否一致,用户开头设的约束有没有被遵守。

第三类最值得抓,也最难。Agent 长跑后是否还在策略内,答案可能在任何位置。常见做法是把整条轨迹塞给 LLM 评委,让它自己找。轨迹一长,三个问题一起出现:

  • 装不下。很多轨迹超过 1M token 上下文窗口。
  • 准确率下降。即使塞得下,上下文腐烂也会让评委在触顶前变差。
  • 成本上涨。评委读每个 token,生产规模下越来越贵。

两条路线:先筛后判,还是让 Agent 去找

Judgment Labs 比较了两类方法。

第一类,先切块,再筛,再判。把轨迹切成能放进筛选模型上下文的小块,块之间重叠,避免证据被切断。筛法有两种:小模型从每块里抽原文引用,再交给 LLM 评委;或者用 Jev 这类决策模型给每块打相关、不相关、不确定,LLM 只读保留下来的块。

第二类,Agent-as-a-Judge。评委变成搜索者,用工具在轨迹里找证据。它根据已找到的线索决定下一步查哪里,能把相隔很远的证据拼在一起。

它的 harness 有几个设计点:

  • 轨迹暴露成 SQL 表 spans,一行一轮。Agent 用 SQL 查,也能全文搜索测试名、报错信息。
  • 重活放到无状态执行服务,写大查询、解析 JSON、只取需要的字段,不把结果全塞回上下文。中间状态放 KV store。
  • 每轮带元数据,类型、轮次、父级、工具名,Agent 可以先用元数据缩小范围。
  • 不需要沙箱。Codex 或 Claude Code 跑日志要复制到带 CPU 和内存的沙箱里,它直接查轨迹所在的数据库,只拿回请求的行。

基准怎么测

他们用内部数据造了 100 条轨迹,长度分别是 100K、500K、1M、1.5M、2M,每种 20 条。Claude Sonnet 5.5 当 oracle,人在回路里收集证据,再放入干扰项。

Rubric 选了两个需要扫全轨迹的:幻觉,找出 Agent 声称工具输出支持、实际不支持的所有地方;策略遵守,找出 Agent 跳过的每一步技能。评分看证据 F1,召回和精确率等权,防止评委靠全标或只标确定项刷分。

模型用了 GPT-6 Luna、Claude Haiku 5.5、GLM 5.3、DeepSeek V4.1,以及 Claude Sonnet 5.5 oracle。每个模型跑三种配置:LLM-as-a-Judge、Jev 到 LLM-as-a-Judge、Agent-as-a-Judge。

结果:超过 1M 后差距拉大

四个模型平均:

  • 1M token 以内,Agent-as-a-Judge 证据 F1 0.85,LLM-as-a-Judge 0.70,Jev 到 LLM 0.66;成本比 LLM-as-a-Judge 低 42%。
  • 超过 1M,也就是 1.5M 和 2M,Agent-as-a-Judge 比 LLM-as-a-Judge 高 0.21 F1,比 Jev 到 LLM 高 0.27;成本低 62%。
  • 2M token 时,Agent-as-a-Judge 平均 0.80 F1,每次评估 0.49 美元;LLM-as-a-Judge 0.60 F1,1.48 美元。

原文里的对比 GIF 和图表在这里:https://x.com/i/article/2122744513387220992

为什么筛块不够

筛块能把评委送过上下文窗口,但它在局部判断哪块重要。一个 turn 是不是证据,经常取决于另一块里的 turn。

例子:报告说所有测试通过。它在自己的块里像普通总结;230 轮前的测试失败,在自己的块里像 Agent 后面可能修好的问题。两半分开看都无害,筛选器可能丢掉任意一半,也分不清长得像的无关内容。

LLM 到 LLM-as-a-Judge 在 100K 左右还能打,GLM 5.3 和 Haiku 5.5 到 0.94 至 0.98 F1。一旦开始切块,就平台化。到 500K,所有模型落到 0.61 至 0.68 F1。到 2M,GPT-6 Luna 和 DeepSeek V4.1 只找到 120 个失败里的 55% 和 53%。换贵模型帮助不大,GLM 5.3 在 2M 是 0.66 F1,Haiku 5.5 是 0.58,成本差 10 倍。

Jev 到 LLM 也有三个问题:过度保留,77% 含失败的块被留下,36% 不含失败的块也被留下,只砍掉 29% 至 45% 的轨迹;证据被拆开,42% 的失败对只有一半通过筛选;最后 LLM 仍是瓶颈,2M 时 DeepSeek V4.1 召回 53%,不用 Jev 也是 53%。

Agent-as-a-Judge 不逐块判,它去找相关轮次。读到报告说测试通过,就搜测试运行在哪。两半证据不管隔多远都并排出现。DeepSeek V4.1 从 100K 到 2M 保持在 0.94 至 0.995 F1。弱模型会漂,Haiku 5.5 从 0.89 降到 0.73,GPT-6 Luna 到 0.74,但仍比同模型跑 LLM 到 LLM 高 0.15 至 0.21 F1。

成本也反过来。LLM 到 LLM 读每个 token,成本线性涨。GLM 5.3 从 100K 的 0.21 美元涨到 2M 的 4.03 美元。Jev 本身便宜,每百万 token 0.042 美元,但过度保留,2M 时 Jev 到 LLM 仍要花 LLM 到 LLM 的 70% 至 97%。Agent-as-a-Judge 起步有脚手架成本,但每步只读一小片,重复上下文还能缓存。2M 时每个模型都最便宜:GPT-6 Luna 0.10 美元对 0.71 美元,GLM 5.3 1.26 美元对 4.03 美元。

还没解决的问题

有网友在回复里提到几个尖锐点。John Rood 说,带手的评委赢了,不是窗口更大的评委赢了;LLM 评委读的是 Agent 对自己工作的说法,正是 Agent 已经相信的版本。Karan Jagtiani 想看一个数:评委的证据有多少来自原始轨迹,多少来自 Agent 自己的进度笔记。Exori 问,轨迹里如果有直接写给评委的话,会发生什么。pasandida(:)aura 问,没有植入失败的运行里,评委多常误报。

Judgment Labs 自己也列了开放问题:

  • Rubric 要够具体。模糊 rubric 会把评估变成困难的搜索问题。说清楚什么算证据,Agent 才知道什么时候停。
  • 语义搜索。全文搜索能找到报错信息、测试名,但很多 rubric 关于意思,不关于字面。矛盾的说法和工具结果很少共享同一个词。向量搜索和语义搜索可能有用。
  • Harness 里放子 Agent 和决策模型。主评委可以分给子 Agent 查轨迹的不同部分;也可以先取回可疑失败的两半,再让决策模型一起打分。
  • 不只查轨迹,还要查环境。有些失败只在 Agent 改过的世界里出现,比如数据库行在报告修好后仍然是错的。评委能查状态,才能验证轨迹本身验证不了的声明。

Judgment Labs 的产品已经公开,做长轨迹 Agent 的 tracing、监控和离线评估。产品页:https://judgmentlabs.ai

发布时间: 2026-11-18 09:32