Wink Pings

61% 的完美率也叫 SOTA,文档提取开始按"输不起"定价

LlamaIndex 给 Extract 的 Agentic Plus 加了个 max effort 开关,最难文档的字段准确率从 12.7 拉到 95,单份价格从 7 分钱涨到 4 块 2。官方说这是为必须 100% 准确的场景准备的,可自家人 bench 上的完美率只有 61%。

文档提取的难点从来不在干净文件上。

发票、合同、标准 PDF,现在随便一个提取 API 都能跑出九十几分。真正让流水线停摆的是另一批东西:几百页的保险费率申报、满屏曲线的测井图、建筑蓝图,还有 2012 年那种一页塞了八个图表的 Excel 导出。这类文件的共同点是,模型看一眼就觉得自己读懂了,错的地方还不报错。

LlamaIndex 今天给 Extract 的 Agentic Plus 档位加了个开关,max effort。官方说法很直接:这是给"绝对需要 100% 提取准确率"的场景准备的,处理的是最密的文档和最复杂的 schema。

Max effort

判断一个提取功能值不值,看两个数就够:同等成本下能多准,准到极限要花多少钱。

LlamaIndex 给出的第一个数字是 61%。在自家 ExtractBench Pro 上,max effort 的完美提取率是 61%,官方称这是新的 SOTA。所谓完美提取,指的是整份文档所有字段全对,一个都不能错。同时字段级的 Value F1 从标准 Agentic Plus 的 77.7 升到 94.3。

这两个数字放在一起才好理解。字段级 94 分意味着大部分字段是对的,但只有 61% 的文档能全对,剩下 39% 里至少有一个字段出了问题。有人在评论区直接点出来:你宣传的是"需要 100% 准确率时用",结果 SOTA 是 61% 完美。在保险费率申报这种场景,这个差距还是意味着每个字段得有人复核,复核环节应该写进宣传里。

这个批评成立。61% 不丢人,但它决定了这个功能到底是什么:给人工复核兜底的高精度预处理,还是省掉复核的替代品,这是两门生意。

成本质量曲线

曲线图横轴是每页成本,纵轴是质量。max effort 把曲线右上角往外推了一截,位置压在 Codex Astra 和 Claude Code + Opus 后面。官方说法是在性价比上赢过这两个组合。

分档数据能看出这套东西的真实用法。博客列了六类挑战在标准档和 max effort 下的对比:

类别Value F1(标准 → max)单份成本(标准 → max)
长而密的页面12.7 → 95.0$0.075 → $4.19
关系图49.3 → 98.7$1.32 → $3.45
文档惯例97.5 → 99.8$2.98 → $4.74
自定义术语98.6 → 99.7$3.25 → $3.37
图表94.3 → 95.0$1.67 → $2.60
计数67.6 → 68.7$1.41 → $1.55

长而密的页面,Value F1 从 12.7 到 95.0,单份成本从 7.5 美分到 4.19 美元,涨了 55 倍。关系图从 49.3 到 98.7,成本不到 3 倍。图表类只从 94.3 到 95.0,成本从 1.67 到 2.60 美元。计数类几乎没动,67.6 到 68.7。

这本质上是个路由问题。同一个开关,放在长密页面上是雪中送炭,放在计数题上是白花钱。有网友总结得挺准:先读成本那一列,再决定开不开。max effort 是按文档类型路由的决策,拿一个错字段的代价去定价。

机制层面,标准档为了保持每页价格可预测,把 PDF 渲染成图片时会牺牲分辨率。图表上的数字太小、图例颜色太接近,就糊了。max effort 遇到需要的区域会用更高分辨率重看一遍,专门对着图表和示意图放大读数。

高分辨率重读对比 1
高分辨率重读对比 2

评论区有个问题问到了点子上:是重新裁剪图表读第二遍,还是整页一次大扫描?从官方描述看更接近前者,按需局部放大,而不是全页统一提分辨率。这也是它能把成本控制住的原因,只在需要的地方多花算力。

用法上没什么门槛。Python SDK 里就是在原有 configuration 加一行:

configuration={
    "tier": "agentic_plus",
    "effort": "max",
    "version": "latest",
}

schema 和其余选项都不动。官方建议先在代表性样本上跑一遍,对齐 schema,看清楚质量和成本再迁移,别一上来全量切。

文档提取这门生意正在从"每页多少钱"变成"错一个字段值多少钱"。这个转向对买方是好消息,至少价格和风险挂上钩了。但对卖方来说,真正的考验不是 bench 上的 61%,而是能不能把剩下那 39% 标出来交给人类。没人会因为 61% 完美率付 55 倍的钱,除非系统能告诉他,哪 39% 需要看。

发布时间: 2026-10-31 15:50