每来一条消息就重读全文，Sage2 想把这步删掉

实时对话产品有一个不显眼的成本：每来一条新消息，模型要把整段 transcript 再读一遍。问题越多，延迟和费用越难压。Levanto Labs 发布的 Sage2，把抽取和决策拆成两个在同一个 live stream 上跑的模型，目标就是省掉这次重读。

Avi Chawla 在推文里给了背景。上一代 Jev 回答固定问题、固定输入，放到实时聊天里，每次更新都得重新读完整 transcript。Sage2 换了个结构：抽取模型把每条新消息转成结构化字段，耗时约 150ms，每个字段还绑定它来自的原文 span；这些字段成为决策选项。决策模型边读文本流边打分，返回带概率的类型化答案。整条链路从原始文本到动作约 200ms，不需要回读 transcript。Sage2 由 Levanto Labs 构建，团队称之前做过首个决策模型。

视频里是 Sage2 在宽带客服聊天中的演示，由 Avi Chawla 和团队一起制作。

Levanto Labs 在发布推文里给了两个数字：抽取模型比 Opus 5.5 便宜 166 倍，决策模型因为边读边处理上下文，速度快 3 倍。这两个数字有明确口径才有意义，尤其 166 倍便宜，得看任务、输入长度和对比版本。发布推文还提到 20M tokens 免费额度，以及 near_ai 和面向 agent 的 mpp 接入。

抽取模型新，团队说找不到现成 benchmark，于是自己做了 Extract Bench。12 个公开数据集，v0.1 有 1844 份文档，覆盖发票、收据、表单、合同、报告、邮件和问答。评分看字段准确率，也看文档里没有该字段时模型能不能正确返回 null。

榜单上，Sage2 字段准确率 77.8，不在文档中的字段答对率 72.2。NuExtract3 是 76.1 和 57.0，Clairic 是 75.3 和 59.0，Schematron-3B 是 59.9 和 54.3，GLiNER2.5 是 35.7 和 44.1。

这个榜由 Levanto 维护，Sage2 也是他们卖的，读榜时得把这点算进去。Sage2 的拒答阈值还在 fit half 上调过。好在 benchmark 开源，预测、复现脚本和 CI 重打分都在 GitHub 上。

评论区比发布文案更值得看。有人问，用户在对话中间改口、否定前面说过的内容，Sage2 怎么处理。有人追问，如果决策需要解释抽取器此前丢掉的内容，而 Sage2 只存了抽取后的事实，那段上下文不重读 transcript 就找不回来。还有人问，既然已经有结构化字段，为什么不直接写逻辑规则，非要再加一个决策模型。另一个偏工程的问题更具体：中间分数什么时候触发第二次检查。

发布会视频回答不了这些，得看实际系统怎么设计。Sage2 值得看的地方，是把实时对话里的状态更新拆成可测的工程原语：抽取有字段和来源 span，决策有概率和延迟。实时系统贵的地方，往往是错了之后怎么改。这个环节，benchmark 上的 77.8 分帮不上忙。

来源：Avi Chawla 推文、Levanto Labs 发布推文、Extract Bench GitHub。