Jev 的 12 个用法，和一个会改掉所有阈值的坑

Jev 容易被当成又一个提示词框架。按 TypeSafe AI 的定义，它更像一个类型化判断接口：给定状态，返回有类型的答案和概率，下一步动作和执行权仍在普通代码手里。

Daily Dose of Data Science 的这条帖子把 Jev 的 12 个 agentic 用例列了出来。Sriram 的总结很直白：LLM 擅长创建东西，Jev 被设计来决定下一步该发生什么。论文摘要也把边界写清楚：观察、语义判断、确定性政策、授权行动、结果检查，要分开。证据支持有界任务的实验，不支持张嘴就说 100 倍提升。

12 个用例，按原帖顺序：

1. Browser next action：把当前 DOM 状态转成有界动作，比如 click、type、stop。代码只执行合法的操作和目标对。
2. Context compaction：判断长 agent trace 里哪些事件该留下。选中的文本保持原文，不被生成式摘要替换。
3. Skill and context loading：把当前用户轮次和可用技能比对，只加载这一轮需要的指令。
4. Typed tool-call compilation：把自然语言请求映射到函数，并填好有类型的参数。每个参数单独判断，再让代码决定是否执行。
5. Citation verification：检查引文是否存在，周围证据是否支持主张。输出可以是 supported、unsupported、contradicted。
6. Extraction verification：先跑便宜的提取器，再用 Jev 验证可疑字段。干净记录走快路径，不确定的交给推理模型。
7. Agent trace evaluation：把原始轨迹转成可查询标签，比如进度、重复。避免再让一个 LLM 给每次运行写完整评语。
8. Semantic regression tests：用 trace 套件回放新 agent 构建。语义检查可以在 CI 里拦截提示词、模型、工具和政策变更。
9. Jevgrep code search：按代码做什么来搜，不按字面词搜。Jev 给候选片段打分，把更相关的代码排前面。
10. Entity alignment：比较两条候选记录，决定合并、复核还是分开。候选生成保持确定性，语义身份判断交给 Jev。
11. Retrieval reranking：先用 embedding 召回大候选集，再用 Jev 按相关性重排。生成模型先拿到最有用的证据。
12. Memory promotion gate：抓取完成的 agent trace，判断其中的修正是否包含可复用经验。有 trace 支撑的教训可以提升，任务噪声丢掉。

这份列表最值得看的点，是权限收窄。普通代码很难可靠表达语义判断，Jev 把这类判断压成有界问题，返回类型和概率。模型不拿方向盘，代码继续覆盖工作流。对生产系统来说，这比让模型多写几段自然语言更实际。

坑也在概率上。John Rood 提到 label-set drift：加一个合法答案，所有按旧选择集校准的阈值都变得可疑。Avi Chawla 回复说，这些概率条件于候选集，所以模型和提示词不变，加一个标签也会改变其他概率。真正可部署的单元是模型、提示词、tokenizer、标签集和阈值一起。很多团队给模型打 tag，给提示词打 tag，却不给标签集打 tag。等业务加一个答案，旧阈值全成历史遗迹。

开源侧有人在试。Hemant 训练了 Verdict 2.0，基于 150M ModernBERT，用 permutation-invariant KL 训练，把 option-order flip rate 降到 4.76%，之前因果 LLM 上交换选项顺序会翻转预测超过 7%。在 typed-decisions benchmark 上，他报告 77.10% 对闭源 Jev 的 72.70%，Brier 分数 0.0636。数字是否可复现要看评测脚本和权重，但方向很清楚：Jev 这类判断器可以很小，也可以本地跑。Beni 还贴了一个 MLX Apple Silicon 的开源项目。

回复区有人追问 memory promotion：什么证据能让一次修正跨出产生它的任务？这比用例清单更接近落地。12 个方向都能做 demo，能把决策 schema、标签集、阈值和证据标准一起版本化的人，才会在生产里少挨打。