决策模型怎么用，先看概率准不准

决策模型最近被讨论得不少，但真正的问题是：什么时候该让它做选择？Joe Barrow 在 X 上发了一篇文章，专门解释 Perplexity Decider 的工作方式，以及决策模型的使用边界。原文配了多张 Excalidraw 图，适合对照看：Joe Barrow 的文章。

决策模型做的事很窄：给定输入，在候选动作里做选择。对普通用户，可以把它想成分诊台；对开发者，它是路由层。它不负责写完整答案，负责把请求送到更合适的模型、工具或流程。

问题在于，路由往往依赖置信度。一个决策模型说 80% 把握，实际只有 60% 对，按置信度分流就会把错误送进快车道。Latent Node 在回复里点得很直接：只按决策模型的置信度做路由，前提是概率校准。Typed Decisions 因此把校准和准确率一起评分。它给出的一组数据是：pplx-decider-v1.1-27b 在 2,000 个 zero-shot 决策上，accuracy 0.753，KL 0.441。数据集在 Hugging Face。

另一条讨论线是 Typesafe AI。George McCarthy 问，除了开源模型已经能复现的部分，Typesafe AI 是否还有“secret sauce”。外界的反应里有人拿“2 years in stealth”开玩笑，Jev 创始人则暗示他们的东西比一夜之间出现的开源模型更复杂。Joe Barrow 的回复很克制：不确定，但 RLCD 这种为校准决策做强化学习的训练方法，以及数据管道，可能有意思。这个判断没有定论，也没有必要急着站队。

Joe 还提到 @antoine_chaffin 等人的工作很值得看，能看到 Ettin 和早期 encoder 工作的影子。这类上下文比单看一个模型名更有用，至少能知道方法从哪儿来。

这件事的启发不复杂。决策模型的价值在路由，路由的价值在概率可信。准确率好看但校准差，决策模型会变成看起来很聪明的错误分配器。工程上先测校准，再谈接不接。对普通用户，决策模型是否无感，取决于系统有没有把不确定的地方留给人或更贵的模型。对开发者，Typed Decisions 这类基准比单看 demo 更有用，至少它把“自信得对不对”摆到了台面上。