Wink Pings

Baseten 发了个 2B 模型:不聊天,只给概率,20 毫秒一次判断

它返回校准概率,P50 延迟 20 毫秒,输入百万 token 只要 0.01 美元。这个 2B 开放权重模型把问题从写一段话改成做一个判断。

Baseten 发布了 joey-1。一个 2B 参数、开放权重的决策模型。它不生成文本,输出的是校准概率。P50 延迟 20 毫秒,输入成本每百万 token 0.01 美元。信息来自 MarkTechPost 作者 Asif Razzaq 的报道。

我们习惯了让模型说话。问它问题,它回一段话;给它资料,它写总结。joey-1 走的是另一条路:只举手报一个概率。比如输出 0.82,意思是模型判断这件事为正例的可能性是 82%。校准概率的价值在于,这个 0.82 应该尽量接近真实频率:在类似样本里,大约 82% 确实是正例。业务侧拿到数字后,可以按阈值做决定,不必再让另一个模型去读一段自然语言。

这类模型解决的是高频判断的痛点。内容审核、风险打分、工单分流、推荐过滤、质检抽检,很多环节要的是快速给一个可比较的分数,再按规则处理。通用聊天模型也能做,但生成 token 有解码开销,输出还带格式波动。joey-1 把输出压成概率,链路更短,成本也低。20 毫秒 P50 延迟和每百万输入 token 0.01 美元的价格,适合放在需要反复调用的位置。

开放权重意味着权重可获取,具体许可证、上下文长度、训练数据这些细节,素材里没有披露,使用前得自己确认。2B 参数也说明它不打算包办所有任务。它更像一个专用判断器,适合边界清晰、标签定义稳定的场景。概率校准得在真实业务分布上验证,分布漂移时阈值也要重新看。

一个观察:模型圈最近总在比谁更会聊天,joey-1 这类模型反着来,把语言拿掉,只留判断。它不一定更聪明,但可能更接近很多业务真正想要的东西:一个便宜、快、可解释成阈值的分数。原文链接:https://www.marktechpost.com/2026/10/29/baseten-joey-1-2b-decision-model/

发布时间: 2026-10-30 05:20