Wink Pings

把AI决策从云端搬回本地:8.6ms/条,Weavetab Gate开源

Weavetab Gate发布:决策模型在本地CPU运行,8.6ms/条,一次调用可处理1万条输入。Apache-2.0开源,同步上线npm、PyPI和crates.io。对比gemini-decision-1的基准已放出。开发者讨论指向一个方向:本地与云端,各管一段。

Weavetab Gate发布。它把Choice、Yes/No、Rubric这类决策任务放在本地CPU上跑——从几个选项里选一个、做二分类判断、按标准打分。都是轻量任务,不必按token付API费用。

官方数据:8.6毫秒一条,一次调用处理1万条输入。Apache-2.0,代码同步发布到npm、PyPI、crates.io。

与gemini-decision-1的对比基准也已放出。

Weavetab Gate benchmark对比图

有开发者评论,需要一个云版本,这样基准测试才公平。Weavetab回了一个词:bet。

ThumbGate的Igor Ganapolsky在回复中提出:不要盲目信任模型直接给出的最佳答案(argmax),用置信度做门控更有价值——在工具执行前加一道亚毫秒级的本地检查(PreToolUse),拦截明显输入,把模糊调用路由给gemini-decision-1。

Weavetab完全同意,说得更直白:边缘模型不该取代云路由器,该保护云路由器不把延迟浪费在显而易见的输入上。本地快速路径处理置信度超过阈值的输入,模糊尾部升级给Gemini。两全其美。

这大概是正确的落地方式:常规输入本地CPU就消化了,模糊尾部才需要大模型兜底。延迟降了,账单也降了。

发布时间: 2026-11-22 10:36