Wink Pings

一次搞定文图视频决策 vLLM发布27B开放权重多模态路由模型

vLLM Semantic Router团队推出270亿参数规模的d3-ultra多模态决策模型,原生支持文本、图像、视频三类输入,单次推理即可输出所有候选结果的对应概率,在团队自研SR-Text语义路由测试集上得分87.2。模型采用开放权重授权,支持本地私有部署,可简化多模态AI应用的决策链路,降低延迟与算力成本。

2026年10月26日,vLLM Semantic Router团队发布d3-ultra模型,这是一款参数规模270亿的开放权重多模态决策模型,相关报道由科技媒体MarkTechPost首发,作者Asif Razzaq。

对搭建过大模型应用、Agent系统的开发者来说,决策路由是请求入口层的核心组件。它负责判断用户请求的类型和难度,匹配对应的下游处理资源。简单闲聊转发给低成本小模型,复杂推理请求发给旗舰大模型,需要查信息、调用工具的请求转去对应功能模块。普通用户日常接触的智能客服、AI助手背后大多配有这类路由层,它直接决定请求的响应速度和整体使用成本。

此前主流的路由方案大多只支持纯文本输入。涉及图片、视频的多模态请求,开发者需要先调用视觉理解模型把媒体内容转成文字描述,再把描述和用户问题一起送入文本路由做判断。整套链路至少需要两次模型调用,延迟更高,视觉转文字的过程还可能丢失关键信息,影响最终决策的准确率。

d3-ultra把多模态理解和决策能力整合到了同一个模型中。它可以一次性接收文本、图像、视频三类输入,完成推理后直接给出每一个候选结果的对应概率。开发者可以直接根据概率值设置分发阈值,不需要额外搭建媒体内容预处理链路。

根据团队公布的测试结果,d3-ultra在自研SR-Text语义路由测试集上得分为87.2。该测试集覆盖日常请求分类、工具调用判断、难度分级等常见路由场景,分数对应模型的决策准确率。

作为开放权重模型,开发者可以免费下载完整的模型权重文件,支持本地化私有部署。对有数据合规要求的企业级场景,或者追求低延迟的在线AI产品来说,本地部署路由模型不用向外传输用户的请求内容,也能省去公网API调用的网络开销。

新闻来源:vLLM Semantic Router Releases d3-ultra: A 27B Open Multimodal Decision Model

发布时间: 2026-10-27 13:50