大模型爱脑补,这个开源视觉模型学会了说“没有”
机器人做判断前,得先把画面看准。有网友实测了开源的端侧视觉模型 VLX-Seek:航拍数白车、找骑马的人、工地查安全帽、目标不存在时说“没有”。最后一个,是大模型最容易翻车的地方。
机器人干活前,得先看清楚。JEV 这类决策模型管判断,但判断之前,画面得有人看准,找全、数清、没有就说没有,不能有幻觉。
Om AI Lab 开源的 VLX-Seek 就是干这个的端侧视觉模型。有网友调接口实测了四段视频,都是网上找的实拍。
四个场景:
- 航拍停车场,查“白色的车”。一帧 20 辆左右,和人工数的差一两辆,差的是被画面边缘切掉半截的。
- 樱花大道航拍,公交轿车一堆,查“骑马的人”。桥头 3 个骑马的全框出来,旁边的车和行人一个没算。
- 工地查“戴黄色安全帽的工人”,一帧 3 到 5 个。再查“没戴安全帽的人”,它先把画面里 13 个人的帽子颜色挨个列一遍,再排除戴了帽子的,剩下 4 个没戴。
- 无人机飞过桥之后,再查“骑马的人”。返回 None,0 个框。
四个场景里,第四个最值得琢磨。大模型看图最爱脑补,没有的东西也能给你编一个。做产品的都懂这个坑。VLX-Seek 的选择是:没有就是没有。
为什么快?它先把画面里的候选区域编上号,每个编号对应一个区域 token。模型回答问题的时候,只说“第 3 号和第 7 号”,不用一个个吐坐标数字。传统方案让模型直接输出 [x1, y1, x2, y2] 坐标序列,多目标时输出长度成倍涨,一个格式错误就废了。VLX-Seek 把定位从“生成坐标”改成“引用区域”,几十个目标也不拖。
实测调的是官方接口,3B 版本,一次往返 1 到 3 秒,包含上传一张 1440p 图。官方数据:3B 在 Jetson T5000 上跑 1080p 图 730 毫秒。想要速度,得放到 Jetson 这类边缘设备上跑,云端调主要是方便。
不是百分百。人挤人、互相遮挡的画面偶尔会漏,这个得说在前面。10B 版本会强很多,可以去试试。
落地信息:VLX-Seek 1.5 的 10B 权重 7 月就开源了,Apache 2.0,Hugging Face 能下。接口是 OpenAI 兼容格式,messages 里塞一张图加一句话,返回直接带框坐标。有做工具产品、巡检、仓库、农业这类活的,可以试试。
GitHub:https://github.com/om-ai-lab/VLX-Seek
模型体验:http://om-agent.com
有开发者评论:先把画面看准这步确实关键,前面看岔了后面全得跟着歪。还有人说:框歪了数错了后面全废。也有人问:同一个目标在视频里反复进出画面,计数会不会重复?这问题问到点子上了。他们还有个 VLX-Flow,专门负责持续看视频流,权重还没放出来,能不能解决跨帧计数,发布后就知道了。
发布时间: 2026-10-27 12:48