Wink Pings

机器人学会手感,先让人摸到夹爪的力

FOMI 把接触力直接传回操作者手上,不用力传感器和电机。四个接触丰富任务里,无机器人采集效率比 UMI 高 29%,π0.5 微调后平均成功率 78.4%。但力反馈从人手迁移到机器人夹爪,仍有问题要回答。

Yinghao Xu 在发布 FOMI 时写了一句很直白的话:做了一年机器人预训练,最后用惨痛方式学到,数据就是一切。FOMI 要解决的是数据采集里最麻烦的一类任务,接触丰富操作。机器人要学会捏碎不了一枚脆芯片、把管子插进孔、洗碗、拉开包装袋,示范数据里必须带着手感。现有手持采集工具能让人不碰机器人就采数据,但操作者很难感到夹爪碰到了什么。Yinghao Xu 说,FOMI 保留 UMI 那套手持、无机器人的采集方式,补上了操作者缺的东西:你能感到夹爪摸到了什么。不用力传感器,不用电机。

FOMI 概览:无机器人采集、遥操作、示范采集性能和接触丰富策略学习

它的外形像一把剪刀。每个手柄、扇形齿轮和传动连杆是一整块刚性件,夹爪处的接触力直接传回手上。中间没有齿条齿轮,没有回差,也没有回位弹簧。Yinghao Xu 的解释是,你感觉到的力来自物体,不来自机构。两个啮合的扇形齿轮让两片夹爪对称运动,开合匹配 Robotiq 2F-85。整个开口范围内,手上的力大约是夹持力的二分之一到三分之二。

FOMI 机械设计:爆炸图、力传递路径、运动学示意、开合动作和机械限位

同一套设备也能当遥操作控制器。项目页写得很清楚,遥操作模式依赖视觉反馈,机械限位只指示夹爪宽度命令的边界,不传递物体交互力。这个细节值得注意,FOMI 在无机器人采集时强调力反馈,在遥操作时力反馈的边界并没有被说成万能。

FOMI 与机器人夹爪的传感器布局:6 自由度位姿跟踪器、鱼眼 RGB 相机和磁性旋转编码器

数据采集效率是发布里的主结果。团队在四个接触丰富任务上对比接口:拿脆芯片、插管、洗碗、拉开包装袋。三个操作员都没有操作过机器人。无机器人采集时,FOMI 每 10 分钟 17.8 条成功示范,UMI 13.8 条,高 29%。遥操作时,FOMI 8.4 条,GELLO 7.1 条,高 18%。完成率也同向:无机器人采集 86.6% 对 64.6%,遥操作 75.6% 对 54.0%。Yinghao Xu 的解释是,操作者能感到接触并实时调整,失败尝试更少。

策略学习结果更直接。团队用 π0.5 视觉语言动作模型分别微调无机器人采集和遥操作采集的数据。每个任务约 100 条无机器人示范,平均成功率 78.4%。每个任务 25 条遥操作示范,平均成功率 70.5%。项目页还给了 25、50、100 条示范下的成功率和进度率曲线。

无机器人采集效率:FOMI、UMI、RING 在四个任务上的每 10 分钟成功示范数

遥操作采集效率:FOMI、GELLO、VR 在四个任务上的每 10 分钟成功示范数

π0.5 在无机器人示范下的策略表现:25、50、100 条示范的成功率和进度率

π0.5 在 25 条遥操作示范下的策略表现:成功率和进度率

回复里有人追问关键问题。AI Quanting 说,力数据是没法靠爬取得到的那类数据,FOMI 手持,力通过人的手臂回传,这个剖面搬到真实机器人夹爪上还能保留吗?Dot 问,如果成功示范数量相同,FOMI 数据训练出的策略还会领先多少?这样能区分采集更快和单条示范质量更高的贡献。JD Clark 问,力反馈能不能也记录下来用于策略训练,有些任务需要策略自己控制握力。Broky Lu 提到,拿芯片任务里连杆摩擦很关键,低启动力摩擦能帮操作者区分夹爪尖端的轻接触和机构内部阻力。

这些追问没有被发布结果直接回答完。FOMI 的价值很清楚:它把接触力变成采集时的实时信号,让无经验操作员更快采到更成功的接触丰富示范。但手持工具回传到人手的力,和机器人夹爪执行时看到的力,是不是同一种东西,仍需要实验拆开看。数据重要这句话已经不需要重复,接下来要回答的是采什么数据、怎么采、采到的信号能否迁移。论文链接在 arxiv.org/abs/2610.19839,项目页在 robbyant-research.github.io/FOMI。硬件设计、代码和数据集会发布。

发布时间: 2026-10-26 20:38