机器人看视频学转笔，卡在人类没拍下的那点力

哈佛计算机器人组万圣节放出一段视频：机械手围着南瓜灯做灵巧动作，人形机器人搬箱子。项目叫GRASP，给灵巧手和人形机器人做基于物理的运动重定向。视频里机械手还写了GRASP。

普通读者可以把运动重定向理解成把人的动作套到机器人身上。麻烦在于，套上去的动作看着像，接触和受力未必成立。Heng Yang在推文里写，运动学重定向的动作可能看起来对，但它要求的接触和动力学，机器人实现不了。后面的强化学习只能追一个物理上不一致的参考，越学越别扭。

GRASP的做法是先把参考动作放进仿真里修。它不需要可微仿真器。做法是把已经跑过的rollout存下来，包括被拒绝的提案，用这些控制与代价的配对拟合局部二次模型，从模型里取梯度，引导下一步采样。接受测试仍用仿真器原始代价，加Metropolis-Hastings修正，保证采样目标不被代理模型带偏。长动作则用MPC滚动优化。技术上它接在TSMC工作上，Heng Yang说，即使简单的二次模型也能给MCMC rejuvenation提供有用方向。

结果摆得比较硬。OakInk2的1352个双手任务，Sharpa手成功率94.2%，平均物体位置误差2.87厘米。同一个优化器配置换到Wuji和XHand，成功率92.4%和95.0%。真实硬件上，Sharpa手做了开环轨迹回放，Unitree G1上学了跟踪策略。PPO曲线里，GRASP修过的参考比原始运动学参考更好追。

有网友在评论区问了个不绕的问题：评估时改物体质量或摩擦，PPO跟踪的收益还剩多少。另一个问，GRASP调不调接触时机，还是只调姿态。素材没给答案。这两个问题比机器人会转笔更接近落地。转笔和搬箱子能展示接触丰富动作，但厨房里切番茄，刀压多深、手指什么时候合拢，靠视频里那点像素学不出来。有网友用切番茄打比方，配了张人切番茄和机械臂切番茄的图。

先让动作在仿真里符合物理，再让策略去学，顺序对了。剩下的鲁棒性还得一项项测。论文、代码、数据都在项目页，代码和数据集也已放出。