Wink Pings

RL搞不定的现实交互,LLM+机器人harness换了个解法

Harrison Kinsley的机器人Chonk完全由LLM驱动,没用RL/VLA。面对从未见过的玩具,第一次就成功抓取。Wi-Fi断开时harness自动恢复。Kinsley认为,LLM+harness可能比RL更适合复杂的现实交互。

Harrison Kinsley(Sentdex)又更新了他的机器人项目Chonk。这次最值得注意的变化:Chonk的控制完全由LLM驱动,没用RL,也没用VLA。

任务指令很简短:找到地上的儿童玩具,捡起来,放进黑色箱子。这次面对的玩具是Chonk从未见过的,结果第一次尝试就成功了。视频里Chonk捡起多个玩具,从一个失败的抓取中恢复,并根据玩具形状调整抓法。这段是5倍速。

Kinsley说,他花了好几年时间,用RL/VLA和各种模拟器解决这类问题。edge cases(边界情况)实在太多。就算任务本身能搞定,仅靠相机数据做sim2real(从仿真到真实环境的迁移)就够让人头疼。

他开始转变思路:像编码智能体的harness一样,直接让LLM操控机器人。不是所有任务都需要RL。但像步态这类需要物理规律学习的,仍然需要高度可扩展的sim。

第二个视频里,Chonk面对一个从未见过的玩具。右上角的调试面板能看到LLM的推理过程。第一次尝试就成功。视频最后,Wi-Fi信号中断,控制loop崩溃。harness自己纠正过来,接着完成任务。这段是实时速度,没加速。

有网友问,Wi-Fi断开后,harness会不会重新检查夹爪和物体状态,避免重复执行已完成的操作。Kinsley说,夹爪摄像头一直在盯着。初始抓取失败、玩具滑落都不罕见,所以系统会不断确认夹爪里到底有没有东西。

至于抓取策略,Kinsley承认目前还比较笨拙:先试一种方式,不行就旋转90度再试。这块还需要改进。

有网友注意到另一个细节:当Chonk只看到柜子和地板时,它会360度扫描来找目标,而不是像有些agent那样凭空编造一个玩具然后结束任务。

评论区有人调侃“Yann LeCun in shambles”。LeCun对LLM路线一直持怀疑态度,看到这种纯LLM驱动的机器人,估计很难淡定。

发布时间: 2026-11-23 05:34