一段篮球视频，一句指令，LLM跑完了整条动画流水线
Robert Scoble转发的一段演示：上传篮球运球视频，输入一句话，LLM agent依次完成场景搭建、动作捕捉、重定向、渲染，最后用MiniMax-H3输出逼真视频。核心工具FlowHMR只有0.46B参数，物理跟踪成功率从78.79%提到82.47%。
Robert Scoble转了一条推文，演示了一个完整链路。上传一段室内篮球运球的视频，输入一句话："Create a simple 3D animation from this video。"剩下的由LLM agent自己跑：搭场景、用FlowHMR做动作捕捉、重定向、修动作、设相机、渲染。最后MiniMax-H3把3D渲染转成逼真视频。
视频画面分左右两部分。左边是参考视频，右边是输入帧，一个穿蓝色运动服红色鞋子的人在运球，木地板、砖墙、金属框架天花板都在。底部有进度条和一个Coding agent的提示，标注当前进行到哪一步。
FlowHMR是这套流程里的核心工具，来自Zhanke Wang等人的工作，论文挂在arXiv上（2610.03691）。它做的是从单目视频恢复物理合理的3D人体运动。参数量0.46B，推理链路串了四个模块：YOLOX做人检测，VGGT-Omega估相机，SAM 3D Body提body特征，最后FlowHMR输出运动数据，格式为.npz，装了FBX导出的话还能多一个.fbx。
物理合理性是这个工具着力的地方。FlowHMR的训练分两段：先预训练一个flow-matching基础模型，再用GRPO做后训练，奖励信号来自PHC+物理模拟器。每个生成的动作都会被丢进模拟器里让控制器跟踪一遍，跟踪得越好，得分越高。官方给出的Tracking Success指标从基础模型的78.79%提到了82.47%，评估集是4182条真实场景视频组成的Wild-4K。
代码Apache 2.0开源，权重放在Hugging Face。仓库里有推理、训练、web demo和数据生成的完整文档，也给了可以直接粘进coding agent的prompt。开发者照着跑，能把一段视频转成3D运动数据。
值得留意的是这件事的组织方式。单点模型的进展当然重要，但这条演示里更明确的信号是agent在编排工具链。以前做mocap，人得一步步跑检测、估相机、解算、重定向、渲染，每一步都要调参数、看结果。现在这串操作被包装成agent可以调用的步骤，一句自然语言指令触发整条流水线。
"一句话"背后是大量的接口设计工作，让每一步的输出格式、错误处理、参数默认值都能被agent稳定消费。这个工程活不轻。
视频到3D再到视频，这条链路已经能跑通了。效果怎么样，可以自己拉代码试。
发布时间: 2026-10-26 18:50