几张照片，造一个能推门、丢苹果、跑机器人的房间

给一个房间拍几张照片，然后让抽屉滑开、苹果飞向显示器、机器人从门口走进来。南洋理工大学 MMLab 的 Yihang Luo 等人把这个演示放进了 Mundo：输入一个地点的多视角照片，得到一个可以探索、编辑和模拟的世界。项目页在 mundo-world-model.github.io，技术细节写在 Hugging Face 博客。

视频来自 Yihang Luo 的 X 帖子。

世界模型这个词最近被用得很宽。Mundo 的分工倒是具体：场景用 3D 代理表示，状态用代码记录，MuJoCo 算几何、碰撞和接触，视频模型只负责把模拟结果渲染成画面。能准确让一个抽屉滑开，比空谈“理解世界”更有信息量。

给普通读者的版本：Mundo 没有让视频模型凭空猜完整过程。它先把房间里的物体位置和物理关系放进一个简化 3D 场景，再让模拟器算接下来发生什么，最后用视频扩散模型补上真实外观。

先把空间算清楚

重建从多视角图片或视频开始。3D 基础模型恢复相机姿态和稠密几何，3D 检测器给主要物体初始包围盒。VLM agent 接着进入分析合成循环：编辑场景程序，按输入相机渲染，再和原图比对。另一个 reviewer agent 每轮检查所有输入视角。盒子不追求细密几何，够表示位置、尺寸、朝向和刚体模拟。需要精细接触的物体，可以单独生成粗糙模型或从资产库取。

作者团队拿 Boxer、SpatialLM 和 Mundo 在同一间酒店房间上对比。Boxer 和 SpatialLM 漏掉部分物体，部分盒子偏离目标；Mundo 的盒子更贴物体。图中的 3D 重建和输入视角叠加能看出差别。

世界由代码维护

场景最终是代码。程序记录物体、位姿、质量、摩擦和施加的力，也定义状态如何随时间更新。改物理属性、移动相机、把相机装到机器人上，都通过这段场景程序完成。

渲染阶段，模拟器先输出代理帧。代理帧按物体类别平涂颜色，和输入上下文图一起送进视频扩散模型。相机参数转成 Plücker 射线，加到对应 latent 上。长视频分块推理，124 帧一块，每块把上一块最后 34 帧作为固定前缀，保持运动连续。训练用了约 4 万对视频，微调 MiniMax-H3 的 Ref2VA，片段为 124 帧、640×480。

能做什么，卡在哪里

空间探索是基础能力。给 1 到 12 张上下文图，指定相机路径，生成新视角，输入图没拍到的区域靠模型推断。上下文图越多，证据越多，需要猜的地方越少。

物理交互里，苹果、抽屉、碰撞、接触和机器人操作都由模拟器算。机器人应用更实际，3D 代理记录每个物体是什么、在哪里，机器人可以按语义起点和终点规划路线。作者展示了从酒店大堂到房间的导航，也展示洗衣房开门动作。

限制也摆在博客里。当前版本慢：这类场景重建通常 10 到 20 分钟，代理渲染在 8 张 A800、20 步推理下约 1.5 帧每秒。小物体容易漂浮，视频模型渲染小物体交互时会幻觉。系统没有长时记忆，长时间动态变化后，之前被遮挡的区域重新出现时可能保不住细节。

Mundo 的看点不只是再生成一段像房间的视频。可编辑的 3D 代理、物理模拟和视频渲染被接在一起。很多世界模型演示停在画面生成，Mundo 至少把抽屉、苹果和机器人放进了同一套可计算的场景里。路线看起来更笨，换来的是可探索、可操作、可复现实验。想继续看，可以直接去 项目页 和 博客。