Google 发布 Genie 4:实时世界模拟,现在带声音和因果
Genie 4是Google DeepMind目前最真实的可交互世界模型:原生音频、真实物理、Gemini推理驱动多步事件。研究预览已开始,即将面向AI Ultra订阅者和API开发者。
Google DeepMind 发布了 Genie 4,官方定位是“最真实、可交互的世界模型”。
Sundar Pichai 在 X 上放了一段实时演示:摩托车第一视角停在海岸公路的红灯前,戴着手套的手握住把手。输入“traffic light green”,Genie 4 让信号灯变绿,引擎转速上升,摩托车沿海岸线加速驶出。场景、声音、镜头全部实时生成。
这段演示的完整 prompt 写得很具体:阳光海岸公路、白色停止线、头顶红灯、摩托车第一人称视角。用户只加一句“traffic light green”,Gemini 就推理出接下来的多步事件:灯变绿,引擎发动,摩托车起步。
对于第一次接触世界模型的读者:它生成的是可进入、可交互的实时环境,和预先渲染好的视频有本质区别。用户用文字改变场景,AI 实时回应。Genie 4 在此基础上加入了原生音频、物理模拟和 Gemini 驱动的事件推理。
官方博客列出了 Genie 4 的核心能力:
- 实时操控:用自然语言改天气、移动镜头、加入新物体或人物。Gemini 会把输入适配到当前场景,并在两次操作之间持续监测画面,保持世界推进。
- 原生音频:环境声、音乐、角色对话随世界一起生成。角色可以实时回应事件,这是 Genie 4 第一次做到。
- 物理模拟:支持空气动力学、碰撞等真实物理。人物的动作和反应比上一代自然。
- 多步事件:Gemini 3.8 Flash 在循环里充当指导 agent,观察画面,把目标拆成步骤,再确认每一步是否完成。
背后的架构是 Gemini 家族协作:Gemini Omni 把模拟锚定在真实世界的样貌和行为,其他 Gemini 模型负责推理。第一批 trusted testers 已经把它用在影视预演、历史照片场景还原、游戏原型快速迭代和机器人仿真。导演可以走进实时生成的场景,现场调机位、灯光、对白;新闻摄影团队可以把一张老照片变成可探索的动态环境。
接入方面,Genie 4 以研究预览形式开放给 trusted testers,稍后覆盖 Google AI Ultra 订阅者的 Project Genie,以及 Gemini API 和 AI Studio 的 early access 合作伙伴。官方博客提供了 Project Genie 的 waitlist。
评论区已经有人等不及。有网友说“GTA 7 比 GTA 6 先到”;还有开发者自己用 360M 参数模型在浏览器里做了一个终端版世界模型,边等边玩。
Google 也在展示机器人方向。Rajat 在 X 上转发了一段视频:Gemini 4 Argon 把用户指令拆成实时步骤,Genie 4 渲染对应画面,让 Apptronik 的 Apollo 人形机器人下跳棋。因为 Genie 4 可以用文本实时控制,这条路指向机器人训练环境的快速生成。
官方也明确说了局限:Genie 4 还是早期研究模型,短会话内能保持连贯,但时间一长、复杂修改一多,视觉细节和物体恒存性会漂移。复杂物理、实时音频准确性、文字渲染、空间精度、长期一致性都还在改进。所有生成内容会打上 SynthID 水印。
世界模型赛道,Google 把重点放在“实时”和“原生音频”上。Genie 4 离可靠、可商用的通用模拟器还有距离,但已经能让 AI 生成一个可以走进去、改两笔、听到回应的世界。
相关链接:
- Genie 4 官方博客:https://deepmind.google/blog/genie-4-a-new-generation-of-world-simulation/
- Project Genie waitlist:https://forms.gle/WQnSNEM3omF7Uruu7
- Sundar Pichai 推文:https://x.com/sundarpichai/status/2115115252690145519
发布时间: 2026-10-28 11:25