Google发布Genie 4:实时世界模拟,这次带声音了
Google正式发布Genie 4,DeepMind的新一代交互世界模型。原生音频、实时文字操控、Gemini多步推理,画面和物理真实感大幅提升。研究预览已开放。
Google今天发布Genie 4,DeepMind的新一代交互世界模型。核心变化:原生多模态。画面、声音、对话一次生成,还能在运行中用文字实时改场景。
四个关键能力
实时操控。 用文本提示修改或添加世界里的东西。改天气、移镜头、加人或物体,Gemini会结合上下文把指令适配到当前场景。在两次输入之间,Gemini持续监测场景,保持连贯推进。
原生音频。 每个世界自带与环境匹配的声音:风吹树叶、海浪拍岸。角色对话能实时响应你的输入或世界里发生的事件。这是Genie系列第一个原生生成音频的实时世界模型。
物理和人物。 能模拟空气动力学、碰撞等物理场景。人物动作提升最明显——移动自然,对环境反应有机,可实时操控。
Gemini推理。 Gemini 3.8 Flash作为循环中的引导代理:持续观察场景,把目标拆成步骤,逐帧检查进度。用户干预时,它即时调整计划。这让世界能支撑多步事件和可靠因果。
Genie 3与Genie 4的实时画面对比
底层构成
Genie 4构建在Gemini家族之上。Gemini Omni把模拟锚定在真实世界的外观和行为上,其他Gemini模型提供维持连贯性的推理。你设定一个事件,Genie 4模拟接下来发生的事:世界如何响应、如何发声、里面的人如何移动、反应、说话。
机器人研究
Google把Genie 4和Gemini 4 Argon结合起来做机器人研究。Argon把用户指令拆成步骤,Genie渲染成画面,模拟过程中实时调整。示例:Apptronik的Apollo人形机器人在模拟世界里玩跳棋。
Apollo人形机器人在模拟世界中玩跳棋
能干什么
可信测试者反馈中,几个方向比较明确:
- 电影人拿它当预可视化草稿模式,实时跑多个镜头,调整机位、灯光、对话
- 摄影记者用一张2D档案照片生成可进入的环境模拟,体验历史空间
- 游戏开发者在写引擎代码之前,用自然语言测试视觉风格和交互机制
- 机器人研究:让机器人在模拟世界里反复试错,不需要物理世界的清理
可用性
Genie 4已以研究预览形式开放给可信测试者。接下来会提供给Google AI Ultra订阅用户(Project Genie)和Gemini API / Google AI Studio的早期合作伙伴。可加入waitlist等待。详细技术报告在DeepMind官方博客。
局限
DeepMind没有回避问题。短会话内环境能维持连贯,时间长了视觉细节和物体持久性会漂移。复杂物理交互、实时音频精度、文字渲染、空间精度、长期一致性都还在研究。所有Genie 4生成的视频和音频都会打上SynthID数字水印。
评论区的反应
有网友回忆:"在学校机房等俄勒冈小径加载一个渡口要五分钟。现在打一句话,就能走进一个会说话的世界。"也有人不买账:"语音还是有点机器人味。"有人关心一致性:"离开一个区域再回来,它还能保持原样吗?"一位游戏开发者感叹:"昨晚花三个小时调CSS网格。一个能模拟房间的模型,是另一个物种的执念。"
发布时间: 2026-10-28 15:20