DeepMind 发布 Genie 4:自然语言成了实时世界的遥控器
Genie 4 能实时生成可交互的世界,带原生音频和对话。用自然语言改天气、移镜头、加角色,Gemini 在后台负责推理。目前研究预览,已开放 waitlist。
Google DeepMind 今天发布 Genie 4。这是 Genie 系列新一代世界模型,主打实时交互和原生音频。过去视频生成模型只能输出一段封闭片段,Genie 4 把生成变成可进入、可修改的模拟世界。
官方演示里,用户用键盘控制导航和镜头,用文本 prompt 改变场景:改天气、移动镜头、往场景里加人或物体。比如让一片草地上多出一条粉红色绸缎,或者把镜头放到南极冰原上空的热气球篮筐里。场景会实时响应,角色也会根据新设定继续行动。
这套能力背后由 Gemini 系列模型接管。Gemini Omni 负责让画面贴近现实世界的外观和行为,其他 Gemini 模型负责把请求翻译成动作、规划复杂事件、观察画面并跟踪进度。当用户改变指令时,Gemini 会现场调整方案。
Genie 4 也是 Genie 系列第一个原生生成音频的实时世界模型。环境声、音乐、角色对话都会随着场景同步产生。演示里有人骑在龙背上飞行,风声、翅膀扇动声和火焰声都来自模型本身,不是后期贴上去的音效。
DeepMind 的官方博客把这次更新拆成四个方向:实时场景控制、物理与人物动作、声音建模、复杂事件模拟。物理部分涉及空气动力学和碰撞,人物能自然行走、观察、对环境作出反应。复杂事件部分由 Gemini 3.8 Flash 作为引导智能体,实时观察生成中的画面,把目标拆成步骤并检查每一步是否完成。另一个实验里,Gemini 4 Argon 和 Genie 4 协同,让 Apptronik 的 Apollo 人形机器人在模拟中下跳棋。
安全方面,Genie 4 带了严格的安全护栏,所有生成的视频和音频都有 SynthID 水印。官方也承认当前限制:长时间运行后视觉细节和物体一致性会漂移,复杂物理、实时音频准确度、文字渲染、空间准确度都还在研究中。
目前 Genie 4 以研究预览形式开放给 trusted testers(受信任的测试者)。接下来会开放给 Project Genie 中的 Google AI Ultra 订阅者,Gemini API 和 Google AI Studio 的早期合作方也能拿到。官方已经开了 waitlist,想提前体验可以在这里登记:https://forms.gle/WQnSNEM3omF7Uruu7。
开发者 Ethan Cross 在 X 上评价:实时交互的世界模拟,配上多模态控制和同步声音,才是真正的边界。也有网友贴出登录提示截图,问为什么只能通过 Google AI Ultra 使用。更多人的问题是:普通用户什么时候能真正玩上。目前答案大概是,先排队。
发布时间: 2026-10-28 03:01