Google DeepMind发布Genie 4,一款能够边生成、边交互、边接受新指令的实时世界模型。用户不仅可以在生成环境中移动,还能用自然语言即时改变天气、镜头、角色和事件;模型同步生成环境声、音乐及可互动的人物对话。其背后并非单一模型独立工作:Gemini Omni负责帮助建立更贴近现实的外观与行为,Gemini 3.8 Flash持续观察生成画面、拆解目标并检查每一步,Genie 4则逐帧呈现世界。Google将它定位为电影预演、游戏原型、机器人和AI Agent训练环境的基础设施。不过,Genie 4目前只向受邀测试者开放,连续交互只能维持数分钟,物体离开画面后可能发生变化,复杂物理、空间关系、文字和音频也不完全可靠;官方尚未公开参数量、训练数据、计算成本、标准化评测和API价格。
文章作者、来源:Google DeepMind
它生成的不是一段固定视频,而是一个仍在继续变化的场景
传统文生视频模型接收提示词后,通常输出一段已经确定的影片。生成完成以后,用户如果想改变天气、加入角色或修改剧情,往往需要重新生成整段内容。
Genie 4采用的是另一种交互方式。用户可以使用标准键盘控制移动和镜头,在世界运行过程中继续输入文字,例如要求天空开始下雨、移动摄像机、加入一个新人物,或者让场景中的角色做出不同反应。Gemini会结合当前场景解释新指令,Genie 4则继续生成后面的画面和声音。
这意味着模型必须记住此前生成了什么,并预测每一个操作之后应该发生什么。它处理的不再只是“下一帧长什么样”,还包括人物怎样移动、物体如何碰撞、环境如何回应用户,以及声音如何随事件变化。
首次加入原生声音和实时人物对话
Genie 4是Google DeepMind第一款原生生成声音的实时世界模型。
模型会根据当前环境产生风声、海浪、脚步、车辆、乐器和室内回声等声音,而不是在画面完成后另外配上一段音轨。人物还可以根据用户输入和场景中的事件进行实时对话。
例如,在骑龙演示中,系统同步生成翅膀拍动、高空风声、火焰和远处火山的声音;在一个仿照1990年代香港电影的摩托车场景中,模型同时处理人物动作、车辆移动、道路环境和对话。
这与Google的Veo视频模型有所区别。Veo主要输出完成度较高的影视片段,而Genie更强调用户进入场景后继续操作和改变世界。前者更像拍摄完成的镜头,后者更接近一场即时运行的模拟。
但“原生音频”并不代表声音始终准确。Google明确将实时音频准确率列为待解决问题;社区测试者还指出,部分展示中提示词要求萨克斯声音,生成结果却更接近单簧管。
真正的新结构,是Gemini负责“导演”,Genie负责“拍摄”
Genie 4并不是单独维持整个模拟。
Gemini Omni用于帮助模型建立更符合现实的外观和行为。面对包含多个步骤的任务时,Gemini 3.8 Flash会充当循环中的指导Agent:持续观察Genie生成的画面,把用户目标拆成步骤,检查当前步骤是否完成,并根据用户干预重新调整计划。
Genie 4负责把这些规划转化为实时的视觉、声音和物理反馈。可以把两者理解为一个简单分工:Gemini负责结构、因果关系和接下来应该发生什么;Genie负责把即时世界逐像素呈现出来。
Google还展示了Gemini 4 Argon与Genie 4结合的机器人实验。Argon先把任务拆成动作步骤,再把文字指令持续发送给Genie,由后者模拟Apptronik Apollo人形机器人完成西洋跳棋任务。
这不是机器人已经在现实中学会下棋。演示发生在生成式模拟环境中,其价值是让Agent在不损坏真实设备、也不需要为每种情况手工搭建仿真场景的情况下,尝试大量任务和异常情形。
Google想把世界模型变成机器人和Agent的训练场
电影和游戏是Genie 4最直观的用途。
电影制作团队可以把它当作实时预演工具:进入一个场景,连续调整灯光、人物位置、镜头和台词,不必先完成正式建模、拍摄或后期制作。游戏开发者则可以从一句描述直接得到可探索的概念原型,在写代码之前测试视觉风格、材质和交互机制。
Google还提到两种不那么显眼的用途。新闻和教育团队可以将一张历史照片扩展成可探索环境;企业也可以生成火灾、洪水、机械事故等短时事件,用来讨论应急流程。
更长期的目标是训练机器人与通用Agent。现实中的机器人数据昂贵、缓慢且可能带来安全风险;传统模拟器则需要人类手工建立资产、物理规则和任务。生成式世界模型如果足够稳定,可以自动创造大量不同的房间、道路、工厂和意外情况,让Agent在其中学习。
因此,Genie 4的重要性不只在于“画面更像真的”,而在于Google开始把语言模型的规划能力和像素级世界生成组合成一种混合系统:逻辑由Gemini维护,感知世界由Genie产生。
最大问题仍是物体永久性:离开镜头,世界可能偷偷改变
Genie 4距离真正的游戏引擎或可靠机器人模拟器仍然很远。
官方承认,视觉细节和物体永久性会随时间漂移,尤其是在多次修改提示词、长距离移动或物体离开镜头之后。Hacker News用户在官方演示中指出了一些具体变化:火车站里走远的乘客会改变外观;骑龙场景中远处多出一座城堡;摩托车驾驶者前后出现了不同的头盔状态。
这些现象说明,模型虽然能生成视觉上连贯的局部画面,却未必在后台维护一份确定的三维世界状态。传统游戏引擎会记录每个物体的位置、属性和碰撞关系;生成模型则可能在每次重新看到物体时,根据当前上下文再次“猜测”它应该是什么样子。
这种差异对于影视预演可能可以接受,对于机器人训练却非常重要。如果模拟环境中的杯子在视线移开后改变位置,或者碰撞规则每次运行都不同,机器人从中学到的策略可能无法迁移到现实。
Google列出的其他限制还包括:多用户和多个独立Agent之间的复杂交互仍不准确;真实地点无法被完全还原;画面内文字难以稳定生成;空间关系和复杂物理会出错;连续交互只能维持几分钟;音频和长期一致性仍需改进。
目前还不是任何人都能玩的“无限游戏”
Genie 4首先面向受邀的创意、新闻、教育、游戏和工程测试者。Google表示,之后将逐步开放给Google AI Ultra用户的Project Genie,以及Gemini API和Google AI Studio的早期合作伙伴,但没有公布明确日期、使用额度或价格。
它也不是开放权重模型。官方没有披露参数量、训练数据、训练算力、分辨率、帧率、推理硬件或单分钟生成成本,外界目前无法独立部署,也不能判断展示效果需要多大的计算资源。
Google表示,所有Genie 4生成的视频和音频都会加入不可见的SynthID水印,并在扩大使用范围前进行内部安全评估。不过,官方没有同时公开完整安全评测、误判率或绕过测试结果。
Genie 4最值得关注的变化,是生成式AI正在从“给出一段内容”转向“维持一个可以继续行动的环境”。它还没有真正建立稳定、持久且可验证的物理世界,却已经把视频生成、声音生成、语言规划和实时交互放进了同一个循环。