谷歌发布Genie 4世界模型 加入实时声音与人物对话

https://assets.wanlianyida.com/industry-uniapp/web/static/image-default.BtYt8t8Z.png
产联社CLS
·阅读量:1,471
Google DeepMind发布新一代世界模型Genie 4,在实时生成可交互场景的基础上,新增原生音频、人物对话和自然语言修改场景等能力,并可与Gemini协同完成任务规划。影视预演、游戏原型和机器人模拟成为早期探索方向,目前仅向受邀测试者提供研究预览。

产联社编辑 | 黄钰慧

image.png

图片由AI生成

【产联社】谷歌继续更新可实时互动的AI世界模型。当地时间10月27日,Google DeepMind发布新一代世界模型Genie 4,可在生成虚拟场景的同时生成环境声、音乐和人物对话,用户还能用自然语言实时调整天气、加入人物或物体。

谷歌表示,Genie 4目前处于研究预览阶段,已向少量受邀测试者开放,正在收集反馈。

虚拟世界能听也能改

用户可以一边探索,一边改变眼前的场景。DeepMind介绍,在其公布的演示中,用户通过键盘控制移动和镜头,并在场景运行时输入文字指令;用户没有输入新指令时,Gemini也会观察并引导场景继续发展。

实时探索并非此次才出现的功能。DeepMind在2025年8月发布Genie 3时,已展示通过文字生成环境并实时探索的能力。

此次更新的一项重点是声音。DeepMind称,Genie 4是其首个原生生成音频的实时世界模型,虚拟人物的对话和反应也能随用户输入及场景中的事件实时变化。

谷歌还将人物动作、物体碰撞和空气动力学场景的真实感列为改进方向,并公布了相应演示。

这意味着,Genie系列的能力重点正在从“生成一段可以移动的视频场景”,转向维持一个能够持续响应用户操作的虚拟世界。

Gemini负责规划,Genie负责生成环境

在需要连续完成任务的场景中,谷歌让不同模型承担不同角色。DeepMind介绍,Gemini 3.8 Flash负责观察场景、拆解目标并检查执行进度,Genie 4负责生成虚拟环境及其变化。用户改变要求时,Gemini会相应调整计划。

在一项机器人研究演示中,Gemini 4 Argon将任务拆成逐步文字指令,由Genie 4实时模拟Apptronik旗下Apollo人形机器人下跳棋的过程。

DeepMind将这类研究定位为探索如何在虚拟环境中模拟复杂任务,并在AI系统进入现实环境前测试其表现。

影视、游戏和机器人进入早期试用

影视和游戏领域的早期试用,主要围绕预演和原型设计展开。DeepMind披露,影视测试者正在尝试进入生成的场景,调整镜头、灯光、对白和人物动作,比较不同拍摄方案。

游戏开发者则在测试用文字生成可探索的原型,在编写游戏引擎代码前,先尝试画面风格、材质和基本互动方式。

除影视和游戏外,DeepMind称,一些摄影记者正在探索将二维历史照片转化为可探索的模拟场景。测试团队也在尝试用动态场景呈现洪水、野火等短期事件的发展过程。

不过,谷歌表示,Genie 4目前无法完全准确地模拟真实地点,生成画面不能直接作为真实地点或事件的准确还原。

对于其他行业,DeepMind表示,企业伙伴正在评估快速生成模拟场景的用途,并寻找模型与实际需求之间的差距。

世界模型也已被用于自动驾驶仿真。自动驾驶公司Waymo今年2月介绍,其Waymo World Model建立在Genie 3的基础上,并针对驾驶场景进行了调整,可模拟龙卷风、道路障碍等场景,供自动驾驶系统测试使用。

场景一致性仍是主要限制

交互时长和模拟准确性,仍是Genie 4的使用限制。据TechCrunch报道,Genie 4维持一致场景的时长可达约两分钟。

谷歌产品页说明,随着模拟持续、多次修改指令或在场景中移动,画面细节和物体状态可能出现前后不一致;复杂互动、声音准确性和清晰文字生成也仍需改进。

对于生成内容的识别,DeepMind表示,Genie 4生成的视频和音频都将加入SynthID数字水印,以帮助识别AI生成内容。

在接入安排上,谷歌计划后续通过Project Genie向Google AI Ultra订阅用户提供Genie 4,并面向Gemini API和Google AI Studio的早期合作伙伴开放,目前已提供候补申请入口。

从Genie 3的实时探索,到Genie 4加入声音、人物对话和自然语言实时修改,谷歌正在把世界模型从视频生成工具进一步推向交互式模拟平台。

对于企业而言,Genie 4提供了一个尝试场景预演和模拟的新工具,谷歌的测试伙伴正在探索它如何融入实际工作。模型目前仍处于有限开放的研究预览阶段,企业评估具体用途时,也需要考虑场景一致性、声音和空间准确性等使用条件。

商务合作,请联系侯经理 18801065284(微信同号)

报料及内容合作,请联系chanlianshe2026(微信号)

特别声明:本文仅供参考,不构成任何投资建议,未经允许不得转载。

26
7
分享