李飞飞World Labs团队发布Frameboy,可实时探索AI生成场景

https://assets.wanlianyida.com/industry-uniapp/web/static/image-default.BtYt8t8Z.png
产联社CLS
·阅读量:1.1w
Frameboy可将世界模型生成的画面实时传至浏览器,用户通过调整视角探索场景;配套场景搭建工具Viewfinder目前处于封闭测试阶段。

产联社编辑 | 黄钰慧

image.png

图片由AI生成

【产联社】世界模型生成的虚拟场景,开始支持实时交互探索。当地时间11月5日,李飞飞联合创办的人工智能公司World Labs发布Frameboy研究预览版。用户移动虚拟镜头时,基于Atlas世界模型生成的画面会从云端实时传输至浏览器,传输帧率最高可达每秒15帧。

World Labs同时将这项实时功能接入网页应用Viewfinder。与浏览预设场景的Frameboy不同,Viewfinder允许用户利用自己的输入逐步搭建场景,再进行实时探索。该应用目前处于封闭测试阶段。

实时探索AI生成场景

Frameboy的变化在于,用户可以边调整视角,边查看模型生成的画面。

Atlas是World Labs于两个月前推出的世界模型,能够按照镜头位置逐帧生成画面。World Labs称,Frameboy使用经过速度优化的Atlas版本,用户操控虚拟镜头时,画面会从云端持续传至浏览器。

在公司展示的一段客厅场景演示中,传统生成方式需要用户需要先设置镜头位置,等待视频生成后,再根据结果调整位置并重新生成。在实时模式下,用户移动镜头时,看到的画面会连续更新。

World Labs称,Atlas可以根据一张图片生成虚拟场景的新视角,也可以利用从多个角度拍摄的图片,让用户浏览现实地点。Frameboy目前提供的是公司挑选的场景,单张图片生成的示例,经过Atlas扩展出其他视角后,再供用户交互探索。

World Labs去年曾推出另一项研究预览RTFM。公司介绍,RTFM主要用于在已有视角之间生成过渡画面。Atlas可以从单张图片或文字描述出发生成场景,也保留了根据多张图片生成新视角的能力。

用户可自行搭建场景

Viewfinder让测试用户从自己的输入出发,逐步搭建并浏览场景。

World Labs介绍,用户可以在Viewfinder中移动虚拟镜头,让Atlas逐帧生成不同角度的画面,逐步扩展场景。模型生成的每一帧包含色彩和深度信息,帮助用户观察画面及其空间关系。

场景搭建到一定阶段后,用户可以开启Frameboy实时浏览模式,继续移动视角探索。World Labs已开放Viewfinder测试候补名单。

应用前景与限制

World Labs提出了多种场景构思和观察用途,但实时运行仍依赖云端算力。

World Labs列出的Atlas潜在用途包括为电影拍摄寻找虚拟视角、观察建筑工地进展、构思游戏关卡,以及模拟机器人需要穿行的环境。

公司表示,目前Frameboy必须运行在云端高性能GPU服务器上,与本地渲染方式相比成本并不低。不过,World Labs没有在此次介绍中披露具体运行成本。

实时探索AI生成的场景,也是其他科技公司正在尝试的方向。2025年,谷歌DeepMind发布世界模型Genie 3时表示,该模型可以根据文字提示生成可供用户实时探索的场景。World Labs此次则通过Frameboy展示了用户操控镜头、浏览Atlas生成场景的方式。

AMD收购World Labs待完成

Frameboy发布前,AMD已宣布拟收购World Labs,交易仍待完成。

AMD于9月28日宣布,已达成收购World Labs的最终协议,交易采用全股票形式,价值约82亿美元。AMD在11月4日提交的季报中仍将其列为待完成收购,并预计交易于2026年底前完成,前提是获得监管批准并满足其他惯常交割条件。

AMD在季报中表示,拟通过包括World Labs在内的收购,增强模型研究、推理能力,以及未来人工智能硬件、软件和系统的开发能力。

对于World Labs而言,Frameboy展示了世界模型的一种使用方式,用户不必每次调整视角后重新等待视频生成,而是可以在浏览场景时连续查看新的画面。公司希望未来Atlas这类模型能够根据图片等输入,帮助用户交互式地构建和查看复杂的三维世界。

0

(扫码加入AI产业交流群)

商务合作,请联系侯经理 18801065284(微信同号)

报料及内容合作,请联系chanlianshe2026(微信号)

特别声明:本文仅供参考,不构成任何投资建议,未经允许不得转载。

72
37
分享