一张图片、一段视频,或仅仅是一句文字提示,现在都能在瞬间变成一个完整的三维世界。
由“AI教母”李飞飞联合创办的AI初创公司World Labs,于11月13日正式推出了首款商用世界模型产品——Marble。这款由多模态世界模型提供支持的三维世界生成系统,标志着生成式AI从语言和图像处理迈向了空间智能的新前沿。
即日起,Marble已向所有用户开放,提供了从免费到高级的四种订阅计划,个人用户现在就可以通过文字或图片创建自己的3D世界。
01 多模态生成:从抽象描述到立体世界
Marble的核心能力在于其多模态生成系统。用户只需输入一段描述性文字,如“一个融合了世纪中期餐厅美学和轨道技术的开放式厨房,以方格地板和不锈钢配件为特色,并配以柔和的浅蓝色灯光”,系统便能自动提取关键元素,在几秒钟内生成一个可漫游的3D空间。
除了文本生成外,Marble还支持更复杂的创作方式。
单图生成允许用户上传一张普通照片,系统便会根据图片的透视关系、光线方向和物体摆放方式,自动补全成一个360度全景的3D世界。
多图或视频输入则能从不同角度还原场景,拼接成更加完整、立体的空间。
02 AI原生编辑:重塑生成的3D世界
Marble的突破不仅在于生成,更在于其AI原生的编辑能力。它允许用户对已生成的3D世界进行深度调整,包括局部替换、材质变化、光照调整和布局重构。
用户可移除场景中的任何物体,如一句话就能去掉垃圾桶,AI会自动处理后续的场景和光影变化。
若要进行更大规模的结构调整,比如把餐厅后墙改造成舞台,把桌子换成面向舞台的矮凳,也能轻松实现。
Marble还引入了Chisel工具,它将“结构”与“风格”分离。用户可用立方体、平面等基础几何体搭建空间框架,再通过文本提示词定义视觉风格。
同一结构框架,只需更换提示词,就可在“现代艺术博物馆”与“斯堪的纳维亚风格卧室”之间自由切换。
03 世界扩展与组合:从小场景到大宇宙
Marble打破了传统3D场景的规模限制。生成的世界可通过“扩展”功能填充缺失区域并提升边角细节,使原本模糊的边缘变得清晰细致。
更强大的是“组合模式”,它允许用户将多个独立生成的世界像拼接地图一样组合在一起,无论是并列、连接还是嵌套,都可以自由布局,构建出规模庞大、层次丰富的虚拟环境。
这意味着用户可先生成若干风格各异的空间,再通过组合构成一个完整虚拟世界。
04 产业级输出:从AI生成到商业应用
Marble不仅是一个生成工具,更是完整的3D内容生产平台。它支持将生成的场景导出为高斯溅射、三角网格或视频格式,兼容Unity、Unreal等主流引擎以及Vision Pro、Quest 3等VR设备。
高斯溅射通过成千上万个带有颜色、透明度和深度信息的小粒子叠加,形成逼真的三维图像,特别适合表现柔和的光影和细腻的空间层次。
三角网格则分为“碰撞网格”和“高质量网格”,前者用于物理模拟,后者保留原始世界的细节和光影,可直接用于游戏关卡、动画镜头或建筑展示。
视频导出还支持AI增强处理,自动补上更细腻的细节,消除画面中不自然的地方,甚至加入动态效果。
05 商业化路径:从免费尝鲜到专业商用
Marble设置了四大订阅计划,适应不同需求用户。
免费版用户每月可进行4次生成,支持文本和图像输入。
标准版每月20美元,解锁多图和视频输入以及高级编辑功能,包含12次生成额度。
专业版每月35美元,目前提供首月1美元的优惠,增加了场景扩展功能与商用权限,生成次数提升至25次。
旗舰版每月95美元,提供75次生成额度,全功能解锁。
据World Labs联合创始人Justin Johnson介绍,Marble的初期核心应用场景将聚焦于游戏、影视VFX与VR三大领域,并非要替代现有行业流程,而是提供“可直接接入的优质资产”。
06 空间智能:Marble背后的技术愿景
在李飞飞看来,Marble不仅仅是3D内容生成工具,更是通向“空间智能”的关键一步。
11月10日,李飞飞发表博客文章阐述其愿景,她认为当前以大型语言模型为代表的AI虽然擅长处理抽象知识,却如同“在黑暗中行走”,缺乏对物理世界的真实理解。
而空间智能——即人类用以理解、导航并与三维世界交互的底层能力,将是实现机器真正智能的关键突破。
李飞飞规划了空间智能应用的三个阶段:近期赋能游戏、电影、建筑设计等创造力行业;中期通过模拟环境训练机器人,推动具身智能发展;长期则将在科学、医疗和教育领域引发革命。
World Labs官网显示,该公司在去年9月完成了2.3亿美元的巨额融资,投资方包括硅谷知名投资机构a16z、NEA、加拿大风投公司Radical Ventures,以及英伟达公司的风险投资部门等。
在X平台上的Marble发布文章下,许多网友表示激动和祝贺,并期待其在未来开放API。
尽管目前Marble的生成效果依然较为基础,整体视觉效果偏向于平面,且物体边缘容易出现显示错误,但它无疑是世界模型从理论研究走向商业应用的重要里程碑。