扫码下载 APP
qrCode
更多下载方式
今天不再提醒

World Labs推出Marble:用于根据文本、图像和视频提示创建和编辑3D世界的AI工具

简要概述

World Labs刚刚发布了Marble,这是其第一个商业世界模型,可以根据文本、图像、视频或3D布局生成持久的3D环境。

世界实验室推出 Marble:用于从文本、图像和视频提示创建和编辑 3D 世界的 AI 工具

空间智能公司World Labs推出了Marble,一种开创性的生成多模态世界模型,使用户能够从文本或图像提示创建3D环境。最初向一小部分测试用户提供,Marble现在支持包括文本、图像、视频和粗略3D布局在内的广泛输入类型,并允许对3D世界进行交互式编辑、扩展和组合。一旦创建,这些世界可以导出为高斯斑点、网格或视频等格式,为用户提供更多的控制和灵活性。

除了 Marble 工具,World Labs 还推出了 Marble Labs,这是一个鼓励跨游戏、视觉特效、设计和机器人等领域的合作与实验的创意平台。Marble Labs 提供案例研究、教程和文档,为用户提供学习和分享自己 3D 世界的资源。这款新工具的多模态能力基于人类对世界的感知整合了多种感官——视觉、听觉、触觉和语言——形成一个统一的心理模型。类似地,Marble 的世界模型旨在综合各种类型的输入,创造出随着新信息的加入而发展的综合 3D 世界。

Marble作为下一代世界模型,通过允许用户轻松生成详细的3D世界,并以精准的方式迭代优化,从简单的提示到复杂的交互编辑,提供了广阔的创作可能性。

World Labs 让用户通过文本、图像和视频提示创建、定制和扩展 3D 世界

Marble允许用户从单张图像或简短的文本提示生成完整的3D世界,提供了一种直观简单的方式来创建各种不同艺术风格的场景。通过利用图像提示,用户可以将Marble与其他AI工具集成,从生成的图像中创建3D环境。然而,虽然文本和图像提示非常强大,但它们提供的创意控制有限,要求Marble生成场景中任何缺失的细节,这有时会导致意想不到的结果。

对于寻求更多控制的用户,Marble 还支持多图像提示,可以将不同的图像组合在一起,创建一个统一的 3D 世界。这种方法通过让用户从不同角度定义世界的外观,允许更高的精确度。多图像提示还可以用于重建现实世界的空间,Marble 将从不同视角合成多张照片或视频,形成实际位置的 3D 模型。

Marble的创作过程设计为迭代式,用户可以在生成后进一步完善他们的世界。该平台包括本地编辑工具,用于对3D世界进行小型和大型调整,从移除或修改对象到完全改变视觉风格或结构。为了提供更详细的控制,Marble推出了Chisel,一个面向高级用户的AI驱动工具,使用户能够直接在3D中雕刻世界。用户可以使用简单的3D形状或导入的资产来构建他们的场景,并添加文本提示以指示视觉风格,从而在世界创建中提供新的灵活性。

对于更大和更广阔的世界,Marble 提供了工具来增加生成世界的大小。用户可以扩展特定区域,提高以前可能缺乏精确度的区域的细节和清晰度。此外,Composer Mode 允许用户将多个生成的世界组合成更大的空间,提供对场景布局和安排的完全控制。

一旦创建了一个世界,Marble 提供了几种导出选项。高斯斑点提供了 3D 场景的最高保真度表示,而三角网格可以导出以供在各种行业标准工具中使用。Marble 还支持视频渲染,具有像素完美的相机控制,允许用户以视频形式捕捉和分享他们的世界,并可以选择用额外细节或动态元素来增强这些视频。

Marble Labs提供一个平台,用于探索和实验世界建设,展示来自各个行业的艺术家、工程师和设计师的创意和技术项目。随着Marble的发展,它旨在扩展到更多的互动体验,可能实现模拟、机器人技术和其他高级应用。

虽然游戏和虚拟现实通常是人们首先想到的行业,但世界模型的潜在应用非常广泛,远远超出这些领域。这些模型有能力改变各个领域,包括机器人模拟、建筑设计和电影世界构建。与图像和视频生成模型类似,世界模型正迅速成为有价值的工具,预计将在不久的将来整合到各个行业的工作流程中。

查看原文
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
0/400
暂无评论
交易,随时随地
qrCode
扫码下载 Gate App
社群列表
简体中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)