World Labs запускает Marble: инструмент ИИ для создания и редактирования 3D миров на основе текстовых, изображенческих и видеозапросов.

Кратко

World Labs только что выпустила Marble, свою первую коммерческую мировую модель, которая генерирует постоянные 3D-окружения из текста, изображений, видео или 3D-макетов.

Компания World Labs, занимающаяся пространственным интеллектом, запустила Marble — новаторскую генеративную мультимодальную модель мира, которая позволяет пользователям создавать 3D-окружения на основе текстовых или визуальных подсказок. Изначально доступная ограниченному кругу бета-пользователей, Marble теперь поддерживает широкий спектр типов ввода, включая текст, изображения, видео и грубые 3D-макеты, и позволяет интерактивно редактировать, расширять и комбинировать 3D-мира. После создания эти миры могут быть экспортированы в такие форматы, как гауссовские пятна, меши или видео, что предоставляет пользователям больше контроля и гибкости над их творениями.

В дополнение к инструменту Marble, World Labs представила Marble Labs, креативную платформу, которая поощряет сотрудничество и эксперименты в таких областях, как игры, VFX, дизайн и робототехника. Marble Labs предлагает примеры, учебные пособия и документацию, предоставляя пользователям ресурсы для изучения и обмена своими собственными 3D мирами. Мультимодальные возможности нового инструмента основаны на идее, что восприятие человеком мира интегрирует несколько чувств — зрение, слух, осязание и язык — в целостную ментальную модель. Аналогично, мировые модели Marble разработаны для синтеза различных типов входных данных, чтобы создавать комплексные 3D миры, которые развиваются по мере добавления новой информации.

Marble выступает в качестве модели следующего поколения, предлагая широкие творческие возможности, позволяя пользователям легко создавать детализированные 3D миры и итеративно их уточнять с высокой точностью, от простых запросов до сложных интерактивных правок.

World Labs позволяет пользователям создавать, настраивать и расширять 3D-миры на основе текстовых, изображенческих и видеоподсказок

Marble позволяет пользователям генерировать полные 3D-миры из одного изображения или короткой текстовой подсказки, предоставляя интуитивно понятный и простой способ создавать различные сцены в разных художественных стилях. Используя изображения в качестве подсказок, пользователи могут интегрировать Marble с другими инструментами ИИ, создавая 3D-окружения из сгенерированных изображений. Однако, хотя текстовые и графические подсказки являются мощными, они предоставляют ограниченный творческий контроль, требуя от Marble генерировать любые недостающие детали сцены, что иногда может привести к неожиданным результатам.

Для пользователей, стремящихся к большему контролю, Marble также поддерживает многокартинное побуждение, где различные изображения могут быть объединены для создания единого 3D мира. Этот подход позволяет достичь большей точности, позволяя пользователям определять внешний вид мира с различных углов. Многокартинные подсказки также могут быть использованы для воссоздания реальных пространств, где Marble синтезирует несколько фотографий или видео с разных перспектив в 3D модель фактического местоположения.

Креативный процесс Marble разработан как итеративный, позволяя пользователям продолжать совершенствовать свои миры после генерации. Платформа включает в себя встроенные инструменты редактирования для внесения как незначительных, так и крупных изменений в 3D-мир, от удаления или модификации объектов до полного изменения визуального стиля или структуры. Для более детального контроля Marble представляет Chisel, инструмент на основе ИИ для продвинутых пользователей, который позволяет напрямую скульптировать миры в 3D. Используя простые 3D-формы или импортированные ресурсы, пользователи могут структурировать свои сцены и добавлять текстовые подсказки, чтобы задать визуальный стиль, предлагая новый уровень гибкости в создании миров.

Для более крупных и обширных миров Marble предоставляет инструменты для увеличения размера сгенерированного мира. Пользователи могут расширять конкретные регионы, улучшая детализацию и четкость в областях, которые ранее могли быть недостаточно точными. Кроме того, режим Композера позволяет пользователям объединять несколько сгенерированных миров в более крупные пространства, предлагая полный контроль над компоновкой и расстановкой сцен.

Как только мир создан, Marble предлагает несколько вариантов экспорта. Гауссовы пятна обеспечивают наиболее точное представление 3D-сцен, в то время как треугольные сетки могут быть экспортированы для использования в различных инструментах, соответствующих промышленным стандартам. Marble также поддерживает рендеринг видео с пиксельно-точным управлением камерой, позволяя пользователям захватывать и делиться своими мирами в виде видео, с возможностью дополнить эти видео дополнительными деталями или динамическими элементами.

Marble Labs предлагает платформу для исследования и экспериментов в области создания миров, демонстрируя творческие и технические проекты художников, инженеров и дизайнеров из различных отраслей. По мере эволюции Marble, компания стремится расширить возможности для более интерактивных опытов, потенциально позволяя симуляции, робототехнику и другие продвинутые приложения.

Хотя игры и виртуальная реальность часто приходят на ум в первую очередь, потенциальные области применения мировых моделей обширны и выходят далеко за пределы этих секторов. Эти модели имеют способность трансформировать различные области, включая симуляции робототехники, архитектурный дизайн и создание кинематографических миров. Подобно моделям генерации изображений и видео, мировые модели быстро становятся ценными инструментами, которые, как ожидается, интегрируются в рабочие процессы в самых различных отраслях в ближайшем будущем.