World Labs Lança Marble: Ferramenta de IA Para Criar e Editar Mundos 3D a Partir de Textos, Imagens e Vídeos

Em Resumo

A World Labs acaba de lançar o Marble, o seu primeiro modelo de mundo comercial que gera ambientes 3D persistentes a partir de texto, imagens, vídeos ou layouts 3D.

A empresa de inteligência espacial World Labs lançou o Marble, um modelo de mundo multimodal generativo pioneiro que permite aos usuários criar ambientes 3D a partir de textos ou imagens. Inicialmente disponibilizado a um grupo seleto de usuários beta, o Marble agora suporta uma ampla gama de tipos de entrada, incluindo texto, imagens, vídeos e layouts 3D rudimentares, e permite edição interativa, expansão e combinação de mundos 3D. Uma vez criados, esses mundos podem ser exportados em formatos como splats gaussianos, malhas ou vídeos, oferecendo aos usuários mais controle e flexibilidade sobre suas criações.

Além da ferramenta Marble, a World Labs apresentou a Marble Labs, uma plataforma criativa que incentiva a colaboração e a experimentação em áreas como jogos, VFX, design e robótica. A Marble Labs oferece estudos de caso, tutoriais e documentação, fornecendo aos usuários os recursos para aprender e compartilhar seus próprios mundos 3D. As capacidades multimodais da nova ferramenta estão enraizadas na ideia de que a percepção humana do mundo integra múltiplos sentidos—visão, audição, toque e linguagem—em um modelo mental coeso. Da mesma forma, os modelos de mundo da Marble são projetados para sintetizar vários tipos de entrada para criar mundos 3D abrangentes que evoluem à medida que novas informações são adicionadas.

Marble destaca-se como um modelo mundial de próxima geração, oferecendo amplas possibilidades criativas ao permitir que os usuários gerem facilmente mundos 3D detalhados e os refine iterativamente com precisão, desde prompts simples até edições interativas complexas.

World Labs Capacita Usuários A Criar, Personalizar E Expandir Mundos 3D A Partir De Texto, Imagem E Vídeo

A Marble permite que os usuários gerem mundos 3D completos a partir de uma única imagem ou de um breve texto, proporcionando uma forma intuitiva e simples de criar uma variedade de cenas em diferentes estilos artísticos. Ao utilizar prompts de imagem, os usuários podem integrar a Marble com outras ferramentas de IA, criando ambientes 3D a partir de imagens geradas. No entanto, embora os prompts de texto e imagem sejam poderosos, eles oferecem controle criativo limitado, exigindo que a Marble gere quaisquer detalhes faltantes da cena, o que pode, às vezes, resultar em resultados inesperados.

Para os utilizadores que procuram mais controlo, o Marble também suporta a sugestão de várias imagens, onde diferentes imagens podem ser combinadas para criar um mundo 3D unificado. Esta abordagem permite maior precisão, permitindo que os utilizadores definam a aparência do mundo a partir de vários ângulos. Sugestões de várias imagens também podem ser usadas para recriar espaços do mundo real, onde o Marble sintetiza várias fotos ou vídeos de diferentes perspetivas numa modelo 3D da localização real.

O processo criativo da Marble é projetado para ser iterativo, com os usuários podendo refinar ainda mais seus mundos após a geração. A plataforma inclui ferramentas de edição nativas para fazer ajustes tanto menores quanto maiores no mundo 3D, desde a remoção ou modificação de objetos até a alteração completa do estilo visual ou estrutura. Para um controle mais detalhado, a Marble apresenta o Chisel, uma ferramenta impulsionada por IA para usuários avançados, permitindo a escultura direta de mundos em 3D. Usando formas 3D simples ou ativos importados, os usuários podem estruturar suas cenas e adicionar prompts de texto para ditar o estilo visual, oferecendo um novo nível de flexibilidade na criação de mundos.

Para mundos maiores e mais expansivos, a Marble oferece ferramentas para aumentar o tamanho de um mundo gerado. Os utilizadores podem expandir regiões específicas, melhorando o detalhe e a clareza em áreas que anteriormente poderiam ter faltado precisão. Além disso, o Modo Composer permite que os utilizadores combinem vários mundos gerados em espaços maiores, oferecendo controle total sobre o layout e a disposição das cenas.

Uma vez que um mundo é criado, o Marble oferece várias opções de exportação. Gaussian splats fornecem a representação de maior fidelidade de cenas 3D, enquanto malhas triangulares podem ser exportadas para uso em várias ferramentas padrão da indústria. O Marble também suporta renderização de vídeo com controle de câmera pixel-perfect, permitindo que os usuários capturem e compartilhem seus mundos em forma de vídeo, com a opção de aprimorar esses vídeos com detalhes adicionais ou elementos dinâmicos.

A Marble Labs oferece uma plataforma para explorar e experimentar a construção de mundos, exibindo projetos criativos e técnicos de artistas, engenheiros e designers de várias indústrias. À medida que a Marble evolui, pretende expandir-se para experiências mais interativas, potencialmente permitindo simulações, robótica e outras aplicações avançadas.

Embora os jogos e a realidade virtual sejam frequentemente as primeiras indústrias que vêm à mente, as aplicações potenciais para modelos de mundo são vastas e se estendem muito além desses setores. Esses modelos têm a capacidade de transformar vários campos, incluindo simulações de robótica, design arquitetônico e construção de mundos cinematográficos. Assim como os modelos de geração de imagens e vídeos, os modelos de mundo estão rapidamente se tornando ferramentas valiosas que se espera que se integrem aos fluxos de trabalho em uma ampla gama de indústrias em um futuro próximo.