World Labs lance Marble : un outil d'IA pour créer et éditer des mondes 3D à partir de textes, d'images et de vidéos.

En Bref

World Labs vient de lancer Marble, son premier modèle mondial commercial qui génère des environnements 3D persistants à partir de textes, d'images, de vidéos ou de mises en page 3D.

La société d'intelligence spatiale World Labs a lancé Marble, un modèle mondial multimodal génératif pionnier qui permet aux utilisateurs de créer des environnements 3D à partir de prompts textuels ou d'images. Initialement mis à disposition d'un groupe sélect de bêta-testeurs, Marble prend désormais en charge une large gamme de types d'entrée, y compris le texte, les images, la vidéo et les croquis 3D brut, et permet l'édition interactive, l'expansion et la combinaison de mondes 3D. Une fois créés, ces mondes peuvent être exportés dans des formats tels que des éclats gaussiens, des maillages ou des vidéos, offrant ainsi aux utilisateurs un meilleur contrôle et une plus grande flexibilité sur leurs créations.

En plus de l'outil Marble, World Labs a introduit Marble Labs, une plateforme créative qui encourage la collaboration et l'expérimentation dans des domaines tels que le jeu, les effets visuels, le design et la robotique. Marble Labs propose des études de cas, des tutoriels et de la documentation, fournissant aux utilisateurs les ressources nécessaires pour apprendre et partager leurs propres mondes 3D. Les capacités multimodales du nouvel outil reposent sur l'idée que la perception humaine du monde intègre plusieurs sens—la vue, le son, le toucher et le langage—dans un modèle mental cohérent. De même, les modèles de monde de Marble sont conçus pour synthétiser divers types d'entrées afin de créer des mondes 3D complets qui évoluent à mesure que de nouvelles informations sont ajoutées.

Marble se présente comme un modèle mondial de nouvelle génération, offrant d'énormes possibilités créatives en permettant aux utilisateurs de générer facilement des mondes 3D détaillés et de les affiner de manière itérative avec précision, des invites simples aux modifications interactives complexes.

World Labs permet aux utilisateurs de créer, personnaliser et étendre des mondes 3D à partir de textes, d'images et de vidéos.

Marble permet aux utilisateurs de générer des mondes 3D complets à partir d'une seule image ou d'une courte invite textuelle, offrant une manière intuitive et simple de créer une variété de scènes dans différents styles artistiques. En utilisant des invites d'image, les utilisateurs peuvent intégrer Marble avec d'autres outils d'IA, créant des environnements 3D à partir d'images générées. Cependant, bien que les invites textuelles et d'image soient puissantes, elles offrent un contrôle créatif limité, nécessitant que Marble génère tous les détails manquants de la scène, ce qui peut parfois entraîner des résultats inattendus.

Pour les utilisateurs recherchant plus de contrôle, Marble prend également en charge les invites multi-images, où différentes images peuvent être combinées pour créer un monde 3D unifié. Cette approche permet plus de précision en permettant aux utilisateurs de définir l'apparence du monde sous différents angles. Les invites multi-images peuvent également être utilisées pour recréer des espaces du monde réel, où Marble synthétise plusieurs photos ou vidéos de différentes perspectives en un modèle 3D de l'emplacement réel.

Le processus créatif de Marble est conçu pour être itératif, permettant aux utilisateurs de peaufiner leurs mondes après la génération. La plateforme comprend des outils d'édition natifs pour effectuer des ajustements mineurs ou majeurs dans le monde en 3D, allant de la suppression ou de la modification d'objets à l'altération complète du style visuel ou de la structure. Pour un contrôle plus détaillé, Marble introduit Chisel, un outil alimenté par l'IA pour les utilisateurs avancés, permettant le sculptage direct des mondes en 3D. En utilisant de simples formes 3D ou des ressources importées, les utilisateurs peuvent structurer leurs scènes et ajouter des invites textuelles pour dicter le style visuel, offrant un nouveau niveau de flexibilité dans la création de mondes.

Pour des mondes plus grands et plus vastes, Marble fournit des outils pour augmenter la taille d'un monde généré. Les utilisateurs peuvent étendre des régions spécifiques, améliorant le détail et la clarté dans des zones qui manquaient auparavant de précision. De plus, le Mode Composite permet aux utilisateurs de combiner plusieurs mondes générés en des espaces plus grands, offrant un contrôle total sur la disposition et l'agencement des scènes.

Une fois qu'un monde est créé, Marble propose plusieurs options d'exportation. Les splats gaussiens offrent la représentation la plus fidèle des scènes 3D, tandis que les maillages triangulaires peuvent être exportés pour être utilisés dans divers outils standards de l'industrie. Marble prend également en charge le rendu vidéo avec un contrôle de caméra pixel-perfect, permettant aux utilisateurs de capturer et de partager leurs mondes sous forme de vidéo, avec la possibilité d'améliorer ces vidéos avec des détails supplémentaires ou des éléments dynamiques.

Marble Labs propose une plateforme pour explorer et expérimenter la création d'univers, mettant en avant des projets créatifs et techniques d'artistes, d'ingénieurs et de designers provenant de divers secteurs. À mesure que Marble évolue, il vise à s'étendre vers des expériences plus interactives, permettant potentiellement des simulations, de la robotique et d'autres applications avancées.

Bien que les jeux vidéo et la réalité virtuelle soient souvent les premières industries qui viennent à l'esprit, les applications potentielles des modèles mondiaux sont vastes et s'étendent bien au-delà de ces secteurs. Ces modèles ont la capacité de transformer divers domaines, y compris les simulations robotiques, la conception architecturale et la création d'univers cinématographiques. Tout comme les modèles de génération d'images et de vidéos, les modèles mondiaux deviennent rapidement des outils précieux qui devraient s'intégrer dans les flux de travail d'un large éventail d'industries dans un avenir proche.