World Labs Ra Mắt Marble: Công Cụ AI Để Tạo Và Chỉnh Sửa Thế Giới 3D Từ Văn Bản, Hình Ảnh Và Video Nhắc Nhở

Tóm tắt

World Labs vừa phát hành Marble, mô hình thế giới thương mại đầu tiên của họ, tạo ra các môi trường 3D bền vững từ văn bản, hình ảnh, video hoặc bố cục 3D.

Công ty trí tuệ không gian World Labs đã ra mắt Marble, một mô hình thế giới đa phương thức tạo ra tiên phong cho phép người dùng tạo ra các môi trường 3D từ các gợi ý văn bản hoặc hình ảnh. Ban đầu chỉ có sẵn cho một nhóm người dùng beta chọn lọc, Marble hiện hỗ trợ nhiều loại đầu vào khác nhau, bao gồm văn bản, hình ảnh, video và bố cục 3D thô, và cho phép chỉnh sửa tương tác, mở rộng và kết hợp các thế giới 3D. Khi đã được tạo ra, các thế giới này có thể được xuất ra các định dạng như Gaussian splats, lưới hay video, cung cấp cho người dùng nhiều quyền kiểm soát và linh hoạt hơn đối với các sáng tạo của họ.

Ngoài công cụ Marble, World Labs đã giới thiệu Marble Labs, một nền tảng sáng tạo khuyến khích sự hợp tác và thử nghiệm trong các lĩnh vực như trò chơi, VFX, thiết kế và robot. Marble Labs có các nghiên cứu điển hình, hướng dẫn và tài liệu, cung cấp cho người dùng các tài nguyên để học hỏi và chia sẻ thế giới 3D của riêng họ. Khả năng đa phương tiện của công cụ mới được dựa trên ý tưởng rằng nhận thức của con người về thế giới tích hợp nhiều giác quan—thị giác, thính giác, xúc giác và ngôn ngữ—thành một mô hình tinh thần thống nhất. Tương tự, các mô hình thế giới của Marble được thiết kế để tổng hợp các loại đầu vào khác nhau để tạo ra các thế giới 3D toàn diện phát triển khi thông tin mới được thêm vào.

Marble là một mô hình thế giới thế hệ tiếp theo, cung cấp nhiều khả năng sáng tạo mở rộng bằng cách cho phép người dùng dễ dàng tạo ra các thế giới 3D chi tiết và tinh chỉnh chúng một cách chính xác, từ các gợi ý đơn giản đến các chỉnh sửa tương tác phức tạp.

World Labs Trao Quyền Cho Người Dùng Tạo, Tùy Chỉnh Và Mở Rộng Thế Giới 3D Từ Các Gợi Ý Văn Bản, Hình Ảnh Và Video

Marble cho phép người dùng tạo ra các thế giới 3D đầy đủ từ một hình ảnh duy nhất hoặc một đoạn văn ngắn, cung cấp một cách trực quan và đơn giản để tạo ra nhiều cảnh khác nhau trong các phong cách nghệ thuật khác nhau. Bằng cách sử dụng các hình ảnh làm gợi ý, người dùng có thể tích hợp Marble với các công cụ AI khác, tạo ra các môi trường 3D từ các hình ảnh được tạo ra. Tuy nhiên, trong khi các gợi ý văn bản và hình ảnh rất mạnh mẽ, chúng cung cấp quyền kiểm soát sáng tạo hạn chế, yêu cầu Marble phải tạo ra bất kỳ chi tiết còn thiếu nào của cảnh, điều này đôi khi có thể dẫn đến những kết quả bất ngờ.

Đối với người dùng tìm kiếm nhiều quyền kiểm soát hơn, Marble cũng hỗ trợ việc nhắc nhiều hình ảnh, nơi mà các hình ảnh khác nhau có thể được kết hợp để tạo ra một thế giới 3D thống nhất. Cách tiếp cận này cho phép độ chính xác cao hơn bằng cách cho phép người dùng xác định diện mạo của thế giới từ nhiều góc độ khác nhau. Các nhắc hình ảnh nhiều có thể được sử dụng để tái tạo các không gian thực tế, nơi mà Marble tổng hợp nhiều bức ảnh hoặc video từ các góc độ khác nhau thành một mô hình 3D của vị trí thực tế.

Quá trình sáng tạo của Marble được thiết kế để có tính lặp lại, với người dùng có thể tinh chỉnh thế giới của họ sau khi tạo ra. Nền tảng bao gồm các công cụ chỉnh sửa bản địa để thực hiện cả những điều chỉnh nhỏ và lớn đối với thế giới 3D, từ việc loại bỏ hoặc chỉnh sửa các đối tượng đến việc hoàn toàn thay đổi phong cách hoặc cấu trúc hình ảnh. Để kiểm soát chi tiết hơn, Marble giới thiệu Chisel, một công cụ do AI điều khiển dành cho người dùng nâng cao, cho phép việc điêu khắc trực tiếp các thế giới trong 3D. Sử dụng các hình dạng 3D đơn giản hoặc tài sản được nhập khẩu, người dùng có thể cấu trúc các cảnh của họ và thêm các câu lệnh văn bản để xác định phong cách hình ảnh, mang đến một mức độ linh hoạt mới trong việc tạo ra thế giới.

Đối với các thế giới lớn hơn và rộng lớn hơn, Marble cung cấp các công cụ để tăng kích thước của một thế giới được tạo ra. Người dùng có thể mở rộng các khu vực cụ thể, cải thiện chi tiết và độ rõ nét ở những khu vực có thể trước đây thiếu chính xác. Thêm vào đó, Chế độ Composer cho phép người dùng kết hợp nhiều thế giới được tạo ra thành các không gian lớn hơn, cung cấp toàn quyền kiểm soát về cách bố trí và sắp xếp các cảnh.

Khi một thế giới được tạo ra, Marble cung cấp nhiều tùy chọn xuất khẩu. Gaussian splats cung cấp sự biểu diễn 3D cao nhất, trong khi lưới tam giác có thể được xuất khẩu để sử dụng trong các công cụ tiêu chuẩn trong ngành. Marble cũng hỗ trợ việc kết xuất video với điều khiển camera chính xác đến từng pixel, cho phép người dùng ghi lại và chia sẻ thế giới của họ dưới dạng video, với tùy chọn tăng cường những video này bằng các chi tiết bổ sung hoặc các yếu tố động.

Marble Labs cung cấp một nền tảng để khám phá và thử nghiệm với việc xây dựng thế giới, giới thiệu các dự án sáng tạo và kỹ thuật từ các nghệ sĩ, kỹ sư và nhà thiết kế từ nhiều ngành khác nhau. Khi Marble phát triển, nó nhằm mở rộng sang nhiều trải nghiệm tương tác hơn, có khả năng cho phép các mô phỏng, robot và các ứng dụng tiên tiến khác.

Mặc dù trò chơi và thực tế ảo thường là những ngành đầu tiên được nghĩ đến, nhưng các ứng dụng tiềm năng cho các mô hình thế giới là rất lớn và mở rộng xa hơn những lĩnh vực này. Những mô hình này có khả năng biến đổi nhiều lĩnh vực, bao gồm mô phỏng robot, thiết kế kiến trúc và xây dựng thế giới điện ảnh. Giống như các mô hình tạo hình ảnh và video, các mô hình thế giới đang nhanh chóng trở thành những công cụ quý giá, được kỳ vọng sẽ tích hợp vào quy trình làm việc trong một loạt các ngành công nghiệp trong tương lai gần.