Trong kỷ nguyên bị chi phối bởi các mô hình nền tảng và tập dữ liệu khổng lồ, các nhà phát triển và nhà nghiên cứu ngày càng phải đối mặt với những nút thắt trong việc truy cập tính toán. Trong khi đám mây cung cấp khả năng mở rộng, những lo ngại về quyền riêng tư, Trễ và chi phí đã khiến nhiều người xây dựng tìm kiếm các giải pháp thay thế địa phương hiệu suất cao. Công ty vốn mạo hiểm A16z hiện đã tiết lộ trạm làm việc AI được xây dựng riêng của mình, được thiết kế để cung cấp hiệu suất cấp doanh nghiệp trực tiếp tại chỗ - được cung cấp bởi các GPU Blackwell mới nhất của NVIDIA.
Băng thông đầy đủ cho các khối lượng công việc AI đòi hỏi
Tại cốt lõi của hệ thống là bốn GPU NVIDIA RTX 6000 Pro Blackwell Max-Q, mỗi GPU được trang bị 96GB VRAM với tổng cộng 384GB. Khác với các trạm làm việc đa GPU thông thường chia sẻ băng thông giữa các thẻ, mỗi GPU ở đây kết nối qua một làn PCIe 5.0 x16 riêng biệt. Thiết kế này cung cấp băng thông đầy đủ từ GPU tới CPU, đảm bảo quá trình huấn luyện và suy luận mô hình diễn ra mà không bị tắc nghẽn.
Hệ thống được ghép nối với CPU Ryzen Threadripper PRO 7975WX của AMD, một CPU 32 lõi, 64 luồng được tối ưu hóa cho các công việc song song nặng. Cùng nhau, CPU và GPU tạo ra một môi trường cân bằng cho việc đào tạo các mô hình ngôn ngữ lớn, tinh chỉnh các hệ thống chuyên biệt và chạy các ứng dụng AI đa phương thức.
Lưu trữ và Bộ nhớ Được Xây dựng cho Quy mô
Để theo kịp với thông lượng GPU, trạm làm việc của A16z bao gồm bốn ổ SSD NVMe PCIe 5.0 2TB, cung cấp băng thông tổng hợp gần 60GB/s trong RAID 0. Máy cũng đi kèm với 256GB bộ nhớ ECC DDR5, có thể mở rộng lên đến 2TB qua tám kênh.
Sự kết hợp này không chỉ tăng cường xử lý bộ dữ liệu lớn mà còn tích hợp NVIDIA GPUDirect Storage, cho phép dữ liệu chảy trực tiếp từ SSD vào bộ nhớ GPU. Bằng cách bỏ qua bộ nhớ CPU, thiết kế này giảm đáng kể Trễ cho các khối lượng công việc phụ thuộc vào việc di chuyển dữ liệu nhanh chóng.
Hiệu quả năng lượng và di động
Mặc dù có sức mạnh thô ráp, máy trạm lại rất tiết kiệm năng lượng. Nó tiêu thụ tối đa 1650W và có thể hoạt động từ một ổ cắm 15-amp tiêu chuẩn. Hệ thống làm mát bằng chất lỏng ổn định CPU trong các phiên huấn luyện kéo dài, trong khi vỏ máy bao gồm các bánh xe tích hợp, giúp thiết bị có thể di chuyển giữa các phòng thí nghiệm và văn phòng.
Khám Phá Tiềm Năng AI Địa Phương
Máy trạm A16z được định vị như một công cụ linh hoạt cho cả các nhà nghiên cứu và các startup. Nó cho phép các đội ngũ huấn luyện, tinh chỉnh và triển khai các mô hình tại chỗ mà không phải chuyển giao dữ liệu nhạy cảm lên đám mây. Ngoài các mô hình ngôn ngữ lớn, máy hỗ trợ AI đa phương thức, cho phép thực hiện đồng thời các khối công việc qua dữ liệu văn bản, video và hình ảnh.
Bằng cách kết hợp sức mạnh GPU lớp doanh nghiệp, băng thông lưu trữ rộng lớn và thiết kế thực tiễn, trạm làm việc AI của A16z cung cấp một tầm nhìn hấp dẫn về cơ sở hạ tầng tính toán địa phương vào thời điểm nhu cầu về tài nguyên AI chưa bao giờ lớn như hiện nay.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
A16z Ra Mắt Trạm Làm Việc AI Được Trang Bị GPU NVIDIA Blackwell
Trong kỷ nguyên bị chi phối bởi các mô hình nền tảng và tập dữ liệu khổng lồ, các nhà phát triển và nhà nghiên cứu ngày càng phải đối mặt với những nút thắt trong việc truy cập tính toán. Trong khi đám mây cung cấp khả năng mở rộng, những lo ngại về quyền riêng tư, Trễ và chi phí đã khiến nhiều người xây dựng tìm kiếm các giải pháp thay thế địa phương hiệu suất cao. Công ty vốn mạo hiểm A16z hiện đã tiết lộ trạm làm việc AI được xây dựng riêng của mình, được thiết kế để cung cấp hiệu suất cấp doanh nghiệp trực tiếp tại chỗ - được cung cấp bởi các GPU Blackwell mới nhất của NVIDIA.
Băng thông đầy đủ cho các khối lượng công việc AI đòi hỏi
Tại cốt lõi của hệ thống là bốn GPU NVIDIA RTX 6000 Pro Blackwell Max-Q, mỗi GPU được trang bị 96GB VRAM với tổng cộng 384GB. Khác với các trạm làm việc đa GPU thông thường chia sẻ băng thông giữa các thẻ, mỗi GPU ở đây kết nối qua một làn PCIe 5.0 x16 riêng biệt. Thiết kế này cung cấp băng thông đầy đủ từ GPU tới CPU, đảm bảo quá trình huấn luyện và suy luận mô hình diễn ra mà không bị tắc nghẽn.
Hệ thống được ghép nối với CPU Ryzen Threadripper PRO 7975WX của AMD, một CPU 32 lõi, 64 luồng được tối ưu hóa cho các công việc song song nặng. Cùng nhau, CPU và GPU tạo ra một môi trường cân bằng cho việc đào tạo các mô hình ngôn ngữ lớn, tinh chỉnh các hệ thống chuyên biệt và chạy các ứng dụng AI đa phương thức.
Lưu trữ và Bộ nhớ Được Xây dựng cho Quy mô
Để theo kịp với thông lượng GPU, trạm làm việc của A16z bao gồm bốn ổ SSD NVMe PCIe 5.0 2TB, cung cấp băng thông tổng hợp gần 60GB/s trong RAID 0. Máy cũng đi kèm với 256GB bộ nhớ ECC DDR5, có thể mở rộng lên đến 2TB qua tám kênh.
Sự kết hợp này không chỉ tăng cường xử lý bộ dữ liệu lớn mà còn tích hợp NVIDIA GPUDirect Storage, cho phép dữ liệu chảy trực tiếp từ SSD vào bộ nhớ GPU. Bằng cách bỏ qua bộ nhớ CPU, thiết kế này giảm đáng kể Trễ cho các khối lượng công việc phụ thuộc vào việc di chuyển dữ liệu nhanh chóng.
Hiệu quả năng lượng và di động
Mặc dù có sức mạnh thô ráp, máy trạm lại rất tiết kiệm năng lượng. Nó tiêu thụ tối đa 1650W và có thể hoạt động từ một ổ cắm 15-amp tiêu chuẩn. Hệ thống làm mát bằng chất lỏng ổn định CPU trong các phiên huấn luyện kéo dài, trong khi vỏ máy bao gồm các bánh xe tích hợp, giúp thiết bị có thể di chuyển giữa các phòng thí nghiệm và văn phòng.
Khám Phá Tiềm Năng AI Địa Phương
Máy trạm A16z được định vị như một công cụ linh hoạt cho cả các nhà nghiên cứu và các startup. Nó cho phép các đội ngũ huấn luyện, tinh chỉnh và triển khai các mô hình tại chỗ mà không phải chuyển giao dữ liệu nhạy cảm lên đám mây. Ngoài các mô hình ngôn ngữ lớn, máy hỗ trợ AI đa phương thức, cho phép thực hiện đồng thời các khối công việc qua dữ liệu văn bản, video và hình ảnh.
Bằng cách kết hợp sức mạnh GPU lớp doanh nghiệp, băng thông lưu trữ rộng lớn và thiết kế thực tiễn, trạm làm việc AI của A16z cung cấp một tầm nhìn hấp dẫn về cơ sở hạ tầng tính toán địa phương vào thời điểm nhu cầu về tài nguyên AI chưa bao giờ lớn như hiện nay.