Dans une époque dominée par des modèles de fondation et d'énormes ensembles de données, les développeurs et les chercheurs se heurtent de plus en plus à des goulets d'étranglement en matière d'accès à la puissance de calcul. Bien que le cloud offre une évolutivité, des préoccupations concernant la vie privée, la latence et le coût ont poussé de nombreux constructeurs à rechercher des alternatives locales haute performance. La société de capital-risque A16z a maintenant révélé son poste de travail IA sur mesure, conçu pour offrir des performances de niveau entreprise directement sur site - propulsé par les derniers GPU Blackwell de NVIDIA.
Bande passante complète pour des charges de travail AI exigeantes
Au cœur du système se trouvent quatre GPU NVIDIA RTX 6000 Pro Blackwell Max-Q, chacun équipé de 96 Go de VRAM pour un total combiné de 384 Go. Contrairement aux stations de travail multi-GPU typiques qui répartissent la bande passante entre les cartes, chaque GPU ici se connecte via son propre canal PCIe 5.0 x16 dédié. Ce design offre une bande passante complète GPU-CPU, garantissant que l'entraînement et l'inférence des modèles se déroulent sans goulets d'étranglement.
Le système est associé au Ryzen Threadripper PRO 7975WX d'AMD, un CPU à 32 cœurs et 64 threads optimisé pour les charges de travail parallèles lourdes. Ensemble, le CPU et les GPU créent un environnement équilibré pour entraîner de grands modèles de langage, affiner des systèmes spécialisés et exécuter des applications d'IA multimodales.
Stockage et mémoire conçus pour l'échelle
Pour suivre le débit GPU, la station de travail d'A16z comprend quatre SSD NVMe PCIe 5.0 de 2 To, offrant près de 60 Go/s de bande passante aggrégée en RAID 0. La machine est également équipée de 256 Go de mémoire ECC DDR5, évolutive jusqu'à 2 To sur huit canaux.
Cette combinaison non seulement accélère le traitement de grands ensembles de données mais intègre également le stockage GPUDirect de NVIDIA, permettant aux données de circuler directement des SSD vers la mémoire GPU. En contournant la mémoire du CPU, ce design réduit considérablement la latence pour les charges de travail qui dépendent d'un mouvement rapide des données.
Efficacité énergétique et mobilité
Malgré sa puissance brute, la station de travail est étonnamment économe en énergie. Elle consomme un maximum de 1650W et peut fonctionner à partir d'une prise standard de 15 ampères. Un système de refroidissement liquide stabilise le CPU lors de sessions d'entraînement prolongées, tandis que le boîtier comprend des roues intégrées, rendant l'unité transportable à travers les laboratoires et les bureaux.
Débloquer le potentiel de l'IA locale
La station de travail A16z est présentée comme un outil flexible tant pour les chercheurs que pour les startups. Elle permet aux équipes d'entraîner, d'ajuster et de déployer des modèles localement sans transmettre de données sensibles au cloud. Au-delà des grands modèles linguistiques, la machine prend en charge l'IA multimodale, permettant des charges de travail simultanées sur des données textuelles, vidéo et image.
En combinant la puissance des GPU de classe entreprise, une vaste bande passante de stockage et un design pratique, la station de travail AI d'A16z offre une vision convaincante de l'infrastructure de calcul local à une époque où la demande de ressources AI n'a jamais été aussi grande.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
A16z dévoile un poste de travail AI alimenté par les GPU NVIDIA Blackwell
Dans une époque dominée par des modèles de fondation et d'énormes ensembles de données, les développeurs et les chercheurs se heurtent de plus en plus à des goulets d'étranglement en matière d'accès à la puissance de calcul. Bien que le cloud offre une évolutivité, des préoccupations concernant la vie privée, la latence et le coût ont poussé de nombreux constructeurs à rechercher des alternatives locales haute performance. La société de capital-risque A16z a maintenant révélé son poste de travail IA sur mesure, conçu pour offrir des performances de niveau entreprise directement sur site - propulsé par les derniers GPU Blackwell de NVIDIA.
Bande passante complète pour des charges de travail AI exigeantes
Au cœur du système se trouvent quatre GPU NVIDIA RTX 6000 Pro Blackwell Max-Q, chacun équipé de 96 Go de VRAM pour un total combiné de 384 Go. Contrairement aux stations de travail multi-GPU typiques qui répartissent la bande passante entre les cartes, chaque GPU ici se connecte via son propre canal PCIe 5.0 x16 dédié. Ce design offre une bande passante complète GPU-CPU, garantissant que l'entraînement et l'inférence des modèles se déroulent sans goulets d'étranglement.
Le système est associé au Ryzen Threadripper PRO 7975WX d'AMD, un CPU à 32 cœurs et 64 threads optimisé pour les charges de travail parallèles lourdes. Ensemble, le CPU et les GPU créent un environnement équilibré pour entraîner de grands modèles de langage, affiner des systèmes spécialisés et exécuter des applications d'IA multimodales.
Stockage et mémoire conçus pour l'échelle
Pour suivre le débit GPU, la station de travail d'A16z comprend quatre SSD NVMe PCIe 5.0 de 2 To, offrant près de 60 Go/s de bande passante aggrégée en RAID 0. La machine est également équipée de 256 Go de mémoire ECC DDR5, évolutive jusqu'à 2 To sur huit canaux.
Cette combinaison non seulement accélère le traitement de grands ensembles de données mais intègre également le stockage GPUDirect de NVIDIA, permettant aux données de circuler directement des SSD vers la mémoire GPU. En contournant la mémoire du CPU, ce design réduit considérablement la latence pour les charges de travail qui dépendent d'un mouvement rapide des données.
Efficacité énergétique et mobilité
Malgré sa puissance brute, la station de travail est étonnamment économe en énergie. Elle consomme un maximum de 1650W et peut fonctionner à partir d'une prise standard de 15 ampères. Un système de refroidissement liquide stabilise le CPU lors de sessions d'entraînement prolongées, tandis que le boîtier comprend des roues intégrées, rendant l'unité transportable à travers les laboratoires et les bureaux.
Débloquer le potentiel de l'IA locale
La station de travail A16z est présentée comme un outil flexible tant pour les chercheurs que pour les startups. Elle permet aux équipes d'entraîner, d'ajuster et de déployer des modèles localement sans transmettre de données sensibles au cloud. Au-delà des grands modèles linguistiques, la machine prend en charge l'IA multimodale, permettant des charges de travail simultanées sur des données textuelles, vidéo et image.
En combinant la puissance des GPU de classe entreprise, une vaste bande passante de stockage et un design pratique, la station de travail AI d'A16z offre une vision convaincante de l'infrastructure de calcul local à une époque où la demande de ressources AI n'a jamais été aussi grande.