xAI 據報導擁有約 55 萬個 $NVDA H100 和 H200 GPU,但僅使用了約 11% 的資源,約等於有效利用 60,000 個 GPU


根據 The Information 的報導,關鍵問題不在於硬體供應,而在於軟體堆疊的效率。在大規模運作中,閒置時間迅速增加,因為分散式訓練、資料管道、排程和分析系統變得更難協調
$META 和 $GOOG 據稱達到更高的利用率,約為 43% 和 46%,因為它們的內部軟體堆疊更為成熟
xAI 的目標是達到 50% 的利用率,但尚未給出時間表。主要的前進路徑將是更好的基礎設施協調、訓練軟體、資料管道優化和工作負載管理
查看原文
post-image
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 回覆
  • 轉發
  • 分享
回覆
請輸入回覆內容
請輸入回覆內容
暫無回覆