當前位置: 華文世界 > 科技

AI算力「賣水人」:NVIDIA GB200,重塑伺服器銅纜液冷HBM價值

2024-10-20科技

大模型訓推帶動 AI 算力需求增長, GB200 等新一代算力架構將推出,算力產業鏈中的 AI 芯片、伺服器整機、銅連線、 HBM 、液冷、 光模組、 IDC 等環節有望持續受益。

幻影視界 今天分享的是人工智慧AI 算力 行業研究報告: 【AI算力「賣水人」系列(3):NVIDIA GB200:重塑伺服器銅纜液冷HBM價值

研究報告內容摘 如下


伺服器細節拆分:主機板從 HGX MGX GB200 NVL72 價值量提升

GB200主機板從HGX模式變為MGX,HGX是NVIDIA推出的高效能伺服器,通常包含8個或4個GPU,MGX是一個開放模組化伺服器設計規範和加速計算 的設計,在Blackwell系列大範圍使用。MGX模式下,GB200 Switch tray主要為工業富聯生產,Compute Tray為緯創與工業富聯共同生產,交付給英 偉達。據Semianalysis,有望帶來機櫃整合、HBM、銅連線、液冷等四個市場價值量2-10倍提升。

輝達整機: GB2 0 0 NVL7 2 訓練與推理能力倍數提升

  • AI 訓練: GB2 0 0 包含速度更快的第二代 Tr a n sf o rme r 引擎。與相同數量的 NVIDIA p 0 0 GPU 相比, GB2 0 0 NVL7 2 可為 GPT-MoE-1.8 T 等大型語言模型提供 4 倍的訓練效能。

  • AI 推理: GB200 引入了先進的功能和第二代 Transformer 引擎,可加速 LLM 推理工作負載。與上一代 p00 相比,它將資源 密集型應用程式 ( 例如 1.8 T 參數 GPT-MoE) 的速度提高了 30 倍。新一代 Tensor Cor e 引入了 FP4 精度和第五代 NVLink 來的諸多優勢,使這一進步成為可能。

  • 加快資料庫查詢速度: GB200 利用 NVIDIA Bl ackwell 架構中具有高頻寬記憶體效能的 NVLink-C2C 和專用解壓縮引擎,將關鍵 資料庫查詢的速度提升為 CPU 18 倍,總擁有成本降低 5 倍。

  • 銅連線: DACs 市場較快增長, GB200 NVL72 需求較大

    LightCounting ,受益於伺服器連線以及分解式交換機和路由器中的互連需求提升, 預期高速線纜的銷售額預計在 2023-2028 年將增加一倍以上,到 2028 年將達到 28 億美元 。有源電纜 (AECs) 將逐步搶占有源光纜 (AOCs) 和無源銅線 (DACs) 的市場份額。 AECs 的傳輸距離更長,而且比 DACs 輕得多。

    DACs 將保持較快增長, NVIDIA 需求較高。 新的 100G Se rDe s 使 100G / l ane 設計的無源銅纜的覆蓋範圍比預期的要長,包括 400G 800G 1.6T DACs 。據 LightCounting ,預計 2024 年底開始發貨的 200G Se rDe s 表現出色,這將使 DACs 擴充套件到每通道 200G 的設計,由於 DACs 不需要電,因此它是努力提高電力效率的數據中心連線的預設解決方案。最小化功耗對 AI 集群來說是 最關鍵的。 Nvidia 的策略是盡可能多地部署 DACs ,只有在必要的情況下才使用光模組。

    冷板式液冷較為成熟, GB200 NVL72 采用液冷方案

    AI大模型訓推對芯片算力提出更高要求,提升單芯片功耗,輝達B200功耗超1000W、接近風冷散熱上限。液冷技術具備更高散熱效率,包括冷板式與 浸沒式兩類,其中冷板式為間接冷卻,初始投資中等,運維成本較低,相對成熟,輝達GB200 NVL72采用冷板式液冷解決方案。

    幻影視界整理分享報告原文節選如下:

    本文僅供參考,不代表我們的任何投資建議。 幻影視界 整理分享的資料僅推薦閱讀,使用者 獲取的資料 僅供個人學習,如需使用請參閱報告原文。