編輯:alan 好困
【新智元導讀】老黃新GPU深夜炸場,超高規格的背後也付出了不小的代價,小編帶大家深入了解一下新架構的硬體細節和成本,新顯卡的售價究竟高不高?輝達也不得不開始卷了
老黃的新GPU又在深夜炸場,震撼了所有的觀眾。
除了硬體參數上的震撼之外,大家夥最想知道的還是新GPU的售價會不會同樣震撼。
下面就讓我們從規格參數、工藝節點、封裝設計等方面來深入分析一下新一代Blackwell GPU的系統、定價、利潤,以及Jensen's Benevolence(老黃的仁慈)
在這個大模型的時代,輝達正處於世界之巔,擁有至高無上的定價權。
需要AI算力的使用者沒有更好的選擇,於是不得不接受輝達「用銀湯匙餵給他們的東西」,——毛利率超過85%的p00就是最好的例子。
而這一代B100在效能和總體擁有成本方面的優勢依然保持不變,超越了AMD的MI300X、英特爾的Gaudi 3。
不過這次新系列GPU的定價,可能會讓很多人大吃一驚,也許我們會說「B」代表的不是「Blackwell」架構,而是「Benevolence」(老黃的仁慈)。
——因為AI時代的主宰和救世主黃仁勛正在向全世界微笑,尤其是對於「GPU-poor」(缺乏GPU的使用者)來說。
B100 / B200規格
首先,Blackwell架構將2個GPU芯片粘在了一起,而工藝制程仍然保持在4nm,跟上一代的Hopper架構一樣。
——在以往釋出的最新數據中心GPU上,輝達都會采用更新的工藝制程,而這一次沒有。
這是因為台積電最初的3奈米N3B工藝存在問題,所以輝達不僅沒有吃到提升制程的紅利,還不得不把矽片的總量增加一倍。
此外,新架構使用了8-hi HBM3E,容量高達192GB,這些視訊記憶體的供應商是SK Hynix和Micron。
盡管其中絕大部份來自SK Hynix,但這也改變了SK Hynix作為p00視訊記憶體唯一供應商的局面。
至於早就宣布要開發"世界上最快"的HBM3E的三星,目前仍然差點意思。
GPU的前進演化趨勢是在更大的封裝中使用更多的矽片(包括邏輯和記憶體),而目前矽基插值器(silicon-based interposers)的尺寸已達到極限。
尺寸的增大會使矽片的生產面臨更多問題,從而降低產量。相比於上一代,B100的封裝尺寸要大得多,它將成為首款采用CoWoS-L的大容量產品(CoWoS-L是一種帶有無源矽橋的有機RDL基底面)。
Umbriel 和 Miranda
Blackwell的第一個版本代號叫Umbriel,它保留了前代PCIe Gen 5、400G網路等,B100風冷式700W甚至可以無縫接入現有的p00和p00伺服器底板。
不過B200的功率上限將提高到1000W,就需要重新設計伺服器了。當然也有資訊顯示,1000W版本仍然可以采用風冷方式,令人感到意外。
標準版GPU的代號是Miranda,擁有PCIe Gen 6和800G的網路,而視訊記憶體容量更是高達192GB。
目前,輝達已經買斷了所有36GB HBM的供應,SK Hynix和Micron將在明年初開始生產。這意味著,每塊GPU的容量實際上可以達到288GB。
GB200平台
在供應鏈中,每個人都在討論的產品是Oberon GB200平台,新平台解決了Gp00的許多問題。
首先,GB200將所需的CPU數量減半,從而在總體擁有成本(TCO)上占據了優勢。——Gp00的價格實在是太貴了,而大多數的AI負載,實際上用不到伺服器上昂貴的輝達Grace CPU所提供的功能。
很多時候,Gp00中的Grace芯片只是充當了世界上最昂貴的記憶體控制器。在可以單獨購買GPU的場景下,基本上所有AI大公司都會選擇買更多的GPU,而不是輝達的CPU。
另一方面,輝達正試圖銷售帶液體冷卻的整合機架。
輝達不願意單賣GPU或者NVSwitch,雖然讓一些使用者感到不滿,但由於交換機背板、電源匯流排和冷卻系統的整合度要求很高,也算是無可厚非。
在新的液冷機架中,CPU、GPU、NVSwitches和ConnectX7網卡全部采用水冷技術。
機架有兩個版本:一種是120kW,可容納72個GPU(總功率有點過分了),機架頂部有10個計算托盤,中間有9個NVSwitch托盤,底部有8個計算托盤。
每個計算托盤包含4個GPU、4個網卡、2個CPU、768GB HBM和2,000GB LPDDR5X。這個版本會晚一些上市。
另一種是功率較低的版本,這版本的機架有36個GPU和9個計算托盤,可以透過NVLink擴充套件連線兩個機架。
對大多數公司來說,這個版本可能更容易部署。輝達已通知機架的ODM廠商準備明年生產50,000個機架。
被卷到了
盡管B100為終端使用者提供了更好的價效比,但本身的制造成本卻增加了一倍以上。
SemiAnalysis表示,對於大批次超大規模定價,B100基板的平均售價僅僅約240,000美元。這對許多人來說是一個驚喜,因為這遠低於ASP逐代增長50%的預期。
那麽為什麽老黃的定價會如此仁慈?答案是被卷到了。
AMD的MI300目前成為了合格的競爭對手,已經成功拿到了輝達最大的兩個客戶Meta和微軟的大訂單,盡管AMD為此承擔了很大的技術風險、並盡力降低了利潤。
而另一方面,輝達的所有主要客戶都在設計自己的芯片。雖然迄今為止,只有谷歌取得了成功,但亞馬遜仍在繼續推出Inferentia和Trainium,Meta也在長期押註MTIA,微軟同樣開啟了芯片之旅。
輝達的防禦形態
很明顯,生產成本翻倍,但售價增加得不算太多,B100的利潤率肯定是趕不上前代了。
p00也是如此,它的ASP與p00相同,但HBM顯著增加,從而增加了BOM。
而p0則更糟糕,盡管價格賣的更低,但實際上它與p00使用了相同的GPU芯片,HBM容量也從80GB增加到96GB,因此總體BOM成本實際上也增加了。
——以上的分析雖然聽起來很可怕,不過別擔心,毛利率只會再下降幾個百分點而已。
SemiAnalysis對此評價道:「輝達更關心毛利潤和市場份額,而不是毛利率。過分擔心幾個百分點是精打細算的人所做的事情,而不是像黃仁勛這樣的有遠見的人所做的,他想以仁慈的計算獨裁者的身份統治世界。」
畢竟,輝達在數據中心上的收入持續飆升,並且正在實作供應鏈多元化,從800G收發器到電力傳輸元件,——老黃正在下一盤大棋。
也許,隨著時代的發展,輝達這個顯卡帝國可能不得不轉換成防禦形態,因為硬體和軟體上的護城河,都不會永遠堅不可摧。
但也許,新的帝國正在誕生之中。