當前位置: 華文世界 > 科技

HBM專題報告:釋放AI硬件效能,AI高景氣持續驅動需求高增

2024-07-15科技

(報告出品方:中國平安)

高頻寬儲存需求激增,HBM為AI時代首選記憶體技術

傳統記憶體的頻寬限制了AI硬件及系統的最大算力效能

當前諸如GPT-3等AI大模型所要求的算力日益提升,伴隨著的是參數數量呈現指數級增長,為了計算及處理如此龐大規模的數 據量,數據中心和邊緣器材需要配套持續提升計算效能和降低功耗,隨著對GPU/CPU 高負載工作頻率需求不斷增長,傳統的 記憶體頻寬限制了硬件以及系統的最大效能,為了釋放AI加速器最佳的硬件效能,市場急迫需要更高頻寬的記憶體解決方案。從 DRAM主流細分產品的頻寬發展來看,HBM(High Bandwidth Memory,高寬頻記憶體)自身的記憶體頻寬以及頻寬提升速度均大 幅領先於其他DRAM產品,有望成為AI時代中最重要的記憶體技術之一。

HBM是當前AI時代首選的記憶體技術

AI時代下高頻寬儲存需求激增,HBM技術正步入快速發展階段。HBM(High Bandwidth Memory,高寬頻記憶體)采用矽 通孔(TSV)技術將多個DRAM芯片進行堆疊,並與GPU一同進行封裝,形成大容量、高位寬的DDR組合陣列,從而克 服單一封裝內的頻寬限制。相較於傳統DDR記憶體,HBM具有高頻寬、低功耗、低延時等優勢,已成為當前高效能計算、 人工智能等領域的首選記憶體技術。以輝達p00 SXM5為例,其整合了6顆HBM3,總容量達到80GB,記憶體頻寬超 3TB/s,是A100記憶體頻寬的2倍。

當前HBM產品已發展至第五代HBM3e

當前HBM產品已經發展至第五代,HBM4最早有望於2025年提前釋出。第一代HBM產品由SK海力士於2014年釋出,此後每一代HBM的 升級更叠,在記憶體頻寬、I/O速率等方面都迎來明顯提升,當前HBM已發展至第五代(HBM3e),容量最高可達36GB,記憶體頻寬已提 升至1.2TB/s,I/O速率最高可達9.2Gbps。另外,考慮到當前HBM需求的火爆程度,SK海力士計劃提前一年在2025年釋出HBM4。 根據TrendForce數據,2022-2023年全球HBM市場主要以HBM2e為主,隨著HBM3的釋出以及持續放量,預計2024年市場需求將向HBM3 轉移,HBM3將替代HBM2e成為市場主流HBM產品,市占率有望由2023年的39%提升至60%。

輝達及AMD新品GPU均將搭載HBM3e

展望未來,從輝達和AMD主力GPU產品的叠代行程以及搭載HBM規格規劃來看,一方面,預計24p出貨的輝達p00將取 代p00成為主流,包括後續推出的GB200及B100,均將采用HBM3e,將推動市場逐步由HBM3向HBM3e升級。另一方面,為了 提升AI伺服器整體運算效能及系統頻寬,HBM產品的堆疊層數及容量將隨著產品更叠而持續提升,以輝達B200及AMD MI375為例,預計兩款GPU新品將搭載12hi 288GB規格的HBM3e。

TSV為HBM核心工藝,混合鍵合將成未來主流

TSV技術是HBM實作芯片垂直堆疊的核心工藝

HBM加工制造流程主要包括前端晶圓制造加工,以及後端Bumping、Stacking和KGSD測試環節。其中,相較於平面 DRAM的制造流程,TSV(矽通孔)技術是HBM實作芯片垂直堆疊的核心工藝。

混合鍵合有望成為未來HBM主流堆疊技術

混合鍵合 ( Hybrid Bonding) 有望成為未來HBM主流堆疊技術 。 當 前 市 場主 流 的 HBM 堆 疊技 術 主 要以 TCB(ThermoCompression Bonding,熱壓鍵合)和MR-MUF(Mass Reflow–Molded Underfill,批次回流焊)工藝技術為主,其中,SK海力士 從HBM2e起便開始采用MR-MUF堆疊技術來緩解芯片垂直堆疊帶來的散熱問題,考慮到HBM對於堆疊高度以及散熱的要求, SK海力士預計將采用混合鍵合技術生產HBM4。

TSV可以實作最大垂直堆疊密度的同時減少訊號傳輸路徑

TSV技術是一種透過在矽芯片內部鉆孔形成垂直貫通的電極並將多個芯片垂直3D堆疊的封裝方法。傳統的引線鍵合技術隨著 堆疊層數和連線引腳的增加會使得布線變得愈發復雜,而TSV結合微凸點的封裝技術可以在有限垂直空間內實作更大的芯片 堆疊密度,促使訊號傳輸路徑明顯縮短,因此可以同時達到提高頻寬和降低功耗的作用。

TSV環節在HBM封裝工藝中價值量占比最高。根據3DinCites數據,在99.5%鍵合良率的HBM(4層DRAM+1層邏輯)的BOM成本 中,TSV建立和TSV暴露合計價值占比達30%,為HBM封裝工藝中價值量占比最大的環節,其次是前端制程和後端制程,價值 量占比分別達20%、20%。

MR-MUF技術實作了散熱效能和生產效率的雙重提升

MR-MUF技術主要透過回流焊將多個芯片粘合在一起,並在芯片之間使用液態EMC材料進行間隙填充。與傳統TC-NCF工藝相比,MRMUF具有更高的導熱效率,有助於改善HBM因為堆疊層數增加而導致的散熱問題,以8Hi HBM為例,在2Gbps引腳速率的相同工作條件 下,使用MR-MUF工藝的HBM產品相較TC-NCF工藝在最大結溫方面降低了14℃。

憑借率先推出的Advanced MR-MUF技術,SK海力士成功釋出12層HBM3以及HBM3e,持續夯實市場領先優勢。相對於原有MR-MUF技術, 該先進封裝技術在采用了改進的EMC後,很好的改善了由於芯片減薄導致的翹曲問題,同時還實作生產效率提高了3倍,散熱效能提高 了2.5倍。

EMC為MR-MUF主要間隙填充材料

EMC(Epoxy Molding Compound,環氧樹脂模塑膠)為MR-MUF主要間隙填充材料。EMC是用於半導體封裝的一種熱 固性化學材料,由環氧樹脂作為基體,並加入各種添加劑和填充劑混合而成,主要套用於半導體封裝工藝中的塑封環 節,屬於技術含量高、工藝難度大、知識密集型的產業環節。在塑封過程中,封裝廠商主要采用傳遞成型法將環氧塑 封料擠壓入模腔並將其中的半導體芯片包埋,在模腔內交聯固化成型後成為具有一定結構外型的半導體器件。當前SK 海力士使用MR-MUF技術時主要采用EMC進行芯片間隙填充。

SK海力士全球領先,三星、美光奮起直追

SK海力士領先全球市場,三星、美光奮起直追

韓系廠商為當前HBM市場絕對主力供應。SK海力士作為AI儲存領域先行者,產品覆蓋HBM全世代產品,得益於先行優勢,SK海力士市 占率全球領先並成為輝達核心HBM供應商,三星則憑借其在儲存領域長期積累的技術實力以及和AMD保持的長期戰略夥伴關系,相 關產品持續透過驗證並放量,市場份額緊隨SK海力士,而美光不論是供應產能還是市場份額方面均有所落後,選擇跳過HBM3直接進入 HBM3e。從HBM3e供應進展來看,根據TrendForce,24Q1 SK海力士率先透過驗證,美光緊跟其後,並計劃於24Q1量產HBM3e產品,三 星由於遞交樣品時點相對略晚,預計其HBM3e將於24Q2才開始正式出貨。

SK海力士:全球領先的AI儲存廠商,市場份額占全球半壁江山

SK海力士作為全球領先的AI儲存廠商,自2014年釋出第一代HBM後便持續加大HBM產品的研發投入,憑借Advanced MR-MUF、HKMG等 基本技術,公司HBM產品綜合效能優勢突出,及時滿足了AI對高頻寬儲存的增長需求,市場份額全球領先。公司於24Q1實作HBM3e出 貨,當前良率接近80%,公司正與台積電合作開發HBM4,考慮到當前HBM強勁需求,SK海力士計劃提前一年在2025年釋出HBM4。

為了保持在HBM領域的持續領先地位,6月30日SK海力士宣布計劃在2028年前投資約82萬億韓元用於HBM。此前,公司表示計劃投資20 萬億韓元建設M15X晶圓廠,該生產基地主要以制造DRAM為主,預計於2025年底開始營運,該工廠將進一步最佳化公司HBM的生產效率。 另外,SK海力士還計劃投資38.7億美元建設位於印第安納州西拉法葉的先進封裝工廠,用於生產HBM等AI儲存產品,預計於2028年投產。

三星:全球儲存芯片龍頭,持續加大HBM產能擴建

三星作為全球儲存芯片龍頭之一,不論是研發技術還是市場影響力均是行業領先水平,由於技術路徑差異和市場戰略定位等原因,三 星HBM市占率略低於SK海力士位居全球第二。24年2月三星釋出首款12層HBM3e,相較8層HBM3,在頻寬和容量上大幅提升超過50%, 垂直密度提高20%。與SK海力士用MR-MUF生產HBM3e不同,三星主要采用先進TC-NCF技術,使得12層和8層堆疊產品的高度保持一致。 此外,三星還計劃在2026年推出16層HBM4產品。

為了提高市場份額並縮短與SK海力士的差距,一方面,三星透過改組及新設持續最佳化HBM研發團隊,另一方面,公司積極擴建HBM產 能,以2023年HBM產量為基準,預計2024年產量將提升2.9倍,2026/2028年將分別提升13.8倍/23.1倍。

美光:越代研發攻克HBM3e,24/25年HBM產能基本售罄

由於美光在HBM領域的進展相對落後於SK海力士和三星,公司選擇直接跳過HBM3進行HBM3e研發,其功耗相對同業競品低30%,公司 HBM3e在FY24Q2便實作出貨並將用於輝達p00 Tensor Core GPU系統。得益於AI需求增長,FY24Q3公司HBM3e單季度收入達1億美元, 預計HBM產品將在FY24創造數億美元的收入,在FY25將貢獻超十億美元的收入。當前公司已完成12層HBM3e送樣,預計將於FY25實作 規模出貨,HBM4則有望在2026-2027年期間推出。

資本支出方面,FY24公司資本支出將接近80億美元,同時公司預計FY25資本支出將占總收入30%,主要用於支持HBM封測器材、晶圓 廠和後端的基礎設施建設。此外,公司2024/2025年的HBM產能已基本售罄。

報告節選:

(本文僅供參考,不代表我們的任何投資建議。如需使用相關資訊,請參閱報告原文。)

精選報告來源:【未來智庫】。