当前位置: 华文世界 > 科技

HBM专题报告:释放AI硬件性能,AI高景气持续驱动需求高增

2024-07-15科技

(报告出品方:中国平安)

高带宽存储需求激增,HBM为AI时代首选内存技术

传统内存的带宽限制了AI硬件及系统的最大算力性能

当前诸如GPT-3等AI大模型所要求的算力日益提升,伴随着的是参数数量呈现指数级增长,为了计算及处理如此庞大规模的数 据量,数据中心和边缘设备需要配套持续提升计算性能和降低功耗,随着对GPU/CPU 高负载工作频率需求不断增长,传统的 内存带宽限制了硬件以及系统的最大性能,为了释放AI加速器最佳的硬件性能,市场急迫需要更高带宽的内存解决方案。从 DRAM主流细分产品的带宽发展来看,HBM(High Bandwidth Memory,高宽带内存)自身的内存带宽以及带宽提升速度均大 幅领先于其他DRAM产品,有望成为AI时代中最重要的内存技术之一。

HBM是当前AI时代首选的内存技术

AI时代下高带宽存储需求激增,HBM技术正步入快速发展阶段。HBM(High Bandwidth Memory,高宽带内存)采用硅 通孔(TSV)技术将多个DRAM芯片进行堆叠,并与GPU一同进行封装,形成大容量、高位宽的DDR组合阵列,从而克 服单一封装内的带宽限制。相较于传统DDR内存,HBM具有高带宽、低功耗、低延时等优势,已成为当前高性能计算、 人工智能等领域的首选内存技术。以英伟达p00 SXM5为例,其集成了6颗HBM3,总容量达到80GB,内存带宽超 3TB/s,是A100内存带宽的2倍。

当前HBM产品已发展至第五代HBM3e

当前HBM产品已经发展至第五代,HBM4最早有望于2025年提前发布。第一代HBM产品由SK海力士于2014年发布,此后每一代HBM的 升级更迭,在内存带宽、I/O速率等方面都迎来明显提升,当前HBM已发展至第五代(HBM3e),容量最高可达36GB,内存带宽已提 升至1.2TB/s,I/O速率最高可达9.2Gbps。另外,考虑到当前HBM需求的火爆程度,SK海力士计划提前一年在2025年发布HBM4。 根据TrendForce数据,2022-2023年全球HBM市场主要以HBM2e为主,随着HBM3的发布以及持续放量,预计2024年市场需求将向HBM3 转移,HBM3将替代HBM2e成为市场主流HBM产品,市占率有望由2023年的39%提升至60%。

英伟达及AMD新品GPU均将搭载HBM3e

展望未来,从英伟达和AMD主力GPU产品的迭代进程以及搭载HBM规格规划来看,一方面,预计24p出货的英伟达p00将取 代p00成为主流,包括后续推出的GB200及B100,均将采用HBM3e,将推动市场逐步由HBM3向HBM3e升级。另一方面,为了 提升AI服务器整体运算效能及系统频宽,HBM产品的堆叠层数及容量将随着产品更迭而持续提升,以英伟达B200及AMD MI375为例,预计两款GPU新品将搭载12hi 288GB规格的HBM3e。

TSV为HBM核心工艺,混合键合将成未来主流

TSV技术是HBM实现芯片垂直堆叠的核心工艺

HBM加工制造流程主要包括前端晶圆制造加工,以及后端Bumping、Stacking和KGSD测试环节。其中,相较于平面 DRAM的制造流程,TSV(硅通孔)技术是HBM实现芯片垂直堆叠的核心工艺。

混合键合有望成为未来HBM主流堆叠技术

混合键合 ( Hybrid Bonding) 有望成为未来HBM主流堆叠技术 。 当 前 市 场主 流 的 HBM 堆 叠技 术 主 要以 TCB(ThermoCompression Bonding,热压键合)和MR-MUF(Mass Reflow–Molded Underfill,批量回流焊)工艺技术为主,其中,SK海力士 从HBM2e起便开始采用MR-MUF堆叠技术来缓解芯片垂直堆叠带来的散热问题,考虑到HBM对于堆叠高度以及散热的要求, SK海力士预计将采用混合键合技术生产HBM4。

TSV可以实现最大垂直堆叠密度的同时减少信号传输路径

TSV技术是一种通过在硅芯片内部钻孔形成垂直贯通的电极并将多个芯片垂直3D堆叠的封装方法。传统的引线键合技术随着 堆叠层数和连接引脚的增加会使得布线变得愈发复杂,而TSV结合微凸点的封装技术可以在有限垂直空间内实现更大的芯片 堆叠密度,促使信号传输路径明显缩短,因此可以同时达到提高带宽和降低功耗的作用。

TSV环节在HBM封装工艺中价值量占比最高。根据3DinCites数据,在99.5%键合良率的HBM(4层DRAM+1层逻辑)的BOM成本 中,TSV创建和TSV暴露合计价值占比达30%,为HBM封装工艺中价值量占比最大的环节,其次是前端制程和后端制程,价值 量占比分别达20%、20%。

MR-MUF技术实现了散热性能和生产效率的双重提升

MR-MUF技术主要通过回流焊将多个芯片粘合在一起,并在芯片之间使用液态EMC材料进行间隙填充。与传统TC-NCF工艺相比,MRMUF具有更高的导热效率,有助于改善HBM因为堆叠层数增加而导致的散热问题,以8Hi HBM为例,在2Gbps引脚速率的相同工作条件 下,使用MR-MUF工艺的HBM产品相较TC-NCF工艺在最大结温方面降低了14℃。

凭借率先推出的Advanced MR-MUF技术,SK海力士成功发布12层HBM3以及HBM3e,持续夯实市场领先优势。相对于原有MR-MUF技术, 该先进封装技术在采用了改进的EMC后,很好的改善了由于芯片减薄导致的翘曲问题,同时还实现生产效率提高了3倍,散热性能提高 了2.5倍。

EMC为MR-MUF主要间隙填充材料

EMC(Epoxy Molding Compound,环氧树脂模塑料)为MR-MUF主要间隙填充材料。EMC是用于半导体封装的一种热 固性化学材料,由环氧树脂作为基体,并加入各种添加剂和填充剂混合而成,主要应用于半导体封装工艺中的塑封环 节,属于技术含量高、工艺难度大、知识密集型的产业环节。在塑封过程中,封装厂商主要采用传递成型法将环氧塑 封料挤压入模腔并将其中的半导体芯片包埋,在模腔内交联固化成型后成为具有一定结构外型的半导体器件。当前SK 海力士使用MR-MUF技术时主要采用EMC进行芯片间隙填充。

SK海力士全球领先,三星、美光奋起直追

SK海力士领先全球市场,三星、美光奋起直追

韩系厂商为当前HBM市场绝对主力供应。SK海力士作为AI存储领域先行者,产品覆盖HBM全世代产品,得益于先行优势,SK海力士市 占率全球领先并成为英伟达核心HBM供应商,三星则凭借其在存储领域长期积累的技术实力以及和AMD保持的长期战略伙伴关系,相 关产品持续通过验证并放量,市场份额紧随SK海力士,而美光不论是供应产能还是市场份额方面均有所落后,选择跳过HBM3直接进入 HBM3e。从HBM3e供应进展来看,根据TrendForce,24Q1 SK海力士率先通过验证,美光紧跟其后,并计划于24Q1量产HBM3e产品,三 星由于递交样品时点相对略晚,预计其HBM3e将于24Q2才开始正式出货。

SK海力士:全球领先的AI存储厂商,市场份额占全球半壁江山

SK海力士作为全球领先的AI存储厂商,自2014年发布第一代HBM后便持续加大HBM产品的研发投入,凭借Advanced MR-MUF、HKMG等 基本技术,公司HBM产品综合性能优势突出,及时满足了AI对高带宽存储的增长需求,市场份额全球领先。公司于24Q1实现HBM3e出 货,当前良率接近80%,公司正与台积电合作开发HBM4,考虑到当前HBM强劲需求,SK海力士计划提前一年在2025年发布HBM4。

为了保持在HBM领域的持续领先地位,6月30日SK海力士宣布计划在2028年前投资约82万亿韩元用于HBM。此前,公司表示计划投资20 万亿韩元建设M15X晶圆厂,该生产基地主要以制造DRAM为主,预计于2025年底开始运营,该工厂将进一步优化公司HBM的生产效率。 另外,SK海力士还计划投资38.7亿美元建设位于印第安纳州西拉斐特的先进封装工厂,用于生产HBM等AI存储产品,预计于2028年投产。

三星:全球存储芯片龙头,持续加大HBM产能扩建

三星作为全球存储芯片龙头之一,不论是研发技术还是市场影响力均是行业领先水平,由于技术路径差异和市场战略定位等原因,三 星HBM市占率略低于SK海力士位居全球第二。24年2月三星发布首款12层HBM3e,相较8层HBM3,在带宽和容量上大幅提升超过50%, 垂直密度提高20%。与SK海力士用MR-MUF生产HBM3e不同,三星主要采用先进TC-NCF技术,使得12层和8层堆叠产品的高度保持一致。 此外,三星还计划在2026年推出16层HBM4产品。

为了提高市场份额并缩短与SK海力士的差距,一方面,三星通过改组及新设持续优化HBM研发团队,另一方面,公司积极扩建HBM产 能,以2023年HBM产量为基准,预计2024年产量将提升2.9倍,2026/2028年将分别提升13.8倍/23.1倍。

美光:越代研发攻克HBM3e,24/25年HBM产能基本售罄

由于美光在HBM领域的进展相对落后于SK海力士和三星,公司选择直接跳过HBM3进行HBM3e研发,其功耗相对同业竞品低30%,公司 HBM3e在FY24Q2便实现出货并将用于英伟达p00 Tensor Core GPU系统。得益于AI需求增长,FY24Q3公司HBM3e单季度收入达1亿美元, 预计HBM产品将在FY24创造数亿美元的收入,在FY25将贡献超十亿美元的收入。当前公司已完成12层HBM3e送样,预计将于FY25实现 规模出货,HBM4则有望在2026-2027年期间推出。

资本支出方面,FY24公司资本支出将接近80亿美元,同时公司预计FY25资本支出将占总收入30%,主要用于支持HBM封测设备、晶圆 厂和后端的基础设施建设。此外,公司2024/2025年的HBM产能已基本售罄。

报告节选:

(本文仅供参考,不代表我们的任何投资建议。如需使用相关信息,请参阅报告原文。)

精选报告来源:【未来智库】。