SK海力士(SK Hynix)推出的路线图显示,该公司将继续主导人工智能(AI)不可或缺的高带宽内存(HBM)的生产(见图1)。业内专家告诉笔者,该公司相对于竞争对手三星和美光的领先地位将面临更激烈的竞争。
SK海力士今年早些时候在一次行业活动中表示,它可能会在2025年率先推出下一代HBM4。在那次活动上,该公司展示了一张演示幻灯片,上面列出了封装在英伟达(NVIDIA)Grace Hopper GH200 GPU内的两个HBM3E模块(见图2)。SK海力士高级副总裁Ilsup Jin(图3)负责该公司的DRAM和NAND技术开发,他在安特卫普举行的ITF World大会上再次表示,该公司的下一代HBM4可能会比预期提前上市。
“HBM4将很快面世,”Jin说,“明年就会推出。”
图1:SK海力士的HBM产品历史。(来源:SK海力士)
SemiAnalysis公司首席分析师Dylan Patel今年早些时候向笔者表示,SK海力士在HBM市场份额领先,HBM3市场份额超过85%,整体HBM市场份额超过70%。全球研发机构imec的CMOS技术高级副总裁Sri Samavedam表示,预计竞争将更加激烈。
“SK海力士是较早采用这种技术的厂商,而且他们已经走在了前面。”Samavedam向笔者表示,“美光也不甘落后。他们去年推出了一些非常有竞争力的HBM产品,今年也推出了HBM3E产品。”
今年2月,美光宣布实现HBM3E的商业化生产。该产品已作为英伟达H200 Tensor Core GPU的一部分,于2024年第二季度出货。
先进封装对于HBM的广泛采用至关重要。此前,据《韩国经济日报》报道,三星将在今年为HBM提供三维(3D)封装服务,随后在2025年推出自己的HBM4。
三星未对此置评,但已于2024年第二季度推出HBM3E 12层产品。三星承诺将加强其HBM供应能力和技术竞争力。
HBM的供应是AI模型和服务扩展的潜在障碍。
“这已经成为一个问题,”Samavedam说,“全球只剩下SK海力士、三星和美光三家DRAM制造商。HBM也需要先进封装。你需要中介层,但能做到这一点的公司并不多。从本质上讲,台积电(TSMC)在HBM的衬底上晶圆上芯片(CoWoS)封装和中介层方面占据主导地位。下一步,我们希望英特尔代工厂能在先进封装领域加强竞争。”
今年4月,SK海力士与台积电签署协议,共同开发和生产下一代HBM,并加强逻辑与HBM的集成。当时,SK海力士表示将着手开发HBM4,并于2026年开始生产——这比Jin为HBM4设定的2025年新目标晚了一年。
图2:HBM技术示例。(来源:SK海力士)
SK海力士计划在HBM4的基础芯片上采用台积电的先进逻辑工艺,这样就可以在有限的空间内容纳更多的功能,帮助SK海力士针对更广泛的性能和能效要求定制HBM。
英特尔表示,该公司生产HBM产品已有一段时间。
“我们与所有主要的HBM供应商合作,先进封装是英特尔代工厂系统代工方法的关键支柱。”英特尔向笔者表示,“我们与台积电略有不同,我们会集成来自所有代工厂的芯片,而不仅仅是我们自己的芯片。”
替代内存
在HBM基础上进行改进的替代方案可以通过让内存更接近处理器来降低能耗。
数据通信的能源成本相当高,并随着距离的增加呈指数增长。Samavedam认为,理想的做法是将更多内存放在尽可能靠近处理器的位置。
图3:Ilsup Jin。(来源:SK海力士)
“在处理器内部,寄存器文件是完全本地化的,”他表示,“如果我们把访问这些寄存器的能耗视为1倍的话,那么访问SRAM缓存(位于处理器顶部,例如L2或L3缓存)时,能耗大约会增加到100倍。而如果必须通过高带宽内存(HBM)来获取数据,能耗则会上升至约500倍。因此,从能效的角度来看,将数据尽可能地放置在离处理器更近的位置总是有利的。”
在运行AI的数据中心,能耗已成为一个问题。
“现在进一步要求更快、更高效地处理更多数据,”Jin在活动演讲中说道,“这是内存行业的一个关键话题。”
他展示了一张幻灯片,强调了日益增长的数据使用对环境的影响,据估计,全球数据中心的能耗为每年1万亿千瓦时,相当于韩国年耗电量的四倍。
Samavedam表示,AI应用需要大量耗能的数据来回移动。
“模型正变得越来越复杂。”他说,“如今,AI所需的参数数量已达到数十亿甚至超过一万亿的规模。这可是非常庞大的数字。这些参数需要存储在内存中,而且访问频率非常高。随着AI训练和推理需求的增长,在未来十年左右的时间里,数据访问、数据带宽和数据容量的问题将会被越来越多地提及。”
Jin期待着内存内处理器这样的创新(图4)。
“这还需要一些时间,因为生态系统还没有准备好采用这种新解决方案,但我敢打赌,这将是未来人工智能或大数据计算的一个非常有力的候选方案。”Jin表示。
图4:内存内处理。(来源:SK海力士)
他提到3D DRAM是另一种解决方案。
“3D DRAM类似于NAND闪存,通过堆叠多个DRAM单元来增加存储容量。随着堆叠层数的增加,可以实现存储位数的增长。”他谈道。
需要更多投资
不过,晶圆键合是堆叠所必须的,半导体工具制造商需要增加投资以制造更好的设备,Jin指出。
“当你谈到晶圆混合键合等真正先进的封装时,在键合之前需要极高的平面度。”Samavedam说,“这需要化学机械平面化(CMP)后清洗。你必须在洁净室中进行晶圆级处理。代工厂更适合做这些事情。我预计英特尔将成为台积电的有力竞争者。我不认为有多少离岸组装和测试(OSAT)公司会接手这项业务。”
Samavedam认为,DRAM最终将过渡到3D DRAM。
“制作3D DRAM的方法有很多,”他说,“人们正在研究氧化铟镓锌(IGZO)等沉积半导体。IGZO具有宽禁带的特性,这对DRAM应用非常有吸引力。由于其宽禁带的特点,IGZO能够显著减少电荷泄漏。这意味着数据不需要频繁刷新。”
替代内存的开发需要数年时间。Samavedam认为,在可预见的未来,HBM将是为高性能计算提供更多带宽的主要途径。
(原文刊登于EE Times美国版,参考链接:SK Hynix Speeds HBM Roadmap as AI Demand Soars.,由Franklin Zhao编译。)
本文为《电子工程专辑》2024年11月刊杂志文章,版权所有,禁止转载。免费杂志订阅申请点击这里。