广告

HBM,你有多“疯狂”?

时间:2021-09-03 作者:邵乐峰 阅读:
人们改变了传统数据中心“CPU+内存(如DDR4)+存储(如SSD)”的数据处理方式,转而走进“异构数据中心”时代,即通过部署CPU、GPU、DPU、FPGA和ASIC等各种组件,分别侧重于提供特定功能或者处理不同类型和格式的数据,从而显著提高整个系统的速度和性能。
广告
EETC https://www.eet-china.com

人工智能/机器学习(AI/ML)在全球范围内的迅速兴起,正推动着制造业、交通、医疗、教育和金融等各个领域的惊人发展。从2012年到2019年,人工智能训练能力增长30万倍,平均每3.43个月翻一番,就是最好的例证。而IDC《2021年全球数据圈(Global Datasphere 2021)》报告则显示,2018-2024年,全球数据总量将从36泽字节增长至146泽字节。因此,支持这一发展速度需要的远不止摩尔定律,人工智能硬件和软件的各个方面都需要不断的快速改进,内存带宽就是其中之一。

图1:2012-2019年,人工智能训练能力增长30万倍(图片来源:openai.com)

以先进的驾驶员辅助系统(ADAS)为例,L3级及更高级别系统的复杂数据处理需要超过200GB/s的内存带宽。这些高带宽是复杂AI/ML算法的基本需求,自动驾驶过程中需要这些算法快速执行大量计算并安全地执行实时决策。而在L5级,如果车辆要能够独立地对交通标志和信号的动态环境做出反应,以便准确地预测汽车、卡车、自行车和行人的移动,将需要超过500GB/s的内存带宽。

图2:不同ADAS级别对存储带宽的要求(图片来源:anandtech.com)

数据中心是另一个需要应用架构师尽快找到高带宽方案的领域。按照美光全球显存业务主管Bill Randolph的说法,随着数据密集型工作负载和应用程序的增长,以及不断演变的应用场景和新兴业务机会的出现,“我们很难想象将一个拥有超过13亿个参数的AI模型放入单个GPU(即使是拥有32GB内存)中进行处理。”

于是,人们改变了传统数据中心“CPU+内存(如DDR4)+存储(如SSD)”的数据处理方式,转而走进“异构数据中心”时代,即通过部署CPU、GPU、DPU、FPGA和ASIC等各种组件,分别侧重于提供特定功能或者处理不同类型和格式的数据,从而显著提高整个系统的速度和性能。

这就是以高带宽内存(HBM、HBM2、HBM2E、HBM3)为代表的超带宽解决方案开始逐渐显露头角的原因——通过增加带宽,扩展内存容量,让更大的模型/更多的参数留在离核心计算更近的地方,从而减少内存和存储解决方案带来的延迟。

图3:高性能应用驱动着高带宽内存的发展

HBM的演进

高带宽内存(HBM)于2013年推出,是一种高性能3D堆栈SDRAM构架,数据传输速率大概可以达到1Gbps左右。

与前一代产品一样,2016年推出的HBM2为每个堆栈包含最多8个内存芯片,同时将管脚传输速率翻倍,达到了2Gbps。HBM2实现每个封装256GB/s的内存带宽(DRAM堆栈),采用HBM2规格,每个封装支持高达8GB的容量。

2018年末,JEDEC宣布推出HBM2E规范,以支持增加的带宽和容量。当传输速率上升到每管脚3.6Gbps时,HBM2E可以实现每堆栈461GB/s的内存带宽。此外,HBM2E支持最多12个DRAM的堆栈,内存容量高达每堆栈24GB。

HBM2E提供了达成巨大内存带宽的能力。连接到一个处理器的四块HBM2E内存堆栈就将提供超过1.8TB/s的带宽。通过3D堆叠内存,可以以极小的空间实现高带宽和高容量需求。

在NVIDIA最新一代的SXM4 A100 GPU上,就使用了HBM2E内存。从芯片内部结构图上可以看到,A100计算核心的两侧总共有6个HBM内存的放置空间。在SXM4 A100 GPU发布的时候,NVIDIA实际只使用了这6个HBM内存放置空间中的5个,提供40GB HBM2E内存容量,这意味着单个HBM2E内存上有8个1GB DRAM Die进行堆叠。对于升级版的80GB SXM4 A100 GPU,单个HBM2E内存上则采用了8个2GB DRAM Die进行堆叠。

图4:NVIDIA A100 80GB GPU

而到了2021年,尽管JEDEC尚未发布HBM3相关标准,但SK海力士和Rambus已先后发布最高数据传输速率5.2Gbps和8.4Gbps的HBM3产品,每个堆栈将提供超过665GB/s和1075GB/s的传输速率,这无疑是极为惊人的。(相关信息可参见本刊《4Gbps!HBM2E内存接口再现性能标杆》、《HBM2E:超带宽解决方案中的明星》、《HBM3:没有最快,只有更快!》等报道)

图5:HBM性能演进(图片来源:Rambus)

硅堆叠的奇迹

众所周知,HBM技术与其他技术最大的不同,就是采用了3D堆叠技术。对比HBM2E/HBM3、DDR、GDDR就会发现,它们的基本单元都是基于DRAM,但不同之处在于其他产品采用了平铺的做法,而HBM选择了3D堆叠,其直接结果就是接口变得更宽。比如DDR的接口位宽只有64位,而HBM2E通过DRAM堆叠的方式就将位宽提升到了1024位,这就是HBM与其他竞争技术相比最大的差异。

图6、图7分别展示了美光HBM2E和Rambus HBM3内存子系统产品的主要架构。通过硅通孔(TSV)堆叠方式叠加在一起的DRAM内存条、SoC、中介层和封装,它们共同组成了整个3D的系统架构。

图6:美光用于HBM2E的垂直堆叠DRAM,并通过TSV通道连接各层(图片来源:美光)

图7:Rambus HBM3-Ready内存子系统产品主要架构(图片来源:Rambus)

“目前来看,HBM的发展可能不会遇到障碍。但对比GDDR DRAM动辄16/18Gbps的速率,HBM3的速率即便达到8.4Gbps,也仍然存在差距,而限制HBM发展的原因则主要来自两方面:一是中介层,二是3D堆叠带来的制造成本。”Rambus IP核产品营销高级总监Frank Ferro说。

对中介层进行完整的设计和表征化处理,以确保信号完整性,即为挑战之一。因为HBM作为高速内存接口,在与中介层互联的过程中包括至少上千条不同的数据链路,必须要确保所有链路的物理空间得到良好的控制,整个信号的完整性也必须得到验证。因此,从表征化层面来讲,不但需要对整个中介层的材料做出非常精细的选择,还要考虑渐进层的厚度以及整个电磁反射相关的物理参数,并在此基础上进行完整的分析和仿真,以实现信号一致性的处理。

然而,如前文所述,在人工智能训练领域和数据中心应用中,HBM2E/HBM3的优点使其成为一个更好的选择。尽管在过去几年内,HBM、HMC、PAM4等标准在市场上展开了激烈的竞争,但从目前的发展态势来看,还是HBM占据了更多的市场份额。

HBM的性能非常出色,这点毋庸置疑,所增加的采用和制造成本可以透过节省的电路板空间和电力相互的缓解。在物理空间日益受限的数据中心环境中,HBM紧凑的体系结构提供了切实的好处。它的低功率意味着它的热负荷较低,在这种环境中,冷却成本通常是几个最大的运营成本之一。

数据中心采取分布式内存的方法会给HBM2E、HBM3和GDDR长期的发展带来影响吗?答案可能是不会。原因在于尽管SRAM的速度和延迟性都高于DRAM,但在固定的芯片面积上能安装的SRAM数量却非常少,很多情况下为了满足人工智能训练的需求,一部分SRAM设备不得不装在芯片之外,这就是问题所在。但总体来说,这两种方案属于从不同角度出发解决同一个问题,两者之间是互补而非相互阻碍。

不过,坦率的说,至少在人工智能推理和汽车行业中,HBM技术还是不合适的。例如在汽车中,除了复杂性和成本因素,由于汽车安全等级要求很高,考虑到HBM本身采用的是复杂的2.5D/3D架构,再结合DRAM设备,所以目前为止在汽车市场上并没有得到突破性的应用,相比之下,GDDR反而会是比较好的解决方案。

一点点“疯狂”的小想法

既然在HBM2E阶段就实现了达成巨大内存带宽的能力,那么是否有可能进一步,使内存靠近处理器,让总体系统功耗得以维持在较低水平?

三星电子是这么想的,也是这么做的。据报道,他们的HBM2E不但保持每个堆栈8个裸片和3.2Gb/s的信号传输速率,达到每个堆栈16GB和每个堆栈410GB/s,而且还直接在HBM2E内存堆栈内部嵌入处理,因此数据不必总是传输到CPU或连接到CPU的加速器进行处理和重新存储。

三星表示,自研的HBM-PIM(存内计算,Process In Memory)设备在存储器和TSV之间添加了1.2 Teraflops可编程计算单元,与在其加速器上使用HBM内存的系统相比,HBM-PIM内存将使AI工作负载的整体系统性能提高2倍,并将功耗降低了70%。

既然这样,那我们如果再“疯狂”一点,会如何?比如,有没有设想过拥有一台具备若干GB HBM3内存的笔记本电脑?CPU和GPU可以共享相同的内存?把数据处理放在HBM3-PIM中进行?价格/性能曲线像我们预期的那样下降?……这些想法现在看起来多少有些“天方夜谭”的感觉,但万一实现了呢。

责编:Luffy Liu

EETC https://www.eet-china.com
本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
邵乐峰
ASPENCORE 中国区首席分析师。
  • 属于DDR5生态时代全面加速(图文) 就像所有的DRAM迭代一样,DDR5需要一个“引爆点”的技术支持才能迎来生态系统的全面加速以致占领主导地位。Rambus公司目前已经为DDR5全面来临做了长达一年的准备,
  • SIA:7月全球半导体行业销售额达454亿美元,创月度纪录 从今年2月开始,全球半导体行业销售额每月都在增加。SIA称,从地区来看,半导体行业销售额同比增长最快的是欧洲地区,其次是亚太地区/所有其他地区、中国、美洲和日本。
  • 2020 vs. 2019前十大DRAM模组厂排名、营收及市占对比 2020年全球前五大存储器模组厂占整体市场销售额近90%;前十名则囊括全球存储器模组市场近95%的营业额,其中,金士顿(Kingston)单一家市占逼近八成,虽市占较2019年小幅下滑,但仍持续蝉联全球第一,受到当时疫情的不确定性影响,金士顿采取较为保守的销售策略,年销售成长约2%。
  • 解决人工智能内存的瓶颈到底需要靠什么呢? 人工智能发展到如今的地步,在行业内已经有很多声音都在讨论,目前内存才是人工智能的最大瓶颈,由于无法加速处理器和内存之间的数据传输,内存性能的瓶颈阻碍了目前的现实应用。
  • 边缘人工智能需求激增,创新存储方案受青睐 华邦电子日前携手瑞萨,正式确认华邦HyperRAM和SpiStack (NOR+NAND) 产品能够与瑞萨基于Arm内核的RZ/A2M微处理器 (MPU) 搭配使用。
  • HBM2E:超带宽解决方案中的明星 HBM2E是HBM系列产品的第三项标准:HBM1、HBM2和现在的HBM2E。HBM2E提供了非常宽的多通道 I/O——即1,024位宽,并且拥有非常短的物理通道,关键是它在极小的尺寸上实现了极高的内存密度。
  • 新款iPad Pro 2021成最受欢迎的 由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
  • 三星折叠屏手机Galaxy Z Fold 3 目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。

  • 重磅新品| 纳芯微推出车规LIN收发 纳芯微(NOVOSNS)推出了全新通用车规LIN收发器芯片---NCA1021,可广泛适用于汽车电子子系统的总线接口设计,如电动门锁,电动窗,电动座椅,电动后视镜,玻璃刮水器,座椅加热器等模块,具有线间干扰小,线束少,传输距离长,成本低等优点。
  • 猎豹移动2021年Q3财报:AI和其他收入 本季度猎豹移动持续提升运营效率,Non-GAAP营业总成本及费用同比下降47.4%。其中互联网业务环比扭亏为盈,实现Non-GAAP营业利润180万元。截止到2021年9月30日,公司持有的现金及现金等价物、受限资金及短期投资18.53亿元,长期投资24.23亿元。
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了