近年来,随着内存带宽逐渐成为影响人工智能持续增长的关键焦点领域之一,以高带宽内存(HBM、HBM2、HBM2E)和GDDR开始逐渐显露头角,成为搭配新一代AI/ML加速器和专用芯片的新型内存解决方案。

人工智能/机器学习(AI/ML)在全球范围内的迅速兴起,正推动着制造业、交通、医疗、教育和金融等各个领域的惊人发展。从2012年到2019年,人工智能训练能力增长了30万倍,平均每3.43个月翻一番,就是最有力的证明。支持这一发展速度需要的远不止摩尔定律,人工智能计算机硬件和软件的各个方面都需要不断的快速改进。

2012-2019年,人工智能训练能力增长30万倍(图片来源:openai.com)

而中国作为全球人工智能发展最快的国家之一,正备受瞩目。根据德勤最新发布的统计预测数据显示,2020年全球人工智能市场规模将达到6800亿元人民币,复合增长率(CAGR)达26%。而中国人工智能市场的表现尤为突出,2019年末已经达到了510亿元人民币的市场规模,人工智能企业超过2600家。预计到2020年,中国AI市场规模将达到710亿元人民币,五年间(2015-2020)的复合增长率高达44.5%。

近年来,中国正在积极推动人工智能与实体经济的融合,从而实现产业的优化升级。2017年7月,国务院印发了《新一代人工智能发展规划》,这一规划与2015年5月发布的《中国制造2025》共同构成了中国人工智能战略的核心。这份具有里程碑意义的规划,对人工智能发展进行了战略性部署,力争到2030年把中国建设成为世界主要人工智能创新中心。此外,2020年还是中国的新基建元年,而人工智能作为一大重点板块,势必成为新基建的核心支撑。

内存带宽将是影响AI发展的关键因素

“内存带宽将成为人工智能持续增长的关键焦点领域之一。”Rambus IP核产品营销高级总监 Frank Ferro日前在接受《电子工程专辑》采访时表示,以先进的驾驶员辅助系统(ADAS)为例,L3级及更高级别系统的复杂数据处理需要超过200GB/s的内存带宽。这些高带宽是复杂AI/ML算法的基本需求,自驾过程中需要这些算法快速执行大量计算并安全地执行实时决策。而在L5级,如果车辆要能够独立地对交通标志和信号的动态环境做出反应,以便准确地预测汽车、卡车、自行车和行人的移动,将需要超过500GB/s的内存带宽。

不同ADAS级别对存储带宽的要求(图片来源:anandtech.com)

鉴于此,高带宽内存(HBM、HBM2、HBM2E)和GDDR开始逐渐显露头角,成为搭配新一代AI/ML加速器和专用芯片的新型内存解决方案。他说过去几年内,HBM、HMC、PAM4等标准在市场上展开了激烈的竞争,但从目前的发展态势来看,还是HBM占据了更多的市场份额。不过他同时也坦承,由于汽车安全等级要求很高,考虑到HBM本身采用的是复杂的2.5D架构,再结合DRAM设备,所以目前为止在汽车市场上并没有得到突破性的应用,相比之下,GDDR反而会是比较好的解决方案。

高带宽内存(HBM)于2013年推出,是一种高性能3D堆栈SDRAM构架。与前一代产品一样,HBM2为每个堆栈包含最多8个内存芯片,同时将管脚传输速率翻倍,达到2Gbps。HBM2实现每个封装256GB/s的内存带宽(DRAM堆栈),采用HBM2规格,每个封装支持高达8GB的容量。

2018年末,JEDEC宣布推出HBM2E规范,以支持增加的带宽和容量。当传输速率上升到每管脚3.6Gbps时,HBM2E可以实现每堆栈461GB/s的内存带宽。此外,HBM2E支持12个DRAM的堆栈,内存容量高达每堆栈24GB。

单一DRAM堆栈的HBM2E内存系统(图片来源:Rambus)

HBM2E提供了达成巨大内存带宽的能力。连接到一个处理器的四块HBM2E内存堆栈将提供超过1.8TB/s的带宽。通过3D堆叠内存,可以以极小的空间实现高带宽和高容量需求。进一步,通过保持相对较低的数据传输速率,并使内存靠近处理器,总体系统功率得以维持在较低水位。

坦率的说,采用HBM的设计的代价是增加复杂性和成本,因此Frank Ferro并不建议在人工智能推理应用中使用HBM技术。然而,对于人工智能训练应用,HBM2E的优点使其成为一个更好的选择。它的性能非常出色,所增加的采用和制造成本可以透过节省的电路板空间和电力相互的缓解。在物理空间日益受限的数据中心环境中,HBM2E紧凑的体系结构提供了切实的好处。它的低功率意味着它的热负荷较低,在这种环境中,冷却成本通常是几个最大的运营成本之一。官方数据显示,Rambus IP系统以及IP产品在实验室经过了非常严苛的环境测试,确保从零下50到125摄氏度范围内均能够正常运行。

同时,Frank Ferro也不认为在芯片上采取分布式内存的方法会给HBM2E和GDDR长期的发展带来影响。原因在于尽管SRAM的速度和延迟性都高于DRAM,但在固定的芯片面积上能安装的SRAM数量却非常少,很多情况下为了满足人工智能训练的需求,一部分SRAM设备不得不装在芯片之外,这就是问题所在。但总体来说,这两种方案属于从不同角度出发解决同一个问题,两者之间是互补而非相互阻碍。

创纪录的性能

针对高带宽和低延迟进行了优化,Rambus HBM2E内存接口解决方案实现了创纪录的4Gbps性能。该解决方案由完全集成且经过验证的PHY和内存控制器IP组成,搭配SK Hynix 3.6Gbps运行速度的HBM2E DRAM,在物理层面实现了完整的集成互联,可以从单个HBM2E设备提供460GB/s的带宽,这也被Frank Ferro视作其HBM2E 产品的核心差异化优势之一。这意味着,除了提供完整的内存子系统、硬核PHY和时序收敛外,用户额外需要的系统级支持、工具套件和技术服务也都包含在内,集成难度和设计时间得以大幅度下降。

Rambus HBM2E 4Gbps发送端眼图(图片来源:Rambus)

从2017年正式投产HBM解决方案以来,Rambus目前已经拥有第三代PHY和第二代内存控制器IP,全球范围内的成功案例项目超过50个。除了4Gbps HBM2E外,Rambus在其他不同工艺节点的产品还包括采用Global Foundries 12nm/14nm工艺的HBM2,速度为2.0 Gbps/s;采用Global Foundries 12LP+和三星14nm/11nm工艺的HBM2E产品。

不可否认,4.0Gbps是一个全新的行业标杆。在这一过程中,Rambus与SK hynix和Alchip展开了合作,采用台积电N7工艺和CoWoS®先进封装技术,实现了HBM2E 2.5D系统在硅中验证Rambus HBM2E PHY和内存控制器IP。Alchip与Rambus的工程团队共同设计,负责中介层和封装基板的设计。

“在我们提供的完整参考设计框架中,最重要的一点就是如何更好地对中介层进行完整的设计和表征化处理,以确保信号完整性。此外,我们还协助用户对每个信号通道进行仿真分析,通过Lab Station工具对内存子系统进行最优化设计,并提供在SI高速信号完整性和电源完整性方面的经验等等。”Frank Ferro说Rambus的初衷,不仅仅只是扮演IP供应商的角色,更是希望在系统层面降低用户设计难度。

信号完整性之所以如此重要,是因为HBM作为高速内存接口,在与中介层互联的过程中包括至少上千条不同的数据链路,必须要确保所有链路的物理空间得到良好的控制,整个信号的完整性也必须得到验证。因此,Rambus的做法如果从表征化层面来讲,不但需要对整个中介层的材料做出非常精细的选择,还要考虑渐进层的厚度以及整个电磁反射相关的物理参数,并在此基础上进行完整的分析和仿真,以实现信号一致性的处理。

HBM2E内存接口子系统示例

燧原科技是Frank Ferro在发布会上提及的中国合作伙伴。在此次合作中,燧原科技为自己下一代人工智能训练芯片选择了Rambus HBM2 PHY和内存控制器IP,可实现2Tb/s的性能。而在今年4月和5月,长鑫存储、兆易创新两家公司还分别和Rambus签署了DRAM(动态随机存取存储)与RRAM(电阻式随机存取存储器,也可写作ReRAM)技术专利授权。

Rambus大中华区总经理 Raymond Su表示,通过对IP控制器公司Northwest Logic和Verimatrix安全IP业务部门的收购,Rambus实现了在内存IP层面提供一站式采购和“turn key”服务的目标。接下来,在中国市场,公司将紧密地与云厂商、OEM和ODM合作,推动整个内存产业生态系统的建设。

本文为EET电子工程专辑原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
阅读全文,请先
您可能感兴趣
当代面向PC、手机的处理器,通常都会采用多级cache设计。比如高通骁龙处理器、Intel酷睿处理器,CPU部分都会有L1、L2、L3 cache。其中L1 cache最接近处理器核心,数据存取最快,容量也最小;接着是L2 cache,容量比L1 cache大很多,但速度会稍慢;L3是此类处理器的最后一级缓存系统(LLC),容量最大,但速度也最慢。
经过短短三年的发展,康盈半导体的产品线涵盖eMMC、eMCP、ePOP、nMCP、UFS、LPDDR、DDR、SSD和PSSD等系列,截止目前量产的产品SKU已超过80个。在此期间,康佳集团于2020年在江苏盐城投资创建了一个占地一百亩的康佳半导体封测产业园,进一步完善公司存储业务布局。公司希望在2023年能够成为中国第二的模组厂商,并推出采用自主主控解决方案的产品。到2024年……
俄罗斯最大商业银行Sberbank表示,俄罗斯银行卡芯片当前紧缺,但银行找到了解决办法,把未激活的银行卡芯片植入新卡中。官方解释道,只有未激活的银行卡会再植入,也就是顾客不再使用的卡。过程本身是安全的……
在下半年旺季需求展望不明的状态下,部分DRAM供应商已开始有较明确的降价意图,尤其发生在需求相对稳健的服务器领域以求去化库存压力,此情况将使第三季DRAM价格由原先的季跌3-8%,扩大至近10%.
中科院微电子所重点实验室科研团队在40nm 256Kb RRAM 芯片上实现了图神经网络小样本学习的功能验证。
中科院微电子所重点实验室科研人员首次基于三维忆阻器阵列搭建了三维深度储备池网络。在器件层面,通过并行的器件结构设计,降低了器件循环与循环之间的差异,有效的降低了系统本身的噪声……
由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。

北京时间2022年7月4日晚,在“小米影像战略升级暨小米新品发布会”上,小米正式发布xiaomi Book Pro 旗舰笔电产品,其人机交互关键组件——压感触控板搭载了
英飞凌科技与合众新能源旗下的哪吒汽车日前在中国桐乡共同举办哪吒天工电池与英飞凌BMS整体解决方案技术合作发布仪式。
文 | 杜德彪B+级市场是个危险领域。这里或许是片热土,隔三岔五你就能看到某个实力不俗的家伙试图冲击高端,但这里绝不是片乐土,因为你也屡屡能看到折戟沉沙的存在。例外还是有的,比如一汽丰田亚洲龙,除了以
点击蓝字关注我们随着我们的设备变得更小、更快、更节能,并且能够容纳更多的数据,自旋电子学可能会帮助延续这一趋势。电子学是基于电子流的,而自旋电子学是基于电子的自旋。电子具有自旋自由度,这意味着它不仅持
有它真香!友恩12W开关电源芯片U25136外置电源就是我们常说的AC/DC 电源适配器,工作用途可划分为供电和充电。12W开关电源芯片U25136,在交流电压转为电器设备正常工作的直流模式中,恒流、
作为业界唯一的32端口三模式RAID适配器,Adaptec® SmartRAID Ultra 3258-32i/e通过16个PCIe® Gen 4主机接口最大限度地提高了性能,减少了对额外适配器和电缆
‍据《日经亚洲》(Nikkei Asia)获悉,全球通膨飙升之际,美国最大芯片制造商英特尔(Intel)已通知客户,预计今年稍晚调涨大部分微处理器和周边芯片产品的价格,理由是原料涨价导致成本升高。《日
点击上方“皇华电子元器件”关注我们1、英特尔通知客户下半年将涨价,涨幅最高或超20%媒体报道,英特尔已通知其客户,将在2022年下半年提高大部分微处理器和外围芯片产品的价格。英特尔表示,由于生产和材料
近期,芯片市场可谓是“冰火两重天”。 2022年以来,消费电子市场萎靡不振,似乎“凛冬已至”,不断传出芯片砍单的消息,但仍有许多企业抱怨严重缺芯,这就出现了一面降价利清库存,一面又求不到芯
进入互联网时代,随着互联网+医疗健康、智慧医疗、远程医疗不断融入社会,健康穿戴行业迎来了黄金发展期。随着市场从业企业越来越多,同质化竞争现象也越来越严重,不仅影响到消费者的使用体验,也从根本上制约了行
欢迎阅读来自QUIKSOL的现货市场洞察报告,希望这份来自芯片现货市场的实战总结及实战分析能给您带来些许帮助和价值。如果您有任何疑问或要求,欢迎来电或邮件咨询Quiksol@quiksol.com.c
点击上方“皇华电子元器件”关注我们       电子元器件主要包括元件和器件,电子元件是生产加工过程中分子成分不被改变的成品,比如:电容、电阻和电感等。电子器件是生成加工过程中分子结构发生变化的成品,