广告

解决人工智能内存的瓶颈到底需要靠什么呢?

时间:2021-09-03 作者:Sally Ward-Foxton 阅读:
人工智能发展到如今的地步,在行业内已经有很多声音都在讨论,目前内存才是人工智能的最大瓶颈,由于无法加速处理器和内存之间的数据传输,内存性能的瓶颈阻碍了目前的现实应用。
广告
EETC https://www.eet-china.com

 

人工智能发展到如今的地步,在行业内已经有很多声音都在讨论,目前内存才是人工智能的最大瓶颈,由于无法加速处理器和内存之间的数据传输,内存性能的瓶颈阻碍了目前的现实应用。本文就来探讨下CPU和内存之间的瓶颈、发展和未来。

在数据中心内用于训练人工智能模型的AI加速器需要用到极高的内存带宽,理想情况下,整个模型可以存储在一个处理器中,这种方法能够消除片外内存对于时间的影响,但是按照目前的技术发展来看这几乎是不可能的,因为现在大的模型通常都有10亿到万亿的参数。也就是说之前的内存瓶颈使得整个系统受限,而如今数据中心正在不遗余力的通过构建各种技术来克服内存瓶颈。

另一方面,人工智能的“疯狂炒作”阶段正在逐渐结束,现在已经到了对于未来AI和机器学习技术发展前景和本身缺陷重新评估的阶段了,而这也可以称为人工智能技术发展的新纪元。

高宽带存储器

目前业界最流行的解决方案是使用高带宽存储器(HBM),这涉及到CPU架构的革新,通常是用一个硅基连接层将4层、8层或者12层DRAM芯片通过3D堆叠方式连接到处理器中。目前业界最新版本的技术----HBM2E,其单个内存引脚具有高达3.6Gb/s的传输速率,三星和海力士分别提供8层HBM2E堆栈,其总容量为16Gb,拥有460GB/s(目前主流的DDR5为2.4GB/s,GDDR6为64GB/s,数据来源:海力士),所以未来的HBM3代可能拥有更快的速度和更高的容量。

 

Nvidiade A100系列专为数据中心设计CPU,拥有6个HBM2E内存堆栈(目前量产版本为5个内存颗粒)

A100CPU为Nvidia专为旗舰级数据中心设计的专用型CPU,目前提供高达80GB的HBM2E内存和2TB/s的内存带宽,其内部拥有5个16GB的DRAM内存颗粒。另一个版本采用的是40GB的HBM2E,其总带宽为1.6TB/s,但是其深度学习的人工智能模型训练速度相差了三倍之多。

同时,数据中心专用的CPU正在向DRAM“借力”,intel下一代的至强系列----Sapphire Rapids将推出配备HBM系列产品。这是intel第一款采用新的AMX指令拓展的数据中心用CPU(AMX拓展是专门为人工智能浮点运算而设计的指令集),并且可以使用片外的DDR5 DRAM或者HBM内存。

Intel高级工程师Arijit Biswas在最近的Hot Chips的演讲中:“CPU可以提升带负载能力,而加速器或者GPU则提升了带宽;目前的发展CPU发展迅猛,使得内存容量和带宽的瓶颈越来越显现,二者没有均衡发展。全新一代的Sapphire Rapids系列原生支持两种内存(DDR和HBM),通过多层内存混合加上内部软件支持,可以让系统得到进一步增强。”

Intel的首席工程师Nevine Nassif 也告诉EE Times,每一代HBM内存升级都是以die 面积增大为代价的。兼容HBM的芯片die有些与众不同,其内部还拥有一个HBM主控芯片(这是有别于DDR5主控的)。在只采用DDR的Sapphire Rapids系列CPU中,Intel在芯片上设计了一个区域为加密、压缩等功能的专用加速器,而HBM版本中则没有这些,只保留了数据流加速器,因为设计时为了HBM带宽需求需要牺牲一些,必须对die 的layout做出一定改变。

除了CPU和GPU外,HBM也是FPGA的“座上宾”,英特尔公司的 Stratix 和 Xilinx 的Versal FPGA 都有HBM版本,一些专用于AI的ASICs也使用HBM,例如腾讯数据中心的AI 专用ASIC----Enflame,采用HBM的DTU 1.0设备,专为云AI训练加速进行了优化,该设备拥有采用HBM的高达80T flops (FP16/BF16)的两块芯片,为片上数据网提供512GB/s带宽。

 

Enflame 的 DTU 1.0数据中心 AI 加速芯片(来源: Enflame)

成本是关键

尽管HBM为数据中心人工智能加速器所需的片外存储器提供了极高的带宽,但仍有一些人认为“不值得”。Graphcore在Hot Chips上的演讲中提到,虽然目前业界共识是大型人工智能模型训练需要更快的内存带宽和更大的内容容量,而目前各家也都在研究自己的HBM,但是却忽略了成本、功耗和散热等问题。

 

对不同内存技术的容量和带宽的比较。(图源:Graphcore)

Graphcore第二代只能处理单元(IPU)采用的是超大SRAM芯片(896MiB)来支持其1472个核心所需要的内存带宽,这样可以尽可能的避免内存带宽不足带来的性能瓶颈。但是人工智能模型太大,不适合用低带宽DDR的DRAM形式,目前该IPU设备部署到主机处理器上,允许中等规模的模型在一个集群中训练。

并且芯片行业越来越多的公司将以每单位美元的回报来衡量公司的业绩,Graphcore拒绝HBM的主要原因也似乎是成本考量。“HBM与人工智能CPU融合的单位成本是服务器用DDR成本的10倍以上,即便是容量不大的情况下,HBM也占据了整个模块的大部分成本;如果人工智能模块可以使用DDR,那么它可以在花一样的成本上拥有更多的处理器核心。”

 

对 HBM2和 DDR4内存的成本分析显示,前者的成本是后者的10倍

40GB的HBM是同一封装内CPU成本的三倍之多,就连相同都是8GB的HBM和DDR4来说,HBM die的成本是DDR的两倍,这还不算TSV蚀刻、堆叠、组装和封装成本,以及各个制造商的利润率。而反观DDR芯片,这些额外增加的成本都不用考虑,用户可以直接从内存制造商手里买来成品,这种可插入式的生态就是为了减少成本损耗。

多核心分布式方案

从Hot chips的众多演讲中,Esperanto也向业界展示了其关于内存瓶颈问题的解决方案,该公司的1000核心RISC-V人工智能加速器目标是高维模型预测,而不是传统的人工智能模型训练。Esperanto创始人Ditzel也称,客户不是想要250MB的内存,客户只需要100MB----想要所有的事情都在100MB的空间上完成,任何超过这个内存容量的项目都需要额外的资金。

CEO Ditzel还补充说,“客户喜欢在显卡是使用大量的显存DRAM,并且还向我们建议,用最快的设计来把所有的东西都放到一张卡内,如果这样支持100GB内存且能比PCI-E总线的速度更快,那么这就是一个成功。”

我们不妨来比较下Esperanto和其他家推理加速器的异同,Ditzel说。“其他家关注的是整个处理器的功率,而Esperanto则不同,将多个低功耗CPUs安装在双M.2加速卡上,这样能更好的利用片外存储。”HBM可以在引脚数少的情况下获得一个非常高的带宽收益,但是HBM也是真的昂贵和功率较低。

 

Esperanto向业界展示的6个小die连接到LPDDR4x上的方案(图源:Esperanto)

Esperanto多核心方案使得更多的I/O口用于片外DRAM通信,除了6块CPUs芯片,还采用了24块低价LPDDR4x DRAM芯片,在低压情况下,其功耗和HBM方案基本一样。因为LPDDR4x的带宽比HBM要低,所以我们通过扩大IO来获得更大的带宽,所以其在加速卡的内存系统上采用了1500bit的内存,对于每个数据引脚来说,必须拥有两个电源和接地引脚,但是这样一来引脚数又太多了。所以经过Esperanto的内部讨论,决定把整个系统分开,举例来说,192GB的内存容量需要通过822GB/s的带宽进行访问,对于64bitsDRAM来说,我们可以分成96x16bits通道,不仅可以更好的处理内存延迟,还能把功率控制在120w以内。

Pipeline的重要性凸显

无独有偶,另一家专注于晶圆级的人工智能加速器设计公司Cerebras也在Hot Chips向业界展示了用于解决存储瓶颈的方案,其最新发布的专用于内存拓展系统---------MemoryX,该系统专为高性能计算和科学海量运算设计,可用于CS-2的人工智能加速系统。MemoryX是DRAM和NAND的合体产品,并且是在芯片级别合二为一,其内部框架“弹性十足(兼容性强)”,可容纳从4TB到2.4PB(2000亿到120万亿个参数),足以容纳世界上最大的人工智能模型。

 

Cerebras 的 MemoryX 系统(图源:Cerebras)

Cerebras联合创始人兼CEO Sean·Lie表示,为了让片外缓存表现得和片内存储一样,Cerebras 对 MemoryX 进行了优化,把参数和对应的权重都输入到CPUs中,能极大程度上消除延迟带来的影响。

 

Cerebras用Pipeline来消除对于延迟有高要求的通信系统

在系统训练过程中,对于延迟敏感的部分需要极低的延迟,Cerebras设计整个芯片都处于激活状态,系统将绝大多数的数据都存储在MemoryX中,当系统有需要时输入到CPU中,这样可以最大程度的避免延迟,也可以解决不同层之间的依赖性(系统调度能够在前一层完成前就调用后一层)。

同时,更加细分的Pipeline能够避免训练时迭代之间的依赖,给不同层分配不同的权重能够在执行模型时抵消外部调度来带来的延迟,从而提升整个系统的性能。

 

责编:我的果果超可爱

编译自:

Solving AI’s Memory Bottleneck   ----EE times

 

EETC https://www.eet-china.com
本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
Sally Ward-Foxton
Sally Ward-Foxton是EE Times特派记者,她专注于EE Times美国版的AI技术和相关话题,以及EE Times欧洲版杂志中的欧洲企业报道。 Sally base在英国伦敦,她报道电子行业已有15年,曾为Electronic Design、ECN、Electronic Specifie撰写设计、电子元件类文章。 她拥有剑桥大学的电气和电子工程硕士学位。
  • 存储产业万亿市场,“3.0时代”模组厂商如何提升竞争力? 5G、AIoT、大数据、智能驾驶、元宇宙等会是接下来存储市场的历史性机遇。4G转5G、传统汽车转向新能源汽车,新概念的元宇宙的出现,这些新的产品组合都将催生出对存储产品以及芯片的大量需求。
  • SK海力士欲在其中国芯片厂引入EUV光刻机,遭美国制止 美国贸易代表戴琪(Katherine Tai)在韩国CBS电视台一文件广播节目中,就SK海力士拟在中国引进尖端设备遭到美方反对一事表示,美方出于若将尖端设备引入中国恐将给国家安全带来隐患的合理理由,而反对有关公司在中国引进相关设备。这里的相关设备,就是EUV光刻机……
  • 三星QLC闪存及下一代DDR6性能技术详解 尽管内存价格持续下跌,但三星在存储领域的市占率依然超过四成,遥遥领先第二第三。其QLC闪存的性能目前得到改进提升,写入速度重新超越机械硬盘。同时,三星最近分享了其下一代内存DDR6及GDDR7产品技术详情。
  • DDR5内存还未普及,DDR6已经在路上了 DDR5预计会在2022年开始全面普及,普及将需要2-3年左右的时间。然而,三星研发的DDR6内存已经在路上,GDDR7显存也不远了。
  • 华为位居IO500存储领域排行榜第二 ​​​​​​​华为受到打压,手机业务大幅下滑,但是其他领域表现不错,现在已经推出了鸿蒙和欧拉两大底层操作系统,最近的IO500存储领域排行榜中,华为存储也位居第二。
  • 2021Q3全球DRAM厂自有品牌内存营收排名,三巨头市占高达 以营收表现来看,三大DRAM原厂本季皆持续进步,只不过在出货表现上略有分歧,三星(Samsung)及美光(Micron)出货小幅成长,而SK海力士(SK hynix)则微幅衰退。不过受到DRAM报价上扬的支撑,抵消出货端上的疲软,故三大厂第三季营收表现仍有成长……
  • 新款iPad Pro 2021成最受欢迎的 由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
  • 三星折叠屏手机Galaxy Z Fold 3 目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。

  • 重磅新品| 纳芯微推出车规LIN收发 纳芯微(NOVOSNS)推出了全新通用车规LIN收发器芯片---NCA1021,可广泛适用于汽车电子子系统的总线接口设计,如电动门锁,电动窗,电动座椅,电动后视镜,玻璃刮水器,座椅加热器等模块,具有线间干扰小,线束少,传输距离长,成本低等优点。
  • 猎豹移动2021年Q3财报:AI和其他收入 本季度猎豹移动持续提升运营效率,Non-GAAP营业总成本及费用同比下降47.4%。其中互联网业务环比扭亏为盈,实现Non-GAAP营业利润180万元。截止到2021年9月30日,公司持有的现金及现金等价物、受限资金及短期投资18.53亿元,长期投资24.23亿元。
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了