广告

AI带来高性能计算需求,HBM与CXL成优化硬件效能关键

时间:2021-11-17 作者:TrendForce集邦咨询 阅读:
近几年受到新兴应用的激励,加速了人工智能及高性能计算的发展,且伴随着仰赖机器学习及推论的需求提升,建构出的模型复杂度也随着需求的精细程度有所增加,因此在计算时须处理的数据量亦随之增大。在此情境下,庞大的数据处理量受硬件效能局限,导致使用者在设备的建置面临了效能、容量、延迟度以及成本间的取舍问题……
广告

根据TrendForce集邦咨询最新发表的服务器报告指出,近几年受到新兴应用的激励,加速了人工智能及高性能计算的发展,且伴随着仰赖机器学习及推论的需求提升,建构出的模型复杂度也随着需求的精细程度有所增加,因此在计算时须处理的数据量亦随之增大。在此情境下,庞大的数据处理量受硬件效能局限,导致使用者在设备的建置面临了效能、容量、延迟度以及成本间的取舍问题,从而刺激HBM(High Bandwidth Memory)及CXL(Compute Express Link)的出现。功能上来说,HBM为新形态存储器,主要协助更多元、高复杂运算而需要的I/O作辅助,而CXL则为使存储器资源共享的协定,提供xPU更为便捷的应用。

现行DRAM架构垂直堆栈,HBM突破现有解决方案的频宽限制

为了不受限于传统存储器的频宽束缚,存储器原厂开发了HBM,其结构为基本逻辑颗粒上连接数层的DRAM裸晶,而DRAM裸晶之间以硅通孔及微凸块3D堆栈达到高频宽设计,层数又以4层及8层为主流。而以现行世代来看,HBM2e为目前最新的量产世代,单层16GB的裸晶堆栈4层或8层,使得单颗容量分别为8GB及16GB,频宽可达410-460GB/s,而下一代HBM3已进入机构件送样阶段,可望于2022年量产。

根据TrendForce集邦咨询观察,2021年HBM位元需求占整体DRAM市场仍未达1%,主要包含两大原因:首先是消费级应用因成本考量下几乎未采用HBM,其次是服务器市场中作为AI功能的建置低于1%,即服务器搭载相关AI运算卡的比重仍小于1%,且多数存储器仍使用GDDR5(x)、GDDR6来支持其算力。

展望未来,虽然HBM仍在发展期,但随着应用对AI的依赖度增加(包含模型复杂化来优化AI精准度),需要HBM的加入来支援硬件。其中,以与AI最相关的FPGA和ASIC来看,FPGA产品有英特尔(Intel)的Stratix、Agilex-M以及赛灵思(Xilinx)的Versal HBM导入HBM;而ASIC方面,多数数据中心在AI的建置中,逐渐以自研的ASIC芯片作为发展方向,例如谷歌(Google)的TPU、腾讯(Tencent)的邃思、百度(Baidu)的昆仑皆使用HBM。再者,英特尔(Intel)的server CPU Sapphire Rapids亦规划于2022年底释出带HBM的高端版本。TrendForce集邦咨询认为,HBM有助于突破AI发展中受限的硬件频宽瓶颈,未来市场上将出现更多相关应用。

高速运算催生的新协定,CXL将更有效整合系统中的运算资源

CXL则是基于PCIe Gen5规格演变的协定,让CPU及其他加速器(例如GPU、FPGA等之间)建立高速、低延迟的互联性,使其各自的存储器模拟成一个共享的空间,允许存储器资源共享,从而降低系统成本并获得更高的性能,因此有利于解决AI及HPC的工作负载。

而市场上类似概念的存储器资源共享协定并非只有CXL提出,英伟达(NVIDIA)的NVLink、超威半导体(AMD)及赛灵思(Xilinx)的Gen-Z,皆凸显大厂对系统资源整合的重视。然而,TrendForce集邦咨询认为,CXL能由众多协定中脱颖而出的主要原因,来自于其协定为英特尔提出,而该公司在CPU市场占有高采用率的优势,英特尔CPU支援的号召能使得CXL及其相关硬设备商得以自上而下的统合,因此相继获得超威半导体、ARM、英伟达、谷歌、微软、Facebook、阿里巴巴、戴尔等公司的加入,成为目前呼声最高的存储器协定。

在允许CPU及其他硬件进行存储器资源整合下,利于降低各硬件间的通信延迟,也能提高AI及HPC发展需要的计算性能。为此,英特尔将在下一代服务器CPU Sapphire Rapids中支援CXL,而存储器原厂亦规划支援CXL的产品方案,其中,三星(Samsung)宣布将推出支援CXL的DDR5模块,用以扩张服务器存储器容量,满足AI运算需要的庞大存储器需求。未来CXL亦有机会推及至NAND Flash的方案支援,使得DRAM及NAND Flash双双受惠。

HBM及CXL交互合作有利于AI发展,实际应用于2023年将更有能见度

TrendForce集邦咨询认为,CXL导入将随着未来CPU内建CXL功能而普及化,而未来AI服务器的硬件建置,将能见到更多同时采用HBM及CXL的设计。其中HBM能分别增加CPU及加速器各自的频宽,加速数据处理速度;CXL则建立彼此间沟通的高速互联性,两者交互有助于扩展AI算力从而加速AI发展。

在存储器资源共享下,模型的设计能摆脱硬件瓶颈,持续往更复杂的架构建设。TrendForce集邦咨询预估,随着支援CXL的英特尔CPU Sapphire Rapids导入达一定覆盖率,以及存储器原厂陆续量产更高频宽的HBM3及具备CXL功能的DRAM与SSD,2023年可望于市场上见到更多HBM及CXL合作使用的应用。

责编:Luffy Liu

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • Trendforce预计2022下半年DRAM扭转跌价态势,NAND Flash 2022年的DRAM供给位元成长率约18.6%,然而由于目前买方库存水位已偏高,加上2022年需求位元成长率仅17.1%,明年DRAM产业将由供不应求转至供过于求。尽管DRAM价格将因供过于求而出现下滑,但在寡占市场型态下,整体产值并不会大幅下跌,预估2022年的DRAM总产值将达915.4亿美元,年增微幅上升0.3%。
  • 属于DDR5生态时代全面加速(图文) 就像所有的DRAM迭代一样,DDR5需要一个“引爆点”的技术支持才能迎来生态系统的全面加速以致占领主导地位。Rambus公司目前已经为DDR5全面来临做了长达一年的准备,
  • 如何打造全方位有国际竞争力的半导体设备公司? 数码产业的发展是一场深刻的工业革命。美国公司预测, 2020年数码产业的产值在全球企业 总产值占比41%。到2035年数码产业的产值极有可能会超过全球企业总产值的 50%,数码工业和传统工业是世界经济的两大支柱。而以微观加工为基础的数码产业的四个基本层次—半导体设备是数码产业的基石。
  • SIA:7月全球半导体行业销售额达454亿美元,创月度纪录 从今年2月开始,全球半导体行业销售额每月都在增加。SIA称,从地区来看,半导体行业销售额同比增长最快的是欧洲地区,其次是亚太地区/所有其他地区、中国、美洲和日本。
  • 2020 vs. 2019前十大DRAM模组厂排名、营收及市占对比 2020年全球前五大存储器模组厂占整体市场销售额近90%;前十名则囊括全球存储器模组市场近95%的营业额,其中,金士顿(Kingston)单一家市占逼近八成,虽市占较2019年小幅下滑,但仍持续蝉联全球第一,受到当时疫情的不确定性影响,金士顿采取较为保守的销售策略,年销售成长约2%。
  • 解决人工智能内存的瓶颈到底需要靠什么呢? 人工智能发展到如今的地步,在行业内已经有很多声音都在讨论,目前内存才是人工智能的最大瓶颈,由于无法加速处理器和内存之间的数据传输,内存性能的瓶颈阻碍了目前的现实应用。
  • 新款iPad Pro 2021成最受欢迎的 由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
  • 三星折叠屏手机Galaxy Z Fold 3 目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。

  • 储能与电动汽车应用爆发下,安全可靠 随着汽车设计转向电气化,以及风能和太阳能等可再生能源的部署速度加快,并不断与新推出的储能和电池技术融合。高功率电子成为电池系统的关键部件。这些电子需要与低压数字控制器通信并由其控制,如何实现安全迅速的接口通信是设计可靠电池管理系统的一大挑战。
  • 中国芯应用创新32强出击,众多奖项花 11月16日,第三届IAIC中国芯应用创新设计大赛决赛在深圳前海举行,大赛组委会邀请了来自兆易创新、华大半导体等原厂专家、来自旦恩资本、一本基金、深创投等资深投资机构以及来自中电港、中科院深圳先进院、深半协、深圳中微电、健天电子、史河机器人科技、亚力盛等行业专家作为决赛的评委专家组。
  • 最新!美光和联电和解 11月26日,美光科技与联电共同宣布,两家公司在全球范围内达成和解协议。两家公司将在全球范围内撤回对另一方的投诉,联电将一次性向美光支付一笔未公开的金额。联电和美光期待开展相互的商业合作机会。此案源于
  • 做AGV 20年,机科有话说 机科如何定位自身,又如何理解行业?文|新战略作为国内最早一批入局AGV行业的企业,机科早在1999年便开始智能输送装备相关情况调研,2002年,由“机械科学研究院”相关研究所转制正式成立“机科发展股份
  • 极智嘉携手九州通打造全球首个AMR月台集货项目! 创新型、高效率、智能化!文|极智嘉全球AMR引领者极智嘉(Geek+)携手医药龙头企业九州通成功落地全球首个AMR月台集货。通过跨楼层、跨库区的综合性解决方案,极智嘉在九州通郑州物流中心近万平场地部署
  • 动图了解PCB整个古老制作过程! PCB( Printed Circuit Board),中文名称为印制电路板,是电子元器件的支撑体。由于它是采用电子印刷术制作的,故被称为“印刷”电路板。在PCB出现之前,电路是通过点到点的接线组成的
  • 苹果预计明年底推出AR设备,有望搭载索尼4K Micro OLED显示屏 来源 :驱动之家11月26日消息,天风国际分析师郭明錤发布最新研报称,苹果将在2022年Q4推出AR头戴设备,采用运算能力和Mac同等级的处理器。郭明錤表示,除了Mac同等级的性能外,苹果A
  • 中国PCB百强! ▼2020年度中国综合PCB百强排行榜▼2020年度中国内资PCB百强排行榜▼2020年度中国PCB覆铜箔板企业排行榜▼2020年度中国PCB专用材料企业排行榜▼2020年度中国PCB专用化学品企业排
  • 高精度运放 高精度运放品牌:E-CMOS     型号:EC5462AR-G(替代AD8052)类型:双通道运放封装:MSOP-8数量:600K品质:全新原包可替代AD8052联系方
  • 【旧文回顾】用了更好的板材,没想到DDR4却……??? 公众号:高速先生作者:孙宜文今天的风儿甚是喧嚣,深南大道上车水马龙,科技园的某栋大厦内,攻城狮雷豹继上次解决了阻抗测试问题后,又做了一个很有意思的项目,背景如下:某款CPU芯片的DDR4仿真。设计采用
  • 销量横扫!中国内存/SSD大厂获数亿B轮融资 11月26日最新消息,近日,深圳市嘉合劲威电子科技有限公司完成数亿元B轮融资,投资方包括招银国际、中信建投、易方达、高新投等。本轮融资资金主要用于技术研发、提升智能制造。同时,嘉合劲威即将启动B+轮融
  • 亚化咨询半导体研究系列报告 欢迎征订!如需索取目录欢迎联系亚化咨询朱经理MP: 17717602095(微信同号)Email: rita@asiachem.org
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了