广告

内存计算技术在人工智能存储系统中的应用前景(图文)

时间:2021-10-22 作者:Dae-han Kwon 阅读:
2019冠状病毒疾病肆虐全球,但是也加速了全球数字化转型,并且也改变了存储类半导体的发展模式。随着人工智能、物联网和大数据等相关技术的发展,远程办公、视频会议和在线课程
广告
EETC https://www.eet-china.com

2019冠状病毒疾病肆虐全球,但是也加速了全球数字化转型,并且也改变了存储类半导体的发展模式。随着人工智能、物联网和大数据等相关技术的发展,远程办公、视频会议和在线课程等实时应用大量涌现,需要处理的数据量也随之激增。根据 IDC 2017年发布的数据,预计到2025年,全球产生的数据量将达到163 zettabyte(1 zettabyte= 2^70个字节),并且其中5.2 zettabytes 将需要进行数据分析。

图1.2025年 IDC预测的数据量

目前的计算机系统采用冯·诺伊曼结构,当 CPU 处理来自 DRAM 芯片外的数据时,频繁使用的数据被存储缓存中(L1级、L2级和L3级),这样不仅速度快和功耗低,还能够获得最大性能。然而在需要处理大量数据的应用程序中,绝大部分数据是从内存中读取的,因为与缓存的容量相比起来,要处理的数据则大的多。

图2. 计算机中内存架构

在这种情况下,CPU 和内存之间数据通道的带宽成为限制性能发挥的瓶颈 ,在 CPU 和内存之间传输数据也消耗了巨大能量。为了突破这一瓶颈,CPU 和内存之间的通道带宽需要扩展,但是如果当前 CPU 的管脚数量已经达到极限,进一步的带宽改进将面临技术上难以逾越的困难。在现代计算机结构中,数据存储和数据计算是分开的,这样的“数据墙”问题是不可避免的。我们不妨假设处理器用于乘法运算的功耗约为1个单位,而从 DRAM 中获取数据到处理器需要消耗的能量是数据的实际计算的650倍,也就是说减少数据移动对于性能和功耗的提升是巨大的。

图3. 数据计算与数据内存传递功耗对比图

深层神经网络(DNN)是一种机器学习(ML) ,其中以用于计算机视觉(CV)的卷积神经网络(CNN)和用于自然语言处理(NLP)的递归神经网络(RNN)为大家所熟知,并且最近大热的推荐模型(RM)等新的应用程序也趋向于使用 DNN。对于RNN而言,其主要运算是矩阵向量乘法运算,由于其具有低数据重用特性,内存访问次数越多,通过内存通道的数据移动就越多,而性能瓶颈就约明显。

所以为了改进这一点,有很多人提出应用PIM技术重新构建DRAM内存,PIM正如其定义的那样,其操作和计算是在内存中执行的,也就是说,PIM的预期效果是通过在内存中执行操作而不将数据移动到 CPU,从而最小化数据移动,用来提升性能。从20世纪90年代末到21世纪初,学术界积极研究这一概念,但由于 DRAM 处理和逻辑计算的技术难度大,以及使用 DRAM 处理实现内存中 CPU 的成本太高,导致PIM 的竞争力大大削弱,并且也没有商业化。但是现今对于性能的需求使得这一概念的商业化提上了日程。

如果想要理解 PIM,首先我们是要知道 AI究竟进行了什么样的操作,下图给我们展示了神经网络中的完全连接(FC)层,单输出神经元Y1节点链接到X1,X2,X3和X4节点上,每个节点突触上的权重分别为w11,w12,w13和w14。AI为了处理这个全连接层需要将每个计算节点和权重相乘然后再进行求和,然后再应用一个激活函数,如RELU等。更复杂的情况是有几个输入(X1...Xn)和输出(Y1...Yn)的情况下,AI将每个单元分别乘以其对应输出的权重然后再分别求和,而这也就是数学上的矩阵乘法和加法运算。

图4. AI的完全连接的层样例

同样的在图5中,如果我们把这些运算用的电路全部设计到存储单元中,则完全不需要将数据搬运和传输,只需要在存储单元中完成计算并且把结果告知CPU即可;这样不仅能够显著减少功耗,还能尽可能的处理更加复杂的操作。目前SK Hynix公司正在大力开发采用这一技术的PIM DRAM,对于RNN 等内存瓶颈的应用来说,如果在 DRAM 中使用计算电路执行应用程序,预计性能和功耗将有显著提高。而未来CPU需要处理的数据还在不断增多,PIM有望成为计算机提升性能最强有力的方案。

图5. SK hynix的PIM 概念

责编:我的果果超可爱

编译自:The prospect of Processing In Memory (PIM) in memory systems for AI applications ----EEtimes

EETC https://www.eet-china.com
本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 芯华章发布多款新产品,打造全面数字验证解决方案 2021年11月24日,EDA(集成电路设计工具)智能软件和系统领先企业芯华章正式发布四款拥有自主知识产权的数字验证EDA产品,以及统一底层框架的智V验证平台,在实现多工具协同、降低EDA使用门槛的同时,提高芯片整体验证效率,是中国自主研发集成电路产业生态的重要里程碑。
  • 芯和半导体成为三星SAFE EDA合作伙伴 在本月刚结束的三星半导体先进制造生态系统SAFE(Samsung Advanced Foundry Ecosystem)2021论坛上,全球第二大晶圆厂——三星全面介绍了其在技术研发和生态系统的最新进展,并正式宣布芯和半导体成为其SAFE-EDA生态系统合作伙伴。
  • 华芯投资原副总裁高松涛疑卷入上市芯片公司内幕交易,正 华芯投资成立于2014年8月,这家投资管理机构对外投资了两家基金,一是国家集成电路产业投资基金股份有限公司,国家集成电路产业投资基金二期股份有限公司。其在“大基金”一期和二期中的持股比例并不高,但却是大基金的唯一管理人,负责基金的投资运作。
  • 构建基于RISC-V的MCU“芯”生态 源于加州大学-伯克利分校的RISC-V最近几年在全球开源硬件社区掀起了不小的风波,大学、研究机构、芯片厂商和互联网巨头纷纷采用和支持这一有希望与Arm抗衡的指令集架构(ISA)。中国在独立可控的微处理器开发之路上尝试多年,但仍然受制于X86、MIPS和Arm等国际主流架构,RISC-V燃起了国产CPU的新希望。
  • 联发科4nm旗舰5G SoC天玑9000技术详解,拿下十项“全球 11月19日凌晨,联发科在其2021年度高管峰会上正式公布了自家新一代旗舰处理器天玑9000(Dimensity 9000,代号MT6983)的细节参数。据悉,天玑9000是世界首款采用台积电4nm工艺制造的5G SoC,具备更低的功耗和更出色的性能,在计算、多媒体和通信等方面拿下多项世界第一指标……
  • 北交所的“芯”未来(EDA) 当前,半导体行业成为科技行业的新风口,且受到国家的高度关注,北交所的快速成立与火速开市就体现了国家政策对半导体行业在金融方面的支持。长期以来,回报周期长,利润率低,技术难度大的半导体细分产业链中的中小企业的融资非常困难……
  • 新款iPad Pro 2021成最受欢迎的 由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
  • 三星折叠屏手机Galaxy Z Fold 3 目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。

  • 重磅新品| 纳芯微推出车规LIN收发 纳芯微(NOVOSNS)推出了全新通用车规LIN收发器芯片---NCA1021,可广泛适用于汽车电子子系统的总线接口设计,如电动门锁,电动窗,电动座椅,电动后视镜,玻璃刮水器,座椅加热器等模块,具有线间干扰小,线束少,传输距离长,成本低等优点。
  • 猎豹移动2021年Q3财报:AI和其他收入 本季度猎豹移动持续提升运营效率,Non-GAAP营业总成本及费用同比下降47.4%。其中互联网业务环比扭亏为盈,实现Non-GAAP营业利润180万元。截止到2021年9月30日,公司持有的现金及现金等价物、受限资金及短期投资18.53亿元,长期投资24.23亿元。
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了