广告

清华大学集成电路学院提出基于旋转神经元的新型储备池计算硬件架构

时间:2022-04-12 01:02:47 作者:清华新闻网 阅读:
在最新的研究中,动态忆阻器、自旋电子器件、光电器件等多种新器件被用作储备池系统中的动态单元。然而,此前的研究大多聚焦在材料与器件层面,储备池计算硬件架构层面的创新却并不常见,现有架构大多依赖于……
广告

随着摩尔定律的放缓,基于硅晶体管和冯诺依曼架构的传统计算硬件系统在人工智能时代面临严峻的性能瓶颈。受大脑启发,基于新原理器件的类脑计算致力于充分挖掘电子器件自身的物理属性作为计算资源,从而在硬件层面高效实现各种人工神经网络。其中,储备池计算(Reservoir Computing)是一种适用于高效处理时序信号的人工神经网络,以其特有的记忆特性和易于硬件实现等优点成为近年来类脑计算领域的前沿热点。

在最新的研究中,动态忆阻器、自旋电子器件、光电器件等多种新器件被用作储备池系统中的动态单元。然而,此前的研究大多聚焦在材料与器件层面,储备池计算硬件架构层面的创新却并不常见,现有架构大多依赖于复杂的外围辅助模块,比如数模转换、存储器、控制器等,或存在可解释性差、并行度低等问题,如何设计一个简洁、高效的储备池计算硬件架构仍然是该领域面临的一大难点。

为此,清华大学集成电路学院的钱鹤、吴华强教授团队与格拉斯哥大学合作者近期在Nature Communications上在线发表了题为“Rotating neurons for all-analog implementation of cyclic reservoir computing”的研究论文,提出了一种基于旋转神经元的新型储备池计算硬件架构,该架构在原理上与储备池算法等效,具有较强的可解释性,同时在非线性系统拟合任务上表现优于现有储备池计算系统;研究团队进一步搭建了集成忆阻器阵列输出层的储备池计算系统,硬件演示了实时混沌序列预测和手写字母识别,成功实现了端到端的全模拟计算和极低的系统功耗。

图1.旋转神经元储备池的发展脉络,在原理上等效于循环储备池

  团队在研究储备池计算的过程中发现,在物理连接上将一种特定的非线性动态单元(神经元电路)旋转起来,得到的输出等效于循环储备池(Cyclic reservoir)算法的状态向量输出。研究团队通过推导硬件行为描述方程和循环储备池算法在原理上证明了该等效性,并将这种硬件实现形式命名为旋转神经元储备池(Rotating neurons reservoir, RNR)。旋转是自然界中常见的运动,RNR理论具有一定的普适性,该理论认为大部分旋转物体都可以被用来实现与储备池算法等效的硬件储备池。

图2. 基于电子元器件的旋转神经元储备池系统

  为了验证RNR的可行性,研究团队设计了基于电子元器件的旋转神经元储备池(electrical RNR,eRNR),包括输入层、神经元前后转子、动态神经元三个部分。团队首先将eRNR的仿真模型应用于十阶非线性系统拟合基准任务(NARMA10),得益于硬件行为的非理想动态特性,得到了显著优于此前文献报道的拟合效果:单个eRNR的情况下,NRMSE=0.078;多个并行eRNR的情况下,NRMSE=0.055。

  研究团队基于该模型在硬件上搭建了包含64个神经元的eRNR系统,并进一步将忆阻器阵列作为全连接输出层,实现从传感器输入到储备池计算输出的全模拟计算与信号处理。团队在该系统上成功演示了实时混沌序列预测(Mackey-Glass)和手写元音字母识别,同时功耗比此前文献报道的储备池计算系统低三个数量级。

图3.旋转神经元储备池计算系统实现混沌序列预测和手写字识别

实验结果表明,eRNR通过引入旋转神经元的概念实现了简洁高效的储备池计算架构,与其它储备池系统相比,旋转神经元储备池计算系统节约了大量的外围辅助模块和模块间的接口,因此降低了整个系统搭建的成本和功耗开销,更接近于实际应用中的需求。

相关成果以“基于旋转神经元的全模拟循环储备池计算”(Rotating neurons for all-analog implementation of cyclic reservoir computing)为题在线发表在《自然•通讯》(Nature Communications)上。审稿人高度评价了该研究成果,认为它“有对类脑计算领域产生重要影响的潜力”和“代表了储备池计算的通往实际应用中过程中的一个有趣和令人兴奋的进展”。该工作也获得《自然•通讯》编辑的好评,被推荐入选了该期刊的亮点文章(Editors’Highlights)。

清华大学集成电路学院唐建石副教授、吴华强教授和格拉斯哥大学哈迪·海德里(Hadi Heidari)副教授是本论文的共同通讯作者,清华大学集成电路学院访问博士生梁向鹏和博士后仲亚楠为共同第一作者。该研究得到了国家自然科学基金委、科技部重点研发计划、北京信息科学与技术国家研究中心、科学探索奖、高精尖创新中心等支持。

论文链接:

http://www.nature.com/articles/ s41467-022-29260-1

责编:Luffy
  • 汽车存储的全产业链国产闭环新时代 从设计研发、生产制造到封装测试所有环节,兆易创新38nm SPI NAND Flash—GD5F系列实现了全产业链的国产闭环,极大程度上填补了国产大容量车用存储器的空白。
  • 半导体行业蓄势待发,把握5G机遇 随着5G网络在许多地区的加速部署,为半导体行业提供了一个新的庞大市场机遇。整个行业都在蓄势待发,加紧各种创新技术的研发。其中,尺寸更小、密度更高的存储技术也正是其中的重要一环。本文中,美光科技的移动业务部总经理Raj Talluri和读者分享了他对5G时代存储工艺演进的观点和看法。
  • 克服常见的人工智能问题:内存瓶颈 人工智能方兴未艾,各领域都正以足以让业界激动不已的速度快速发展,但它也面临各种挑战,内存需求就是一个瓶颈,特别是对于参数动辄多达上万亿的复杂大型模型训练而言。如何破解人工智能的内存瓶颈?且看本文中专家们的观点。
  • HyperRAM 3.0,为什么值得期待? 与低功耗DRAM、SDRAM和CRAM/PSRAM相比,HyperRAM大幅简化了PCB布局设计,延长了移动设备的电池寿命。同时,HyperRAM的处理器体积更小且具备更少的引脚数,同时数据传输速率也得到提高。 
  • 合久必分,分久必合:三星西数上演真三国,两家联手推动分区 提起NAND固态硬盘,大家脑海中第一印象想必是龙头老大三星集团,剩下的东芝(Toshiba,现在的Kioxia)、西部数据、SK海力士、英特尔和美光等公司也在拼命研发新品,所以现在市面上还还是百花齐放……
  • IGZO基底无电容DRAM单元前景看好 传统DRAM的功率密度受限于存储电容尺寸和晶体管截止电流。本文提出了一种新的2T0C无电容架构,使存储器的功率密度大幅提高,并实现了优异性能-超过103秒的数据保持时间以及无限的耐用性。可为人工智能、物联网、云计算等数据密集型应用提供足够的存储容量。
  • 新款iPad Pro 2021成最受欢迎的 由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
  • 三星折叠屏手机Galaxy Z Fold 3 目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。
  • Porotech动态像素调整技术实现Micr 由于我们彻底巅覆 GaN 的半导体材料和结构技术,让我们突破在单位像素上呈现全光谱颜色。同时,PoroGaN微显示平台的光电特性,简化了电子和光电系统设计集成的过程。目前微米纳米级的Micro-LED 和 Mini-LED 显示器在制造所需的多阶段工艺仍然具有挑战性,凭借 Porotech 的多孔氮化镓 (GaN) 技术和架构平台,可以大幅简化现有质量转移(Mass Transfer)或拾取和放置(Pick-and-Place)等Micro-LED制程。
  • 豪威集团在AutoSens展会上首次推出 OAX4600可实现无缝隙的驾驶员/乘员监控系统功能和灵活的汽车设计,在较小的封装内集成低功耗的RGB-IR ISP和两个NPU 
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了