广告

中科院微电子所在忆阻器实现连续学习方面取得新进展

时间:2022-06-09 09:21:52 作者:中科院微电子所 阅读:
该模型采用前馈全连接神经网络架构,其中隐藏层权重分别由二值权重和浮点型权重两部分组成(图1a)。模型在进行多任务连续学习时采用了非对称权重更新策略,通过限制与新任务相关性弱的权重更新,平衡权重的可塑性与稳定性,从而有效缓解灾难性遗忘(图1b)。在硬件方面……
广告

近年来,以深度学习和神经网络为代表的人工智能技术在人脸识别、自动驾驶、智慧城市和健康监测等多个领域迅速发展。但传统神经网络模型在处理多任务连续学习时将会面临灾难性遗忘问题,即神经网络在学习新任务时会遗忘已经学到的知识,导致在执行先前任务时性能大幅下降。 

针对这一问题,微电子所微电子器件与集成技术重点实验室刘明院士团队的尚大山研究员、香港大学的王中锐博士和清华大学刘勇攀教授等基于忆阻器存算一体芯片,开发了一款软—硬件协同设计的连续学习原型系统。在软件方面,受人类大脑启发,团队提出了一种基于突触元可塑性的混合精度连续学习模型(MPCL)。该模型采用前馈全连接神经网络架构,其中隐藏层权重分别由二值权重和浮点型权重两部分组成(图1a)。模型在进行多任务连续学习时采用了非对称权重更新策略,通过限制与新任务相关性弱的权重更新,平衡权重的可塑性与稳定性,从而有效缓解灾难性遗忘(图1b)。在硬件方面,团队将MPCL模型部署在一个由忆阻器(RRAM)存算一体(IMC)芯片和通用数字处理器组成的混合模拟数字硬件系统上(图1c)。通过将二进制权重映射到忆阻器阵列,该系统采用IMC计算范式,利用基尔霍夫定律和欧姆定律加速向量矩阵乘法操作,减少了处理器和存储器之间数据传输的能量和时间开销。同时,为减轻忆阻器非理想因素对系统性能的影响,团队在软件模拟中重构了与硬件完全相同的计算流程,并利用原位精调的方法优化了权重的映射过程,并使硬件系统在保持推理准确率的同时最大限度地提高计算并行度(图1d)。该原型系统在MNIST和Fashion MNIST数据集上分别实现五个任务连续学习94.9%和95.3%的平均准确率(图1e),同时相较于传统数字系统,核心运算能耗得到大幅降低(图1f)。这种基于忆阻器存算一体能力的连续学习实现方案,为未来构建具有自适应能力的低能耗人工智能体提供了参考。 

该项目得到了科技部、国家自然科学基金委、中科院和香港大学的支持。成果近期发表在《先进智能系统》期刊上(Advanced Intelligent Systems, DOI: 10.1002/aisy.202200026),微电子所博士研究生李熠为文章的第一作者,香港大学王中锐博士,微电子所尚大山研究员为该文章的共同通讯作者。Wiley学术出版集团科技新闻网站Advanced Science News对这一研究结果以“Continual learning, just like humans”为题进行了专题报道。 

 

图1. (a) 混合精度连续学习模型程序框图;(b)非对称更新策略限制权重更新;(c)基于忆阻器芯片的数模混合硬件系统;(d)并行度优化前后准确率对比;(e)多任务连续学习的硬件准确率与软件基准对比;(f)与数字系统MAC功耗对比。

文章链接:https://doi.org/10.1002/aisy.202200026 

Mixed-precision continual learning based on computational resistance random access memory

Yi Li, Woyu Zhang, Xiaoxin Xu, Yifan He, Danian Dong, Nanjia Jiang, Fei Wang, Zeyu Guo, Shaocong Wang, Chunmeng Dou, Yongpan Liu, Zhongrui Wang,* Dashan Shang*

Advanced Intelligent Systems (2022). 

DOI: 10.1002/aisy.202200026

责编:Luffy
  • 谷歌挖IBM人才造处理器,元宇宙也10倍薪抢人才? 近日谷歌挖走了在IBM工作了21年、负责IBM Z System芯片的首席架构师安东尼·萨波里托(Anthony Saporito),担任其首席架构师,负责下一代处理器设计。
  • PCIe 6.0满足汽车和人工智能带宽需求 随着现代汽车陆续演变为车轮上的数据中心,战略上,汽车已成为大家关注的下一个焦点,还有人工智能和机器学习,所有这些都正朝着更高的带宽需求发展,并对高速互联提出挑战。本文介绍的堪称是“革命性飞跃”的PCIe 6.0,其所提供的带宽是其前身的两倍,互连性能也得以显著提升。
  • eFPGA中LUT数量将超越FPGA 凭借并行可编程及灵活性,FPGA一直活跃在各类系统中,甚至在数据中心和通信等应用中具有战略地位。然好事并不总成双,其尺寸和功耗都比较大。在此背景下,eFPGA应运而生。通过将FPGA嵌入到主芯片中,保有了既有优点,又克服了缺点。故作者观点认为,eFPGA将会加速发展,并在本年代的晚些时候超越FPGA 。
  • 通用MCU和边缘AI芯片之选:Arm还是RISC-V? 随着英特尔和AMD等大型主流科技厂商的押宝,RISC-V架构正快速崛起,其生态在嵌入式应用中也正迅速发展。随着高性能RISC-V内核的出现,RISC-V生态系统还将朝着高性能计算的方向发展。而对于通用MCU和边缘AI芯片架构来说,是选择Arm还是RISC-V?就此,多位业内专家在本文中给出了明确见解。
  • Kneron (耐能)创始人兼首席执行官Albert Liu :跨学科能获 Albert Liu 是 Kneron 的创始人兼首席执行官,他于 2015 年创立了 Kneron,其愿景是将边缘 AI 和机器学习带入大众市场的消费设备,并引领无处不在的 AI 时代。
  • 深入浅出理解「边缘检测」技术在芯片制造行业的原理和 芯片行业图像处理炙手可热,边缘检测或许的唯一解决方案,权衡效率和成本,将成为最优解。
  • 新款iPad Pro 2021成最受欢迎的 由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
  • 三星折叠屏手机Galaxy Z Fold 3 目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。
  • 龙蜥社区:Anolis OS 23正式版将于 近日,龙蜥社区对外公布了下一代龙蜥操作系统(Anolis OS 23)研发路线图,PoC版已在社区官网上线,正式版本将于2023年发布,它支持X86、ARM-v9、RISC-V等多种芯片架构,并集成更多核心自研组件。
  • Matter标准:助力智能家居实现更高水 智能家居行业领先的供应商和潜在供应商已携起手来,为智能家居产品的互通性采取进一步行动,制定新的标准,即基于互联网协议(IP)的Matter标准。
  • 芯片微纳制造技术详解
  • C语言的注释要注意几点 关注+星标公众号,不错过精彩内容编排 | strongerHuang微信公众号 | strongerHuang如果领导给你一个项目的源码让你阅读,并理解重构代码,但里面一句注释都没有,我想这肯定是之前
  • 被誉为“世界第八大奇迹”巨型相控阵雷达高清构造图 电子万花筒平台核心服务 中国最活跃的射频微波天线雷达微信技术群电子猎头:帮助电子工程师实现人生价值! 电子元器件:价格比您现有供应商最少降低10%射频微波天线新产品新技术发布平台:让更多优秀的国产射频
  • 电源内部“一目了然” 电源不像处理器,可以看规格知性能;电源也不像显卡,由一颗关键的GPU来决定档次。一款好的电源除了满足功率需求以外,还必须考量稳定、节能、静音、安全等多方面的因素。在没有专业设备进行检测的情况下,我们只
  • 阅码场训练营:ARM架构与调试调优 01讲师介绍十四年IT基础设施研发经验,其中包括六年Linux kernel一线研发经验,在suse,华为,星际比特(技术合伙人)等公司工作。作为团队核心成员参与了大陆第一个Cortex-A8 SOC
  • KR260:硬件加速下一代ROS2与机器视觉设计 市场对机器人的需求一直在迅猛增长。目前,在某些领域已经开始批量使用机器人技术,但是如果期望能与人类协同工作,或者需要机器人更能独当一面的话,就需要融合人工智能,这使得满足计算需求变得更为困难。为了跟上
  • 直播预告|从系统调试调优角度拆解arm特性 01讲师简介十四年IT基础设施研发经验,其中包括六年Linux kernel一线研发经验,在suse,华为,星际比特(技术合伙人)等公司工作。作为团队核心成员参与了大陆第一个Cortex-A8 SOC
  • 整车控制器VCU简介 整车控制器VCU(Vehicle control unit)作为新能源车中央控制单元,是整个控制系统的核心。VCU采集电机及电池状态,采集加速踏板信号、制动踏板信号、执行器及传感器信号,根据驾驶员的意
  • 如何才能选择合适的电源芯片?你会吗? 一、前言什么是电源芯片?它有什么作用?在选择电源芯片的时候,应该考虑那些地方?输入电压线性调整率、输入电压线性变化时对输出电压的相对影响?下面先来了解几个概念问题:1、输出电压负载调整率:负载电流变化
  • 小米POCOC40新机发布,搭载瓴盛科技JR510芯片平台 6月16日,小米公司新机POCO C40正式发布,作为面向大众市场的畅销机型,POCO C40外观简洁,配置全面,特别需要注意的是,该款机型内置瓴盛科技4G智能手机芯片平台JR510,为POCO C4
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了