广告

中科院微电子所在多模态神经形态感知方面获重要进展

时间:2022-06-17 07:29:20 作者:中科院微电子所 阅读:
近日,微电子所刘明院士团队和复旦大学刘琦教授团队共同研发了一种结构紧凑的多模态融合感知脉冲神经元(MFSN)阵列,该阵列由异质集成的压力传感器和NbOx忆阻器构成(图1b),其中压力传感器用来感知压力,NbOx忆阻器用来产生脉冲输出并感知温度变化。
广告

躯体感受系统中的多模态感知可帮助人们获得更全面的物体属性,并对物体的状态做出准确判断。尤其是不同受体的感觉信号在一定的条件下还可被神经元整合并发送到大脑皮层作进一步处理(图1a)。与单模态感知相比,多模态融合感知在评估物体属性和提高物体识别精度方面具有明显优势。在传统的人工感知系统中,多模态信息的处理多采用串行计算架构,传感信号需转换为数字模式才能被处理器处理,产生了较大的功耗和通信带宽开销。此外,传统半导体技术在脉冲域构建这种多模态感知系统还面临着器件集成和电路复杂性方面的挑战,迫切需要开发更高效的多模态融合感知硬件方案。生物感知系统具有并行分布式感官信息处理、低能耗、高容错性等特点,显示出克服传统困境的巨大潜力。 

  近日,微电子所刘明院士团队和复旦大学刘琦教授团队共同研发了一种结构紧凑的多模态融合感知脉冲神经元(MFSN)阵列,该阵列由异质集成的压力传感器和NbOx忆阻器构成(图1b),其中压力传感器用来感知压力,NbOx忆阻器用来产生脉冲输出并感知温度变化。当压力和温度两种激励同时作用于MFSN时,多模态的模拟感觉信息可以融合为一个脉冲序列,显示出优异的数据压缩和脉冲转换能力。此外,通过解耦输出脉冲的频率和振幅,还可从融合信号中获得独立的压力和温度信息,支持了神经元对于单模态信息的保真度和多模态感知能力。团队进一步将MFSN阵列与脉冲神经网络(SNN)结合构建了一种人工多模态感知系统,成功地模拟了人体躯体感觉系统中的多模态信息(温度和压力)感知和多模态物体(不同温度、重量和形状的物体)的分类能力。该工作使构建高效的多模态脉冲感知系统成为可能,为发展高智能机器人技术提供了新思路。 

  该工作得到了国家重点研发计划、国家自然科学基金委、国家重大科技专项、中国博士后科学基金等项目的资助。成果以题“A Heterogeneously Integrated Spiking Neuron Array for Multimode-Fused Perception and Object Classification”发表在国际知名学术期刊《Advanced Materials》上。微电子所博士研究生朱佳雪为本文的第一作者,复旦大学芯片与系统前沿技术研究院刘琦教授和博士后张续猛为共同通讯作者。 

 

图1.生物躯体感觉系统与人工体躯体感觉系统。(a)人手感知杯子的温度、重量和水杯形状的示意图。(b)由MFSN阵列和SNN分类器组成的人工躯体感觉系统模拟触觉感知的示意图。 

原文链接: https://onlinelibrary.wiley.com/doi/abs/10.1002/adma.202200481

责编:Luffy
  • 谷歌挖IBM人才造处理器,元宇宙也10倍薪抢人才? 近日谷歌挖走了在IBM工作了21年、负责IBM Z System芯片的首席架构师安东尼·萨波里托(Anthony Saporito),担任其首席架构师,负责下一代处理器设计。
  • eFPGA中LUT数量将超越FPGA 凭借并行可编程及灵活性,FPGA一直活跃在各类系统中,甚至在数据中心和通信等应用中具有战略地位。然好事并不总成双,其尺寸和功耗都比较大。在此背景下,eFPGA应运而生。通过将FPGA嵌入到主芯片中,保有了既有优点,又克服了缺点。故作者观点认为,eFPGA将会加速发展,并在本年代的晚些时候超越FPGA 。
  • 通用MCU和边缘AI芯片之选:Arm还是RISC-V? 随着英特尔和AMD等大型主流科技厂商的押宝,RISC-V架构正快速崛起,其生态在嵌入式应用中也正迅速发展。随着高性能RISC-V内核的出现,RISC-V生态系统还将朝着高性能计算的方向发展。而对于通用MCU和边缘AI芯片架构来说,是选择Arm还是RISC-V?就此,多位业内专家在本文中给出了明确见解。
  • Kneron (耐能)创始人兼首席执行官Albert Liu :跨学科能获 Albert Liu 是 Kneron 的创始人兼首席执行官,他于 2015 年创立了 Kneron,其愿景是将边缘 AI 和机器学习带入大众市场的消费设备,并引领无处不在的 AI 时代。
  • 深入浅出理解「边缘检测」技术在芯片制造行业的原理和 芯片行业图像处理炙手可热,边缘检测或许的唯一解决方案,权衡效率和成本,将成为最优解。
  • Matter有望实现智能家居美好愿景 早在1999 年,“专家们”就预测,到2005年将会出现铰链型双臂房屋清洁机器人,它们可以打扫房间和使用真空吸尘器。时光飞速来到2022年,这个预测仍然是空中楼阁。
  • 新款iPad Pro 2021成最受欢迎的 由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
  • 三星折叠屏手机Galaxy Z Fold 3 目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。
  • 龙蜥社区:Anolis OS 23正式版将于 近日,龙蜥社区对外公布了下一代龙蜥操作系统(Anolis OS 23)研发路线图,PoC版已在社区官网上线,正式版本将于2023年发布,它支持X86、ARM-v9、RISC-V等多种芯片架构,并集成更多核心自研组件。
  • Matter标准:助力智能家居实现更高水 智能家居行业领先的供应商和潜在供应商已携起手来,为智能家居产品的互通性采取进一步行动,制定新的标准,即基于互联网协议(IP)的Matter标准。
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了