自适应神经形态图像传感器阵列,实现超弱光的静态和动态图像感知

MEMS 2024-12-12 00:01

人类视觉系统在不同亮度条件下具有出色的适应能力,这激发了光电神经形态器件的创新发展。近年来,研究工作聚焦于模仿人类视觉系统的功能,致力于开发具有波长选择性和深度感知的光电器件,使其能够以节能方式探测和处理光信号,并具备超越基本计算和存储功能的智能信号处理能力。此外,视觉适应确保人类能够在不同的亮度和黑暗水平下工作和生活。然而,如果要模拟这种自适应能力,光电神经形态器件必须实现双向光响应,这通常需要高工作电压或高光强度。

据麦姆斯咨询报道,近日,由香港理工大学、北京航空航天大学、浙江大学、中国科学院北京纳米能源与系统研究所与嘉善复旦研究院组成的联合研究团队提出了一种基于双向ZnO/CsPbBr₃(bidir-ZC)异质结构的神经形态图像传感器阵列(10 × 10像素),专为超弱光探测而设计。该器件通过ZnO通道内氧空位的电离和去电离作用,实现了正向和负向的光电导特性,并可扩展至其它ZnO/钙钛矿和IGZO/钙钛矿的异质结构中。在2.0 V的低偏压下,该阵列可在绿光(525 nm)和紫外光(365 nm)下(光强范围从45 nW/cm²至15.69 mW/cm²)实现突触权重更新,从而模拟了基本突触功能和视觉适应能力。此外,该阵列能够完成如背景去噪和时空运动编码等多项图像预处理任务,模式识别的准确率达到92%,运动聚类的准确率达到100%。这种简便的设计策略凸显了智能视觉系统在低电压和黑暗条件下实现实时处理图像的潜力。这项研究成果以“Ultraweak light-modulated heterostructure with bidirectional photoresponse for static and dynamic image perception”为题发表在Nature Communications期刊上。香港理工大学郝建华教授、北京航空航天大学潘曹峰教授、浙江大学陈梦晓研究员为该论文通讯作者。

双端光电突触(optoelectronic synapses,OS)凭借其简单的结构和灵活集成大规模阵列的能力,为模拟人类视觉系统的功能提供了一种硬件平台。研究人员通过集成10 × 10双端bidir-ZC光电突触,成功制备了一种神经形态图像传感器阵列。图1a和图1b展示了人类视觉系统与bidir-ZC器件阵列的视觉感知的工作流程。


图1 bidir-ZC神经形态图像传感器阵列的设计和结构

为了系统地研究bidir-ZC神经形态图像传感器阵列的双向光响应机制,研究人员首先对依赖于光强的突触后电流(PSC)开关行为进行了表征,然后对该器件施加脉冲光刺激,验证了模拟生物突触的基本突触功能,相关结果如图2所示。


图2 bidir-ZC神经形态图像传感器阵列的光电导和突触行为

通过分析ZnO/CsPbBr₃异质结构内载流子的传输过程,研究人员深入探讨了该器件双向光响应的工作机制,总结为正光电导(Pos-PC)效应和负光电导(Neg-PC)效应,相关研究结果如图3所示。为了比较,研究人员使用厚聚苯乙烯(PS)薄膜形成另一个ZnO/PS/CsPbBr₃异质结构,其中ZnO薄膜作为导电通道,但PS层阻止了界面处电荷载流子传输。对于ZnO通道,随着绿光刺激强度的增加,大部分电离氧空位得以恢复,多余的电子被收集,从而产生Pos-PC效应。而CsPbBr₃薄膜对超弱光刺激的灵敏度高于ZnO,因此电离氧空位的恢复过程占主导地位,从而产生Neg-PC效应。


图3 Neg-PC和Pos-PC行为的机制

利用双向光响应调节突触权重,bidir-ZC神经形态图像传感器阵列能够模拟人类视觉感知系统的图像记录和视觉自适应行为。图4a为图像记录的实验设置的示意图。


图4 bidir-ZC神经形态图像传感器阵列的成像和视觉自适应

bidir-ZC器件随光强变化的Neg-PC效应和Pos-PC效应非常适合于传感器内图像预处理应用,能够避免传感和处理单元之间的冗余数据传输。利用从Neg-PC到Pos-PC的转化特性,该器件能够实现图像去噪功能(如图5a)。经过40轮训练,该阵列预处理的图像精度达到92%,与无噪声的理想二值图像精度相当,且远高于含噪声输入图像的精度(如图5e)。


图5 基于Pos-PC效应和Neg-PC效应的图像去噪和运动目标感知

综上所述,这项研究基于氧化物半导体与钙钛矿异质结构,开发了一种实现具有超弱光调制双向光响应的阵列器件的简单方法。基于ZnO/CsPbBr₃异质结构的器件阵列在紫外光和绿光刺激下均表现出光诱导的Neg-PC增强、Neg-PC抑制以及Neg-PC向Pos-PC的转化。在这种简单的双末端器件结构中,仅需45 nW/cm²的超弱光强和2.0 V的偏置电压即可触发Neg-PC效应。通过结合Neg-PC与Pos-PC特性,该器件在1.42 μW/cm²至1.31 mW/cm²的光强范围内实现了视觉自适应。此外,在阵列器件终端进行了多种图像处理任务,包括静态图像去噪以及动态图像实时去噪的运动感知。这项研究采用一种简单的无监督学习方法,结合了降维和基于密度的聚类算法,成功实现了高精度的运动聚类和异常运动检测。

论文链接:
https://doi.org/10.1038/s41467-024-54845-3

MEMS 中国首家MEMS咨询服务平台——麦姆斯咨询(MEMS Consulting)
评论
  • 随着消费者对汽车驾乘体验的要求不断攀升,汽车照明系统作为确保道路安全、提升驾驶体验以及实现车辆与环境交互的重要组成,日益受到业界的高度重视。近日,2024 DVN(上海)国际汽车照明研讨会圆满落幕。作为照明与传感创新的全球领导者,艾迈斯欧司朗受邀参与主题演讲,并现场展示了其多项前沿技术。本届研讨会汇聚来自全球各地400余名汽车、照明、光源及Tier 2供应商的专业人士及专家共聚一堂。在研讨会第一环节中,艾迈斯欧司朗系统解决方案工程副总裁 Joachim Reill以深厚的专业素养,主持该环节多位
    艾迈斯欧司朗 2025-01-16 20:51 84浏览
  • 随着智慧科技的快速发展,智能显示器的生态圈应用变得越来越丰富多元,智能显示器不仅仅是传统的显示设备,透过结合人工智能(AI)和语音助理,它还可以成为家庭、办公室和商业环境中的核心互动接口。提供多元且个性化的服务,如智能家居控制、影音串流拨放、实时信息显示等,极大提升了使用体验。此外,智能家居系统的整合能力也不容小觑,透过智能装置之间的无缝连接,形成了强大的多元应用生态圈。企业也利用智能显示器进行会议展示和多方远程合作,大大提高效率和互动性。Smart Display Ecosystem示意图,作
    百佳泰测试实验室 2025-01-16 15:37 138浏览
  • 晶台光耦KL817和KL3053在小家电产品(如微波炉等)辅助电源中的广泛应用。具备小功率、高性能、高度集成以及低待机功耗的特点,同时支持宽输入电压范围。▲光耦在实物应用中的产品图其一次侧集成了交流电压过零检测与信号输出功能,该功能产生的过零信号可用于精确控制继电器、可控硅等器件的过零开关动作,从而有效减小开关应力,显著提升器件的使用寿命。通过高度的集成化和先进的控制技术,该电源大幅减少了所需的外围器件数量,不仅降低了系统成本和体积,还进一步增强了整体的可靠性。▲电路示意图该电路的过零检测信号由
    晶台光耦 2025-01-16 10:12 84浏览
  • 全球领先的光学解决方案供应商艾迈斯欧司朗(SIX:AMS)近日宣布,与汽车技术领先者法雷奥合作,采用创新的开放系统协议(OSP)技术,旨在改变汽车内饰照明方式,革新汽车行业座舱照明理念。结合艾迈斯欧司朗开创性的OSIRE® E3731i智能LED和法雷奥的动态环境照明系统,两家公司将为车辆内饰设计和功能设立一套全新标准。汽车内饰照明的作用日益凸显,座舱设计的主流趋势应满足终端用户的需求:即易于使用、个性化,并能提供符合用户生活方式的清晰信息。因此,动态环境照明带来了众多新机遇。智能LED的应用已
    艾迈斯欧司朗 2025-01-15 19:00 71浏览
  • 电竞鼠标应用环境与客户需求电竞行业近年来发展迅速,「鼠标延迟」已成为决定游戏体验与比赛结果的关键因素。从技术角度来看,传统鼠标的延迟大约为20毫秒,入门级电竞鼠标通常为5毫秒,而高阶电竞鼠标的延迟可降低至仅2毫秒。这些差异看似微小,但在竞技激烈的游戏中,尤其在对反应和速度要求极高的场景中,每一毫秒的优化都可能带来致胜的优势。电竞比赛的普及促使玩家更加渴望降低鼠标延迟以提升竞技表现。他们希望通过精确的测试,了解不同操作系统与设定对延迟的具体影响,并寻求最佳配置方案来获得竞技优势。这样的需求推动市场
    百佳泰测试实验室 2025-01-16 15:45 185浏览
  • 80,000人到访的国际大展上,艾迈斯欧司朗有哪些亮点?感未来,光无限。近日,在慕尼黑electronica 2024现场,ams OSRAM通过多款创新DEMO展示,以及数场前瞻洞察分享,全面展示自身融合传感器、发射器及集成电路技术,精准捕捉并呈现环境信息的卓越能力。同时,ams OSRAM通过展会期间与客户、用户等行业人士,以及媒体朋友的深度交流,向业界传达其以光电技术为笔、以创新为墨,书写智能未来的深度思考。electronica 2024electronica 2024构建了一个高度国际
    艾迈斯欧司朗 2025-01-16 20:45 91浏览
  • 近期,智能家居领域Matter标准的制定者,全球最具影响力的科技联盟之一,连接标准联盟(Connectivity Standards Alliance,简称CSA)“利好”频出,不仅为智能家居领域的设备制造商们提供了更为快速便捷的Matter认证流程,而且苹果、三星与谷歌等智能家居平台厂商都表示会接纳CSA的Matter认证体系,并计划将其整合至各自的“Works with”项目中。那么,在本轮“利好”背景下,智能家居的设备制造商们该如何捉住机会,“掘金”万亿市场呢?重认证快通道计划,为家居设备
    华普微HOPERF 2025-01-16 10:22 148浏览
  • 实用性高值得收藏!! (时源芯微)时源专注于EMC整改与服务,配备完整器件 TVS全称Transient Voltage Suppre,亦称TVS管、瞬态抑制二极管等,有单向和双向之分。单向TVS 一般应用于直流供电电路,双向TVS 应用于电压交变的电路。在直流电路的应用中,TVS被并联接入电路中。在电路处于正常运行状态时,TVS会保持截止状态,从而不对电路的正常工作产生任何影响。然而,一旦电路中出现异常的过电压,并且这个电压达到TVS的击穿阈值时,TVS的状态就会
    时源芯微 2025-01-16 14:23 128浏览
  • 故障现象 一辆2007款法拉利599 GTB车,搭载6.0 L V12自然吸气发动机(图1),累计行驶里程约为6万km。该车因发动机故障灯异常点亮进厂检修。 图1 发动机的布置 故障诊断接车后试车,发动机怠速轻微抖动,发动机故障灯长亮。用故障检测仪检测,发现发动机控制单元(NCM)中存储有故障代码“P0300 多缸失火”“P0309 气缸9失火”“P0307 气缸7失火”,初步判断发动机存在失火故障。考虑到该车使用年数较长,决定先使用虹科Pico汽车示波器进行相对压缩测试,以
    虹科Pico汽车示波器 2025-01-15 17:30 87浏览
  • 日前,商务部等部门办公厅印发《手机、平板、智能手表(手环)购新补贴实施方案》明确,个人消费者购买手机、平板、智能手表(手环)3类数码产品(单件销售价格不超过6000元),可享受购新补贴。每人每类可补贴1件,每件补贴比例为减去生产、流通环节及移动运营商所有优惠后最终销售价格的15%,每件最高不超过500元。目前,京东已经做好了承接手机、平板等数码产品国补优惠的落地准备工作,未来随着各省市关于手机、平板等品类的国补开启,京东将第一时间率先上线,满足消费者的换新升级需求。为保障国补的真实有效发放,基于
    华尔街科技眼 2025-01-17 10:44 87浏览
  • 百佳泰特为您整理2025年1月各大Logo的最新规格信息,本月有更新信息的logo有HDMI、Wi-Fi、Bluetooth、DisplayHDR、ClearMR、Intel EVO。HDMI®▶ 2025年1月6日,HDMI Forum, Inc. 宣布即将发布HDMI规范2.2版本。新规范将支持更高的分辨率和刷新率,并提供更多高质量选项。更快的96Gbps 带宽可满足数据密集型沉浸式和虚拟应用对传输的要求,如 AR/VR/MR、空间现实和光场显示,以及各种商业应用,如大型数字标牌、医疗成像和
    百佳泰测试实验室 2025-01-16 15:41 134浏览
  • 一个易用且轻量化的UI可以大大提高用户的使用效率和满意度——通过快速启动、直观操作和及时反馈,帮助用户快速上手并高效完成任务;轻量化设计则可以减少资源占用,提升启动和运行速度,增强产品竞争力。LVGL(Light and Versatile Graphics Library)是一个免费开源的图形库,专为嵌入式系统设计。它以轻量级、高效和易于使用而著称,支持多种屏幕分辨率和硬件配置,并提供了丰富的GUI组件,能够帮助开发者轻松构建出美观且功能强大的用户界面。近期,飞凌嵌入式为基于NXP i.MX9
    飞凌嵌入式 2025-01-16 13:15 143浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦