动态检测对于智能视觉系统来说至关重要，可以赋能自动驾驶汽车和高级监控等应用。基于事件的视觉传感器可将光照变化转化为稀疏的事件尖峰信号，实现低数据冗余的高效动态检测。然而，目前基于事件的视觉传感器通常采用简化的光敏电容器结构，特别是在光谱响应方面面临着诸多局限性，导致其在多光谱场景中难以有效获取信息。
据麦姆斯咨询报道，近日，北京工业大学与华北光电技术研究所的联合研究团队提出了一种基于事件的双端薄膜视觉传感器（如图1），该传感器创新地将无机氧化物p-n结与热释光电效应相结合，协同了光伏效应和热释电机制。这一创新使尖峰信号的响应度提高了十倍，动态范围达到110 dB，光谱响应范围从紫外（UV）波段扩展到近红外（NIR）波段。利用该薄膜传感器阵列，即使在弱光条件下，这些尖峰信号仍能准确提取指纹边缘特征，这得益于其对微弱亮度变化的高灵敏度。此外，传感器的宽带尖峰响应可捕获更丰富的信息，在多光谱动态手势识别中准确率高达99.25%，同时数据处理量减少了65%以上。这种方法有效地消除了冗余数据，同时最大限度地减少了信息丢失，为当前的动态感知技术提供了一种前景广阔的替代方案。这项研究以“Thin-film event-based vision sensors for enhanced multispectral perception beyond human vision”为题发表在InfoMat期刊上。
图1 基于事件的薄膜视觉传感器的仿生动态检测方法
研究团队设计了一种基于事件的双端薄膜视觉传感器，主要利用ZnO/NiO光电二极管中的热释光电效应和HfO₂绝缘层的电容效应（如图2B和图2C），可增强光电转换能力并提高传感器的动态响应特性，相关机理分析如图2所示。
图2 基于事件的薄膜视觉传感器的设计与机理分析
随后，研究人员测量了基于事件的薄膜视觉传感器在光脉冲下的尖峰信号（如图3A）。在像素值不断变化的动态场景中，有必要检查传感器在逐步变化的光照下的性能（如图3E）。对现代传感系统来说，准确探测宽光谱场景信号的能力至关重要。研究人员测定了基于事件的薄膜视觉传感器在紫外（380 nm）波段到近红外（1064 nm）波段的响应度，以评估其宽带探测的能力（如图3H）。
图3 基于事件的薄膜视觉传感器的快速宽带尖峰信号测量
基于事件的薄膜视觉传感器在图像上移动时，会在灰度值发生变化的边缘区域产生电流尖峰信号。这种能力极大的提升其在传感器内（in-sensor）边缘处理能力，特别是在指纹识别方面，因为指纹识别主要依赖于边缘提取来识别指纹图案中的独特特征，相关实验结果如图4所示。
图4 采用基于事件的薄膜视觉传感器进行传感器内图像边缘处理的实验结果
这项研究重点关注了从紫外波段到近红外波段的低可见度场景，以评估传感器的动态识别能力。为了复制这一场景，研究人员做了两方面简化：（1）图像区域划分：将图像分成四个相等的矩形区域，每个区域代表特定波长（380 nm、675 nm、808 nm和1064 nm）的信息（如图5A右侧）；（2）统一响应度假设：考虑到低可见度环境下紫外波段和可见光的响应度降低，假设四个波长的响应度形同。对于识别任务，这项研究使用了包含四种动态手势（向左移动、向右移动、向上移动和向下移动）的数据集，相关实验结果如图5所示。
图5 基于事件的薄膜视觉传感器在低可见度场景的快速宽带尖峰信号测量
综上所述，这项研究提出了一种简化的基于事件的薄膜视觉传感器，它能够感知并直接将多光谱亮度变化转换为尖峰信号，从而有效地促进了静态图像和动态物体的感知和处理，通过利用热释光电效应，其响应度提高了十倍，动态范围达到110 dB。这些尖峰信号实现了传感器内边缘处理，而对数响应则提高了对微弱光线变化的灵敏度，在指纹识别任务中优于Prewitt核卷积等传统方法。此外，从紫外波段到近红外波段的扩展光谱范围使传感器能够捕获宽带动态信息，同时过滤掉冗余数据。通过将获取的信息输入到脉冲神经网络（SNN）模型中，动态手势识别准确率高达99.25%，超越了单波段传感器，并证明了其在实时视觉处理中的有效性。这项技术为开发先进的机器视觉系统和实时视觉计算芯片提供了巨大潜力。
论文链接：
https://doi.org/10.1002/inf2.70007
延伸阅读：
《苹果在量子点光电传感器领域的发明专利与产业布局分析》
《量子点光电传感器专利态势分析-2024版》
《新兴图像传感器技术及市场-2024版》
《汽车红外摄像头技术及市场-2024版》
《光谱成像市场和趋势-2022版》
《小型、微型和芯片级光谱仪技术及市场-2020版》
