广告

基于事件的视觉传感器,究竟能用在哪些地方?

时间:2021-07-09 作者:黄烨锋 阅读:
基于事件的视觉感知技术有三个优势:产生数据量更少;反应速度更快;以及实现更高的动态范围(>120dB)。这三项属性,尤其是减少数据量和高动态范围属性,在当代机器视觉应用都具备了相当高的价值。
广告
电子工程专辑 EE Times China -提供有关电子工程及电子设计的最新资讯和科技趋势

这两年,基于事件(event-based)的视觉传感技术研究算是相当火热的。今年CVPR 2021上能见到基于事件的视觉研究paper数量相当多。从Image Sensors World这些年的报道来看,参与这个市场的企业也逐渐变得活跃。这些都表明基于事件的视觉传感技术正日趋成熟。

前几个月,我们采访在这一领域颇具代表性的法国企业Prophesee的时候,Prophesee(普诺飞思)联合创始人兼CEO Luca Verre给我们列了挺多相关神经形态技术的paper。因为我们当时对于这类传感器最佳匹配的后端神经形态计算平台也很感兴趣,所以Luca很热心地作了一些技术研究推荐,虽然我们还没来得及去仔细研究——将来我们会着力在这方面做更多的科普和报道。

Prophesee的核心产品就是基于事件的Metavision原视觉传感器及配套的软件和算法。基于事件,或者说神经形态视觉技术(Neuralmorphic Vision Technology),我们在此前的文章中已经花了比较多的篇幅做介绍。简单来说,基于事件的视觉传感器,和我们所熟悉的传统基于帧的图像/视觉传感器,在工作方式上存在较大差异。Prophesee在宣传上倾向于把基于事件的视觉传感器,与人眼类比:眼睛里的感光细胞仅在检测到视觉场景中某些特性(如对比度、亮度)的变化时才反馈给大脑。

而基于事件的视觉传感器也只在感知到场景变化时,才记录信息,场景中的静态部分不会被捕捉;这不同于传统图像传感器以固定的时序源(帧时钟)记录图像信息,所以叫“基于事件”。传感器上的每个像素是异步、独立的,图像信息也不是逐帧发送的,而是通过连续的信息流捕获时间信息,帧与帧之间没有任何重要信息遗漏——Prophesee在宣传中提到其视觉传感器记录信息等效的帧率为10000fps,这在传统基于帧的图像传感器上是不可想象的。

所以基于事件的视觉感知技术有三个优势:产生数据量更少;反应速度更快;以及实现更高的动态范围(>120dB)。这三项属性,尤其是减少数据量和高动态范围属性,在当代机器视觉应用都具备了相当高的价值。对于这类技术本文就不再多做赘述了,在此再次建议对此感兴趣的读者去阅读我们此前撰写的文章——这篇文章对于基于事件的视觉传感器工作方式、传感器、后端计算平台适配都有相对抽象的解读。

本文重点聊一聊基于事件的视觉传感器的应用——有助于建立起对我们对于这类技术更深刻的认识。

Prophesee获得C轮融资,深入中国市场

这项技术的火热,也体现在对投资方的吸引上。前几天Prophesee召开发布会,宣布Prophesee获得C轮融资,“由创新工场领投、小米及上海韦豪创芯跟投,数家老股东加码”。Prophesee在这轮融资之前,已经获得过获英特尔资本、雷诺集团、博世创投、欧洲投资银行等北美、欧洲和日本的知名投资人的支持(当前Prophesee已获得的融资总额为6800万美元)。这次融资吸引的则主要是中国的投资人。

值得一提的是,这轮融资领投的创新工厂创始人是李开复。他在这次活动中,也以视频的方式提到了对于基于事件的视觉技术潜力的认可。而韦豪创芯则是由韦尔股份作为发起人参与投资的。关注成像行业的应该知道韦尔旗下的Omniverse在CIS领域是颇具话语权的,这其实也能很大程度表明视觉/图像传感器领域的主流市场参与者正在关注基于事件的视觉感知技术。而小米在消费电子市场下游的市场角色自不必多说。

Prophesee在发布的新闻稿中提到:“在新一轮投资人的支持下,普诺飞思将进一步扩大在中国市场的影响力。”Luca Verre表示:“我们将扩大在全球尤其是中国市场的客户规模,并推广普诺飞思革命性的基于事件的视觉传感方案。”

采访环节,Luca提到:“对普诺飞思而言,中国市场具有最广大的商业机会。当我们在谈机器视觉、人工智能时,中国市场都是最大的。中国也是最大的手机、无人机、机器人市场。机器视觉市场本身在不断扩大,尤其智能驾驶领域生态在扩大,研发、投资AI方面的力度都很大。中国对我们来说是非常具有吸引力的市场,它充满商业机遇。”

创新工场投资总监王震翔在活动上说:“从普诺飞思的赛道去看,团队所作的‘神经拟态传感器’技术在中国范围内还没有竞争对手,在全球范围内也是跑得最快的,已经跟全球许多顶尖的科技巨头在推进合作。”......“普诺飞思在加速落地中国市场,已经把中国总部设在了上海,我们创新工厂,以及小米、豪威等机构的投资,也是为了加速普诺飞思技术的迭代,针对广大的中国下游客户市场,让这项黑科技快速大规模商业化落地。”

Luca还说,Prophesee当前的重点是扩大中国公司的规模、扩充团队,对中国市场进行大规模投入。“我们最终的目标是将普诺飞思打造成一家全球化的公司。要实现这一目标,就需要在全球最大的市场,也就是中国取得成功。”

基于事件视觉传感器的应用方向

2014年Prophesee这家公司在巴黎创办。从2015年初代QVGA分辨率的传感器产品问世,到今年第四代产品上市——这代产品的知名度在业内比较高:不仅是HD分辨率提升,而且用索尼的3D堆叠BSI背照式结构技术,将单像素尺寸做小到了4.86μm,此前EE Times美国对此也有专门的报道——Luca说这款传感器很快就会大规模量产。如此前Luca接受我们采访时提到的,每代产品其实都有对应的应用。

李开复则在活动上评价说:“普诺飞思的神经拟态机器眼技术在多个领域具备巨大潜力,包括计算摄影、自动驾驶、工业自动化、物联网、医疗保健、AR和VR等...”

这次媒体活动上,Luca提到了这种基于事件的视觉传感器的更多应用。这对我们深入理解基于事件的视觉传感器技术也相当有价值,以此可窥见在Prophesee眼中,这项技术的未来是什么样的。

首先是与Xperi合作,推出的座舱监控技术,基于Prophesee的技术对驾驶员的眼睛、表情、眨眼频率、目光注视方向做监测。普诺飞思大中华区商务发展主管Johney Lu补充说,这个应用是基于Prophesee视觉传感器的几个特点,其一是速度快,对眼球、注释方向就能高速追踪;而且对眨眼频率的监控也能辅助检测疲劳驾驶。其二是高动态范围,应对实际开车过程中的高光比场景,依然能够清楚地感知面部、眼睛数据。

其中有个比较有趣的特性是,Metavision传感器“透过太阳眼镜也能看到眼睛”,Johney说:“太阳眼镜的反光不对我们造成影响。”这一点大概的确是检测可见光的传统CIS的弱项。基于事件的图像传感器如何做到这一点,值得我们后续做进一步探讨。

第二个例子同样是ADAS应用,是Terranet AB和梅赛德斯奔驰共同开发的VoxelFlow传感器技术,其中就应用了Prophesee的传感器。这项技术的本质是做3D Point Cloud扫描。Point Cloud是3D扫描后产生的所谓“点云”,这些点云构成3D模型。点云也就是一组数据点,每个点都有对应的x,y,z坐标。

用点激光做扫描,“经常会碰到一个问题,就是点不够多,而且循环比较慢。”Johney表示,“我们补足了激光的短板。这套方案利用激光在精度上的优势,以及我们在速度上的优势,可以直接造出非常精准高速的3D Point Cloud。”

Luca则说,这套方案在车上安装了3个基于事件的传感器。在激光扫描的过程中,Prophesee的传感器会追踪激光,并对扫描到的内容进行3D建模,以互补的方式分析前方的路况。“快速的3D Point Cloud很重要,因为快速就意味着可以更快地进行监测,从而实现更安全的驾驶。”

在医疗领域,Prophesee和Cambridge Consultants共同开发了“通过细胞实时无菌检测方式的下一代细胞疗法”。“用传统方法需要几天时间才能完成这样的生物学监测。基于我们技术的新设备,在几微秒的时间内就成完成检测、跟踪和分类污染物。”

此外还有此前我们就提到过的,为盲人部分恢复视力的应用。GenSight Biologics的GS030光遗传疗法试验中,用到的护目镜就采用了基于事件的视觉传感器,配合植入到视神经附近的无线视网膜植入物,Prophesee的视觉传感器会将从外界接收到的信号发往视网膜植入物——植入物则将信号转为电压信号刺激大脑引起视觉感知。Prophesee称其为“硅视网膜”,主要针对的是一些晚期的视网膜色素变性病例。

在消费电子产品上,Luca也谈到了这类传感器的应用。“在手机上,普诺飞思的基于事件的传感器,和传统的传感器结合起来,能够改善手机拍照的质量。”这一例主要是基于传统成像系统,受制于曝光时间,画面中高速运动的对象会出现运动模糊。而基于事件的视觉传感器的特性,决定了它能够捕捉动态信息——不考虑后端计算平台,则基于其等效10000fps的帧率,捕捉动态画面也没有压力。

所以理论上,传统基于帧的图像传感器和Prophesee的Metavision传感器相结合,就能实现运动伪像的消除。不过事实上,传统成像系统对运动伪像的消除,现阶段已经普遍开始应用机器学习算法——谷歌和华为在这方面都属于佼佼者,我们在此前也特别撰文分析过。不过我们认为,Prophesee基于事件的视觉传感器,更多的应用方向应该是机器视觉;在计算摄影领域,大概还需要观察此类方案的算法和“疗效”如何。

除此之外,Johney在答记者问阶段另外还提到了一些Metavision传感器的应用。“工业领域,我们的传感器可以感知震动频率、幅度,进行非接触性的震动检测。比如对大型器械震动做长期观察,当震动发生变化时就表明可能存在故障。有些物体本身就是不适合触碰的,比如高压、铁轨——传统接触式震动检测方案无法使用。”

“还有弧焊引导,因为我们的传感器动态范围大。弧焊在焊接的时候,看不到焊点——因为太亮了。基于事件的视觉传感器动态范围大,就能‘看’到焊点位置,引导焊头往哪里走。”

“再举个例子,液体喷射。半导体制造经常要控制液体喷射到表面。”Johney说,“Prophesee的传感器可以通过感知水珠数量,来检测到底喷了多少液体在表面,这对于质量检测很重要。以前要看运气,现在就可以做到精确感知。传统视觉方案是跟不上水珠速度的,无法计算水量。”

基于事件视觉传感器的潜力

听完这些应用案例介绍,感觉基于高宽容度、等效高帧率、数据量少、速度快这几个特点能组合的“玩法”还实在是不少。在传统的图像传感领域,我们常说全幅相机目前所用CIS的信噪比差不多要接近物理极限,全幅CIS在性能上更多的受制于自然界的散粒噪声(shot noise)。当这些传统的方案应用到机器视觉领域,很多应用会显得相当无能为力。

基于事件的视觉传感器则提供了一种新的思路。这项技术的诞生其实早在30年前,只不过此前始终在迈向技术成熟和商用之路上。而且要知道,与其最匹配的后端计算平台是神经形态计算平台,比如Intel Loihi——这些技术也还在初生阶段。所以基于事件的传感器本身应当也还有相当大的发展后劲。

随现阶段Prophesee的Metavision传感器走向越来越多的应用,这类方案似乎比我们预想的发展速度还要快。

责编:Luffy Liu

电子工程专辑 EE Times China -提供有关电子工程及电子设计的最新资讯和科技趋势
本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
黄烨锋
欧阳洋葱,编辑、上海记者,专注成像、移动与半导体,热爱理论技术研究。
  • 高性能、保护隐私的下一代生物识别之路 在近日举办的ICME 2021 上,墨奇科技CEO及联合创始人邰骋、墨奇科技CTO及联合创始人汤林鹏受邀发表Tutorial 演讲,介绍了如何将指纹识别问题转化为高精度图像搜索问题。
  • 智能家居的心跳:可靠和无缝的连接 在智能家居中,日常所用的一切东西(如暖通空调、电梯和灯具等)都配备有功能强大的电子元件。微电子技术使得所有这些物品能够“看见”、“听见”并“理解”周围的环境,然后自主地处理信息,做出决定,并启动一系列动作。将这种水平的智能构建到智能家居系统中需要多个功能模块。
  • 中国工程师最喜欢的10大RISC-V芯片(不包括华米黄山2S) 上周,华米发布采用双核 RISC-V 架构的可穿戴人工智能处理器黄山2S,其大核运算性能可支持图形、UI 操作等高负载计算,大核系统同时集成浮点运算单元(FPU )。上个月在上海举行的首届RISC-V中国峰会上,中科院大学教授、中科院计算所研究员包云岗发布了国产开源高性能RISC-V处理器内核—香山。除了“黄山”和“香山”外,国产RISC-V处理器内核及已经发布或量产的芯片还有那些?《电子工程专辑》分析师团队搜集整理了10家厂商的RISC-V芯片产品,筛选出“中国工程师最喜欢的10大RISC-V芯片”。请在文末评选出您最喜欢的RISC-V芯片!
  • HDR: 完美影像背后的秘密 当我们拍摄一幅明暗悬殊的画面时,镜头捕捉的图像往往会与亲眼所见的景象相差甚远。而这些“艺术画家”的作品——HDR技术则能够帮我们留住更加真实的画面。
  • 中国首条12英寸先进传感器研发中试线成功通线 6月30日,由国家智能传感器创新中心(简称“创新中心”)建设的国内首条12英寸先进传感器中试线成功通线。所谓的“中试”,也就是中间阶段的试验,在科技成果转化为生产力的过程中,中试环节是少不了的……
  • 3D激光三角测量技术:为机器视觉提供深度 传感器质量和速度、嵌入式视觉、FPGA、激光、光学和智能系统的同步发展使得3D成像成为当今更加可行的选择。现在的3D成像技术具有成本低、可靠、可重复、易于实施的优势,并在各种要求严苛的应用中得到验证。虽然1D和2D技术仍在广泛使用,但现在3D技术几乎在所有情况下都提供了可靠的替代方案……
  • 新款iPad Pro 2021成最受欢迎的 由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
  • 三星折叠屏手机Galaxy Z Fold 3 目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。

  • ABLIC全新系列单节电池保护IC可将 S-82M1A/S-82N1A/S-82N1B系列单节电池保护IC,工作状态下消耗电流仅为990nA,跟以往产品相比, 无线耳机的待机时间延长了三倍,同时确保更高安全性 。
  • 航空航天应用的完美解决方案:C&K推 C&K 宣布推出 Space Splice 高可靠性四向连接器 Space Splice 系列高可靠性连接器是航空航天应用的完美解决方案 马萨诸塞州沃尔瑟姆 — 2021 年 7 月 8 日 —
  • 最强阵容?Cree、英飞凌、罗姆、三菱电机、中车、日立、东芝等21企业集结出动 9月9-11日,PCIM Asia展览会即将召开,这次展会几乎汇集了SiC功率器件的“大半江山”——产品展示方面:英飞凌、罗姆、东芝、三菱电机、富士电机、日立、ABB等外资企业;中车股份、瑞能、青铜剑
  • 如何远程登录开发板? 在公司里,一些开发环境(网络环境、远程登录环境等)都是由系统工程师搭建好的,我们只管用就可以。但是自己业余玩玩还是得自己动手折腾折腾,这两天我也为自己的板子搭建了一下网络环境、远程登录环境等,整个过程
  • 芯片产业还能热多久? 阅读全文
  • 2021 LED企业IPO悲喜录 鱼欲跃龙门,企业欲上市。随着时间的推移,多家LED企业的IPO状态有了变化。其中,崧盛股份、罗曼股份、莱尔新材等已成功上市;大族激光、兆驰股份、比亚迪等,则开始分拆子公司冲刺IPO;而易来智能、乐的美
  • Micro LED巨量转移技术分析综述上篇 知识酷Pro 👆学显示行业知识找小酷!第1081篇推文作者进行多日整理完成此文《Micro LED的巨量转移技术综述》,堪称平台单一技术分析的一大"巨著"。Fancy在汇整此文的过程中,收获颇多,受益
  • RT-Thread一网打尽【万字长文慎点】 (1)RT-Thread开发环境搭建对于学习嵌入式实时操作系统,首先第一步要进行的是搭建好对应的开发环境,只有对应的环境搭建好了,才能进行下一步的开发工作。RT-Thread为了方便广大开发者进行入门
  • Microchip推出业界耐固性最强的碳化硅功率解决方案 如今为商用车辆推进系统提供动力的节能充电系统,以及辅助电源系统、太阳能逆变器、固态变压器和其他交通和工业应用都依赖于高压开关电源设备。为了满足这些需求,Microchip Technology Inc
  • 2020年度中国LED行业专利50强发布,累计发明专利4133项 点击上方蓝字 关注我们2020年,LED行业积极应对国内外复杂多变的经济环境和各种严峻挑战,行业发展规模更加扩大,发展质量不断提高,经济效益同比大幅增长。为进一步引领行业先进,推进行业持续健康发展,深
  • 弯道超车季,超值的V2Pro课程优惠本周就截止!你还在等什么? 【腾讯课堂7月大促】羊毛可遇不可求,优惠幅度也是历史优惠幅度最高的一次,想要报名V2Pro课程的小伙伴,不要再等了!8月1日开班,早上车早享受!路科验证V2Pro秋季班    &n
  • 去银行写代码是什么样的体验 来,我们看看关于这几年对于银行或者金融科技的十万个为什么,噗,没有十万个,也就这么几个。之前找银行相关单位的时候,确实会遇到很多问题,这段时间好好回忆后,将这些问题总结在这里,也算是过来人的一点点经验
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了