广告

这两颗传感器,可能代表了机器视觉的未来趋势

时间:2021-11-24 作者:黄烨锋 阅读:
最近Prophesee和索尼共同发布消息,索尼正式推出2款堆栈式(stacked)基于事件的视觉传感器产品IMX636与IMX637,专为工业设备准备;这两款传感器单像素尺寸达到了4.86μm的程度——是为业界最小。
广告
电子工程专辑 EE Times China -提供有关电子工程及电子设计的最新资讯和科技趋势

这两年来,我们一直在关注基于事件的视觉传感器(event-based vision sensor)。基于事件的视觉传感器并不是这两年才有的新技术。之所以在这两年做持续关注,如前不久我们撰文谈到的:此类传感器的发展时机业已成熟,可能很快要面临爆发期。

最近Prophesee和索尼共同发布消息,索尼正式推出2款堆栈式(stacked)基于事件的视觉传感器产品IMX636与IMX637,专为工业设备准备;这两款传感器单像素尺寸达到了4.86μm的程度——是为业界最小。

这两款传感器结合了索尼CMOS图像传感器技术与Prophesee基于事件的视觉感知技术。其实去年2月份的ISSCC(国际固态电路会议)上,这种达到4.86μm单像素尺寸的基于事件的视觉传感器就已经亮过相——EE Times美国和中国版此前也都相继作了报道。

这次我们再次借机采访了Prophesee CEO Luca Verre,他也从一些更细节的层面聊到了本次发布的新品。从中,我们也能更进一步地去理解基于事件的视觉传感器的特点。

有关这两颗视觉传感器

有关什么是基于事件的视觉传感器,本文不再多做赘述了,此前我们已经多有解释;具体可点击这里查看。它与传统基于帧的图像传感器不同。仅在场景发生变化时,基于事件的视觉传感器之上的像素才做出反应,场景中的静态部分不会被捕捉。而且这种传感器通过连续的信息流捕获事件信息,不会有重要信息的遗漏,可达成等效10000fps的记录能力。这样的技术特点造成其产生数据量少、反应速度快、高动态范围的特点。

这次合作新推的IMX636/IMX637传感器,在制造工艺上采用索尼Cu-Cu互联3D堆叠技术。针对索尼的堆栈式工艺技术,此前我们曾特别撰文探讨过。BSI背照式技术,与3D堆叠工艺,都是让单像素尺寸变小的关键。这类技术不光是Prophesee这一代基于事件的视觉传感器达成4.86μm单像素尺寸的关键,也是当前手机一亿、两亿像素CIS得以普及的关键。

在像素变小的问题上,Luca特别谈到:“我们和索尼一起,通过BSI 3D堆栈工艺,让像素尺寸变得更小。工艺技术其实还在进步:这种进步是2个方面的。首先是CMOS工艺节点。有了索尼,我们就能采用40nm CMOS工艺;像28nm、22nm当然还能进一步减小像素的逻辑电路部分,令其更小。”

来源:Yusuke OIKE, “Evolving Image Sensor Architecture through Stacking Devices”, IEICE Fundamentals Review Vol.15, No.1, https://doi.org/10.1587/essfr.15.1_5

“其次就是在堆叠上,现在的趋势是从2层往3层发展:比如一层CIS+两层逻辑电路层,那么像素的大小还会降低。所以我们相信,技术会帮助我们更进一步地缩减像素尺寸。”Luca说。有关图像/视觉传感器往3层堆叠的方向发展,恰好此前索尼的路线图也的确是这么提的,我们也做了对应的报道。

其实有关基于事件的视觉传感器,相较传统基于帧的视觉传感器,在像素尺寸上仍然更大这个问题(比如三星、Omnivision的CIS单像素尺寸下探到了0.7μm),我们也问了Luca。Luca回答这两者无法直接比较,就像卷帘门快门(rolling shutter)和全局快门(global shutter)的图像传感器相比,后者的像素也无法做到0.7μm的程度一样。“还有像是ToF图像传感器像素尺寸也如此。”Luca说。

“我们的像素复杂性主要在于level crossing sampling电路——嵌入在每个像素之中。这个电路需要一定数量的晶体管。这是基于事件的视觉传感器的像素需要更多硅面积的原因。”Luca解释道。将来有机会,我们可以在level crossing sampling电路方面做更深入的探讨,这也将有利于我们进一步理解基于事件的视觉传感器。

总的来说,基于4.86μm这样小的像素尺寸,IMX636/IMX637得以实现基于事件的视觉传感器产品中较高的分辨率。具体的产品规格如上图所示。这两款产品在尺寸和分辨率方面有差别,分别是HD 720p与VGA分辨率。Luca告诉我们,新产品与此前第三代产品的主要差异就在于制造工艺上;此前Prophesee的第三代基于事件的视觉传感器产品单像素尺寸为15μm。

这一点我们在此前的文章里也多有提及,上面这张图所呈现的正是BSI+3D堆叠工艺提升像素感光区域利用率的示意。单纯从这张图来看,是每个像素所谓的相对变化检测器(relative change detector)电路从原本与感光区域处在同一平面,移到了下方。

Luca说去年2月份,ISSCC会议上Prophesee就宣布了与索尼合作的研究工作;这次则是真正对传感器做大规模量产,实现了其全面的应用。“这次我们和索尼一起,让传感器达到工业应用级别,通过所有的有效性、可靠性测试,满足质量标准,并准备大规模地部署到市场上。”

“Prophesee和索尼合作,将IMX636/IMX637带到市场上。索尼提供传感器和参考设计,Prophesee则提供Metavision软件解决方案和服务。”Luca介绍说,已经有不少客户在对这两款传感器做评估和概念验证。“目前我们已经和客户进行过上百次的PoC评估。”在构建生态合作方面,Luca也特别提到正与索尼中国积极合作,发展这两款新产品在中国的业务;与此同时也会与更多中国本地合作伙伴进行战略合作。

应用前瞻与生态建设

有关Prophesee基于事件的视觉传感器的应用方向,此前我们也撰文探讨过——汽车智能座舱、ADAS、生物医疗、消费电子等等,都有其用武之地。索尼在发布的新闻稿中提到,随着工业设备更为复杂和多样化的需求,由摄像头来捕获图像数据——或者说机器视觉,其实是变得越来越重要的。而更为高效的数据获取就是其中的关键。

基于事件的视觉捕获方式,是像素异步检测亮度变化,加上像素位置与时间信息输出数据。如前文提到的像素只检测场景中的变化,传感器能够以高速、低时延以及高时间分辨率来检测场景中的变化。

索尼提到比较典型的应用场景如工业设备的预测性维护,感知设备使用中的震动细微变化,及早检测出使用异常。还有在金属切割、焊接的时候,这样的传感器能够感知火花的变化,以便工人可以了解更换工具的最优时机等等——这一点应该是基于事件的视觉传感器高动态范围的特点。

总之在大方向上,针对许多工业应用场景提高生产效率是有价值的——在某些场景下基于帧的图像传感器无能为力,某些则只能依赖人们过往的经验,基于事件的视觉传感器就能派上用场了。

这些只是部分场景列举。索尼和Prophesee都提到本次合作的重要组成部分在于Prophesee的Metavision智能套件,这是个事件信号处理软件。这款软件是为开发者准备的,针对很多应用场景提供了解决方案。

Luca说:“生态建设是目前我们需要投入的、很重要的一部分。因为我们的技术是打破现有游戏规则的新技术,要构建起生态系统,我们采用开源架构。所以Metavision软件部分,我们提供了免费、开放的访问——我们称之为Metavision Essentials。”

“我们开发了评估开发套件,让摄像头制造商能够快速地打造完整的系统。而且我们在技术上也提供培训内容。我们的网站上也提供了很多技术方面的内容,知识中心有丰富的信息。”Luca表示,“比如大型数据集,行业内用于机器学习最大规模的标记(labeled)事件数据集。而且我们也提供视觉传感器的模拟工具等等。这些都是为了降低开发难度;也是开辟新技术领域、构建生态过程中,我们做的事情。”

基于事件的视觉传感器的未来探讨

这两年,基于事件的视觉传感器正迈向成熟,而且有更多落地的应用会逐步出现。Luca也和我们畅想了这类传感器的未来市场,及发生爆发式增长的契机将是什么。

“在工业和医疗之后,我们看到基于事件的技术发展会在一些IoT、机器人应用领域。比如说商业大楼、零售业中用来做智能访问控制,或者智能存在检测;还有应用于工业和消费市场的机器人——用来做避障、定位。”Luca谈到,“另外,我相信这项技术在移动(mobile)领域会成为主流和新的技术标准。”

“代表性的就是智能手机。智能手机应该说是图像传感器最大的市场机遇了。我认为这对基于事件的技术而言,也是巨大的市场机遇。我们的技术整合到手机上,能够加强拍照的画质,对于拍照和视频而言也会带来更多新的特性。”“长期来看,汽车也会是这项技术的关键应用场景。”

此前我们提到过,手机上传统摄像头基于帧的图像传感器,在拍摄高速运动对象时受制于曝光时长会让画面出现运动模糊;而基于事件的视觉传感器由于其自身特性,捕获动态画面是无压力的。两者结合时,理论上能够改善运动模糊。“在基于帧的图像传感器曝光期间,我们就能获得画面变化的信息——用事件来修正动态模糊,达成更为清晰、锐利的影像。这是比较重要的一个应用。”

我们认为,不同传感器在手机设备上的竞争压力都不小。实现动态模糊修正的方法有不少,比如当代HDR就在结合AI做低光照环境下画面动态对象的修正。基于事件的视觉传感器要在手机上闯出一片天,还是要看具体效果及成本优势是否足够到位。

另外,我们也和Luca探讨了基于事件的视觉传感器应用于手机时做always-on存在检测(如手势、面部识别的always-on存在检测)的可行性。Luca认为手机上已经有同类传感器技术在实现部分特性,比如ToF摄像头。不过“将帧与事件做结合的计算成像,在眼球追踪(eye tracking)、目光锁定(eye lock)、注意力监测(attention monitoring)等应用上也会有价值,主要是手机前置的感知系统上,可用于提升人机交互的体验。尤其是在AR类特性应用上。”Luca说,“还有我想SLAM(即时定位与地图构建)也会有发展潜力。”

最后值得一提的是,前不久SynSense宣布与Prophesee达成战略合作。SynSense是做SNN处理器的一家企业。基于事件的视觉传感器与此类后端处理器做结合,可说是更加完美的搭配。

目前Prophesee基于事件的视觉传感器,在绝大部分情况下还是需要和传统冯诺依曼计算架构做搭配的。这种搭配方法其实并不能完整地利用基于事件技术优势。而神经拟态(neuromorphic)硬件提供大规模并行计算基础——天然的就是基于事件的特性,搭配神经拟态的基于事件的传感器(所以又叫silicon retina)就再合适不过了。

Luca也说SynSense的技术与Prophesee是互补的,“因为纯粹的神经拟态解决方案,当然应该去利用纯粹的神经拟态技术,尤其在低延迟和低功耗方面。而且基于事件的摄像头最终的趋势,都应该和这种类脑芯片做结合——这样才能真正的优化速度和功耗。和传统的计算平台做结合,其实我们的传感器还是要牺牲掉一部分性能。”

“我相信未来,基于事件的视觉传感器和类脑芯片会在某种程度上做融合,成为一个完整的芯片解决方案。我们和SynSense的合作是非常自然而言的。”

我们或许很难下评判说Prophesee和SynSense的合作具有划时代的意义,但这种范式可能是时代正在发生变化的具体写照。这方面的合作的确相当值得我们做进一步的关注。

责编:Luffy Liu

  • 这个产品中国有什么厂家(或上市公司)正在研发或生产吗?
电子工程专辑 EE Times China -提供有关电子工程及电子设计的最新资讯和科技趋势
本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
黄烨锋
欧阳洋葱,编辑、上海记者,专注成像、移动与半导体,热爱理论技术研究。
  • 不争2亿像素,那争什么?今年手机CIS技术趋势总结 手机摄像头CIS(CMOS图像传感器)自从突破1亿像素以后,再谈像素数量增大,似乎已经很难让市场产生激烈反应了。这两年电子工程专辑对于手机摄像头CIS,以及更多领域不同类型的图像/视觉传感器(如ToF、基于事件的视觉传感器),都在做技术上的追踪。
  • PerSe如何让消费电子实现智能体感? PerSe产品组合由三个核心产品系列组成,通过智能和自动感应人体的存在,为智能手机、笔记本电脑和可穿戴设备带来突破性的用户体验。
  • TWS耳机规格正快速提升改进,主动降噪受重视 TWS产品的重量和电池容量通常是关键的规格参数,降噪和智能辅助功能越来越成为产品的差异化因素。然而,随着差异化功能的增加,耳塞和充电盒的重量也在增加。同时,电池容量和材料的改进也提高了TWS产品的重量。
  • 中国工程师最喜欢的10大CMOS图像传感器芯片 为了让工程师朋友对全球和中国CMOS图像传感器市场及产品有更为完整的了解,ASPENCORE旗下《电子工程专辑》分析师团队分别从5大国际CIS厂商的产品系列中挑选5款CIS芯片,又从5家国产CIS厂商产品系列中挑选5款有代表性的CIS芯片。欢迎大家通过微信投票评选出“中国工程师最喜欢的10大CMOS图像传感器芯片”。
  • IC insights:今年传感器和分立器件销售将破千亿美元 光电子、传感器/执行器和分立器件(O-S-D)的全球销售额预计将从2020年的883亿美元增长到2021年的1043亿美元,而在疫情期间,这一半导体市场的增长不到3%。
  • 3D霍尔效应传感器如何在自治系统中实现精准的实时位置 可控制运动的高性能自动化系统几乎都需要位置感应,并且位置感应技术的选择直接影响整个系统的成本和性能。在评估出色的位置感应解决方案,需要考虑传感器精度、速度、功率、灵活性和可靠性等因素。
  • 新款iPad Pro 2021成最受欢迎的 由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
  • 三星折叠屏手机Galaxy Z Fold 3 目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。

  • OPPO未来科技大会日期公布,自研芯片 12月3日,OPPO正式宣布以“致善·前行”为主题的OPPO未来科技大会 2021(OPPO INNO DAY 2021)将于12月14日-15日在深圳举办。
  • Soitec 公布 2022 财年上半年财报,
    • 按固定汇率计,2022 财年上半年收入达3.73 亿欧元,较 2021 财年同期增长 53%

    • 2022 财年上半年电子器件业务税息折旧及摊销前(EBITDA)[1] 利润率 [2]为 36.8%

    • 2022 财年上半年营业收入增加超过一倍,达到 7,500万欧元

    • 2022 财年营收目标约为 9.75 亿美元,按固定汇率计,涨幅约为 45%

    • 2022 财年电子器件 EBITDA利润率预计约为 34%,潜在上升空间可达 35% 左右

    • 收购法国NOVASiC公司,强化碳化硅产品路图
  • 第八期,名额不多了.... 你好,亲爱的朋友,我是无际!从事单片机产品开发10年。我们将把所有经验,不断通过项目的形式,带领大家学习单片机开发最核心的东西,用最短的时间做到别人工作几年才能达到的水平。话不多说,下面是特训营介绍报
  • 视频 | 逼真的机器人 展开 function _typeof(e){ return e&&"undefined"!=typeof Symbo
  • 安徽大学集成电路学院,服务支撑“三地一区”建设 来源:安徽日报  记者:陈婉婉周末,安徽大学集成电路学院里的“加餐”会又如约而至。来自合肥晶合集成电路股份有限公司的专家做了《集成电路制作流程及生产工艺简介》的交流报告,台下全神贯注的听众大
  • 微波材料介电常数测试方法,赶紧收藏 微波材料介电常数测试
  • 全球晶圆代工TOP10最新排名 学习IC设计好课,就在创芯大讲堂最近集邦咨询发布了第三季全球前十大晶圆代工营收最新排名。集邦指出第三季晶圆代工产值高达272.8亿美元,季增11.8%,已连续九个季度创下历史新高。台积电(TSMC)在
  • 单片机开发产品流程,照这个来就对了! 我们学习单片机的目的,就是为了进行嵌入式系统的开发,学好单片机首先要有一个整体认识,下面将简要介绍一下单片机应用系统的开发流程,如图1所示:图1:单片机系统开发流程1、明确任务分析和了解项目的总体要求
  • 高薪诚聘:光芯片封测、光模块软硬件工程师 创芯人才网正式上线!欢迎大家发布职位、传简历!(免费)以下为是光子算数(北京)科技有限责任公司在创芯人才网刚刚发布的职位,现推荐给大家:公司简介光子算数(北京)科技有限责任公司,2017年11月成立于
  • 国轩:300Wh/kg 电池批量试制 点击上面↑“电动知家”可以订阅哦!电动知家消息,近日,国轩高科表示,公司高镍三元电池单体能量密度突破302Wh/kg,系统能量密度突破200Wh/kg,并成功实现规模化量产,常温循环寿命达1500周。
  • 免费领取Cadence经典设计资料集(158页) Cadence推出2020年/2021年优秀论文集,集合了最近两年CadenceLIVE China中国用户大会最优秀的IC设计/验证方面论文资料,其中2020年经典论文资料合集72页,2021年经典
  • 奔驰将投超4000亿发展纯电动车 点击上面↑“电动知家”可以订阅哦!电动知家消息,日前,奔驰官方表示,戴姆勒董事会已批准2022-2026商业计划。面向纯电动车发展的战略计划,将累计投资600亿欧元(4327亿人民币)。2020年10
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了