广告

10000fps的视觉传感器:打开机器视觉的潘多拉魔盒

时间:2021-03-29 作者:黄烨锋 阅读:
由Prophesee和索尼联合推出了一款“基于事件的”视觉传感器,EE Times称其“在AI感知上开启了潘多拉魔盒”。
广告

去年EE Times美国版报道了ISSCC会议上,由Prophesee和索尼联合推出的一款“基于事件的”视觉传感器。当时EE Times称其“在AI感知上开启了潘多拉魔盒”。这款传感器应用于工业设备、机器人、自动驾驶汽车等领域时,能够“更好地看见和感知环境”。

这种基于事件的视觉传感器,其工作方式已经和一般的视觉或图像传感器有了本质上的差别。Prophesee在技术介绍中谈到其视觉系统“可以感知场景的生命力”...“产生的数据量比传统图像传感器减少近千倍,同时实现大于10000fps的更高帧速率”。这些在传统视觉和图像传感技术上,都是难以想象的。

Prophesee(普诺飞思)联合创始人兼CEO Luca Verre

前不久我们与Prophesee(普诺飞思)联合创始人兼CEO Luca Verre先生聊了聊,期望能够从中简单理解这种“基于事件的视觉技术”究竟是怎么回事,以及应用了这种技术的视觉传感器,和传统的图像传感器又有怎样的区别。

硅视网膜:一种动态视觉感知技术

我们所知的常规图像或视觉传感器,以帧为单位来记录动态影像画面。比如电影每秒记录24帧画面,网上很多视频为30fps/60fps,构成视觉上连续的影像;当代高端的视频记录方案,在帧率上已经能够达到480fps/960fps的程度。

从机器视觉的角度来看,这种传统的方案有两个比较大的问题。其一是即便是高帧率,帧与帧之间都仍可能存在重要的未记录信息;其二,对于画面中始终处于静止状态的对象而言,每一帧都可能重复地记录了大量无意义信息——这对后端计算会构成更大的负担,并带来对数据通讯、存储更大的负担。

实际上大约30年前,加州理工学院Carver Mead教授就提出了“神经形态”这个概念。Prophesee主要在做的就是模拟人眼视觉的“神经形态视觉技术(neuralmorphic vision technology)”。Luca Verre表示,直到最近几年,这种技术才逐渐成熟。

Luca Verre形容,Prophesee开发的视觉传感器又叫“硅视网膜(silicon retinas)”。对应的,Prophesee“还开发模拟人类大脑的计算机视觉AI算法”;以及对应的智能套件(包括SDK、代码示例、算法、即用型应用等的视觉工具包)。

之所以说模拟人眼视觉,如Prophesee在发布的一份白皮书中提到:人眼中的感光细胞仅在检测到视觉场景中某些特性(如对比度、亮度)的变化时才反馈给大脑。在进化过程里,相较于反复在意场景中的所有细节,专注于其他掠食者的行动更为重要。研究表明,人类能够从每秒1000次变化率的场景中捕获有价值的信息,这是远高于如今动态影像的帧率的。

“我们重新设计像素,就像视网膜的感光细胞,是独立且异步的。”Luca说,“和人眼视觉原理类似,Prohesee开发的传感器只有在感知到场景变化时才会进行记录,不同于传统图像传感器以固定的时序源(帧时钟)记录图像信息。”

即仅在场景发生变化时,这种基于事件的视觉传感器上的像素才做出反应,场景中静态的部分都不会被捕捉。这应该就是“基于事件”这个词的由来。与此同时,Prophesee在技术介绍中提到:“图像信息不是逐帧发送,而是通过连续的信息流捕获事件信息,并且帧与帧之间没有任何重要信息遗漏。”

Luca表示,基于事件的视觉感知这样的设计,“有三个优势:产生数据量更少;反应速度更快;以及实现更高的动态范围(>120dB)”。这其中的任意一项对于当代机器视觉而言都是相当有价值的,尤其在减少数据量的问题上,对于有限的通信、存储与计算资源显得相当友好(比如以前高帧率和有限的存储资源,始终是个矛盾体)。

最终落地到自动驾驶汽车、人工智能、工业自动化、IoT、医疗等领域,都会成为机器视觉的重要组成部分。有关应用的部分,下文还会详谈。

深入基于事件的视觉传感器

这种基于事件的视觉传感技术,有很多特性实则都是相当值得深究的。比如说如何实现在场景发生变化时,像素才做出反应;以及更重要的,如何理解不是逐帧记录,而是连续信息流捕获事件信息。

首先“基于事件”中所谓的“事件”究竟是怎么定义的。Luca告诉我们,“‘事件’是指,一个像素激活自身并发送事件检测到发生的X、Y坐标和时间戳。”如此看来,这种传感器的像素结构是有探讨余地的。

“我们的传感器每个像素都是独立且异步。其上模拟电路进行level crossing sampling,持续监测光亮的变化,将其与对应的值进行比较,也就是sensitivity threshold(灵敏度阈值)。”

“传感器上每个像素独立接收光子,光电二极管因此产生电流,进行累加之后,像素再持续地将电流的实时电荷电压与参考值做比较。在电压增减达到一定程度时(例如10%),该像素就会发出一个事件。整个过程是μs级别的速度。”Luca解释说。这样一来,“基于事件”这个概念就基本解释清楚了。

从传感器上读出对应像素的数据,“所以我们说这样的传感器等效于实现了10000fps的帧率。其实我们的传感器并不是基于帧的,但传感器所产生事件的时间精度就是1/10或者1/100μs的级别。”这也就解释了为什么Prophesee在技术介绍中提到等效10000fps这样一个帧率。

另外Luca大致谈到了这种传感器的像素结构。“传感器上的像素是智能的,因为每个像素都嵌入了level crossing sampling电路。”其读出过程并不是我们常规理解中,成像系统带卷帘门快门、全局快门这样的设定。“其读出过程就是基于事件的。”Luca说。

“这张图虽说还是偏抽象的,不过大致上就是像素结构。像素中有光电二极管、level crossing sampling电路。每个像素中需要有较多数量的晶体管,20-30个晶体管构建智能电路。”如前所述,光抵达光电二极管后,比较阶段比对当前值和上一次的值。“光亮度变化到一定量时,像素异步读取,并发出事件。”“后续有个仲裁器(arbiter)收集该事件,事件的时间戳亦被读出。”

后端计算平台的适配

不过Luca补充说,读出策略是会根据不同的应用而有差异的。“传感器的时间精度达到了μs级别,也就是前面提到等效能做到10000fps的程度。但具体的精度还是要看应用。”“比如说工业应用对高速有要求,而IoT应用就要求低功耗了。”

“而且时间精度实际上还受到计算平台能力的限制。因为我们的传感器最终需要集成到计算机平台进行数据处理。所以在某些情况下,我们经常需要降低传感器的速度,让它能够平滑地融入到传统计算平台之上。”

“对我们来说,最佳方案应该用基于事件的计算平台,比如像Intel Loihi、Brainchip(Akida)。”Luca表示,“如此一来,就能以高速处理基于事件传感器产生的高速数据了。这也是我们的最终目标。”

这里所说“基于事件的计算平台”,其中相对知名的就是SNN(脉冲神经网络,Spiking Neural Networks)——许多神经形态计算架构都基于SNN。它与基于冯诺依曼体系的传统架构有差别。此前我们也探讨过这种形态的计算架构相比类似CNN这种更传统的网络,前者才更接近“模拟大脑”。在这种计算架构中,计算使用生物神经元的功能模型,而不是数字逻辑。

“由于我们的事件传感器使用相同的信息表示形式(事件=spike),因此神经形态计算平台非常适合Prophesee的传感器。因为它能够内在地利用事件传感器数据的稀疏性和时间性,并以比传统计算架构更有效的方式处理数据。”为此Luca还特别推荐了几篇paper给我们。

“但与此同时,我们的传感器也可与传统平台,例如高通骁龙、NXP IMX8、Xilinx这些并非基于事件的平台协同工作。因此,传感器这一端就需要作出调整。但即便是这些传统平台,也一样能够从我们的传感器上获益,获得相比传统机器视觉系统更大的优势。”

EE Times美国版在报道中就提到Prophesee与索尼合作的视觉传感器每一个像素都是一个神经元(neuron)——这应该能够一定程度形象解释,基于事件的感知和基于事件的计算协作可达成最好的效果。

产品和应用如何落地

Prophesee与索尼合作的这款720p分辨率、基于事件的视觉传感器应该是相对比较知名的了。Luca说这是Prophesee的第四代产品,“现在正与不少客户做测试,主要是针对工业应用和而物联网应用。预计今年年底能够大规模量产。”

这颗传感器的特别之处在于,它用上了索尼BSI(背照式)+3D堆叠工艺。此前我们在探讨索尼CIS的文章中详细介绍过这两种工艺。“这对我们的产品而言还是比较重要的,因为这种基于事件的视觉传感器每个像素都是独立、智能的,每个像素都有许多晶体管。那么藉由BSI和3D堆叠技术,CIS和CMOS就能叠起来,传感器和像素尺寸也得以减少。”

“这张图左边是我们的第三代传感器,像素尺寸为15μm;右边是我们和索尼合作的第四代传感器,像素尺寸4.86μm——这款产品现在由索尼生产,使用了Prophesee的技术。”据说4.86μm是目前基于视觉传感器中最小的像素尺寸了。

除了这款规划中的产品外,Prophesee现已投入使用的传感器还包括:第一代产品为盲人部分视力恢复,法国一家生物电子公司Pixium Vision已经将这款传感器应用到了医疗设备中。这套视觉医疗系统包括一副带微型相机的眼镜,内置了Prophesee的视觉传感器;还包括植入到视神经附近的无线视网膜植入物。视觉传感器将信号发往视网膜植入物,视网膜植入物再将该信号转为很低的电压信号,刺激大脑引起视觉感知。听起来还是颇为黑科技的。

此外,第三代产品也已经量产,主要用于工业应用,“尤其在高速机器视觉领域,比如高速计数、激光焊接监控、震动测量等行业应用。”Luca说,“比如日本的Century Arks、德国的Imago已经将第三代传感器集成到了工业级相机系统中,用于工业自动化应用。而且这一代产品,我们已经开始盈利了。”

我们认为,这种基于事件的视觉传感器实际的应用潜力还会更大。至少在机器视觉领域,由于对通讯、计算、存储的资源需求都显著更低,替代传统视觉或图像传感方案显得顺理成章。Luca也谈到,“我相信在机器视觉领域,Prophesee的技术是可以替代传统基于帧的技术的。”

进驻中国市场

作为全球最大的移动设备、半导体产品消费市场,中国自然是诸多电子科技企业都不愿错过的地方。Prophesee作为2014年在巴黎开办的一家企业,除了位于巴黎的总部,如今在上海、东京、硅谷都开设了办事处。“虽然目前我们在上海的办事处规模不大,但我们非常期望扩大我们的中国团队及业务。”Luca说。

而预备在中国开拓市场,Luca总结了对Prophesee而言三个重要的原因(及现状):

“首先,我们认为中国是现在世界上最大的移动设备市场,同时也是世界领先的安防、无人机、机器人以及工业应用市场,因此也会是未来机器视觉应用的最大市场。

“第二个很重要的原因是,我们认为,现在中国在半导体领域有非常强大的生态系统,比如现在在中国最大的图像传感器方面的半导体公司,豪威科技。近年来,中国在晶圆代工厂方面的投资也越来越多,例如中芯、台积电等。所以我们认为,如今中国拥有称得上最强大的半导体行业生态系统,能够支撑Prophesee技术的未来发展。

“第三个原因是我们认为如今中国本地政府以及相关金融投资机构,对创新性颠覆技术的支持和投资越来越多,所以我们也坚信这对Prophesee进入中国市场来说是非常好的机会。”

此前,Prophesee已获得了超过6500万美元的融资。现有产品受到包括索尼在内的合作伙伴的青睐表明,在机器视觉、AI领域其市场前景是广阔的。“在人工智能快速发展的今天,特别是在图像视觉领域,融合了AI技术的图像视觉处理对数据带宽、存储功率及计算成本等产生了更高的要求。”Luca说,“我们相信,借助Prophesee的技术,受生物启发的神经形态传感器及AI算法,能够让人工智能及计算机视觉未来效率更高。”

更多有关基于事件的视觉传感技术,我们将在未来《电子工程专辑》杂志的精英访谈中做进一步的探讨。

责编:Yvonne Geng

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
黄烨锋
欧阳洋葱,编辑、上海记者,专注成像、移动与半导体,热爱理论技术研究。
  • 工程师是F1赛车中关键人物,标准电子控制单元和三种传感 如今,一级方程式赛车的汽车实际上就是时速超过200公里的智能连网数据系统。一级方程式赛车的决胜因素是什么?是赛车手的技术,还是标准电子控制单元(SECU)、传感器(控制传感器/监测传感器/仪表传感器)、遥测技术或数据采集系统等汽车技术?本文将对这个长期争论的问题进行深入分析。
  • 大股东南京晶芯申请下,德科码半导体将重整 全国企业破产重整案件信息网发布南京市中级人民法院关于德科码(南京)半导体(以下简称:德科码)重整情况的公告。公告显示,2021年4月29日,本院根据南京晶芯集成电路产业投资中心(有限合伙)的申请裁定德科码公司重整……
  • 比亚迪半导体业务将分拆至深交所创业板上市 5月11日晚,比亚迪发布公告称,同意将控股子公司比亚迪半导体分拆至深圳证券交易所创业板上市。本次分拆完成后,比亚迪股权结构不会因本次分拆而发生变化,且仍将维持对比亚迪半导体的控制权……
  • 用示波器分析汽车传感器SENT信号的技巧 本文将简要介绍使用示波器来分析SENT传感器信号的技巧,这种新的方式利用一系列测量参数和数学运算符,对节气门体传感器和压差传感器进行分析,以实时显示其连续性的变化。
  • 如此火爆的激光雷达市场,为何没有大赢家? 激光雷达已经开始渗透ADAS市场,但不要期望有哪家激光雷达供应商可以一家独大。本文回顾了激光雷达市场的当前状况和未来前景,涵盖了现有的多个合作设计,以及一些有潜力扮演关键角色的初创公司。
  • Qorvo收购MEMS传感器厂商NextInput(附5年内收购公司名 Qorvo宣布已经收购了总部位于加州山景城的NextInput,后者成立于2012年,为手机、TWS、汽车、物联网、机器人、医疗和工业市场等提供基于微机电系统(MEMS)的传感解决方案。Qorvo近年来为了拓展产品组合、巩固技术优势,进行了多笔收购……
  • Intel 11代酷睿1处理器正式发布:10 今晚,Intel发布的11带酷睿处理器采用10nm制程,面向高性能移动桌面版。同时发布的还有同样架构的至强W-11000系列,面向高性能移动工作站。
  • AMD RX 6600系列或配备8GB显存 MD的RX 6600系列可能配备的不是之前传闻的6或12GB显存,二是8GB。可能包含64MB的内置Infinity Cache。
  • Silicon Labs全新Matter解决方案简 物联网行业的成功取决于简便性、可靠性和安全性,Matter无线解决方案使开发人员可以专注于创新并将产品推向市场,以实现无缝的消费者体验。
  • 新思科技为中兴通讯提供BSIMM软件 安全对于任何构建和使用软件的企业和个人来说都至关重要, 中兴通讯采取积极主动的安全举措,包括采用新思科技(Synopsys)的Coverity 静态应用安全测试、Defensics 模糊测试、Black Duck 软件组成分析以及软件安全构建成熟度模型(BSIMM)评估等。
  • 一位老电子工程师的十年职场感悟 ▲ 了解更多精彩内容 点击上方蓝字关注我们当电子工程师也是十余年了,不算有出息,环顾四周,也没有看见几个有出息的!回顾工程师生涯,感慨万千,愿意讲几句掏心窝子的话,也算给咱们师弟师
  • 产业丨腾讯AI芯片流片,云厂商全部进入造芯行列 ·聚焦:人工智能、芯片等行业欢迎各位客官关注、转发前言:随着腾讯的布局,目前几乎全球所有的云厂商都进入了造芯的行列,而且都在优先考虑定制设计。作者 | 方文图片来源 | 
  • Intel顶级显卡首次曝光:残暴冲击1.6万核心! 我们知道,Intel重返独立显卡市场的Xe GPU架构分为四种不同级别,从低到高分别是Xe LP、Xe HPG、Xe HP、Xe HPC,覆盖从轻薄本到高性能计算等各种领域。如果说相当于核显级别的Xe
  • 韩国监狱关不住三星太子 来源/华商韬略( ID:hstl8888)作者/李君图片/图虫创意清算最大的财阀三星李家,是文在寅对竞选承诺的兑现,但他刚刚才撕开一个口子,就已经“站在烈烈风中”了。1/ 危局韩国青瓦台,一封封求情信
  • 比亚迪、斯达、中车时代领跑!IGBT迎来新能源汽车爆发机遇 国家政策鼓励车规级半导体发展,IGBT已成为新能源汽车核心部件国内IGBT产业呈现比亚迪、斯达、中车时代三强领跑,多家直追的趋势汽车半导体技术与市场论坛2021将于6月24-25长沙举办,中车时代电气
  • 砸 200 亿美元进军芯片代工,英特尔孤注一掷的自救 ▲ 了解更多精彩内容 点击上方蓝字关注我们作为曾经的硅谷缔造者之一,文化上的自满与错失移动浪潮的战略失误已经令这位芯片巨头远远落后于其他竞争对手。英特尔 7 纳米芯片仍然在路上除了
  • 刚刚!台湾全岛大停电!台积电受损!  中国半导体论坛 振兴国产半导体产业!    5月13日,据台媒报道,今日下午2点37分,位于中国台湾省高雄市的兴达电厂,因事故导致全厂停机,岛内电力系统系统供电能力不足
  • 嵌入式方案设计文档该怎么写? 俗话说,不会写文档的工程师不是好的工程师!如果你只会写代码,而从不写文档,迟早有一天会“出事”。这不是危言耸听,现实生活中有很多活生生的例子。1不写文档有什么后果?如果不写文档,开发过程中就会出现类似
  • 分析师:芯片将缺货到2023年 来源:内容来自「中时新闻网」,谢谢。监测半导体行业的分析师表示,半导体将在未来一段时间内供不应求。今,从PlayStation 5s和牙刷到洗衣机和闹钟的各种物品都应有尽有。但是还没有解决的余地-这是
  • 4月动力电池数据的一些分析 在汽协的数据发布以后,我觉得有一些内容可以解释了,其实比对国内中国汽车动力电池产业创新联盟数据、上险数据还有SNE的数据,这里国内电池产量和装机量已经出现很大的背离原因现在有解释了。这里有几个因素,一
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了