广告

机器视觉新知:探索基于事件的视觉传感器

时间:2021-06-10 作者:黄烨锋 阅读:
一家叫做Prophesee公司在做一种“基于事件”的神经形态视觉传感器。这种神经形态视觉技术与普通的视觉感知方案存在相当大的差别。这种模拟人眼视觉的神经形态视觉传感器,能够规避传统方案存在的两个问题,最终落地到自动驾驶汽车、人工智能、工业自动化、IoT、医疗等领域,这项技术都会成为机器视觉的重要组成部分。
广告

一般常见的图像/视觉传感器,以帧为单位记录动态影像画面。比如电影每秒记录24帧画面,常见的视频每秒记录30/60帧画面。这些画面连起来就构成了人眼看起来连续的影像。一些相对高端的视频记录方案,已经能够达到120fps甚至480fps的程度。

不过从机器视觉的角度来看,影像画面是要拿来计算的。比如自动驾驶、智慧工厂、智能建筑等领域应用的机器视觉。而传统的记录方案有两个比较大的问题。其一是即便是达到480fps这样的高帧率视频,帧与帧之间仍可能存在重要的未记录信息;其二,对于画面中始终处于静止状态的对象而言,每一帧都可能重复地记录了大量无意义信息——这对后端计算、数据通讯、存储都带来了更大的负担。

Prophesee(普诺飞思)CEO兼联合创始人Luca Verre

2014年,一家叫做Prophesee(普诺飞思)的公司在巴黎成立。这家公司在做一种“基于事件”的神经形态视觉传感器。这种神经形态视觉技术与普通的视觉感知方案存在相当大的差别。Prophesee CEO兼联合创始人Luca Verre在接受电子工程专辑采访时介绍说,这种模拟人眼视觉的神经形态视觉传感器,能够规避传统方案的这两个问题。

这种“基于事件的视觉技术”现在看来,将来在计算视觉领域会画上浓墨重彩的一笔。

什么是基于事件的视觉传感器

大约30年前,加州理工学院Carver Mead教授就提出了“神经形态”这个概念。Prophesee主要在做的就是模拟人眼视觉的“神经形态视觉技术(neuralmorphic vision technology)”。Luca Verre表示,直到最近几年,这种技术才逐渐成熟。

Luca Verre形容,Prophesee开发的视觉传感器又叫“硅视网膜(silicon retinas)”。之所以说模拟人眼视觉,如Prophesee在发布的一份白皮书中提到:人眼中的感光细胞仅在检测到视觉场景中某些特性(如对比度、亮度)的变化时才反馈给大脑。在进化过程里,相较于反复在意场景中的所有细节,专注于其他掠食者的行动更为重要。研究表明,人类能够从每秒1000次变化率的场景中捕获有价值的信息,这是远高于如今动态影像的帧率的。

“我们重新设计像素,就像视网膜的感光细胞,是独立且异步的。”Luca说,“和人眼视觉原理类似,Prohesee开发的传感器只有在感知到场景变化时才会进行记录,不同于传统图像传感器以固定的时序源(帧时钟)记录图像信息。”

图1,传统视觉方案与基于视觉的视觉方案对比

即仅在场景发生变化时,这种基于事件的视觉传感器上的像素才做出反应,场景中静态的部分都不会被捕捉。这应该就是“基于事件”这个词的由来。与此同时,Prophesee在技术介绍中提到:“图像信息不是逐帧发送,而是通过连续的信息流捕获事件信息,并且帧与帧之间没有任何重要信息遗漏。”(图1)

Luca告诉我们,基于事件的传感器,其中的“‘事件’是指,一个像素激活自身并发送事件检测到发生的X、Y坐标和时间戳。”这种基于事件的视觉感知这样的设计,“有三个优势:产生数据量更少;反应速度更快;以及实现更高的动态范围(>120dB)”。这其中的任意一项对于当代机器视觉而言都是相当有价值的,尤其在减少数据量的问题上,对于有限的通信、存储与计算资源显得相当友好。

最终落地到自动驾驶汽车、人工智能、工业自动化、IoT、医疗等领域,这项技术都会成为机器视觉的重要组成部分。

始于80年代的神经形态视觉技术

如Luca所说,神经形态视觉技术是直到最近这些年才逐渐成熟的。早年这项技术之所以始终未能投入应用,是因为“许多受生物启发的视觉设备的早期发明者和开发者都来自神经生物学界,他们主要将其芯片视为证明神经生物学模型和理论的一种手段,而并未将这些设备与实际应用联系起来。”

“许多概念上有趣的像素设计都缺乏技术相关性,例如由于电路复杂、硅面积大、填充系数低或噪点高,妨碍了实际应用。此外,许多早期设计都存在VLSI实现和制造的技术缺陷,例如晶体管不匹配,并且没有生产出实际可用的器件。”Luca说,“直到最近,越来越多努力投入到基于生物学原理的实用的及工业化的视觉传感器的开发中。”

Prophesee首席技术官Christophe Posch也向我们总结了,当前针对工业应用逐渐成熟的基于事件的传感器,已经解决的主要问题。其中部分问题也能够表现出基于事件的视觉技术,相比传统方案的优势。它们主要包括:

(1)传感器大小,当代技术已经能够缩小其尺寸;而且与SoA光学器件、相机模块尺寸、外形尺寸兼容;

(2)数据读取,提高了处理量:像素阵列尺寸的可扩展性,最大可达到百万像素级别;用于高速/低延迟应用程序,提高数据时间精度;

(3)实现片上事件数据准备/预处理,包括数据处理、系统整合、应用/算法性能;

(4)提高动态范围/弱光能力,因此开拓了新的应用领域;

(5)降低功耗,令其可应用于低功耗场景;

(6)单像素尺寸得以缩小——这应该是如今基于事件的视觉传感器最重要的一个进步;

(7)软件,新型的数据输入需要配套软件工作做处理,Prophesee去年推出基于事件的视觉软件套件(Metavision)就是比较典型的例子,其中包括62种算法、54个代码示例和11个现成的应用程序。

以其中的第6、7两点为例:其中单像素尺寸缩小,在基于事件的视觉传感器上也是这些年的重要技术成果。Luca在采访中告诉我们,这类新型传感器的像素结构和一般图像/视觉传感器是不同的,每个像素都独立且异步,每个像素都嵌入模拟和数字电路(约100个晶体管)。所以像素尺寸天然就比传统方案要大。2Prophesee第三代与第四代传感器产品的像素尺寸比较

“从早期的128x128像素设计到QVGA,再到HVGA以及VGA,像素尺寸始终限制着传感器的分辨率。借助Cu-Cu互连的更先进的3D堆叠工艺,我们能够大幅减小像素尺寸并最大程度地借助填充因子,首次达到了高清分辨率。其尺寸小到足以嵌入到移动设备中,扩大了产品的应用范围。”

这里所说的“首次达到高清分辨率”的应该是指Prophesee与索尼合作推出的视觉传感器,其分辨率达到了720p。这是Prophesee的第四代产品,在制造方面,这颗传感器用到了索尼BSI(背照式)与3D堆叠工艺——这两项技术此前就是索尼制造传统图像传感器的杀手锏,在此也令基于事件的神经形态视觉传感器像素更小了。(图2)

上述第7点,软件层面实际上也是当代芯片架构创新企业都面临的问题。所以Prophesee除了在传感器产品上花比较大的投入,针对模拟人类大脑的计算机视觉AI算法及软件也投入不小。一个典型的例子是,4月初Prophesee才刚刚发布基于事件视觉的开源软件库OpenEB及开发工具,作为Metavision套件的一部分,针对基于事件的应用(包括光流和物体检测),优化机器学习训练和推理。

应用落地与进驻中国

前文提到Prophesee与索尼合作的第四代传感器产品,是Prophesee最新的产品,“现在正与不少客户做测试,主要是针对工业应用和而物联网应用。预计今年年底能够大规模量产。”Luca说。

Prophesee现已投入使用的传感器还包括:第一代产品为盲人部分视力恢复,法国一家生物电子公司Pixium Vision已经将这款传感器应用到了医疗设备中。此外,第三代产品也已经量产,主要用于工业应用,“尤其在高速机器视觉领域,比如高速计数、激光焊接监控、震动测量等行业应用。”Luca说,“比如日本的Century Arks、德国的Imago已经将第三代传感器集成到了工业级相机系统中,用于工业自动化应用。而且这一代产品,我们已经开始盈利了。”

在机器视觉领域,由于对通讯、计算、存储的资源需求都显著更低,替代传统视觉或图像传感方案显得顺理成章。Luca也谈到,“我相信在机器视觉领域,Prophesee的技术是可以替代传统基于帧的技术的。”

在多代产品问世之际,Prophesee基于对新技术前景的信心,也开启了在全球范围内的业务扩展。除了位于巴黎的总部,Prophesee如今在上海、东京、硅谷都开设了办事处。“虽然目前我们在上海的办事处规模不大,但我们非常期望扩大我们的中国团队及业务。”Luca说。

中国巨大的市场空间、半导体行业强大的生态系统和潜力,以及政府与投资机构提供的机会,都是Prophesee选择进驻中国市场的原因。

“在人工智能快速发展的今天,特别是在图像视觉领域,融合了AI技术的图像视觉处理对数据带宽、存储功率及计算成本等产生了更高的要求。”Luca说,“我们相信,借助Prophesee的技术,受生物启发的神经形态传感器及AI算法,能够让人工智能及计算机视觉未来效率更高。”

责编:Amy Guan

本文为《电子工程专辑》2021年6月刊杂志文章,版权所有,禁止转载。点击申请免费杂志订阅 

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
黄烨锋
欧阳洋葱,编辑、上海记者,专注成像、移动与半导体,热爱理论技术研究。
  • 拆解第三代亚马逊Echo Dot,发现音质升级的秘密 第三代Echo Dot在声音效能方面有了很大的改进。这项增强功能反映了多大程度的内部电子升级呢?提升声音效能的背后动机又是什么?让我们来一探究竟吧!
  • 拆解Realme Q2i 5G手机:通过硬件控制成本,实现998的售价 首先,Q2i 的屏幕采用6.5英寸1600x720分辨率的LCD屏,720P分辨率的智能手机已经比较少见了,而且这块屏幕的生产厂商未知。再加上未知厂商电芯+OV主摄都进一步降低了整机成本……
  • 智能手机摄像头芯片趋势预测 Omdia预测,2021年全球手机CIS的销售额将达到12.6亿美元,较2015年的6.3亿美元翻了一番。随着智能手机市场的日趋饱和,未来手机CIS的市场增速逐渐放缓。预计2022,2023,2024年,手机CIS市场的增长率分别降至3.6%、4.7%和3.4%。
  • 烟雾报警器如何通过汉堡包烟雾干扰报警测试,降低误报率 全球许多标准都要求通过新测试检测不同类型的烟雾,以满足这些新要求。不同地区的标准略有不同:欧洲采用EN标准,北美采用UL标准,国际则采用ISO标准。在2021年6月发布的最新版本(UL 268:第7版和UL 217:第8版)中,UL新增一项测试,即汉堡包烟雾干扰报警测试。在该测试中,必须能够区分汉堡包肉饼产生的烟雾浓度和易燃聚氨酯产生的烟雾浓度。这项测试有助于降低厨房的误报率。本文将介绍这项测试,并讨论如何进行新检测器设计以通过这项新测试。
  • 拆解realme Buds Air2 Neo:采用络达蓝牙主控芯片 TWS耳机现在很常见了,几乎各个品牌都有自己产品,但降噪且价格低还是比较少的。eWiseTech拆解了仅售199元还支持主动降噪的TWS耳机——真我Buds Air2 Neo……
  • 折叠触控及盖板的发展趋势 在可折叠手机诞生的初期,出于对良率及稳定工艺的考虑,部分面板厂和品牌曾经采用外挂可折叠触控搭配可折叠面板。然而经过近两年的发展,现如今新上市的可折叠AMOLED产品几乎都采用了on-cell触控结构……
  • 新款iPad Pro 2021成最受欢迎的 由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
  • 三星折叠屏手机Galaxy Z Fold 3 目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。

  • EMC对策产品: TDK推出用于移动设备 TDK株式会社(TSE:6762)推出用于移动设备的TCM0403M系列小型薄膜共模滤波器
  • 比科奇ORANIC板卡获行业大奖,5G小基 比科奇(Picocom)日前宣布:该公司荣获全球小基站论坛(SCF)一项大奖,其全新的ORANIC板卡赢得了全球小基站论坛(SCF)2021年度“小基站芯片及组件杰出创新金奖”。
  • 为什么DDR电源设计时需要VTT电源 往期精彩1、超全超详细Mos管元件特性及工作原理介绍;2、超详细开关电源芯片内部电路解析;3、70G硬件设计资料汇总分享;【友情推荐】4、分享一份老工程师(某为工作15年)经常使用的pcb企业封装库包
  • 相见恨晚的Altium Designer使用技巧 首先声明下,写这个专题的目的不是为了做教程,所以前提都是建立在大家对于AD比较熟悉的基础上,旨在为大家减少一些画板过程中的繁琐机械的劳动~本文转载自Altium官方公众号。废话不多说,正文开始!场景一
  • 小米汽车来了! 点击蓝字关注我们9月1日,小米集团董事长雷军在微博上表示,小米汽车正式注册,公司名为小米汽车有限公司,注册资金100亿,小米董事长兼CEO雷军担任法人代表。小米汽车公司的正式注册成立,被视为小米集团进
  • 美国插手中韩半导体领域关键收购案 ▲ 更多精彩内容 请点击上方蓝字关注我们吧!近些年来,虽然中国面板产能持续提升,已成为全球最大的显示面板生产国,但驱动芯片却仍以进口为主,成为中国面板产业发展的一大瓶颈。  今年3
  • 【求职必备干货】电子工程师面试笔试题汇总 ▲ 更多精彩内容 请点击上方蓝字关注我们吧!金九银十,又到一年毕业求职季,面对人生的第一份工作,既兴奋又担心。每位学子都希望能进入大厂历练,为自己的职业生涯打下坚实基础。每年这个时
  • 破亿近在眼前!华为鸿蒙OS 2用户数突破 9000万 6月2日,华为正式发布HarmonyOS 2系统,同时官方还开启了规模浩大的百机升级计划。根据最新消息,华为HarmonyOS 2升级用户目前已突破9000万。这距离华为HarmonyOS 2升级用户
  • 一代国民神车落寞,宝马中国收购华晨中华工厂 点击蓝字关注我们据财经汽车报道,8月31日,华晨集团等12家企业实质合并重整案召开第二次债权人大会,会上共有三项议案,包括财产管理及变价方案、成立债权人委员会两项议案,以及核心议案宝马中国收购华晨中华
  • 【数据】2021年vivo占稳中国手机市场第一 关注国产手机最新消息:今日,知名市调机构Counterpoint Research发文称,vivo是中国智能手机市场的低调之王。但从数据来看,vivo自2021年第一季度以来一直占据着中国智能手机市场
  • MOS工作过程 if (!window.__second_open__) { document.getElementById('js_image_desc').inne
  • 半导体产业之污染控制(一) 这几节小编将为大家解释污染对器件工艺、器件性能和器件可靠性的影响,以及芯片生产区域存在的污染类型和主要的污染源。同时,也将对净化间规划、主要的污染控制方法和晶片表面的清洗工艺进行讨论。首先来看看什么是
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了