广告

神经拟态视觉传感器“瞩目”自主未来

时间:2020-06-08 作者:Anne-Françoise Pelé 阅读:
沉寂多年的神经拟态视觉传感器行业在最近几个月开始卷土重来。iniVation公司现已开发出一个动态视觉平台, 它可以高速、高精度和高一致性地执行平常或复杂的重复性任务。其CEO Kynan Eng在接受采访时表示, 工业视觉是风险相对较低、但市场规模较小的市场, 但iniVation看到了有机增长的潜力,并从规模经济的角度来思考。
广告
ASPENCORE

神经拟态视觉(Neuromorphic vision)传感器是一种基于仿生学原理的摄像头,它可以捕捉到一个场景中的关键信息,降低数据冗余和延迟。这种基于事件驱动的传感器使自主化更接近现实,已经在高速视觉应用中找到用武之地,如工业自动化、消费电子和自动驾驶汽车等领域。7gXEETC-电子工程专辑

“为什么说基于事件驱动的视觉传感器是神经拟态的呢?”Yole Développement(位于法国里昂)首席分析师Pierre Cambou表示。“由于每个像素都是一个神经元,因而将AI引入像素处理是有道理的。”7gXEETC-电子工程专辑

沉寂多年的神经拟态视觉传感器行业在最近几个月开始卷土重来。去年11月,三星为其面向移动设备和平板应用的动态视觉传感器(DVS)技术提交了商标申请。 Cambou认为:“这有点出乎意料,因为三星开发DVS技术主要是针对汽车高级驾驶辅助系统的。”7gXEETC-电子工程专辑

去年12月,索尼不动声色地收购了总部位于苏黎世的Insightness公司,该公司的视觉传感器可以在毫秒级别内进行运动检测,即使传感器本身在移动的场景下也可以检测。今年2月,位于巴黎的Prophesee公司在筹集了额外的2800万美元后,在国际固态电路会议(ISSCC)上宣布与索尼公司共同开发新型一种传感器,即基于事件驱动的堆叠式视觉传感器。7gXEETC-电子工程专辑

神经拟态感应源起于“硅视网膜”的发展,它模仿人类视网膜,最初由苏黎世联邦理工学院(ETH Zurich)和神经信息学研究所的Misha Mahowald于1991年提出。Mahowald解释说,“这种硅视网膜从图像中减去平均强度水平并仅报告时空变化,从而可以节省带宽。”这一灵感启发了动态视觉传感器(DVS)的概念,并驱使近年来无数的初创公司参与其中。瑞士的iniVation公司就是其中的一员。7gXEETC-电子工程专辑

iniVation的DAVIS346 DVS7gXEETC-电子工程专辑

位于苏黎世的iniVation公司由事件驱动视觉领域的先行者于2015年创立,现已开发出一个动态视觉平台,集成了高性能机器视觉系统的硬件与软件。其神经拟态DVS芯片(型号为DAVIS346)模仿人类视网膜的特征,只有当局部像素级别的变化发生时才有数据传输,从而实现微秒级时间精度的事件流,这相当于传统的视觉传感器,但数据量却少得多。该公司声称,由于采用了本地处理的理念,该芯片大大降低了功耗(最高降低90%)、数据存储和算力要求,同时还提高了传感器的动态范围(超过120 dB)。7gXEETC-电子工程专辑

iniVation已经建立了一个有300多家客户的网络,与宾夕法尼亚大学、苏黎世大学和美国国防高级研究计划局的研究人员在IBM TrueNorth类脑芯片上展开了合作。这项研究致力于实现无人机自主飞行。而欧盟的一项计划则着重于可持续发展的智慧城市项目。7gXEETC-电子工程专辑

构想智能工厂

与此同时,工厂里也正在进行一场无声的革命。自主与自动化携手并进,而机器视觉正是制造业自动化不断发展背后的支撑力量。与简单的传感器不同,机器视觉传感器会生成大量数据,以识别有缺陷的系统、了解其缺陷并进行快速干预。其结果是成本节省和生产率提升。7gXEETC-电子工程专辑

iniVation声称,其动态视觉平台非常适合工业视觉,它可进行高速3D基础架构扫描,用于预测性维护、高速生产检查、颗粒检测,以及荧光成像和人体运动分析的显微镜。换句话说,它可以高速、高精度和高一致性地执行平常或复杂的重复性任务。7gXEETC-电子工程专辑

iniVation的CEO Kynan Eng在接受采访时表示:“我们花了不少时间才制定出一个合适的策略。”当其它公司都致力于高速计数时,Eng却认为“高速计数对象并不是很难”,因为传统相机可以达到每秒“捕捉一千帧甚至更多”。如果一个应用不需要立即响应,那“使用我们的传感器将毫无意义。”7gXEETC-电子工程专辑

至关重要的是延迟,而不是数据吞吐量,“我们的传感器具有快速的响应时间”。例如,“如果您有一个机器人需要不断移动地完成某项任务,那它就必须实时调整其路线。调整得越快,就可以移动得越快,并越快检测到自己的错误。”7gXEETC-电子工程专辑

 “我认为工业视觉是风险相对较低、但市场规模较小的市场,”Eng说道。因此,风投机构对此兴趣不高。但iniVation看到了有机增长的潜力,并从规模经济的角度来思考。通过2019年与三星建立的合作伙伴关系,iniVation已经从制造和销售芯片转向为机器视觉行业提供摄像头。 Yole分析师Cambou指出,“你可以卖100美元的芯片,也可以将芯片封装在摄像头中,卖1,000美元的摄像头。”7gXEETC-电子工程专辑

通过往系统方向发展,iniVation正在提升其价值链的地位。7gXEETC-电子工程专辑

“我们意识到,做一家芯片公司对我们没有任何意义,”Eng说。“我们可以筹集到十亿美元的资金,但仍然不够自己开发芯片的开支。有人想知道,为什么我们的摄像头很贵,怎么才能让它更便宜?”通过与三星的合作,我们“解决了这个问题。”7gXEETC-电子工程专辑

不断提高的质量要求,加速了食品、包装、消费电子、航空航天和汽车行业中的机器视觉发展。Eng说,iniVation’s的目标是进入更大规模的市场。7gXEETC-电子工程专辑

展望移动市场未来

基于事件驱动的摄像头仅传输强度的变化。它不会受到动态模糊的影响,其延迟也是微秒级别的。再加上极高的动态范围和超低功耗,这种摄像头非常适用于虚拟现实和增强现实应用。“这是一个潜在的巨大市场,但我们尚不清楚它何时会真正成为巨大的市场需求,”Eng说。“现在,它还是一个利基市场。”7gXEETC-电子工程专辑

iniVation的CEO Kynan Eng7gXEETC-电子工程专辑

基于事件驱动的摄像头还可以应用于移动设备中。Eng说:“诀窍就在于说服手机制造商在手机背面再放置一个传感器。”最初,iniVation与其它厂商生产的摄像头仅使用DVS像素。“这个功能非常适于处理高速动态变化,但多数情况下,人们只是想自拍或拍摄美食。” Eng补充说:“过去这几年我们所做的就是开发一种能够同时处理DVS像素和普通像素的传感器。你可以拍摄普通照片,进行正常处理,而对于特定场景,可以使用我们的动态像素。”7gXEETC-电子工程专辑

因此,手机制造商不必取舍,购买价格也没有区别。7gXEETC-电子工程专辑

Cambou认为:“这个移动市场的机遇将在2021或2022年来临。现在,一部华为手机的背面安装了5个摄像头。”他继续说道,“未来,除了始终显示(Always On)的神经拟态摄像头外,我看不到其它值得考虑的东西。也有人在谈论多光谱,但我更倾向于Always On感知。”基于事件驱动的摄像头可以实现非接触式交互,如锁定和解锁手机。7gXEETC-电子工程专辑

就如Prophesee与索尼合作一样,与三星的合作也使iniVation在智能手机市场占有一席之地。Cambou认为,跟以前一样,这只是何时实现的问题。“Always On是个很好的想法,它已经存在了多年,但现在的问题是如何实现它。这取决于你所服务的应用以及在客户体验方面可以提供哪些改进。”7gXEETC-电子工程专辑

让汽车能看见

基于事件驱动的摄像头具有高能效,因为像素活动微不足道,“静止的”像素几乎不消耗能量。在自动驾驶汽车从内燃机过渡到电动发动机的阶段,这是一个卖点。对汽车公司来说,“功耗比我最初想象的要重要得多,”Eng说。“在他们目前的电动汽车计划中,如果汽车以恒定速度消耗4kW总功率预算,那其中一半是用于驱动汽车,而另一半是用于计算处理。在算力上节省的每一瓦电能,都可用于增加汽车的续航里程,或减少电池容量。”7gXEETC-电子工程专辑

iniVation公司的Division Sensor平台可在恶劣的照明条件下实现车辆里程测量、高速同步定位和地图绘制(SLAM),以及自动驾驶辅助功能。“随着处理技术的不断发展,自动驾驶汽车会前途一片光明,”Eng说。“我们将开发一种混合传感器,同时支持帧视频和事件感应,这样汽车公司可以继续使用他们花费数十亿美元开发的东西。”7gXEETC-电子工程专辑

Yole分析师Pierre Cambou7gXEETC-电子工程专辑

传感器是发展自动驾驶汽车的关键。它同时产生大量数据,而系统则“受到处理能力的严重制约”,Cambou说。增加更多的摄像头会带来更多的数据,这意味着“算力需求激增”。提高数据质量是其中一种解决方案。Cambou认为:“如果真的想解决自主问题,将需要迅速增加多样性。可以使用激光雷达、热像仪和高光谱相机。我认为汽车公司还应当考虑基于事件驱动的摄像头。”7gXEETC-电子工程专辑

神经拟态工程的潜力尚未开发出来。根据Yole的分析,到2029年,神经拟态半导体、传感和计算市场将达到71亿美元。如果所有技术问题都在接下来的4-5年内解决,神经拟态计算市场在2024年有望达到6900万美元,到2029年将增长至50亿美元,而到2034年将增长到213亿美元。神经拟态传感市场在2024年为3400万美元,到2029年将增长至20亿美元,到2034年将达到47亿美元。7gXEETC-电子工程专辑

(参考原文:Neuromorphic Vision Sensors Eye the Future of Autonomy7gXEETC-电子工程专辑

责编:Amy Guan7gXEETC-电子工程专辑

本文为《电子工程专辑》2020年6月刊杂志文章,版权所有,禁止转载。点击申请免费杂志订阅 7gXEETC-电子工程专辑

ASPENCORE
本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • MEMS技术投入COVID-19战疫 为了打赢这场新型冠状病毒肺炎(Covid-19)“疫”战,必须与时间赛跑,因而也激起了全球科技公司的投力与合作...
  • 医疗、影像传感应用成为印刷电子市场新动力 在大面积影像传感器持续发展的同时,印刷电子市场版图也扩展至包括压电传感器、温度传感器、电容适应力传感器,以及能在新冠病毒疫情中发挥作用的生物传感器等应用。
  • 模拟IC“一超N强”,下一个TI会出现在中国吗? 所谓模拟芯片,是处理外界信号的第一关,所有数据的源头是模拟信号,模拟芯片是集成的模拟电路,用于处理模拟信号。模拟信号是在时间和幅值上都连续的信号,数字信号则是时间和幅值上都不连续的信号。常见的数模混合系统包括……
  • 艾迈斯半导体宣布成功完成对欧司朗的收购 艾迈斯半导体今日宣布已于7月9日成功完成对欧司朗(OSRAM)的收购,收购完成后,艾迈斯半导体(ams)持有欧司朗(OSRAM)69%的股份。
  • 压电触觉致动器的机械原理 压电触觉技术不同于偏心旋转质量(ERM)和线性谐振致动器(LRA)触觉技术,需要采用不同的方法才能成功实现更佳的触觉效果;让我们看看压电触觉与ERM和LRA之间的区隔...
  • 触觉技术大比拼:ERM、LRA、压电哪个适合你? 触觉反馈(Haptic feedback)并非新技术。我们回到1960年代,就能发现采用振动反馈向用户发送信息的首次设备更迭。过去用于产生振动的系统,目前仍然在低成本设备中用于产生基本的触觉反馈。那么当前几种主流触觉反馈技术,偏心旋转质量(ERM)、线性谐振致动器(LRA)、压电触觉致动器,各有什么优势劣势?分别适合什么应用呢?
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了