广告

事件导向的视觉技术已进入生产阶段

时间:2019-12-11 作者:Anne-Françoise Pelé 阅读:
Prophesee首席执行官Luca Verre认为我们需要一种新的感知范式,特别是在AI、计算机视觉和大数据的时代。受人类视觉的启发,Prophesee开发出神经形态传感器和摹拟眼睛与大脑的机器学习算法,提倡用基于事件的视觉方法进行感知和处理,从而选择有效场景并忽略不相关的事物。
广告

工业4.0时代,由联网摄像机生成的数据对于最大化生产力、简化操作并产生价值至关重要。但是,如果摄像机生成的数据中,99%都是对AI计算机视觉无用的冗余信息,仅仅1%的可用信息与改善决策过程相关,怎么办?aILEETC-电子工程专辑

收集数据可能简单,但收集和处理有效数据就不简单了。而基于事件的视觉技术可以解决这一问题,因为它可以实时、动态地捕获最相关的信息。aILEETC-电子工程专辑

Prophesee19120901.pngProphesee推出的工业标准封装Metavision传感器aILEETC-电子工程专辑

总部位于法国巴黎的Prophesee SA公司推出了其首款基于事件的视觉传感器,该传感器采用工业标准封装。Prophesee首席执行官Luca Verre说,经过五年的开发,“它已经通过了多家客户的商业测试,在与合作伙伴的相机集成方面显示出良好的前景。” 这款产品的发布距离这家法国初创公司推出Onboard参考系统仅仅18个月,Onboard参考系统旨在供视觉系统开发人员尝试、测试和了解神经形态(neuromorphic)视觉的工作原理。aILEETC-电子工程专辑

一种新型的感知范式

莱昂纳多·达·芬奇(Leonardo da Vinci)使用相机暗盒作为眼睛的模型,埃德沃德·迈布里奇(Eadweard Muybridge)设计了拍摄运动中的马的复杂方法,而卢米埃(Lumière)兄弟发明了电影。这些例子的共同点是,它们是为人类消费而不是为机器消费发明的。Verre说,我们需要一种新的感知范式,特别是在这个人工智能、计算机视觉和大数据的新时代。aILEETC-电子工程专辑
aILEETC-电子工程专辑
受人类视觉的启发,Prophesee的技术开发了神经形态传感器和摹拟眼睛与大脑的机器学习算法。该公司提倡用基于事件的视觉方法进行感知和处理,从而选择有效场景并忽略不相关的事物。aILEETC-电子工程专辑

Magazine191218.jpgaILEETC-电子工程专辑

Verre解释说,在基于事件的传感器中,每个像素都是异步且独立的。它不再由固定的时序源(帧时钟)控制,而是由信号在幅度域的变化来控制,并在检测到变化或运动时进行记录。信息不是逐帧发送的,而是通过连续的信息流捕获运动,并且帧之间没有任何损失。aILEETC-电子工程专辑

Verre指出,这种方法具有三个优点。首先,“它获取的数据量更少”,从而降低了功耗(<10mW)、延时(40-200 µs)以及传统基于帧的系统所施加的数据处理要求。其次,Prophesee传感器实现了毫秒到微秒的像素采集与读取,达到的时间分辨率相当于传统传感器每秒运行数万至数十万帧的速度。“它的优势不仅在于提供更少的数据,还在于获取更多的信息。”第三,Prophesee视觉传感器的动态范围超过120 dB,可在低至100 millilux的场景照度下运行。aILEETC-电子工程专辑

工业应用

据Zion Market Research的数据显示,到2024年,全球工业自动化市场预计将达到3210亿美元,在2018年至2024年间的复合年增长率为6.5%。其市场核心即智能传感器,该传感器与其它技术一起持续发展,以提供有意义的数据并做出明智的决策。Prophesee恰恰抓住了这个商机。aILEETC-电子工程专辑

Prophesee19120902.jpgLuca VerreaILEETC-电子工程专辑

Verre表示,Prophesee新的工业级封装Metavision传感器面向摄像机开发人员,用于实现工业自动化和物联网系统(如机器人、检测设备、监控和监视设备)中的下一代视觉系统。对于工业自动化,“我们的价值体现在实时数据传输的高速检测和计算,它可以实现超高速计数、振动测量,以及用于预测性维护的监测或运动监测。” Prophesee声称其工业级基于事件的视觉系统可实现每秒超过1,000个对象的吞吐量。aILEETC-电子工程专辑

在工业4.0的发展进程中,总体能效已成为焦点,这事关成本与可持续发展的问题。Verre相信,凭借其传感器,Prophesee可以在智能建筑IoT应用(例如在场检测、交通监控和自动关门)中发挥很大作用。aILEETC-电子工程专辑

尺寸限制

Prophesee的芯片采用13x15毫米mini-PBGA封装,集成了该公司第三代CMOS图像传感器(CIS)视觉模块。它具有640x480像素分辨率和3/4英寸光学格式的15µm像素。尽管Verre表示,这些特性应该“为广阔的集成应用开辟道路”,但目前汽车和移动这两个主要市场没有考虑在内。aILEETC-电子工程专辑

当被追问有关汽车领域的更多信息时,Verre说,这是“公司的战略主题”,但是Metavision传感器目前的封装版本“因为太大而无法集成到主流汽车应用中。”aILEETC-电子工程专辑

Prophesee现在正在开发第四代产品,旨在减小传感器尺寸并提高分辨率,以适用于汽车和移动电话等更多主流应用。预计第四代产品将在2020年实现量产。aILEETC-电子工程专辑

Verre同时表示,Prophesee公司正在与合作伙伴合作,将其数据导向的摄像头技术与激光雷达和雷达集成,以用于汽车应用。“这里采用的是互补方法,利用事件导向技术的好处在于,可以超高的时间精度和极短的响应时间检测出与此相关联的内容以及应该关注的地方。然后雷达和激光雷达可以对目标进行分类,并使汽车做出正确的决定。更具体地说,Verre透露,Prophesee与合作伙伴正在评估一种多传感器方法,将雷达或激光雷达与基于事件的摄像头结合起来。aILEETC-电子工程专辑

规模效益

Prophesee公司在神经形态工程领域已有35年的研究经验,已申请了51项专利技术。除了人才与知识产权,确保公司的经济生存能力现在变得至关重要。aILEETC-电子工程专辑

2016年,Prophesee公司(当时称为Chronocam)的第一代传感器提供给Pixium Vision公司用于治疗失明,Pixium Vision是一家位于巴黎的视觉假体公司。Prophesee瞄准医疗应用和利基市场的做法有助于验证其技术。Verre说,“第一代和第二代传感器帮助我们确定了其工业可行性和可扩展性。但我们必须考虑规模效益。如果不能以合理的成本生产传感器,就只能承担风险,仅应用于小产量的利基应用。生产太重要了,当我们开始探索其他应用时,必须先确保拥有正确的可靠流程和测试结构。”aILEETC-电子工程专辑

Prophesee公司的第一个参考设计由其代工厂合作伙伴TowerJazz制造。而Metavision传感器则由台湾胜开科技公司(Kingpak Technology Inc.)制造,采用了0.18µm的专门工艺。aILEETC-电子工程专辑

迄今为止,Prophesee已向早期客户提供了“一百多个传感器”。其中,Imago Technologies GmbH(德国弗赖贝格)正在开发的智能视觉系统就嵌入了Prophesee基于事件的视觉传感器和算法。 “我们还与中国、日本和美国的合作伙伴一起开发工业相机。”aILEETC-电子工程专辑

Verre说,Prophesee今年的计划工业相机的出货量是几千台。预计到2020年,产量将增加到数万甚至数十万台。”aILEETC-电子工程专辑

展望该公司的下一个发展周期,Prophesee最近刚与全球分销商签署了五份合作伙伴协议,并在硅谷、上海和东京设立了办事处。现在,它拥有一百多名员工。aILEETC-电子工程专辑

在我们开始讨论时,Verre阐述了眼睛中复杂而尖端的结构,那些人类尚未探索清楚的部分。“例如,眼睛可以评估光的强度、颜色对比度以及预处理运动和深度。这些奇妙的生物学是灵感的来源,我们的技术得益于此。”在软件方面,Verre期望类脑计算架构可以很快出现。Prophesee目前正与“英特尔和IBM合作,将人造视网膜与人造大脑相结合,同时“保证高速率、低延迟和高能效。”aILEETC-电子工程专辑

责编:Amy GuanaILEETC-电子工程专辑

本文为《电子工程专辑》12月刊杂志文章,版权所有,禁止转载。点击申请免费杂志订阅 aILEETC-电子工程专辑

也可点击立即下载,下载12月刊完整版。aILEETC-电子工程专辑

EETC-1912-Download.JPGaILEETC-电子工程专辑

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • FPGA是如何应对新冠疫情的? 很多业务覆盖较广的上游企业,近半年的财报实则是最能反映电子科技行业内,哪些部分受到了新冠疫情的负面影响——典型如汽车、交通领域承受冲击较大,又有哪些则在业务上受到正面影响——典型如客观上推动企业数字化进程加速。
  • 汽车电子,从哪几个层面为汽车市场注入了活力? 智能化的电动车,在抽象层级结构上分成了感知层、决策层与执行层。这三个层级也代表了汽车半导体市场未来巨额的市场增量。其中感知层代表的是各类传感器产品,如摄像头、雷达、速度角度传感器等;决策层则是指计算控制芯片,如ECU、MCU等;而执行层就是电机、电控、转向等系统了,半导体在其中参与的主要是功率器件。
  • 半导体巨头祝贺拜登当选,呼吁加大投资半导体制造业 当地时间周一,英特尔在官网刊登了首席执行官鲍勃·斯旺(Bob Swan) 写给美国“当选总统”拜登的公开信,“美国仅占全球半导体产能的12%,而超过80%的产能在亚洲。”,斯旺在信中敦促美国政府应加大对半导体制造业的投资。
  • 基于电解质栅控晶体管构建可处理时空信息的脉冲神经网 电解质栅控晶体管是近年来提出的一种三端忆阻器件,其结构与传统场效应晶体管类似。近年来科学界对电解质栅控晶体管及其在人工神经网络应用方面的研究取得了一定进展,但研究成果主要集中在单个器件的性能验证……
  • 从ISSCC 2021论文看未来技术发展趋势 可能和今年的新冠疫情有关,ISSCC 2021共收到580篇论文,比去年下滑了7.8%。虽然投稿数量下降,但投稿论文的质量有了提升。ISSCC2021共录用202篇论文,录用率达33.6%。12个技术分类中,论文数量比较多的是高速网络、5G、WiFi、影响应用和机器学习……
  • 习近平:加快在集成电路、人工智能等领域打造世界级产业 在浦东开发开放30周年庆祝大会上,习近平表示,要聚焦关键领域发展创新型产业,加快在集成电路、生物医药、人工智能等领域打造世界级产业集群。要深化科技创新体制改革,发挥企业在技术创新中的主体作用,同长三角地区产业集群加强分工协作,突破一批核心部件、推出一批高端产品、形成一批中国标准。要积极参与、牵头组织国际大科学计划和大科学工程,开展全球科技协同创新。
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了