向右滑动:上一篇 向左滑动:下一篇 我知道了
广告

事件导向的视觉技术已进入生产阶段

时间:2019-12-11 作者:Anne-Françoise Pelé 阅读:
Prophesee首席执行官Luca Verre认为我们需要一种新的感知范式,特别是在AI、计算机视觉和大数据的时代。受人类视觉的启发,Prophesee开发出神经形态传感器和摹拟眼睛与大脑的机器学习算法,提倡用基于事件的视觉方法进行感知和处理,从而选择有效场景并忽略不相关的事物。

工业4.0时代,由联网摄像机生成的数据对于最大化生产力、简化操作并产生价值至关重要。但是,如果摄像机生成的数据中,99%都是对AI计算机视觉无用的冗余信息,仅仅1%的可用信息与改善决策过程相关,怎么办?9UyEETC-电子工程专辑

收集数据可能简单,但收集和处理有效数据就不简单了。而基于事件的视觉技术可以解决这一问题,因为它可以实时、动态地捕获最相关的信息。9UyEETC-电子工程专辑

Prophesee19120901.pngProphesee推出的工业标准封装Metavision传感器9UyEETC-电子工程专辑

总部位于法国巴黎的Prophesee SA公司推出了其首款基于事件的视觉传感器,该传感器采用工业标准封装。Prophesee首席执行官Luca Verre说,经过五年的开发,“它已经通过了多家客户的商业测试,在与合作伙伴的相机集成方面显示出良好的前景。” 这款产品的发布距离这家法国初创公司推出Onboard参考系统仅仅18个月,Onboard参考系统旨在供视觉系统开发人员尝试、测试和了解神经形态(neuromorphic)视觉的工作原理。9UyEETC-电子工程专辑

一种新型的感知范式

莱昂纳多·达·芬奇(Leonardo da Vinci)使用相机暗盒作为眼睛的模型,埃德沃德·迈布里奇(Eadweard Muybridge)设计了拍摄运动中的马的复杂方法,而卢米埃(Lumière)兄弟发明了电影。这些例子的共同点是,它们是为人类消费而不是为机器消费发明的。Verre说,我们需要一种新的感知范式,特别是在这个人工智能、计算机视觉和大数据的新时代。9UyEETC-电子工程专辑
9UyEETC-电子工程专辑
受人类视觉的启发,Prophesee的技术开发了神经形态传感器和摹拟眼睛与大脑的机器学习算法。该公司提倡用基于事件的视觉方法进行感知和处理,从而选择有效场景并忽略不相关的事物。9UyEETC-电子工程专辑

Magazine191218.jpg9UyEETC-电子工程专辑

Verre解释说,在基于事件的传感器中,每个像素都是异步且独立的。它不再由固定的时序源(帧时钟)控制,而是由信号在幅度域的变化来控制,并在检测到变化或运动时进行记录。信息不是逐帧发送的,而是通过连续的信息流捕获运动,并且帧之间没有任何损失。9UyEETC-电子工程专辑

Verre指出,这种方法具有三个优点。首先,“它获取的数据量更少”,从而降低了功耗(<10mW)、延时(40-200 µs)以及传统基于帧的系统所施加的数据处理要求。其次,Prophesee传感器实现了毫秒到微秒的像素采集与读取,达到的时间分辨率相当于传统传感器每秒运行数万至数十万帧的速度。“它的优势不仅在于提供更少的数据,还在于获取更多的信息。”第三,Prophesee视觉传感器的动态范围超过120 dB,可在低至100 millilux的场景照度下运行。9UyEETC-电子工程专辑

工业应用

据Zion Market Research的数据显示,到2024年,全球工业自动化市场预计将达到3210亿美元,在2018年至2024年间的复合年增长率为6.5%。其市场核心即智能传感器,该传感器与其它技术一起持续发展,以提供有意义的数据并做出明智的决策。Prophesee恰恰抓住了这个商机。9UyEETC-电子工程专辑

Prophesee19120902.jpgLuca Verre9UyEETC-电子工程专辑

Verre表示,Prophesee新的工业级封装Metavision传感器面向摄像机开发人员,用于实现工业自动化和物联网系统(如机器人、检测设备、监控和监视设备)中的下一代视觉系统。对于工业自动化,“我们的价值体现在实时数据传输的高速检测和计算,它可以实现超高速计数、振动测量,以及用于预测性维护的监测或运动监测。” Prophesee声称其工业级基于事件的视觉系统可实现每秒超过1,000个对象的吞吐量。9UyEETC-电子工程专辑

在工业4.0的发展进程中,总体能效已成为焦点,这事关成本与可持续发展的问题。Verre相信,凭借其传感器,Prophesee可以在智能建筑IoT应用(例如在场检测、交通监控和自动关门)中发挥很大作用。9UyEETC-电子工程专辑

尺寸限制

Prophesee的芯片采用13x15毫米mini-PBGA封装,集成了该公司第三代CMOS图像传感器(CIS)视觉模块。它具有640x480像素分辨率和3/4英寸光学格式的15µm像素。尽管Verre表示,这些特性应该“为广阔的集成应用开辟道路”,但目前汽车和移动这两个主要市场没有考虑在内。9UyEETC-电子工程专辑

当被追问有关汽车领域的更多信息时,Verre说,这是“公司的战略主题”,但是Metavision传感器目前的封装版本“因为太大而无法集成到主流汽车应用中。”9UyEETC-电子工程专辑

Prophesee现在正在开发第四代产品,旨在减小传感器尺寸并提高分辨率,以适用于汽车和移动电话等更多主流应用。预计第四代产品将在2020年实现量产。9UyEETC-电子工程专辑

Verre同时表示,Prophesee公司正在与合作伙伴合作,将其数据导向的摄像头技术与激光雷达和雷达集成,以用于汽车应用。“这里采用的是互补方法,利用事件导向技术的好处在于,可以超高的时间精度和极短的响应时间检测出与此相关联的内容以及应该关注的地方。然后雷达和激光雷达可以对目标进行分类,并使汽车做出正确的决定。更具体地说,Verre透露,Prophesee与合作伙伴正在评估一种多传感器方法,将雷达或激光雷达与基于事件的摄像头结合起来。9UyEETC-电子工程专辑

规模效益

Prophesee公司在神经形态工程领域已有35年的研究经验,已申请了51项专利技术。除了人才与知识产权,确保公司的经济生存能力现在变得至关重要。9UyEETC-电子工程专辑

2016年,Prophesee公司(当时称为Chronocam)的第一代传感器提供给Pixium Vision公司用于治疗失明,Pixium Vision是一家位于巴黎的视觉假体公司。Prophesee瞄准医疗应用和利基市场的做法有助于验证其技术。Verre说,“第一代和第二代传感器帮助我们确定了其工业可行性和可扩展性。但我们必须考虑规模效益。如果不能以合理的成本生产传感器,就只能承担风险,仅应用于小产量的利基应用。生产太重要了,当我们开始探索其他应用时,必须先确保拥有正确的可靠流程和测试结构。”9UyEETC-电子工程专辑

Prophesee公司的第一个参考设计由其代工厂合作伙伴TowerJazz制造。而Metavision传感器则由台湾胜开科技公司(Kingpak Technology Inc.)制造,采用了0.18µm的专门工艺。9UyEETC-电子工程专辑

迄今为止,Prophesee已向早期客户提供了“一百多个传感器”。其中,Imago Technologies GmbH(德国弗赖贝格)正在开发的智能视觉系统就嵌入了Prophesee基于事件的视觉传感器和算法。 “我们还与中国、日本和美国的合作伙伴一起开发工业相机。”9UyEETC-电子工程专辑

Verre说,Prophesee今年的计划工业相机的出货量是几千台。预计到2020年,产量将增加到数万甚至数十万台。”9UyEETC-电子工程专辑

展望该公司的下一个发展周期,Prophesee最近刚与全球分销商签署了五份合作伙伴协议,并在硅谷、上海和东京设立了办事处。现在,它拥有一百多名员工。9UyEETC-电子工程专辑

在我们开始讨论时,Verre阐述了眼睛中复杂而尖端的结构,那些人类尚未探索清楚的部分。“例如,眼睛可以评估光的强度、颜色对比度以及预处理运动和深度。这些奇妙的生物学是灵感的来源,我们的技术得益于此。”在软件方面,Verre期望类脑计算架构可以很快出现。Prophesee目前正与“英特尔和IBM合作,将人造视网膜与人造大脑相结合,同时“保证高速率、低延迟和高能效。”9UyEETC-电子工程专辑

责编:Amy Guan9UyEETC-电子工程专辑

本文为《电子工程专辑》12月刊杂志文章,版权所有,禁止转载。点击申请免费杂志订阅 9UyEETC-电子工程专辑

也可点击立即下载,下载12月刊完整版。9UyEETC-电子工程专辑

EETC-1912-Download.JPG9UyEETC-电子工程专辑

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
您可能感兴趣的文章
  • 苹果2亿美元买下这家公司或改进Siri? 据外媒Geekwire报道,继16年花费2亿美元收购西雅图AI创业公司Turi之后,苹果又用相近的价格买下了另一家西雅图AI创业公司Xnor.ai。
  • 百度昆仑将由三星14nm量产,适配国产飞腾CPU 12 月 18 日,三星和百度官方宣布,百度首款 AI 芯片昆仑已经完成研发,将由三星代工,最早将于明年初实现量产。在12月19日举行的“2019飞腾生态伙伴大会”上,百度也出席介绍了昆仑芯片并透露,昆仑AI芯片已经在百度智能云上线,正在适配国产飞腾服务器,做性能调优工作……
  • 只用一年半打造的AI训练芯片+加速卡,会是什么样? GPU当前是个非常有趣的产品形态,它已全然不止是图形计算设备这么简单;GPGPU的发展,以及随2012年AlexNet选择GPU对图像识别过程做加速,刷新机器图像识别正确率以后,GPU现如今是AI领域十分重要的硬件产品——而且覆盖了云端到终端,从training到推断inference。
  • 全场景领域终极对抗,史上最强GPU IP发布! Imagination Technologies首席执行官Ron Black博士表示:“自15年前推出首款移动PowerVR GPU以来,IMG A系列是我们最重要的GPU新品,并且是有史以来最出色的移动GPU IP。在所有的应用市场中,它都能够在更长的运行时间里以低功耗预算提供最佳性能。它确实是可应用于一切设备的GPU。”
  • 英特尔有意收购AI芯片公司Habana Labs 据一名知情人士透露,英特尔正在就收购以色列人工智能芯片开发商Habana Labs进行高级谈判,收购价格在10亿至20亿美元之间。如果交易完成,这将是英特尔在以色列的第二大收购,仅次于其在2017年对以色列汽车芯片制造商Mobileye的153亿美元收购。
  • 当工业4.0遇见AI:智能制造现在有多“智能”? 工业制造在标准、互联等领域始终是很特殊的,现在谈工业4.0与AI是否为时过早?AI在工业4.0时代是否真的在发挥作用,以及究竟发挥到何种程度?这是我们期望以由上至下的方式,从工业制造AI解决方案、AI芯片、EDA,以及实际应用几个层面,来窥见当下工业制造的AI技术现状。
相关推荐
    广告
    近期热点
    广告
    广告
    广告
    可能感兴趣的话题
    广告