广告

事件导向的视觉技术已进入生产阶段

时间:2019-12-11 作者:Anne-Françoise Pelé 阅读:
Prophesee首席执行官Luca Verre认为我们需要一种新的感知范式,特别是在AI、计算机视觉和大数据的时代。受人类视觉的启发,Prophesee开发出神经形态传感器和摹拟眼睛与大脑的机器学习算法,提倡用基于事件的视觉方法进行感知和处理,从而选择有效场景并忽略不相关的事物。
广告
ASPENCORE

工业4.0时代,由联网摄像机生成的数据对于最大化生产力、简化操作并产生价值至关重要。但是,如果摄像机生成的数据中,99%都是对AI计算机视觉无用的冗余信息,仅仅1%的可用信息与改善决策过程相关,怎么办?okeEETC-电子工程专辑

收集数据可能简单,但收集和处理有效数据就不简单了。而基于事件的视觉技术可以解决这一问题,因为它可以实时、动态地捕获最相关的信息。okeEETC-电子工程专辑

Prophesee19120901.pngProphesee推出的工业标准封装Metavision传感器okeEETC-电子工程专辑

总部位于法国巴黎的Prophesee SA公司推出了其首款基于事件的视觉传感器,该传感器采用工业标准封装。Prophesee首席执行官Luca Verre说,经过五年的开发,“它已经通过了多家客户的商业测试,在与合作伙伴的相机集成方面显示出良好的前景。” 这款产品的发布距离这家法国初创公司推出Onboard参考系统仅仅18个月,Onboard参考系统旨在供视觉系统开发人员尝试、测试和了解神经形态(neuromorphic)视觉的工作原理。okeEETC-电子工程专辑

一种新型的感知范式

莱昂纳多·达·芬奇(Leonardo da Vinci)使用相机暗盒作为眼睛的模型,埃德沃德·迈布里奇(Eadweard Muybridge)设计了拍摄运动中的马的复杂方法,而卢米埃(Lumière)兄弟发明了电影。这些例子的共同点是,它们是为人类消费而不是为机器消费发明的。Verre说,我们需要一种新的感知范式,特别是在这个人工智能、计算机视觉和大数据的新时代。okeEETC-电子工程专辑
okeEETC-电子工程专辑
受人类视觉的启发,Prophesee的技术开发了神经形态传感器和摹拟眼睛与大脑的机器学习算法。该公司提倡用基于事件的视觉方法进行感知和处理,从而选择有效场景并忽略不相关的事物。okeEETC-电子工程专辑

Magazine191218.jpgokeEETC-电子工程专辑

Verre解释说,在基于事件的传感器中,每个像素都是异步且独立的。它不再由固定的时序源(帧时钟)控制,而是由信号在幅度域的变化来控制,并在检测到变化或运动时进行记录。信息不是逐帧发送的,而是通过连续的信息流捕获运动,并且帧之间没有任何损失。okeEETC-电子工程专辑

Verre指出,这种方法具有三个优点。首先,“它获取的数据量更少”,从而降低了功耗(<10mW)、延时(40-200 µs)以及传统基于帧的系统所施加的数据处理要求。其次,Prophesee传感器实现了毫秒到微秒的像素采集与读取,达到的时间分辨率相当于传统传感器每秒运行数万至数十万帧的速度。“它的优势不仅在于提供更少的数据,还在于获取更多的信息。”第三,Prophesee视觉传感器的动态范围超过120 dB,可在低至100 millilux的场景照度下运行。okeEETC-电子工程专辑

工业应用

据Zion Market Research的数据显示,到2024年,全球工业自动化市场预计将达到3210亿美元,在2018年至2024年间的复合年增长率为6.5%。其市场核心即智能传感器,该传感器与其它技术一起持续发展,以提供有意义的数据并做出明智的决策。Prophesee恰恰抓住了这个商机。okeEETC-电子工程专辑

Prophesee19120902.jpgLuca VerreokeEETC-电子工程专辑

Verre表示,Prophesee新的工业级封装Metavision传感器面向摄像机开发人员,用于实现工业自动化和物联网系统(如机器人、检测设备、监控和监视设备)中的下一代视觉系统。对于工业自动化,“我们的价值体现在实时数据传输的高速检测和计算,它可以实现超高速计数、振动测量,以及用于预测性维护的监测或运动监测。” Prophesee声称其工业级基于事件的视觉系统可实现每秒超过1,000个对象的吞吐量。okeEETC-电子工程专辑

在工业4.0的发展进程中,总体能效已成为焦点,这事关成本与可持续发展的问题。Verre相信,凭借其传感器,Prophesee可以在智能建筑IoT应用(例如在场检测、交通监控和自动关门)中发挥很大作用。okeEETC-电子工程专辑

尺寸限制

Prophesee的芯片采用13x15毫米mini-PBGA封装,集成了该公司第三代CMOS图像传感器(CIS)视觉模块。它具有640x480像素分辨率和3/4英寸光学格式的15µm像素。尽管Verre表示,这些特性应该“为广阔的集成应用开辟道路”,但目前汽车和移动这两个主要市场没有考虑在内。okeEETC-电子工程专辑

当被追问有关汽车领域的更多信息时,Verre说,这是“公司的战略主题”,但是Metavision传感器目前的封装版本“因为太大而无法集成到主流汽车应用中。”okeEETC-电子工程专辑

Prophesee现在正在开发第四代产品,旨在减小传感器尺寸并提高分辨率,以适用于汽车和移动电话等更多主流应用。预计第四代产品将在2020年实现量产。okeEETC-电子工程专辑

Verre同时表示,Prophesee公司正在与合作伙伴合作,将其数据导向的摄像头技术与激光雷达和雷达集成,以用于汽车应用。“这里采用的是互补方法,利用事件导向技术的好处在于,可以超高的时间精度和极短的响应时间检测出与此相关联的内容以及应该关注的地方。然后雷达和激光雷达可以对目标进行分类,并使汽车做出正确的决定。更具体地说,Verre透露,Prophesee与合作伙伴正在评估一种多传感器方法,将雷达或激光雷达与基于事件的摄像头结合起来。okeEETC-电子工程专辑

规模效益

Prophesee公司在神经形态工程领域已有35年的研究经验,已申请了51项专利技术。除了人才与知识产权,确保公司的经济生存能力现在变得至关重要。okeEETC-电子工程专辑

2016年,Prophesee公司(当时称为Chronocam)的第一代传感器提供给Pixium Vision公司用于治疗失明,Pixium Vision是一家位于巴黎的视觉假体公司。Prophesee瞄准医疗应用和利基市场的做法有助于验证其技术。Verre说,“第一代和第二代传感器帮助我们确定了其工业可行性和可扩展性。但我们必须考虑规模效益。如果不能以合理的成本生产传感器,就只能承担风险,仅应用于小产量的利基应用。生产太重要了,当我们开始探索其他应用时,必须先确保拥有正确的可靠流程和测试结构。”okeEETC-电子工程专辑

Prophesee公司的第一个参考设计由其代工厂合作伙伴TowerJazz制造。而Metavision传感器则由台湾胜开科技公司(Kingpak Technology Inc.)制造,采用了0.18µm的专门工艺。okeEETC-电子工程专辑

迄今为止,Prophesee已向早期客户提供了“一百多个传感器”。其中,Imago Technologies GmbH(德国弗赖贝格)正在开发的智能视觉系统就嵌入了Prophesee基于事件的视觉传感器和算法。 “我们还与中国、日本和美国的合作伙伴一起开发工业相机。”okeEETC-电子工程专辑

Verre说,Prophesee今年的计划工业相机的出货量是几千台。预计到2020年,产量将增加到数万甚至数十万台。”okeEETC-电子工程专辑

展望该公司的下一个发展周期,Prophesee最近刚与全球分销商签署了五份合作伙伴协议,并在硅谷、上海和东京设立了办事处。现在,它拥有一百多名员工。okeEETC-电子工程专辑

在我们开始讨论时,Verre阐述了眼睛中复杂而尖端的结构,那些人类尚未探索清楚的部分。“例如,眼睛可以评估光的强度、颜色对比度以及预处理运动和深度。这些奇妙的生物学是灵感的来源,我们的技术得益于此。”在软件方面,Verre期望类脑计算架构可以很快出现。Prophesee目前正与“英特尔和IBM合作,将人造视网膜与人造大脑相结合,同时“保证高速率、低延迟和高能效。”okeEETC-电子工程专辑

责编:Amy GuanokeEETC-电子工程专辑

本文为《电子工程专辑》12月刊杂志文章,版权所有,禁止转载。点击申请免费杂志订阅 okeEETC-电子工程专辑

也可点击立即下载,下载12月刊完整版。okeEETC-电子工程专辑

EETC-1912-Download.JPGokeEETC-电子工程专辑

ASPENCORE
本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 华为阿里员工跳槽微软,被要求停止无意义加班?内部人士辟 有媒体报道称,一批从华为、阿里跳槽到微软的员工,遭到了原有团队的抵制。据悉这是微软苏州某team的一次自发行为,他们表示,由于华为和阿里来的员工时常“比赛加班”,甚至“半夜在工作群互@发消息”,给团队带来了国内互联网企业的加班文化,破坏规则,恶性竞争……
  • 中国AI公司起诉苹果Siri侵权,索赔100亿 8月3日,智臻智能向上海高级人民法院提起诉讼,称苹果公司在其iPhone的语音助理软件Siri中未经允许使用了该公司的专利技术,侵犯了它的一项被编号为“ZL200410053749.9(一种聊天机器人系统)”的发明专利权。智臻智能要求苹果公司停止制造、使用、许诺销售、销售、进口涉嫌侵犯其专利的产品,并提出索赔100亿元人民币……
  • 未来的创新“办公室”包含哪些新科技与技术? 现代工作场所的面貌已经发生变革。员工不再居于一个小小的格子间,沉闷保守的装修扼杀了创造力,使人昏昏欲睡没有工作激情。时至今日,员工们追求开放灵活的空间 – 方便协作,而又不会感觉被牢牢的束缚在一起。他们需要四处走动,随时改变一下四周的景物,以便保持极高水平的工作表现。 这种新的工作风格促使着Georgia-Pacific (GP)位于亚特兰大市中心的总部 – 探讨了相关的业务,最终使工作场所发生了翻天覆地的变化。GP 以及参与此次改造工作的企业将这一项目称为 BlueSky。
  • 飞腾发布S2500,号称国产最强多路服务器处理器 近日,天津飞腾发布了新一代服务器芯片—腾云S2500。据悉,该系列芯片采用16nm工艺,64核架构,8路直连512核,是目前国产性能最强的多路服务器系统。该单路芯片可扩展支持2-8路,一台服务器最多能支持8颗S2500芯片直连构成多路服务器,片内集成64MB三级Cache,支持8个DDR4-3200存储通道,功耗……
  • 机器人志愿者上岗FIRST青年电影展,带你探班最飒高原露 电影院可能是这次新冠疫情中影响最久的实体经济之一了,不过在重新开放之际,很多电影院进行了升级,迎来了机器人+电影院的新生。
  • 海思 in 格力:全国产语音模组首次应用在家电行业 上海海思在官微宣布,基于海思SoC Wi-Fi IoT芯片的荣邦智能AI语音模组方案正式量产,搭载于格力电器的AI语音空调“月亮女神”。这次基于国产自主物联网操作系统、海思Wi-Fi SoC研发的控制器模组,在智能家居领域的应用意义重大……
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了