广告

深度感应将机器视觉带进全新维度

时间:2021-07-06 作者:Anne-Françoise Pelé 阅读:
什么是人类视觉能做到而计算机视觉所不能的?人类从三个维度感知世界,而深度传感器是实现更高级别机器视觉并释放自动驾驶功能的关键。EE Times Europe团队对当前3D视觉格局进行了研究,以期更清晰地了解其市场驱动因素、元器件供应商面临的机遇和挑战,以及实现更高级别深度敏感度的新兴技术。
广告

什么是人类视觉能做到而计算机视觉所不能的?人类从三个维度感知世界,而深度传感器是实现更高级别机器视觉并释放自动驾驶功能的关键。

在传感技术最新发展的助力之下,越来越多的机器被赋予了感知、行动及与环境交互的能力。EE Times Europe团队对当前3D视觉格局进行了研究,以期更清晰地了解其市场驱动因素、元器件供应商面临的机遇和挑战,以及实现更高级别深度敏感度的新兴技术。

往纵深发展

根据 Yole Développement 的数据,在模块层面,3D 传感市场目前市值为 68亿美元,将以 15% 的复合年增长率增长,到 2026 年预计达到 150 亿美元。

“由于华为被禁,而且安卓阵营事实上放弃了3D传感技术,因此在移动和消费这类主要驱动市场的增长将有暂时的中断,”Yole Développement 光学和传感部门首席分析师Pierre Cambou告诉EE Times Europe。但另一方面,他又补充道,“苹果通过在 iPad 和 iPhone 中添加LiDAR 传感器又加速了这一趋势。”

3D在汽车领域的应用也在加速。LiDAR 传感器和座舱内 3D 摄像头越来越多地被采用,“我们对汽车市场的 3D 传感发展非常乐观,未来五年其市值应该会翻四倍。”(如图1)

图1:Yole预计汽车市场的3D传感市值将在未来五年内翻四倍。(来源:Yole Développement)

截至目前,较为流行的3D成像技术包括立体视觉、结构光和飞行时间(ToF)。

Cambou指出,立体视觉在10米以外的远程传感应用中表现极佳,例如大疆等公司提供的消费级无人机和梅赛德斯、捷豹和斯巴鲁等车型中的前视ADAS 摄像头。

结构光技术一直是1米以内短距离传感的首选方案。典型应用案例如苹果iPhone将其用于前置面部识别。该技术也用于某些工业应用中,如被Photoneo等公司采用。

Cambou还提到,TOF系统主要用于中程测距,目前主要有两种方法。一种是间接 ToF,2019 年和 2020 年,间接 ToF 被应用于来自华为、三星和 LG 等厂商的Android 手机的背面,主要用于拍照。另一种是直接ToF,苹果在其最先进的智能手机中采用了直接ToF方法。Cambou 指出,“直接ToF是LiDAR 中已经采用的技术(如Velodyne、Innoviz、Ibeo、Hesai 和 RoboSense等公司的产品),但最终可能会在接收侧使用矩阵形传感器。这类传感器由于来自自动驾驶市场的激励,正在取得进展。”

EELs 还是 VCSELs?

LiDAR 技术捕捉整个场景的能力使其在机器视觉应用中极具价值。获取三维点云最常用的两种系统为闪光LiDAR和扫描LiDAR。 Ams-Osram全球营销经理 Matthias Hoenig 表示,在扫描 LiDAR 系统中,聚焦脉冲激光束通过机械旋转镜或微机电系统 (MEMS) 镜定向到某个小的立体角。由于高功率激光束可以被控制发射到很小的立体角,因此与使用 3D 闪光系统可达到的距离相比,使用光学功率器件可达到的距离要远得多。“边缘发射激光器 [EEL] 是这种系统架构的理想产品,它通过一个很小的发射区域在极小空间内提供大量的光,因此在功率和射程方面均表现出色。”Hoenig指出。

现在已成为Ams子公司的欧司朗宣布,随着封装温度在应用过程中上升,其激光器在波导稳定性方面最近取得了不少进展,该公司目前正在探索面向LiDAR 应用的具有更多波长的产品。

Yole 预测,就激光二极管而言,EEL是目前最大的市场机会,但垂直腔面发射激光器 (VCSEL) 将会在未来迅速赶上。VCSEL可以将红外 LED 的高功率密度和简单封装优点与激光器的光谱宽度和速度结合起来。

“这项技术的优势包括出色的光束质量、简单的设计和小尺寸,这也解释了 VCSEL市场增长的原因,”Hoenig说。“虽然它们比 EEL 发射器需要更多的板载空间,但在某些应用领域又具有优势。”他解释到,例如,VCSEL所具有的辐射特性使其尤其适用于闪光 LiDAR 系统以及工业应用(如机器人和物流车辆等)中的主动立体视觉。

至于VCSEL相关的技术挑战,Hoenig 表示,Ams-Osram 正在研究更高的光输出。继2018 年收购 Vixar 之后,欧司朗相继展示了比单结 VCSEL 效率更高、速度更快的双结和三结VCSEL技术。在今年的美国西部光电展(Photonics West)上,又推出了基于多结技术的 PowerBoost VCSEL 产品组合。该公司表示,他们还在探索改善散热的各种方法,例如,从顶部发射组件改为底部发射组件。

Ams-Osram高级营销经理 Lei Tu 表示,所有常见的 3D 传感方法都依赖于各种系统构建模块之间的顺畅交互。通常,这些系统由光源、特殊光学器件、检测器和相应处理检测信号的下游软件组成。她还说,未来,“对Ams-Osram这样的元件制造商来说,重点将在以最佳方式满足客户的要求。这包括组件的小型化、光学性能和使用寿命的优化,当然还有易用性。” Tu补充道,有些客户喜欢“现成的即插即用解决方案”,而另一些客户则更倾向于自己组装单个元件,或借助第三方将它们组装成完整的解决方案。

用于盲点检测的深度和侧面感应

深度感知是指从三个维度看物体并测量物体距离的能力。LiDAR无疑充当了自动驾驶汽车的眼睛,许多汽车制造商都利用它来构建车辆周围环境的 3D 地图。不过,开发工作主要还是集中在具有较长检测范围(超过 200 米)但视野相对狭窄(约 20°至30°)的前置 LiDAR 系统。

2019年从德国Fraunhofer硅技术研究所 (ISIT) 独立出来的OQmented 公司正在努力改变这种状况。该公司表示,他们已开发出一种 MEMS 镜技术,可以使侧面 LiDAR 具有 180°视野。

OQmented 创始人兼董事总经理 Ulrich Hofmann 表示,“侧视 LiDAR 系统主要针对短距离”盲点检测。盲点检测是一项重要的安全功能,它使短距离侧扫系统“比远视系统更有意义”。例如,“在进入一个十字路口时,您需要这些LiDAR观察系统在短距离范围进行观察,因为这种环境中的行人、骑自行车的人和汽车都很多,很容易混乱并发生意外。出于这个原因,不仅在广角上有清晰的视角很重要,较高的横向分辨率也很重要,它可以区分不同的物体,包括静态和移动的物体。”

与平面玻璃盖不同,OQmented 在其 MEMS 镜器件顶部放置了一个曲面玻璃盖,用来实现激光束出入的封装,并实现 180°激光扫描。(见图2)Hofmann称,这种Bubble MEMS专利技术不仅提供了“密封真空封装和保护”,可以免受环境污染物的影响,而且还确保了激光束成功地传入和传出封装,因为激光束与玻璃的角度始终垂直。而使用平面玻璃盖时,情况就并非总是理想了。当扫描角度较大时,部分光线会在盖子处反射回封装中。Hofmann指出,这对于任何类型的LiDAR 解决方案都是不可接受的。

图2:Bubble MEME 技术的命名来源于OQmented MEMS 镜器件上方的曲面玻璃盖(来源:OQmented)

更接近数据源

图像传感器会生成大量的数据。尽管目前大部分处理都在云端或中央处理单元完成,但其发展趋势是使计算更接近数据源,并将智能因素嵌入传感器内部或附近。

Yole 公司的 Cambou 表示,通常情况下,数据采用H264技术压缩,这意味着它可以通过 100 Mbps 的带宽传输。“但在传感领域,数据流通常要大 10 到 100 倍——典型机器视觉数据流可达到1 Gbps ——而且,如果同时使用 10 个摄像头,则很快会达到 10 Gbps 甚至更高。由于CPU 不堪重负,靠近传感器进行数据处理的必要性越来越大。如果需要,所有预处理、清理和 AI 增强都必须在更靠近传感器的位置进行,以减轻 CPU 的负担。”

但是,目前还几乎没有计算能够在传感器本身进行,因为这会产生热量,Cambou指出。

前景展望

图像传感器是推动自动驾驶的一个关键因素,但却不能无限制地添加;因为它所需要的计算能力也会激增。Yole的分析师表示,有一种解决方案是提高数据质量。“但如果真的想解决自动驾驶问题,我们很快就会需要更多样化的解决方案。”

新技术不断涌现,用以提高灵敏度并构建可以看得更清楚的机器。 Cambou 指出了两个方向:神经拟态感知,即每个像素都充当神经元并嵌入一定程度的智能;以及量子成像,即单独检测每个光子。

总部位于法国的神经拟态初创公司 Prophesee 推出了基于事件的工业级视觉传感器:第三代 Metavision 传感器。Prophesee 产品营销和创新总监 Simone Lavizzari 表示:“如果将Metavision 传感器与 VCSEL 投影仪或其它可以投射合适图案的投影仪结合使用,就可以实现基于事件的结构光传感器。” 也就是说,当今最先进的深度传感技术在曝光时间、精确度和稳健性之间取得了平衡。

Lavizzari 说,将 IR 投影仪与 Prophesee 的 Metavision 传感器相结合,可为每个独立像素提供快速响应时间,进而允许直接在传感器内部进行时间模式识别和提取。“如果采用基于事件的传感器来做结构光,响应会非常快。我们可以将扫描时间提高 50 倍,只需1 毫秒就能获得完整的 3D 扫描,而传统基于帧的方法则需要10 到 33 毫秒。”其精确度也是最高标准的,但“软件复杂度已降至最低,因为不需要在后处理中做匹配工作。”

匹配不是在事件发生后在帧上完成,而是在传感器级逐个像素完成。Lavizzari说,其中一个优势是,“它没有运动模糊,因为可以非常快速地捕获点云,而且与户外应用兼容。” 超快脉冲检测不仅可以提高功率,同时还能保持该技术的人眼安全等级。

图3:(图片来源:Yole Développement)

在量子成像方面,Cambou 提到了 Gigajot Technology 的 Quanta Image Sensors (QIS),这是一款具有光子计数能力的单光子图像传感器。Gigajot是一家总部位于美国加州的初创公司,他们声称可以每帧每像素 1个光子的光子级别从一系列帧中重建动态场景。

(参考原文:Depth Sensing Takes Machine Vision into Another Dimension

责编:Amy Guan

本文为《电子工程专辑》2021年7月刊杂志文章,版权所有,禁止转载。点击申请免费杂志订阅 

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 拆解第三代亚马逊Echo Dot,发现音质升级的秘密 第三代Echo Dot在声音效能方面有了很大的改进。这项增强功能反映了多大程度的内部电子升级呢?提升声音效能的背后动机又是什么?让我们来一探究竟吧!
  • 拆解Realme Q2i 5G手机:通过硬件控制成本,实现998的售价 首先,Q2i 的屏幕采用6.5英寸1600x720分辨率的LCD屏,720P分辨率的智能手机已经比较少见了,而且这块屏幕的生产厂商未知。再加上未知厂商电芯+OV主摄都进一步降低了整机成本……
  • 智能手机摄像头芯片趋势预测 Omdia预测,2021年全球手机CIS的销售额将达到12.6亿美元,较2015年的6.3亿美元翻了一番。随着智能手机市场的日趋饱和,未来手机CIS的市场增速逐渐放缓。预计2022,2023,2024年,手机CIS市场的增长率分别降至3.6%、4.7%和3.4%。
  • 汇顶科技发布2021上半年财报,向综合型IC设计公司持续转 “不要把鸡蛋放在同一个篮子里”,这是此前一些上游原厂从苹果处得到的教训。仅仅依靠单一产品线的强势,不能长久地维持企业在市场中的地位,需要在研发上持续投入布局新市场;但由此带来的问题就是研发费用提高、新业务尚未盈利,会给公司的净利率带来明显影响。在近日举行的2021上半年财报披露投资者交流会上,汇顶科技阐述了他们将如何在顶住转型过程中的市场压力和业绩阵痛,努力成为一家多元化、综合型半导体企业……
  • 烟雾报警器如何通过汉堡包烟雾干扰报警测试,降低误报率 全球许多标准都要求通过新测试检测不同类型的烟雾,以满足这些新要求。不同地区的标准略有不同:欧洲采用EN标准,北美采用UL标准,国际则采用ISO标准。在2021年6月发布的最新版本(UL 268:第7版和UL 217:第8版)中,UL新增一项测试,即汉堡包烟雾干扰报警测试。在该测试中,必须能够区分汉堡包肉饼产生的烟雾浓度和易燃聚氨酯产生的烟雾浓度。这项测试有助于降低厨房的误报率。本文将介绍这项测试,并讨论如何进行新检测器设计以通过这项新测试。
  • 与工程师携手构建更美好的未来数字世界 随着物联网(IoT)、人工智能(AI)等新兴技术的崛起,加速了各行各业的数字转型(DX);以及风力、太阳能等可再生能源的扩大使用推动了能源转型(EX)。 这些历史性的变革让各种电子元件与装置的重要性更胜以往,TDK也致力于以专长的磁性技术,不断创造能实现DX与EX、改变未来的解决方案。
  • 新款iPad Pro 2021成最受欢迎的 由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
  • 三星折叠屏手机Galaxy Z Fold 3 目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。

  • EMC对策产品: TDK推出用于移动设备 TDK株式会社(TSE:6762)推出用于移动设备的TCM0403M系列小型薄膜共模滤波器
  • 比科奇ORANIC板卡获行业大奖,5G小基 比科奇(Picocom)日前宣布:该公司荣获全球小基站论坛(SCF)一项大奖,其全新的ORANIC板卡赢得了全球小基站论坛(SCF)2021年度“小基站芯片及组件杰出创新金奖”。
  • Q2晶圆代工排名公布:台积电第一、中芯国际第五 8月31日,集邦资讯公布了Q2季度全球晶圆代工市场最新排名,总产值达到了244.07亿美元,环比增长6.2%,创下了2019年Q3季度以来连续8个季度增长的新高。在TOP10厂商中,台积电一家独大,Q
  • 小米汽车来了! 点击蓝字关注我们9月1日,小米集团董事长雷军在微博上表示,小米汽车正式注册,公司名为小米汽车有限公司,注册资金100亿,小米董事长兼CEO雷军担任法人代表。小米汽车公司的正式注册成立,被视为小米集团进
  • MOS工作过程 if (!window.__second_open__) { document.getElementById('js_image_desc').inne
  • 国产半导体传来好消息,集成电路设备产量大涨,中芯国际也在加速! 我国不断提高芯片产业的竞争力,对很多国产半导体企业都采取较大的扶持力度,还计划不断提升芯片产能。但是提升芯片产能的前提是加大半导体设备产量。好消息是,我国集成电路设备产量大涨,国产芯片制造商中芯国际也
  • 【世说芯品】芯讯通5G模组赋能智能重卡 推动车联网建设 全球5G行业正蓬勃发展,5G商用已成为“兵家必争之地”。5G就如同一把“黄金钥匙”,能以超高可靠性、超低时延和万物互联的特性,实现工业环境中海量数据接入与关键数据实时传输的多种应用需求,实现人、机、物
  • 如何将Flash模拟成EEPROM ↑点击上方蓝色字体,关注“嵌入式软件实战派”获得更多精彩内容。温馨提示:本文参考《EEPROM Emulation with Qorivva MPC55xx, MPC56xx, and MPC57xx
  • 【求职必备干货】电子工程师面试笔试题汇总 ▲ 更多精彩内容 请点击上方蓝字关注我们吧!金九银十,又到一年毕业求职季,面对人生的第一份工作,既兴奋又担心。每位学子都希望能进入大厂历练,为自己的职业生涯打下坚实基础。每年这个时
  • 半导体产业之污染控制(一) 这几节小编将为大家解释污染对器件工艺、器件性能和器件可靠性的影响,以及芯片生产区域存在的污染类型和主要的污染源。同时,也将对净化间规划、主要的污染控制方法和晶片表面的清洗工艺进行讨论。首先来看看什么是
  • 建厂难、验证烦,Foundry和Fabless的同一个“困惑”  问题到底出在哪里?作者:亚亚君引言——几年前,上海的一位领导向芯谋研究首席分析师顾文军问了一个问题:“作为国内领先的代工厂,中芯国际能给高通流片28纳米工艺,为什么不能给展锐流片?而展锐作
  • 国产替代之痛,这款超高性价比的MCU堪称“翘楚”! MCU涨价缺货是埋在工程师心头的一根刺,从晶圆产能告急再到疫情天灾不断,MCU市场命途多舛。而究其市场国外产品占据超过70%,加之地缘政治摩擦加剧,国产化和国产替代成为当代电子必谈之需。记者获悉,从去
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了