今年的AutoSens车用感知技术大会不乏创新。但技术开发商、Tier-1供货商和OEM仍在探索能够因应黑夜、浓雾、冰雪和油污等各种道路状况的强大感知技术…

在比利时布鲁塞尔(Brussels, Belgium)举行的AutoSens 2019车用感知技术大会不乏技术创新。但技术开发商、一线供货商(Tier-1)和OEM仍在探索所谓的“强大感知”(robust perception)技术,以便能够因应黑夜、浓雾、风雪、冰封和油污等任何道路状况。

尽管汽车产业尚未找到一剂通用的灵丹妙药,但许多公司已推出其新型感知技术和产品概念了。


GM刚推出的Cruise最新测试车型装配了多种传感器,如图中红色部份所示。(来源:Cruise)

今年AutoSens大会的重点聚焦于先进驾驶辅助系统(ADAS),比起自动驾驶车(AV)还更引发关注。

显然地,工程领域已经不再否认,目前可能达到的技术距离最终推出人工智能驱动(AI-driven)的商业化自动驾驶车(真正的无人驾驶)之间,还存在着巨大的差距。

但这并不是说自动驾驶车无法实现。VSI Labs创办人兼总裁Phil Magney预测,“第四级(Level 4)自动驾驶车的上路将被严格限制在设计行驶范围(ODD),并基于非常全面和彻底的安全用例。”Magney说,“非常严格限制的ODD意味着特定的道路、特定的车道、特定的行驶时段、特定的天气状况、一天中的特定时间,以及特定的上下车地点等。”

在大会闭幕前的专题讨论上,专精于AI领域的康乃尔大学(Cornell University)计算机科学教授Bart Selman被问及AI驱动的车辆是否会具备“基本的理解能力”——即知道它实际上正在驾驶并了解周围的环境?他回答说:“要做到这一点至少还要10年……,也可能是20年到30年。”

同时,对于迫切想要打造ADAS和高度自动化车辆的人来说,目前的主旋律在于如何最有效地赋予车辆“视觉”。

Edge Case Research技术长兼卡内基梅隆大学(Carnegie Mellon University)教授Phil Koopman指出,高度自动化车辆的根本在于“感知”,即了解目标的位置。他解释说,与人类驾驶相比,自动驾驶车的弱点是“预测”,即了解行车环境,并预测所感知到的目标下一步可能往何处去。

智慧向边缘移动

在此次大会上出现的一种新趋势,就是在边缘增加更多智慧。许多供货商直接在边缘融合不同的传感数据,包括RGB摄影机+近红外线(NIR)、RGB+SWIR、RGB+光达(LiDAR)、RGB+雷达等,从而在传感节点上增加了更多智慧,然而,业界厂商对于如何实现融合的意见分歧。有些厂商选择在边缘促进传感器融合,另一些厂商,例如Waymo,则更倾向于在中央处理单元(CPU)上对原始传感数据进行集中融合。

由于欧盟新车安全评鉴协会(Euro NCAP)规定驾驶人监控系统(DMS)必须在2020年之前纳入主要安全标准,因此,在AutoSens大会上,出现了许多新的监控系统,不仅用于监控驾驶人,还能监控乘客和车辆中的其它目标。

其中一个典型的例子是安森美半导体(On Semiconductor)展示的新型RGB-IR图像传感器,整合了Ambarella先进的RGB-IR视频处理SoC和Eyeris的车载场景理解AI软件。

NIR与SWIR

无论是在车内还是在车外,都必须能在黑暗中看清目标,这意味着使用红外线(IR)。

安森美半导体的RGB-IR图像传感器采用NIR技术,另一家参展商TriEye更进一步采用基于短波的红外线(SWIR)摄影机。
20191218-101.jpg
可见光、近红外线与短波红外线(由左而右)。(来源:TriEye)

SWIR的优势之一在于能够在任何天气/照明情况下“看到”物体。更重要的是,SWIR可以提前判断道路的危险状况(例如道路结冰),因为SWIR能够检测由每种材料的化学和物理特性所决定的独特光谱响应。

然而,由于制造SWIR摄影机的砷化铟镓(InGaAs)成本极高,因此大多仅限于军事、科学和航天应用。不过,TriEye声称已找到一种使用CMOS工艺技术设计SWIR的方法。

TriEye首席技术官兼联合创办人Avi Bakal说:“这就是我们所取得的突破。就像半导体一样,我们从一开始就采用CMOS大量制造SWIR摄影机。”相较于价格超过8,000美元的InGaAs传感器,Bakal表示,TriEye摄影机的价格只有“几十美元”。
20191218-102.jpg
SWIR的摄影机拆解。(来源:TriEye)

缺乏标记数据

AI的最大挑战之一在于训练资料不足。更具体来说,是“附加标记的训练数据”(annotated training data)。Magney说,“推论模型的好坏取决于数据及其收集方式。当然,训练数据需要用后设数据(metadata)来附加标签,但这非常耗时。”

在AutoSens大会上,业界热烈讨论 了“生成对抗网络”(GAN)方法。据Magney介绍,GAN是指两个神经网络相互竞争,从而创造新数据。针对特定的训练集,这项技术据称可以学习产生与训练集相同统计特性的新资料。

例如,Drive.ai正利用深度学习来加强标记数据的自动化,从而加速繁琐的数据标记过程。

Koopman在AutoSens大会的演讲中也谈到了准确标记数据的巨大挑战。他怀疑目前很多数据仍然未经标记,因为要能准确地执行这项任务只有少数几家大公司能够负担得起。

参展AutoSens的AI算法新创公司也坦承,向第三方公司支付数据标记的费用的确带来沉重的压力。

GAN是一种途径。但Edge Case Research提出了另一种方法,无需标记所有数据即可加速开发更安全的感知软件。该公司近日推出了一款称为Hologram的工具,提供一个AI感知压力测试和风险分析的系统。Koopman称,Hologram无需标记高达千兆字节(PB)的数据,只需执行两次,就可收集更多数据或做更多训练,以警告哪里有“疑点”,以及哪里“最好回头再检查一番”。

此次大会还提出了另一个议题,如果汽车OEM更换了用于数据训练的摄影机和传感器,将会对于带标记的数据集带来什么影响?

Algolux营销和策略伙伴关系副总裁David Tokic告诉《EE Times》,从事ADAS和AV研发的汽车工程师关注于两件事:一是在各种条件下的稳健感知;其次是准确且可扩展的视觉模型。

目前部署在ADAS或AV中的典型摄影机系统差异很大,不同的镜头(提供不同的视野)、传感器和影像信号处理,提供的参数完全不同。通常一家技术公司会选择一种摄影机系统,收集一个大型数据集,并对其进行标记和训练,以建构适应该摄影机系统的准确神经网络模型。

但是,当OEM更换了原来训练数据所用的摄影机会有什么影响?这一改变可能会影响感知的准确性,因为神经网络模型已经适应原来的摄影机,现在却要处理一组新的原始数据。

OEM是否需要重新训练其数据集?
20191218-103.jpg
Tesla、Waymo、GM/Cruise在其AV中使用了大量摄影机。(来源:Algolux)

针对图像传感器是否可更换,VSI Labs的Magney说:“除非规格相同,否则最好不要更换。例如,在VSI Labs,我们为FLIR红外线热影像仪训练了自己的神经网络,并且收集与我们所部署的热影像仪规格相同的训练影像。之后我们确实曾经更换过传感器,但其规格完全相同。”

不过,Algolux声称开发了一种新方法,可以“在几天之内”转换这些先前创建的数据集。Tokic说,该公司的Atlas摄影机优化套件能够了解“先验数据”——即摄影机和传感器的特性,再将其应用到检测层而实现了这一方法。Tokic说:“我们的使命是让OEM能够自己选择摄影机。”

AI硬件

过去几年来涌现了众多的AI处理器新创公司,掀起了AI浪潮,并引发业界宣称硬件复兴时代已经到来。其中许多AI芯片新创公司将ADAS和AV定为其目标市场。

例如,针对这一新兴的AI加速器市场,Ceva在AutoSens大会上首度亮相其全新AI核心和‘Invite API’。

然而,奇怪的是,除了英伟达(Nvidia)和英特尔(Intel)/Mobileye设计的芯片,以及特斯拉(Tesla)开发仅供内部使用的“全自动驾驶(FSD)计算机”芯片之外,新一代的多功能车辆尚未开始部署新的AI芯片。

另一方面,安森美半导体在AutoSens上发布了RGB+IR摄影机,这表明安森美/Eyeris团队已经选择Ambarella的SoC作为其AI处理器,用于车载监控任务。

Eyeris首席技术官Modar Alaoui坦言,业界通常不会认为Ambarella是一家AI加速器公司,而是传统的视频压缩和计算机视觉芯片业者。他说:“除了Ambarella的CV2AQ SoC,我们找不到其它任何能够支持10个神经网络、功耗低于5W且每秒可撷取30格视频(由6支摄影机用于车内监控)的AI芯片,以执行Eyeris的AI车载监测算法。”Ambarella的芯片由于满足了这些要求而获得青睐,击败了其它所有正在大肆宣传的加速器。

不过,Alaoui希望到明年1月在拉斯韦加斯举行的国际消费电子展(CES)之前,该公司的AI软件可以移植到另外三个硬件平台上。
20191218-104.jpg
安森美、Ambarella和Eyeris展示使用三个RGB-IR摄影机的新型座舱监控系统。(来源:EE Times)

同时,安森美半导体强调,驾驶人和乘客监控应用需要具备“在可变光照的情况——从阳光直射到漆黑一片——均可撷取影像”的能力。该公司称,凭借其出色的NIR响应,“RGB-IR CMOS图像传感器使用3.0µm背照式(BSI)和3重曝光的高动态范围(HDR)技术,可提供全高解析(HD) 1,080p的输出。”这些传感器对于RGB和IR光敏感,可以在日光下撷取彩色影像,并在NIR照明条件下撷取单色IR影像。

超越驾驶人监控系统

Alaoui宣称Eyeris的AI软件可以执行复杂的身体与脸部分析、监控乘客活动并进行目标检测。他补充说:“除了驾驶人监控,Eyeris的AI软件还可以监控车内的一切,包括座椅表面和方向盘”,他强调该公司的进展已经超过Seeing Machines所能成就的性能了。

不过,Seeing Machines欧洲客户方案总监Laurent Emmerich对此难以苟同。他认为:“超越监控驾驶人以外,涵盖在车辆内部的更多目标是一个很自然的发展过程,我们也正朝此目标前进中。”

他补充说,相较于新创公司,Seeing Machines的优势在于,“过去20年累积的AI专业知识为我们的计算机视觉技术奠定了坚实的基础”。目前,Seeing Machines的驾驶人监控系统已经成功被“6家汽车制造商采用,并设计于9种程序中。”

此外,Seeing Machines还开发了自家的硬件——Fovio驾驶人监控芯片。那么,该芯片是否也能用于未来的车载监控系统?Emmerich解释说,该芯片IP将应用于可配置的硬件平台。

冗余

为了提高车辆的感知能力,以及增加冗余以确保安全性,需要将多种不同形式的传感器组装在车辆中。
20191218-105.jpg
Outsight在AutoSens大会上展示传感器融合盒产品。(来源:EE Times)

法国新创公司Outsight在AutoSens上推出一款由多个传感器组成的高整合产品。该公司联合创办人、Whitings前首席技术官Cédric Hutchings解释说,Outsight的传感器融合盒旨在“透过理解提供感知,了解整个环境(包括道路上的冰、雪、油渍等)并按实际情况进行处理。”他补充说,“我们甚至可以采用有效的高光谱传感技术,为路面材料进行分类。”

但Hutchings并未透露Outsight的融合盒中具体采用了哪些公司的传感器,“由于我们还在调整合适的规格参数和应用,目前还无法公开我们的主要合作伙伴。”

《EE Times》在随后与TriEye的讨论中掌握到Outsight可能使用了TriEye的SWIR摄影机,但目前两家公司尚未达成最终协议。

Hutchings解释说,Outsight的传感器融合盒计划于2020年第一季出样给Tier-1供货商和OEM。该产品将作为一个新增的独立系统,为确保安全性和“真冗余”(true redundancy)提供“非关联性数据”。

该融合盒采用不依赖“机器学习”的途径,提供确定的结果以使其“可加以验证”。

另外,Aeye也针对ADAS/AV市场推出其iDAR产品,这是一款融合了HD摄影机的固态MEMS光达。AEye产品管理副总裁Aravind Ratnam表示,透过结合两种传感器并嵌入AI,这款可实时运行的系统能够“解决某些极端情况”。

Aeye解释说,iDAR系统旨在将2D摄影机的画素(RGB)和3D光达数据“立体画素”(XYZ)结合起来,以提供一种新的实时传感器数据类型,从而为AV路径规划系统提供更快速、更准确、更长距离和更智能的信息。
20191218-106.jpg
AEye AE110的产品性能与产业基准比较。(来源:AEye)

Ratnam在简报中提到AEye研究了各种用例,“我们研究了300个场景,挑选了56种合适的用例,并进一步缩减至20个场景。”这20个场景中的摄影机、光达和AI的融合最能发挥作用。

Ratnam展示了这样一种场景:一个小孩忽然不知从哪里窜出来,追着一个球冲到街道中央——正好在一辆车的前面。此时,位于边缘的摄影机融合光达可以更快速作业,从而缩短了车辆的反应时间。他指出:“我们的iDAR平台可提供非常快的计算速度。”

针对边缘传感器融合的优势,Waymo的一位与会工程师表示并不确定是否会有实质性的改变。他并提问:“边缘融合带来的速度提升会达到几微秒的差别吗?我不确定。”

AEye深信iDAR能为Tier-1供货商提供更多附加价值。Ratnam强调:“我们与Hella和LG等主要的合作伙伴密切合作,因而能够大幅降低iDAR的成本,目前我们的3D光达价格已经降低到与ADAS差不多了。”

Ratnam说,在接下来的3到6个月内,AEye将完成嵌入AI的车用级RGB和光达融合系统,而且价格将会“低于1,000美元”。
20191218-107.jpg
车用光达系统出货量。(来源:IHS Markit)

IHS Markit汽车半导体和传感器资深分析师Dexin Chen向与会者表示,光达供货商一直在“过度营销,吹嘘性能。”他指出,“未来可以宣传的是光达带来的物理优势,但能否真正商业化才是决定因素。如今业界更需要的是标准化、联盟和伙伴关系、供应链管理,以及AI合作伙伴。”

(参考原文:6 Trends on ‘Perception’ for ADAS/AV,by Junko Yoshida)

本文同步刊登于电子技术设计杂志2019年12月刊

 

阅读全文,请先
您可能感兴趣
对于电子传感器发展来说,一套特别有趣的概念是神经元的尖峰属性。神经元在每次接受特定刺激时都会产生电位,但并不是立即放电,而是只有在超过阈值时才会放电。神经元也会泄漏,失去膜电位,从而会产生过滤效应:即如果没有新的事情发生,电平会随着时间的推移而下降。
近日,关于复睿微公司解散的消息持续发酵,据职场社交平台脉脉消息,认证信息微复睿微员工的网友爆料称,“复睿微解散了,公司都全没了,好像还发不出N+1……”,后续更新称,“赔偿的N+1还要分期支付……”。分期支付是从2024年2月份开始按季度分期支付,每个季度发放一部分。
合资企业对中国汽车行业的发展功不可没,入驻中国短短十几年,带动一大批国际知名汽车零部件在华投资建厂,在中国境内形成了一个完整的汽车产业链。这些汽车供应链,也是中国自主品牌够顺利发展起来的主要原因。但随着中国自主品牌汽车迅速崛起,以及新能源汽车的“改朝换代”,合资品牌汽车逐渐式微……
华为与长安汽车签署了《投资合作备忘录》,华为拟成立一家新公司,聚焦智能网联汽车的智能驾驶系统及增量部件的研发、生产、销售和服务。继新公司成立后,华为车领域架构也会随之变化,有消息称,华为内部已经开始对员工进行调整,华为车BU员工转岗到该新公司将会获得N+1的补偿,同时可以保留华为内部股份,享有华为分红,员工签字到新公司后还能获得4月个的签字费。
对于一颗车规级大芯片而言,为了确保设计的正确性,必须在生产制造前进行大规模的仿真和验证,而芯片的算力规模越大、集成度越高,仿真验证的过程就会越复杂,设计人员需要更快地实现收敛和验证,来降低成本并提高结果质量。同时,传统的随机/自动测试模式生成(ATPG)方案在故障覆盖率方面已经不能满足实际需求。因此,将 AI 和 EDA 融合是大势所趋。
目前芯擎科技已经实现了国内首款7nm工艺制程高算力智能座舱SoC产品“龍鹰一号”批量量产,一举打破先进制程产品被海外厂商垄断的市场局面。该芯片已首发于2023年领克08车型量产上车,可实现了人脸识别与驾驶行为监控、电子后视镜、自动泊车、行车记录与驾驶辅助提示、虚拟智能助手、安全OTA与车联网等多维度智能座舱应用。
根据TrendForce集邦咨询最新OLED技术及市场发展分析报告统计,在近期发表的摺叠新机中,UTG的市场渗透率已逾九成,随着摺叠手机规模持续成长,预估2023年UTG产值将达3.6亿美元;2024年可望挑战6亿美元。
随着终端及IC客户库存陆续消化至较为健康的水位,及下半年iPhone、Android阵营推出新机等有利因素,带动第三季智能手机、笔电相关零部件急单涌现,但高通胀风险仍在,短期市况依旧不明朗,故此波备货仅以急单方式进行。此外,台积电(TSMC)、三星(Samsung)3nm高价制程贡献营收亦对产值带来正面效益,带动2023年第三季前十大晶圆代工业者产值为282.9亿美元,环比增长7.9%。
治精微推出具过压保护OVP、低功耗、高精度运放ZJA3018
无线技术每天都在拯救生命,有些非常方式是人们意想不到的。在美国加利福尼亚州Scotts Valley,一名路过的慢跑者发现一处住宅冒出火焰后,按响了门铃,试图通知屋主。屋主不在家中,但无线门铃连接到了智能家居中枢,提醒屋主慢跑者试图联系。屋主立即向他提供了安全密码,让他跑进房子,从火场中救出了宠物。
点击左上角“锂电联盟会长”,即可关注!锂离子电池是一种二次电池(充电电池),它主要依靠Li+ 在两个电极之间往返嵌入和脱嵌来工作。随着能源汽车等下游产业不断发展,锂离子电池的生产规模正在不断扩大。本文
近日,Wi-Fi联盟宣布Wi-Fi 7规范将于第一季度末最终确定,为企业采用标准化硬件打开大门。 “基于 IEEE 802.11be 技术的 Wi-Fi CERTIFIED 7 将于 2024 年第一
自从集成电路发明以后,人类的电子信息技术开始腾飞,60年多年来,在摩尔定律的指导下,半导体集成电路的高速发展彻底改变了电子产品。以计算机为例,1946年诞生的世界第一台数字计算机重30吨,占地约140
要点2022 年中国的经济增长不如 2021 年强劲,COVID-19 限制令和持续封锁削弱了中国的经济和制造活动。2022 年,LV 变频器市场增长了 3%,其中大部分增长来自于上一年积压订单的交付
11月9日是主题为“预防为主,生命至上”的第32个全国消防安全日,当天,智能建筑电气技术杂志《IBE Talks》栏目第27期特邀请中国勘察设计协会电气分会副会长、清华大学建筑设计研究院有限公司电气总
一前言随着信息技术和半导体技术的快速发展,电子产品的类型和功能模块日益多样化,对此要求的传输速率也日益提高,在模块集成度多和传输速率提高的背景下,噪声的耦合问题不可避免的日益增多起来。二整改案例今天分
点击左上角“锂电联盟会长”,即可关注!粉尘、水分和毛刺是锂离子电池生产过程中需要严格控制的关键因素。严格控制电池生产环境的粉尘对锂离子电池的安全和性能至关重要。生产环境粉尘控制不足会导致涂层表面产生大
曹原 发自 副驾寺智能车参考 | 公众号 AI4Auto全球第一的 Tier 1,官宣裁员了。博世刚刚证实,准备裁员1500人,以适应汽车行业不断变化的技术和需求。博世发言人表示:我们面临了比年初预期
本文来源:物联传媒“2023‘物联之星’中国物联网行业年度榜单” 评选活动正在火热进行中!为深度挖掘物联网领域的优秀企业、创新产品和优秀项目,审读年度热门领域和发展方向,推动物联网行业的普及与宣传,促
芝能汽车出品11月,我国动力和储能电池合计产量为87.7GWh,实际拆解估算动力电池约为70.7GWh,同比上升11.5%,环比上升8.4%装车量44.9GWh,同比增长31.0%,环比增长14.5%