汽车正在变得越来越智能,但是如果汽车行业要实现完全自动驾驶的目标,他们还有很长的路要走。尽管业界还在讨论实现全自动化所需的理想技术组合,但是有一点是明确的,那就是人工智能,尤其是神经网络将发挥重要作用。

汽车行业是推动人工智能(AI)发展的重要行业之一,这是因为该行业致力于自动驾驶汽车和高级驾驶员辅助系统(ADAS)的泛在利益。

汽车正在变得越来越智能,但是如果汽车行业要实现完全自动驾驶的目标,他们还有很长的路要走。尽管业界还在讨论实现全自动化所需的理想技术组合,但是有一点是明确的,那就是人工智能,尤其是神经网络将发挥重要作用。

神经网络

神经网络的作用是执行对于传统视觉或模式识别系统来说具有挑战性的任务。通过使每个神经网络各自不同,并针对特定任务进行设计,它可以更高效、更精确地执行任务。

所有神经网络的组织模式都是在多个层面上多次处理数据。因此,神经网络可以在不同的输入模式下运行十到二十次,而不是用一组特定的参数只运行一次操作。这个想法是,通过所有这些不同的路径,选择的数量就会增加。当到了需要做出决策的时候,它已经从输入中提取了所有的信息。

在路标识别的示例中,第一层可能正在寻找一个标识的角形状,然后是颜色等各个步骤执行下去,直到它可以非常确信地说这是一个路标并说明其含义。这样做的好处在于无需对每一个步骤都进行编程,神经网络将会自己完成,并且随着时间的推移而不断学习。该算法知道它需要识别的内容,并将尝试不同的方法,直到实现目标,并在过程中不断学习。一旦神经网络在经过培训之后,它便可以在实际应用中发挥作用。这意味着工程师不必花费数小时来微调复杂的算法,他们只需向神经网络展示它需要发现的内容并让其自学完成。

这些技术已经在车辆中被广泛用于目标检测、分类和分析,而驾驶员监测、访问控制以及语音和手势识别也可以利用不同类型的神经网络。此外,将传统视觉与神经网络相结合的人工智能方法,可用于行人路径分析和环绕视图等应用场景,它将同时依赖于图形处理器(GPU)和神经网络加速器(NNA)。

在从传感器到电子控制单元(ECU)整个链路中也可以使用神经网络,在预处理、中间处理和后处理中使用的各种技术将人工智能引入了其中。

此外,车联网(V2X)技术正在开发中,该技术将主要使用自动驾驶汽车作为传感载体,为各种智慧城市和智慧交通场景提供数据和信息。同样,这些进展将依赖于采用GPU和NNA的方法实现人工智能,以支持来自越来越大的输入集的各种分析和计算。

传感器融合

自动驾驶和高度自动化的车辆将严重依赖各种类型的传感器,包括摄像头、热成像、雷达、激光雷达(LiDAR)等。所有这些传感器传出的信号都需要进行解读和融合,以便全面了解车辆内部和外部发生的情况。

传感器融合对于自动驾驶至关重要,它将涉及到GPU和神经网络以及机器学习和人工智能的结合。

车辆内部传感器融合的一个很好的示例是驾驶员监测。在当今的车辆中,各种各样的传感器都能够检测到驾驶员是否注意力不集中。神经网络可以分析拍摄到的驾驶员图像,以判断他或她是否在睡觉、处于疲倦状态、注意力不集中,甚至通过移动设备讲话或发信息。这对于早期的自动驾驶车辆来说是至关重要的信息,因为它可能需要驾驶员在某些时候重新控制车辆,因为汽车需要知道驾驶员是否处于合适的状态才能这样做。

驾驶员监测是如何工作的?对准驾驶员面部的摄像头为分析面部元素(尤其是眼睛)的算法提供了输入。是睁着眼睛还是闭着眼睛?如果是闭着眼睛,闭眼多长时间?眼神是否飘忽不定?驾驶员正在看向哪里?

研究整个面部可以确定驾驶员是生气还是悲伤。如果是愤怒,系统会建议驾驶员先靠边停车并冷静下来,然后再继续行驶。

所有这些都是基于构建一个面部图像,提取关键点并使用神经网络提取情绪、注视时间等来判断驾驶员的精神状态。

在未来的两三年内,驾驶员监测可能会成为必须从欧洲新车评估计划(NCAP)和美国国家高速公路通行安全管理局(NHTSA)获得批准的一项要求,因此驾驶员监测会成为汽车制造商必须要实施的技术,不仅要适用于高端汽车,还要适用于所有车辆。

自动驾驶的等级

美国汽车工程师学会(SAE)和美国高速公路交通安全管理局已将自动驾驶汽车的能力分为六个等级。基本上,等级0完全没有自动化,而在等级1中,汽车将为驾驶员提供一些帮助。等级2具有更多的驾驶辅助功能,甚至可以自主执行一些任务,例如自动紧急制动以避免碰撞。

等级3是一个棘手的问题,虽然汽车是自动驾驶,但驾驶员必须随时准备驾驶车辆。驾驶员监测将是等级3自动驾驶的关键,因为驾驶员必须做好干预的准备,并且在一定程度上,车辆有责任确保驾驶员做好准备。

在等级4中,即使驾驶员可以接手车辆驾驶,但从理论上讲,车辆也可以处理它所处现场的所有情况。等级5的车辆将实现全自动化,没有方向盘和踏板。

车辆自动驾驶性能每提高一个级别,所需的计算性能就会增加大约十倍。这就是为什么神经网络很重要的原因,因为它们可以在非常低的功耗下提供这种性能。

目标检测

以一个行人为例,汽车的车载摄像头和传感器可以记录行人是在行走或站立;神经网络可被用于绘制行人可能要走的路线,并计算车辆是否需要减速或快速制动。神经网络还可以观察同一幅图像并对其进行分割,从中挑选出其他物体,并应用目标识别技术来判断出它们是否代表了车辆需要注意的东西。所有这些都必须把车辆的位置以及它想要去的地方纳入考虑之中,如果车辆正在倒车,并检测到在车辆后面有一个小孩,就需要迅速处理并进行刹车。要做到这一点,就需要人工智能和神经网络来查看那里是否有物体存在,并对其进行识别认出是一个孩子,然后向执行器或驾驶员发送一个信号,以采取措施。

由于摄像头通常会带有某种鱼眼镜头,因此这将使其变得更加复杂。这会产生一张变形的图片,需要先矫正然后进行解读。来自这个设备以及其他传感器的输入需要结合起来,从而在瞬间做出决策。

数据处理

与此同时,来自汽车周围的其他信息也源源不断地被送达,包括来自于所有传感器的以及从其他车辆或基础设施通过无线通信接收到的信息。这是一个巨大的数据量,可能在太字节(terabyte)范围内。

ECU将遍布汽车各处,并根据数据做出决策。这可能会涉及到100个或者更多的ECU。业界正在使用一些方法来研究如何用更少的ECU和更多的计算能力来实现这一点。摄像头或传感器旁边的嵌入式人工智能可以做出一些决定,从而减少车辆需要传递的信息。

这意味着需要不同等级的处理方式。数据可以在捕获点进行预处理,例如拉直鱼眼镜头的图像。中间处理可能包括各种已计划的任务、目标识别、决策制定等。之后可以进行后处理,当信息可以被清理整齐并显示在屏幕上时,让驾驶员就知道正在发生什么或已经发生了什么。

应用

这些数据处理技术也被用于创建当前正在开发的应用,以在车内创建虚拟环视车身支撑柱。在此用例中,将在支撑柱(连接车顶和车身的支撑柱)上安装摄像头来捕获车外发生的事情。支撑柱的内部将提供一个显示器,以显示这些摄像头正在捕获的内容,从而为驾驶员提供一个不间断的视场。

这个过程非常难以实现。系统必须了解驾驶员正在查看的另一侧是什么情景。图片将需要修正变形并放置在不平整或弯曲的表面上,然后重新变形到支撑柱的轮廓上。

尽管这一进步是未来的趋势,但一些高端车辆已经提供了环绕视图系统,并且它们很快将应用于中档和入门级车辆。GPU被用于分析遍布车辆周围的各个摄像头所捕获的图像(通常有四个或五个摄像头),并将图像拼接在一起。根据拼接的图像,神经网络将执行目标检测和路径预测,以查看这些目标是否有可能拦挡车辆的路径。

信息娱乐和导航

在车载信息娱乐系统(IVI)和导航方面,GPU也起着重要作用。它们还参与语音控制,这很可能成为人与车之间的关键接口。因此,对于卫星导航系统来说,驾驶员不必操作按钮和键盘来输入目的地,而是只需说出邮政编码或街道名字,然后就可要求系统绘制出路线。

仪表盘将被连接到外部摄像头,以用于路标识别等操作。如果摄像头捕捉到一个限速的标志,该标志可以在有效的时间内显示在驾驶员面前;如果汽车超过限速,就会发出声响警告。

实际上,整个仪表显示区将使用GPU进行图像渲染和信息优先级排序。如果系统确定驾驶员需要了解一些关键信息,该信息可能会从仪表显示区中弹出,甚至可以投射到挡风玻璃上。挡风玻璃上的图像也可以被用作导航系统的一部分,向驾驶员显示正确的转弯方向或说明汽车在即将到来的路口需要驶入哪条车道。

后视镜的换代是另一个主要的、潜在的发展方向。一些新型汽车已经在开发中,其上的后视镜已被可显示来自不同摄像头视图的屏幕取代。与传统的后视镜一样,除了显示车后发生的情况之外,它们还可被用于盲点检测。在此,神经网络可以向驾驶员发出关于有关其无法看到的汽车的警告,并自动阻止汽车变道进入另一辆汽车的路线。

智慧城市

世界各国的各地政府正在朝着一个长期目标迈进,那就是让智慧城市拥有自动驾驶和高度自动化的车辆,并将其集成到覆盖整个城镇或城市的智能交通系统中。

其背后的理念是,所有的城市服务和规划工作都是相互协调和联系的,以便让市民获得更多的信息,让城市生活更愉快,更重要的是更加健康。为实现这一目标,减少污染和交通拥堵至关重要。

智能交通系统将控制整个城市的交通基础设施。该基础设施将与车辆进行通信,交通信号灯和车辆也将相互通信,并将收集到的数据发送回去。

这方面的一个实例就是控制交通信号灯,使车辆畅通无阻地以最佳速度通过一个区域。如果紧急服务车辆需要快速驶入,则可以使用这些相同的交通信号灯来阻止其他道路使用者,并为他们创建一条安全的道路。

如果一地发生交通堵塞,车辆可以将此信息传递给基础设施;反过来,基础设施又可以通知其他车辆远离该区域,这样就不会增加问题的严重性,以便交通堵塞可以被更快地被清除。这甚至可以被用于城市以外的地方,例如在高速公路的入口匝道上。如果系统已经从反向行驶的汽车中获悉了备用信息,它可以在驾驶员驶入高速公路之前对其发出警告,从而使他们能够考虑其他路线。

为了实现这一目标,城市将需要有一个中央智能枢纽,该中枢可以处理传入的信息并计算哪些数据要发送给其他车辆或交通信号灯。这只有在结合了神经网络、人工智能、机器学习和先进算法之后才能实现。

结论

NHTSA的研究发现:高度自动化的车辆将比由人类驾驶的车辆更加安全,94%的事故是由人为失误造成的。基于AI的技术在响应能力和识别需要快速响应的威胁方面已经优于人类驾驶。

为了实现这些车辆所需的处理能力,将需要NNA和GPU配合使用。随着汽车行业转向全自动驾驶汽车,计算能力将需要被大幅提升,NNA将应需而扮演重要角色。据估计,一辆等级5自动驾驶汽车需要的计算能力是等级1自动驾驶汽车的10,000倍。

这是处理性能的极大提高,但也必须在一个给定的功耗预算内完成。一个神经网络加速器(NNA)的性能已经是中央处理器(CPU)的100到800倍,而其成品封装却比CPU大小小很多。一辆车可能有一个很大的CPU,同时还有许多NNA遍布于车辆各处,并以比同样遍布车辆各处的CPU低得多的功耗和更高的性能来执行各种任务。

Imagination Technologies提供了GPU和NNA硅知识产权(IP)。其应用在数字仪表盘中的技术比任何竞争对手都要多,并且公司在先进驾驶员辅助系统(ADAS)和自动驾驶汽车市场中也处于领先地位。赋能自动驾驶汽车实用化所需的所有要素都将取决于这些技术,而这些技术成为现实只是时间问题。

责编:Yvonne Geng

阅读全文,请先
您可能感兴趣
早在十多年前,电动汽车就已经引入400V电池系统,现在我们看到行业正在向800V系统迁移,主要是为了支持直流快速充电。随着电压的提高和从400V系统中学到的经验教训,设计人员现在正专注于增强高压保护电路的性能并提高可靠性。他们正在重新评估使用熔丝、接触器或继电器的现有解决方案,以寻找响应速度更快、稳健性更强且可靠性更高的解决方案,如热熔丝和电子熔丝(即E-Fuse)。
对于工程师来说,当不同的工程有不同的电池充电需求时,设计使用可充电电池并为消费者提供出色充电体验的应用可能具有挑战性。如果对每个应用使用专用的电池充电器,会增加设计时间,因为您必须重新设计、调试和重新鉴定每个新电路。
自ChatGPT带火AI以来,AI芯片得到了空前的发展,十月底高通发布了基于Arm架构的带有AI算力的骁龙X Elite芯片。刚刚,Arm宣布将在2024年推出Cortex-M52芯片,为低功耗物联网设备带来AI加速功能。
因应人工智能(AI)等应用对于更高效能计算的需求,以及小芯片(chiplet)异质整合架构的挑战,英特尔(Intel)打造可用于下一代先进封装的玻璃(Glass Core)衬底...
由于电子器件的频率和性能不断提高,要求与之匹配的二极管必须具备恢复时间短,反向恢复电流小和软恢复等特点。而快恢复二极管(FRD)因具备上述特点而被广泛应用。本文简要介绍快恢复二极管的反向恢复过程,及基于TCAD软件工具采取一系列方法优化恢复二极管的反向恢复,使其能够实现快速而软的恢复。
音频产品具有独特性质,这意味着将给工程师带来特殊的测试挑战。那么,如何通过评估使音频产品能够输出“最佳”声音?本文详论了主客观评估之间的巨大差异,给出了音频测试的层次结构、客观测试性能指标、以及客观评估测试技巧。并强调,音频产品开发无论是哪个阶段,都必须为测试留出超出常规想象的时间预算。
根据TrendForce集邦咨询最新OLED技术及市场发展分析报告统计,在近期发表的摺叠新机中,UTG的市场渗透率已逾九成,随着摺叠手机规模持续成长,预估2023年UTG产值将达3.6亿美元;2024年可望挑战6亿美元。
随着终端及IC客户库存陆续消化至较为健康的水位,及下半年iPhone、Android阵营推出新机等有利因素,带动第三季智能手机、笔电相关零部件急单涌现,但高通胀风险仍在,短期市况依旧不明朗,故此波备货仅以急单方式进行。此外,台积电(TSMC)、三星(Samsung)3nm高价制程贡献营收亦对产值带来正面效益,带动2023年第三季前十大晶圆代工业者产值为282.9亿美元,环比增长7.9%。
治精微推出具过压保护OVP、低功耗、高精度运放ZJA3018
无线技术每天都在拯救生命,有些非常方式是人们意想不到的。在美国加利福尼亚州Scotts Valley,一名路过的慢跑者发现一处住宅冒出火焰后,按响了门铃,试图通知屋主。屋主不在家中,但无线门铃连接到了智能家居中枢,提醒屋主慢跑者试图联系。屋主立即向他提供了安全密码,让他跑进房子,从火场中救出了宠物。
作者:Jackie Gao,AMD工程师;来源:AMD开发者社区前言当FPGA开发者需要做RTL和C/C++联合仿真的时候,一些常用的方法包括使用MicroBlaze软核,或者使用QEMU仿真ZYNQ
点击左上角“锂电联盟会长”,即可关注!锂离子电池是一种二次电池(充电电池),它主要依靠Li+ 在两个电极之间往返嵌入和脱嵌来工作。随着能源汽车等下游产业不断发展,锂离子电池的生产规模正在不断扩大。本文
相信每个硬件工程师应该都用过DC-DC,那么分压反馈电阻的取值有没有想过呢?实际应用中大抵都是直接抄的手册中推荐的分压电阻阻值,就算没有正好对应输出电压的分压阻值,也一般是选择接近的电阻大小。但是,总
注:各大公司财政年度的起始时间不同于自然年,因此会出现财政季度、年度等与自然年不一致的情况。软件微软(Microsoft)公布截至2023年9月30日的2024财年第一财季业绩。第一财季营收为565.
EETOP编译自electronicdesign1.任何计算引擎,无论是CPU、GPU、FPGA还是定制ASIC,都可以加速GenAI不对。CPU 不具备完成任务的性能。GPU 具有标称性能,但效率较
11月9日是主题为“预防为主,生命至上”的第32个全国消防安全日,当天,智能建筑电气技术杂志《IBE Talks》栏目第27期特邀请中国勘察设计协会电气分会副会长、清华大学建筑设计研究院有限公司电气总
有奖问卷调查:各位工程师朋友,作为全球知名的授权半导体和电子元器件代理商,贸泽电子 Mouser多年来一直倾心为中国工程师服务,助力本土创新! 时至年终,为了更好的服务工程师朋友,我们特别推出“贸泽电
为加强智慧应急能力建设,以新安全格局服务新发展格局,由中国科学院大学、全国安全职业教育教学指导委员会共同主办的“2023智慧应急发展论坛”于2023年12月10日在京召开。本次论坛主题是“加强智慧应急
点击左上角“锂电联盟会长”,即可关注!粉尘、水分和毛刺是锂离子电池生产过程中需要严格控制的关键因素。严格控制电池生产环境的粉尘对锂离子电池的安全和性能至关重要。生产环境粉尘控制不足会导致涂层表面产生大
 /记得星标我/比大部分人早一步看见未来乡村振兴,产业兴旺是重点。今年是加快建设农业强国的起步之年,在陕西,陕西移动依托自身信息技术优势,在电子商务、养殖业、农业等方面注智赋能,推动特色产业稳步发展,