特斯拉与英伟达方案:如何结局自动驾驶场景中的长尾问题?

谈思汽车 2024-05-23 10:40

 智能汽车安全新媒体 

昨天面试被问到了是否做过长尾相关的问题,所以就想着简单总结一下。

自动驾驶长尾问题是指自动驾驶汽车中的边缘情况,即发生概率较低的可能场景。感知的长尾问题是当前限制单车智能自动驾驶车辆运行设计域的主要原因之一。

自动驾驶的底层架构和大部分技术问题已经被解决,剩下的5%的长尾问题,逐渐成了制约自动驾驶发展的关键。这些问题包括各种零碎的场景、极端的情况和无法预测的人类行为。

01

自动驾驶中的边缘场景

“长尾”是指自动驾驶汽车 (AV) 中的边缘情况,边缘情况是发生概率较低的可能场景。这些罕见的事件因为出现率较低且比较特殊,因此在数据集中经常被遗漏。虽然人类天生擅长处理边缘情况,但人工智能却不是这样。

可能引起边缘场景的因素有:带有突起的卡车或者异形车辆、车辆急转弯、在拥挤的人群中行驶、乱穿马路的行人、极端天气或极差光照条件、打伞的人,人在车后搬箱子、树倒在路中央等等。

例子:

  • 放透明薄膜在车前,透明物体是否可以被识别,车辆是否会减速;

  • 激光雷达公司Aeye就做了一次挑战,自动驾驶如何处理一个漂浮在路中央的气球。L4级无人驾驶汽车往往偏向避免碰撞,在这种情况下,它们会采取规避动作或者踩刹车,来避免不必要的事故。而气球是个软性的物体,可以直接无障碍的通过。

02

解决长尾问题的方法

合成数据是个大概念,而感知数据(nerf, camera/sensor sim)只是其中一个比较出圈的分支。在业界,合成数据在longtail behavior sim早已成为标准答案。合成数据,或者说sparse signal upsampling是解决长尾问题的第一性解法之一。长尾能力是模型泛化能力与数据内含信息量的乘积。

特斯拉解决方案

用合成数据(synthetic data)生成边缘场景来扩充数据集

数据引擎的原理:首先,检测现有模型中的不准确之处,随后将此类案例添加到其单元测试中。它还收集更多类似案例的数据来重新训练模型。这种迭代方法允许它捕获尽可能多的边缘情况。

制作边缘案例的主要挑战是收集和标注边缘情况的成本比较高,再一个就是收集行为有可能非常危险甚至无法实现。

NVIDIA解决方案

NVIDIA 最近提出了一种名为“模仿训练”的战略方法(下图)。在这种方法中,真实世界中的系统故障案例在模拟环境中被重现,然后将它们用作自动驾驶汽车的训练数据。重复此循环,直到模型的性能收敛。

以下真实场景中由于卡车高度过高(上)、车辆凸出部分遮挡后车(下)导致模型输出时车框丢失,成为边缘场景,过NVIDIA改进后的模型可以在此边缘情况下生成正确的边界框:

03

一些思考

1、合成数据是否有价值?

这里的价值分为两种,第一种是测试有效性,即在生成的场景中测试是否能发现探测算法中的一些漏洞,第二种是训练有效性,即生成的场景用于算法的训练是否也能够有效提升性能。

2、如何使用虚拟数据提升性能?虚拟数据真的有必要添加到训练集中去吗?添加进去了是否会产生性能回退?

这些问题都难以回答,于是产生了很多不一样的提高训练精度的方案:

混合训练:在真实数据中添加不同比例的虚拟数据,以求性能提升;

Transfer Learning:使用真实数据预训练好的模型,然后Freeze 某些layer,再添加混合数据进行训练。

Imitation Learning:针对性设计一些模型失误的场景,并由此产生一些数据,进而逐步提升模型的性能,这一点也是非常自然的。在实际的数据采集和模型训练中,也是针对性采集一些补充数据,进而提升性能。

04

一些扩展

为了彻底评估 AI 系统的稳健性,单元测试必须包括一般情况和边缘情况。然而,某些边缘案例可能无法从现有的真实世界数据集中获得。为此,人工智能从业者可以使用合成数据进行测试。

一个例子是ParallelEye-CS,这是一种用于测试自动驾驶汽车视觉智能的合成数据集。与使用真实世界数据相比,创建合成数据的好处是可以对每个图像的场景进行多维度控制。

合成数据将作为生产 AV 模型中边缘情况的可行解决方案。它用边缘案例补充现实世界的数据集,确保 AV 即使在异常事件下也能保持稳健。它也比真实世界的数据更具可扩展性,更不容易出错,并且更便宜。

内容来源:

https://zhuanlan.zhihu.com/p/698142208

-  THE END  -


 专业社群 

因文章部分文字及图片涉及到引用,如有侵权,请及时联系17316577586,我们将删除内容以保证您的权益。

谈思汽车 智能汽车安全新媒体
评论 (0)
  • 反激电源包含原边反激何副边反激,原边反馈动态响应比副边反馈慢,但是相对成本低,无论是原边反馈还是副边反馈由于反激电源电路简单,成本低广泛的用在在电动两轮车Escooter,电动工具,打印机,清洁电器等充电场景,也广泛的应用在电表,家电,新能源等场景作为辅助电源给芯片供电,下面就以无锡明芯微的MX1210E作为例子详细的介绍下一款24v2.5A的一个方案,从该方案来看输入口有NTC防止过流,采用10D561K 的压敏作输入过压保护,有个滤波的0.47uF的X电容并采用分压电阻做X电容放电,串联差模
    王萌 2024-06-21 09:27 237浏览
  • TT电机(直流电机)的功率、电压、电流、瞬间启动电压和电流是其运行的关键参数。这些参数决定了电机的性能和适用场景**。在探讨TT电机的这些特性时,需要综合考虑其电气特性以及启动和运行条件。以下将逐一解析这些关键参数: 1. 功率:    - TT电机的功率通常取决于其设计和应用场景。例如,普通TT电机的额定功率可以在几瓦到几十瓦不等[^4^]。    - 对于不同的TT电机型号,如370电机和310电机,它们的功率输出也会有所不同。例如,370电机通常适
    丙丁先生 2024-06-21 17:18 69浏览
  • 在汽车的复杂电路网络中,仪表网关扮演着信息枢纽的角色。对于驾校使用大众朗逸车主而言,了解仪表网关的位置不仅有助于日常维护,更是故障诊断和车辆升级的关键所在。大众朗逸作为一款深受消费者喜爱的车型,凭借其稳定的性能和经济的油耗赢得了广泛的市场认可。然而,即便是这样一款优秀的车型,在驾校使用过程中也难免会遇到一些技术问题,这时候对仪表网关的了解就显得尤为重要。18年后的大众,网关都是标配,直接从OBD通过CAN监听是没有数据报文对外发出的,不是没有,而是避开诊断请求,这个后边说。朗逸CAN总线技术的引
    lauguo2013 2024-06-21 08:18 76浏览
  • 随着汽车电子技术的发展,车辆上配备了越来越多的电子装置,这些设备多采用点对点的方式通信,这也导致了车内存在庞大的线束。造成汽车制造和安装的困难并进一步降低汽车的配置空间。因此,汽车总线逐步开始向网络化方向发展。在此背景下,CAN(Controller Area Network)总线应运而生,以其高可靠性和灵活性,成为汽车通信系统中不可或缺的一部分,承载着车辆控制、监控和诊断等关键任务。一、技术演进:从CAN到CAN FD随着技术的持续发展,传统的CAN总线在数据传输速率和带宽上逐渐显现出局限性。
    康谋 2024-06-20 13:55 73浏览
  • 电脑显示器已逐渐成为现代人时常会接触到的3C产品,能带给消费者愉快的视听娱乐,不管是看电影、追剧、听音乐放松心情,或是玩一场紧张刺激的电竞游戏。忙碌之余,能够偶尔享受闲暇时光,也是一种释放。 您是否也曾遇过,在享受电影或游戏的过程当中,显示器带给我们的影像和声音突然出现不协调的情况呢?这就像是两者间没有互相搭配好,节奏步调变得不一样!这种情况我们称为「影音延迟」或「影音不同步」。 当这类问题持续发生时,无法好好享受电影或者追剧,会让人心情烦躁。对于电竞玩家来说更是硬伤,除了分心、受干扰外,更
    百佳泰测试实验室 2024-06-20 15:55 105浏览
  • 随着时代的飞速发展,新能源汽车以其绿色环保、能效高等特点在全球范围内迅速普及。然而,伴随着这一进程的不断推进,我们不得不面对一个前所未有的现实——新能源汽车的第一波动力系统已步入了报废的爆发期。积尽六年繁华,不过弹指刹那,2024,标志着新能源汽车生命周期管理的新阶段,对于整个行业乃至社会的影响深远且复杂。新能源汽车的推广始于对传统燃油车引起的环境问题的担忧和对可再生能源利用的追求。经过多年的发展,早期的电动车电池技术已经难以满足当前的需求,电池寿命终结成为用户面临的直接问题。随之而来的,是大量
    lauguo2013 2024-06-20 14:23 78浏览
  •  经过近几年的618大促之后,如今的618已经被默认的低价竞争给包围了。随着低价竞争的持续蔓延,曾经积极参与其中的一些品牌商,态度也从积极转为消极;各种被“忽悠”的消费者,也在想着法逃离电商平台设置的套路。与此同时,不甘心被大主播绑架的电商平台,与胃口不断加大的头部主播,开始展开极限拉扯。以往热闹的618,如今变成了各路参与者的围城,渴望进去的不停向里面张望,渴望出来的则变着法地希望,跳出618这个牢笼。虚假繁荣背后的暗流涌动在直播电商红利之下,抖音、淘宝、京东、唯品会等各路平台,在直
    刘旷 2024-06-21 09:58 98浏览
  • ​Raspberry Pi 已在伦敦证券交易所上市,股票代码为 Raspberry Pi Holdings plc。这是 Raspberry Pi 的分水岭,也是发展新阶段的开始:进入公开市场将使树莓派能够更快地制造出更多我们喜爱的产品。Raspberry Pi 基金会在首次公开募股中筹得的资金将支持其在第二个十年中影响全球的雄心壮志;有关首次公开募股对基金会意味着什么的更多信息,请点击这里查看菲利普的博文。博文地址:https://www.raspberrypi.org/blog/what-w
    树莓派开发者 2024-06-20 15:15 85浏览
  • Matter是连接标准联盟(CSA)所推出的统一连接标准,旨在让不同品牌的智能装置可以互通互联。并且支持包含Wi-Fi、Ethernet、Thread和Bluetooth等多种连接协议。 随着Matter被广泛运用于智能家居生态圈,目前Apple Homekit、Amazon Alexa、Google Home和Samsung SmartThings等智能语音助理都已支持Matter。然而,要是网络服务供货商的网络突然断线了,家里的智能装置是否还能正常操作?还是必需连接到外部网络才能控制智能装
    百佳泰测试实验室 2024-06-20 15:40 113浏览
  • ​在为期三天的上海国际嵌入式展会中,树莓派和上海晶珩一起展示了众多的基于树莓派和CODESYS的解决方案,没去过展会现场的小伙伴千万别错过这篇文章!视频地址:https://www.bilibili.com/video/BV1c1421k7ne/?vd_source=a637ced2b66f15709d16fcbaceeb47a9这个基于Raspberry Pi 5的嵌入式系统解决方案集成了16个EtherCAT总线控制的步进电机,旨在实现高性能的多轴运动控制。Raspberry Pi 5作为核
    树莓派开发者 2024-06-21 14:29 73浏览
  • 随着科技的进步不断更迭,电子设备的传输速度越来越快,时至今日对于高速传输带宽的要求也愈来愈高。印刷电路板(PCB,以下简称PCB) 在高速传输接口中扮演不可或缺的角色,其高频特性直接影响了整体传输效能。高频特性是指PCB在高频率下的电气性能,包括阻抗、插入损耗、回波损耗、群延迟等。这些参数会影响信号的传输速度、完整性和可靠性。 PCB潜在风险 你知道吗?如果PCB的高频特性不佳时,可能会导致以下问题: 信号传输速度变慢信号衰减增加信号反射增加信号失真 这些问题都会影响电子设备的性能,甚至
    百佳泰测试实验室 2024-06-20 16:05 114浏览
  • 1. 版权保护芯片RJGT102介绍为了防止硬件电路与固件被抄袭,核心在于加密芯片和安全解决方案的设计,目前大多MPU并不具备安全防护功能,所以最好的办法是使用一颗专用的加密芯片,通过加密芯片对接MPU,进行认证,授权,保存关键数据等。RJGT102采用了SHA256对称加密算法,256位的大数加密, 加密算法强度高。每片RJGT102都有唯一的客户编码,非常适合做防抄板,防抄软件,管控工厂生产数量,防止方案外泄等。参与SHA256运算的数据为:8字节Key(可动态更换),8
    万象奥科 2024-06-20 17:37 64浏览
  • GPIO的功率、电压和电流取决于具体的GPIO类型和配置。 GPIO(General Purpose Input/Output)通用型输入输出端口,是一种多功能的电子接口,广泛应用于微控制器、微处理器以及各种电子设备中,用于读取或输出信号。理解GPIO的功率、电压和电流的相关特性是进行电子电路设计和编程的基础。这些参数决定了GPIO端口能安全处理的电量,以及它与其他电子组件交互时的兼容性。 从电压角度来看,GPIO端口通常设计有一定的耐压限度,这意味着它们可以安全地在特定的电压范围内工作。例
    丙丁先生 2024-06-21 17:43 78浏览
  • 站上风口,交付量狂飙,装机量翻番……是什么让LiDAR再次“翻红”? 一波三折。如果要用一个词形容近两年的激光雷达市场,恐怕它最为合适。人类纪元,2022年。开启量产元年的车载激光雷达,一度风光无限。当时OEM厂商对激光雷达关键指标提升的需求仿佛“军备竞赛”。加速批量上车,进一步控制成本,将其控制在500美元左右……那一年,产业链上下游众志成城,万众一心。转眼到了2023年,车企在面向ADAS和自动驾驶的感知技术上逐渐分化成两派,纯视觉路线的落地以及价格战带来的降本压力,让很多车企出现
    艾迈斯欧司朗 2024-06-21 17:10 72浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦