在手机、监控和汽车电子化等高度发达的今天,我们每个人都会拥有数个甚至十数个摄像头,摄像头的主要核心芯片是CMOS图像传感器。CMOS图像传感器的发展从二十多年前开始爆发到现在,每年的增长非常大,到2021年总规模约210亿美元。其中,随着新能源电动汽车的发展,车载领域的CMOS市场发展尤其突出。据统计,2021年全球车载摄像头出货量超过2亿颗,比上一年增长15%,2022年比去年又会增长20%以上。但是,车载CMOS领域也有一定的门槛、技术和挑战。

在手机、监控和汽车电子化等高度发达的今天,我们每个人都会拥有数个甚至十数个摄像头,摄像头的主要核心芯片是CMOS图像传感器。CMOS图像传感器的发展从二十多年前开始爆发到现在,每年的增长非常大,到2021年总规模约210亿美元。其中,随着新能源电动汽车的发展,车载领域的CMOS市场发展尤其突出。据统计,2021年全球车载摄像头出货量超过2亿颗,比上一年增长15%,2022年比去年又会增长20%以上。但是,车载CMOS领域也有一定的门槛、技术和挑战。

由跨国媒体AspenCore于2022年11月10日举办的2022国际集成电路展览会暨研讨会(IIC Shenzhen)上,思特威技术副总裁、技术研究院院长胡文阁先生分享了CMOS图像传感器在智能汽车领域方面的应用。

胡文阁(Mike Hu先生,毕业于北京大学,后在美国科罗拉多大学获得硕士学位,于1999年初开始CMOS图像传感器芯片的研发工作。2004年初回国参与了BYD微电子公司的创建,时任总工程师并兼管CMOS图像传感器产品部,带领团队先后成功开发出多款图像传感器芯片,产品技术处于国内前沿。2012年胡先生创立了深圳安芯微电子Allchip),率领团队成功开发了十多款车载CMOS单片成像传感器,集光电传感、图像信号处理及视频编码和传输多功能于一体,在同轴模拟视频格式(CVBS)的成像芯片领域都达到了国际先进水平,产品广泛应用于车载后视摄像头、电子门铃和探伤窥镜等小型监控设备。2020年加入思特威,任技术副总裁,负责思特威研发团队的管理并兼管深圳研发中心的工作。

CIS服务车载智能视觉应用主要分三类,一类是影像类的,包括后视和360°环视以及流媒体方面。第二类是感知方面,包括ADAS或者智能驾驶方面的应用,最重要的是前视和侧视。第三类是舱内In-cabin应用,主要是驾驶员的监控,乘客监控,以及行车记录仪DVR。

目前的高端智能汽车上,每辆车搭载的摄像头数量达到15颗以上。

影像类的应用,主要是后视和360°环视。它需要的数量是1颗到4颗,环视需要4颗。像素是100万到300万范围。流媒体应用主要是后视镜,很多后视镜和侧视镜的视频都会在一个大屏幕上显示出来,供驾驶员参考。这些方面对传感器的要求,主要是全程彩色,功耗要求比较低。

第一类:影像类CMOS

但是,当前车载CMOS具有挑战的是感知方面的应用,包括ADAS或者智能驾驶方面,其中前视是要求最高的,现在有单目、双目或者多目集中。分辨率从200万到800万像素,甚至在朝12MP和15MP高像素方面发展。

第二类:感知类CMOS

感知类CMOS必须有足够的分辨率,并且使用不同的镜头。有的用3颗来测距,不同的焦距测不同距离的场景。譬如对信号灯的识别、物体和车道的识别等场景都不相同,这些在自动驾驶方面非常关键。

另外侧视方面,一般有四个摄像头,因为距离比较小,分辨率要求较低,只需2MP-3MP。但是不同的场景有不同的要求,譬如以前普通的摄像机拍摄的图像视频有可能曝光时间覆盖不了LED刷屏的整个周期,导致拍出来的LED指示牌残缺不全。针对这种情况,思特威开发了一种LED闪烁抑制技术应用到感知系统。

此外还有HDR方面,行车过程中光线非常复杂,比如隧道很暗,外面有阳光就会很亮,这样对CMOS传感器就要求一个出色的HDR功能。

第三类是驾驶座舱内In-cabin应用,包括DMS、OMS、DVR。

DMS是对驾驶员状态进行监控,比如打瞌睡或者眼神不对,它就会提醒,所以现在驾驶员监控CMOS的装车量比较多。OMS(乘客监控)主要用在大巴和校车上。DVR行车记录仪一般需要前视、后视1-2颗,像素在2-8MP范围。

随着CMOS传感器的大量应用,汽车的智能化进程中,催生了传感器和AI人工智能进一步融合的需求。

现在的智能驾驶,车和它周边的车及路边设备之间的通信会越来越多,包括车以及车内各种各样的传感器,比如超声波、雷达、激光雷达、毫米波雷达等等,需要一个深度融合的过程,因此对智能汽车算力的要求越来越高。特别是基于视觉的智能驾驶,它的摄像头数量可以多至十几个,它的视频数据量非常大,加上分辨率要求非常高,因此对算力要求提出了很大的挑战。

“智能汽车目前趋向于往单车计算方向发展,一方面由云计算转移到车内计算,另一方面是转移到传感器中的计算。”胡文先生对智能汽车算力发展发表了的看法传感器与CMOS自己的图象处理,以及AI智能算法方面结合在一起,原始视频的数据就不需要传输,可以减少延时,也减少了中央计算平台的负荷,成本和功耗方面都会更趋向于平衡。”

基于这种方向和趋势,思特威顺势而为成立了新晋事业部:汽车芯片部,致力于车规级CMOS图像传感器技术的精进。

汽车芯片部的关键技术主要有夜视性能提升(LL)、动态范围提升(HDR),以及AEC-Q100&ISO26262 车规认证,同时在功耗方面保障降低功耗提升性能。

此外还有上面提到的LED闪烁抑制技术:LFS技术。

有了LED闪烁抑制技术,LED灯指示牌或者读秒(红绿灯剩多少秒)等会看得很清楚,而不至于残缺不全。

在ISP方面,思特威也在进一步精进。通过实际视频可以看到,LFS闪烁抑制打开之后,LED闪烁灯就能正常工作。否则LED字符显示就残缺不全。

思特威车规级CIS产品的夜视全彩图像显示能够非常通透,即使特别亮也能看得很清楚。

宽动态方面,思特威用的是PixGain HDR,在车辆的行进过程中拍摄不会有拖尾现象。

与车载宽动态不同,手机上是通过拍摄三四张图片合在一起进行处理:用短曝光时间拍亮的地方,长曝光拍暗的地方,合在一起得到宽动态。在车上却不能这样做,因为在拍摄过程中车辆已经移动,所以肯定有拖尾现象思特威的PixGain HDR技术,就是在像素里提供两种模式同时,还加了针对LED灯特殊的像素。这样,几个传感器同时拍摄然后把不同的信息叠加在一起,得到有LED抑制功能又能把明暗区分显示宽动态效果,这样才能适合车上使用

目前思特威车规级图像传感器有8款产品。

思特威八款车规级CMOS图像传感器

其中影像类5款,从100万像素到320万像素,大部分都有ISP及图像处理功能。感知类现在量产的是有200万像素,同时有300万、500万、800万的产品已经在内部测试其功能安全、可靠性验证等。舱内应用有800万和200万象素的产品。此外,还在做一个驾驶员监控产品,用全局曝光的技术,这是从工业类产品过来的。

思特威业绩

思特威2021年的销售额和销售量都上升到了世界第四,国内第二,在全球车载市场已经取得了很大的突破。

目前思特威有员工500多人,这还不包括生产测试人员。研发总部在上海,在北京、深圳、美国硅谷都有研发中心。其他几大城市都有客服、技术支持以及联络中心。

责编:Challey
本文为EET电子工程专辑原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 万向碰撞传感器的车况态势感知监控,也很重要
阅读全文,请先
您可能感兴趣
联发科已经连续8个季度在全球智能手机芯片组市场份额第一了。不过尽管面对多家机构预测智能手机和PC市场需求疲软的消极消息,高端玩家对还是能保持增长。比如看看高通和苹果......
不过,高通要在PC端芯片上走“苹果路线”也并不容易,产品性能提升只是一方面,还要考验系统、生态的融合能力,就目前与Arm的纠葛,就让其“不胜其烦”。
清华大学集成电路学院唐建石副教授课题组设计出了具备全模拟计算能力的DM-RC系统,其核心是由24个动态忆阻器(DM)构成的储备池层以及由2048个非易失性忆阻器(NVM)构成的读出层。DM-RC系统中每个动态忆阻器都构成一个物理节点,通过时分复用机制(Mask)能够产生丰富的储备池状态。
11月24日,OPPO正式发布Reno9系列等新品,新机型搭载第一代骁龙8+ 移动平台与自研马里亚纳MariSilicon X 芯片,可选择16GB内存与512GB存储版本。人像计算摄影的时代,拍人失真不自然最大的问题就是画面信息不够、计算不足。为此,OPPO Reno9系列的人像算法升级为双芯人像计算引擎……
目前三星3nm工艺的代工价格没有相关的信息,如果按照台积电与三星之间在4nm工艺上2倍良率的差距来计算,那么三星3纳米芯片成本将翻倍,达到4万美元!这如此高成本压力之下,三星3纳米芯片将毫无竞争力。
Intel面向PC的独立显卡发布也有一段时间了,高层级的体验内容看多了,或许我们应该关注一下Intel Arc显卡微观层面的细节表现。上个月,Chips and Cheese对Arc A770做了个microbenchmarking,我们援引其中的部分数据,来更具体地看看Intel的Arc初代独显,究竟做得怎么样。
德州仪器首席执行官Rich Templeton当选SIA副主席
由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
思特威重磅推出8.3MP车规级图像传感器新品——SC850AT。新品采用思特威创新的SmartClarity®-2成像技术架构以及升级的自研Raw域算法,结合先进的SFCPixel®、PixGain HDR®专利技术、LFS技术等,带来四大维度的性能提升,包括高分辨率、高感度、140dB高动态范围、以及出色的LED闪烁抑制性能。
VOA300单端输出可直接连接放大器或模数转换器,汽车级器件,采用单端输出,数据传输速率达1.4 MHz,确保人员和车辆安全。
射频美学学习01群本射频学习打造为社群学习,会员模式,前100名优惠价198元,后期每人298元。首期两个月突破100+成员,还犹豫个啥?我们提供良好的射频学习平台,预计三年之内,打造国内最大的线上射
聚焦汽车科技,剖析产业趋势和变革浪潮————————前段时间小鹏汽车是否要做增程车型,被讨论得沸沸扬扬;不管小鹏做不做,越来越多的车企加入开发增程或者有计划开发增程的队伍。● 国内第一个进入增程领域的
本次讲解以一个13.2W电源为例输入:AC90~264V输出:3.3V/4A原理图:变压器是整个电源供应器的重要核心,所以变压器的计算及验证是很重要的。决定变压器的材质及尺寸:依据变压器计算公式决定一
对于平常日用的一些产品,产品在进行设计时就会考虑这个问题,客户只是简单的利用插头进行电源的连接,所以一般采用反插错接头,这是种简单,低价而有效的方法。但是,对于产品处于工厂生产阶段,可能不便采用防差错
点击上方名片关注了解更多1单端信号单端信号是相对于差分信号而言的,单端输入指信号有一个参考端和一个信号端构成,参考端一般为地端。2差分信号差分传输是一种信号传输的技术,区别于传统的一根信号线一根地线的
大厂在汽车云上抢什么?来源:科技新知作者丨樟稻  编辑丨伊页从“上云”到“造车”,大厂的边界突围战如火如荼,如今第三轮更加聚焦的“汽车云”竞赛,再次刺激着业内人士的神经。就在近日,腾讯宣布与上汽子公司
集微网消息,据集微咨询统计显示,2022年10月半导体行业发生超50起融资事件,融资总规模或超50亿元。融资情况与9月相比,10月融资事件有所减少,融资规模减半;在前10个月中,10月融资事件数量与融
日本PCWatch网站日前发文,提到了低价CPU逐渐消失的问题,他们指的是100美元内的CPU,也就是国内700元内的,这部分是很多入门级CPU的选择,以往是奔腾、赛扬及AMD速龙的主战场。导致低端C
2020年底,CentOS社区按下“停止键”,官宣CentOS Linux 8和CentOS Linux 7分别于2021年底和2024年底停止服务。这意味着受CentOS停服影响的用户将无法得到来自
2022年已经接近尾声,3nm制程的竞争似乎也进入到了白热化阶段,台积电和三星谁先真正实现3nm制程的量产,一直都是产业的焦点。虽然需要用到3nm芯片的厂商少之又少,但这并不妨碍它是巨头争相追逐的对象