广告

摩尔定律停滞,1亿像素之外,摄像头CIS走向何方?

时间:2021-08-16 作者:黄烨锋 阅读:
1亿像素摄像头普及的基础主要是把像素做小,这一点我们此前无数次提到过。如果形象地打比方,像素尺寸微缩有摩尔定律的功劳,那么显然在单像素尺寸0.7μm/0.8μm这个节点上,时代还是有所停留的,所以手机摄像头也没有很快奔着2亿、3亿像素去……
广告
EETC https://www.eet-china.com

这个标题还是有哗众取宠之嫌,不过大众对于CIS(CMOS图像传感器)技术进化认知,应该主要就是分辨率——或者说像素数量的提升了。谁家手机摄像头1亿、2亿像素了,感觉就比4400万照亮我的美听起来霸气。

1亿像素摄像头普及的基础主要是把像素做小,这一点我们此前无数次提到过。如果形象地打比方,像素尺寸微缩有摩尔定律的功劳,那么显然在单像素尺寸0.7μm/0.8μm这个节点上,时代还是有所停留的,所以手机摄像头也没有很快奔着2亿、3亿像素去——当然CIS这类器件可不是像素越小越好的。不过我们玩笑地说当“摩尔定律停滞”,CIS的技术进步又靠什么?应该是3D堆叠吧,就跟半导体行业的more than Moore那样(当然这只是个形象的比方)…… 

似乎从索尼对大众科普BSI背照式CIS(尤其在iPhone 4首次采用BSI CIS后),以及三星这些年大肆宣传CIS的单像素尺寸以来,CIS这类器件的技术发展就得到了更多人的关注。除了要用手机拍出好照片,安防、汽车、工业领域对机器视觉技术的需求,也成为CIS技术发展的推力。

上面这张图是索尼在IEICE ESS Fundamentals Review发布的一篇paper中出现的(Evolving Image Sensor Architecture through Stacking Devices)。这是索尼眼中,CMOS图像传感器堆叠结构的变化和展望,不管是什么意思吧,都感觉叠层越来越多。

这篇paper从大方向总结了这些年CIS的结构发展。虽然大部分内容都是老调重弹了,而且主要是从索尼的角度来看堆栈式CIS结构进化,但它仍具有总结技术发展的价值——或可作为各位读者深入研究的导读索引。

本文部分参考索尼发布的这份paper,另外也期望对我们过往CIS技术介绍做个总结:可能有些略偏手机应用(毕竟这是索尼主场)。另外,本文探讨的主要是CIS堆栈结构的进化,不涉及像素微缩、DTI、PDAF等像素结构变化;且本文不涉及摄像头的其他光学系统设计,如镜头或更大外延:比如最近比较火的手机屏下摄像头(Camera Under Panel)。

背照式和堆栈式CIS技术背景

对CIS有了解的读者对于“背照式(BSI)”和“堆栈式(Stacked,亦有译作堆叠式、层积式的)”这两个词应该都不会陌生。iPhone 4、iPhone 5s的摄像头较早应用背照式CIS和堆栈式CIS,也把这俩技术的科普推向高潮。

对于背照式和堆栈式技术,这里做个简单的科普。CIS上的像素就一口口井一样。在工艺还没那么成熟的时候,前照式(FSI)CIS是主流。一般CIS上每个像素从外界获得光,光则会被光电二极管转为输出信号。

来源:Omnivision

早年的FSI结构下,入射光在抵达光电二极管之前,还需要穿过金属线路。入射光照在这些连线上还可能发生反射,造成效率损失。BSI也就是从金属连线的背面,获得入射光——或者说把金属连线移到像素后面,如上图所示。

此前我们特别探讨过BSI结构的价值,它实际不仅提升了像素的感光效率,而且有利于像素做小——BSI可认为是当今手机摄像头做到1亿像素的基础。

BSI之后,随之而来的就是堆栈式(stacked)技术。堆栈式CIS是把原本与像素处于同一平面的逻辑电路移到下方的substrate上。这样也就实现了图像传感器进一步的小型化(或者更准确的说,是像素的进一步小型化)。

从这个时候开始,CIS就至少分成了像素层和逻辑芯片层两层。这两层堆栈结构要互联,常规方案自然就是用TSV(硅通孔)了(图3)。不过索尼比较早开始应用Cu-Cu铜铜hybrid bonding互联,这一点我们此前也没在文章里少谈过。Cu-Cu互联实现了多点连接,而且两层芯片是更直接的连接。索尼在paper中提到,Cu-Cu互联“让3μm的bonding键合间距成为可能”。其实3μm就当代单像素尺寸而言,也不算是特别小的值,但相比TSV已经是极大进步了。

要实现高速拍摄,叠了3

事实上,在像素层和逻辑层分开以后,当代CIS的这两层也经常采用不同的制造工艺,甚至不同的foundry厂来制造。比如iPhone 6的堆栈式CIS,逻辑芯片层是台积电造的,而像素层就来自索尼。图像传感器的3D堆叠,事实上实现了器件小型化,制造弹性化,以及功能的持续丰富化——比如后文会谈到的融入边缘计算。

3D堆栈结构带来比较早期的一个红利是,实现高速拍摄——比如现在某些手机摄像头支持960fps 1080p帧率的摄影功能,意即每秒要拍摄960张画面。这和CIS的3D堆栈结构是分不开的。

这类高速CIS的一个特点是并行ADC(模数转换)。列并行ADC(column-parallel ADC)应该是比较早就在做市场宣传的。在CIS上以列并行的方式,将每个像素的模拟信号输出转为数字信号——这个过程自然是越快越好。

堆栈式结构在此间是可以发挥作用的。一般ADC电路必须以低噪声、高速运行,要求低阻接触。像素阵列通常需要3-4层金属互联;但如果要搞高度集成的ADC,则就要用到大约10层的金属互联。像素与逻辑电路两者用的工艺,因此就需要做各种权衡。

如果采用堆栈式结构的话:如上面这张图展示堆叠结构中,下层包含了双列ADC(Double Column ADCs),上层是像素层。这一例中,像素层用90nm传感器工艺制造,常规的4层互联;下层则用65nm逻辑工艺,7层互联。相比于早前一体的结构,上下层就不需要考虑那么多工艺优化等问题。

值得一提的是,这一例用到的是WoW(Wafer-on-Wafer)堆栈工艺,就是从wafer层面将两者叠起来。另外还有一种CoC(Chip-on-Chip,或者而应该也可以叫Die-on-Die)的工艺。这两者的应用场景有差别。WoW堆叠工艺要求上下两层芯片尺寸一致;CoC则在堆叠选择上相对灵活——当前CoC在生产效率方面应该不及WoW。不过索尼认为随着CIS复杂性提升,CoC的高自由度可能令其重要性逐渐增加。

上面这张图展示的是CoC堆叠,逻辑芯片层和像素层以40μm间距的micro-bump连接。值得一提的是,这张图的例子是35mm全画幅图像传感器,似乎堆栈结构已经是大底相机实现高速拍摄特性的基本保证。

双列ADC的价值在于,可同时读出两行像素,做模数转换——回看图5的例子中,实现的是120fps高速拍摄。与此同时,用这样的CIS来拍摄一般的60fps视频,则一个像素信号给到2个ADC,还能实现降噪(paper中有大致提到降噪实现方法)。这种并行ADC方案因此就实现了高速拍摄或降噪——这部分红利也是由堆栈技术带来的。

而在列并行ADC之外,实现更高速的拍摄之路上,行业的既有方案是继续做堆叠。所以就有了现在也不算少见的3层堆叠CIS:其中一层是DRAM存储层,典型如上面这张图那样。DRAM层叠在中间,上层和下层分别是像素层和逻辑电路层——这是索尼的方案。

这一例的3层都通过TSV连接。像素输出信号有两级TSV连接到逻辑电路层。逻辑电路层把转换后的数字图像数据,传到DRAM芯片层做存储。DRAM层作为一个临时存储区,能够加速像素读出扫描,进一步实现高速拍摄。索尼展示的这个例子,实现从DRAM到图像处理器200MHz 512bit总线连接,102Gbps带宽;这是960fps 1080p高速拍摄的基础。这个数据量放在以前,应该是不可想象的。

来源:TechInsights

其实比较早做DRAM堆叠的应该是三星,不过三星在方案上并不是将DRAM置于中间夹层,而是以倒装的方式将DRAM层放在像素层和逻辑电路层后方,然后用一个高厚径比的TSV贯穿连接——这种方案会相对暴力一些。Galaxy S10的摄像头就已经在用这种方案。这一点我们在过去的多篇文章里也都提到过。

像素级并行带来的结构进化

其实我们在此前的文章里也不止一次提过,叠层间的互联要从TSV转往Cu-Cu互联——前文也提到了,这可能也是索尼要宣传自己在这方面的技术上领先于三星的重要课题。而Cu-Cu互联要发展的就是将互联间距逐渐缩小,最终目标是小到像素级别的尺寸。

前面就提到了ADC并行还限制在“行”这个单位上。如果Cu-Cu互联间距小到像素级别,实现全像素的并行:像素并行电路结构,直接连接到逻辑芯片上就成为目标了。索尼此前宣布的所谓第五代BSI CIS就是像素级别互联,实现全像素并行ADC。

不过最早可追溯像素级并行ADC技术的,应该是奥林巴斯在2013年就发布的。索尼和Omnivision是于2018年发布同类技术的。索尼着眼的是用这项技术来继续提升高速摄影的速度,而Omnivision倾向于用该技术提升HDR表现。

上面这张图是2018年的一篇paper中出现的146万像素图像传感器,单像素尺寸6.9μm。从结构不难发现,每个像素都通过Cu-Cu互联连接到光电二极管下方的逻辑芯片。所有的像素同时实现模数转换。这一例中,ADC与像素一一对应,下层逻辑芯片的其他外围电路部分就放在了外面——下层逻辑芯片就比上层像素层要大。

这种全像素同时ADC并行,也就从根本上实现了“全局快门(global shutter)”——全局快门这个词这两年在工业、交通、汽车领域出现频次还是挺高的。电子工程专辑7月刊封面故事还特别提到车载摄像头在这方面的需求(虽然现阶段全局快门实现的方法不止一种)。

像素级并行ADC的价值还包括:对于列并行ADC而言,每次AC转换需要在10μs以内完成,而像素级并行ADC即便用数百μs,也能确保高帧率。所以后者运行电流数量级相较低很多,能够缓解其峰值电流需求大的问题。索尼认为其总体能够实现图像传感器的功耗下降。

事实上,这种像素级互联方案是有商用的例子的,只不过比较偏门,就是我们这两年谈的比较多的基于事件(event-based)的视觉传感器。这个领域内比较活跃的Prophesee公司这两年和索尼合作一起推了产品,主要应用了索尼的BSI+3D堆叠方案,实现了基于事件的传感器的像素小型化。这类传感器和传统CIS的原理差别还是比较大的,不过这不是本文要谈的重点,这里就不再深入探讨了。

来源:Prophesee

基于事件的CIS是比较典型的像素并行数字转换结构,索尼的Cu-Cu互联技术对于Prophesee而言是个比较大的突破。尤其是这类传感器有着相对复杂的像素电路结构,采用Cu-Cu互联来做堆叠,对于基于事件的CIS获得相对较高的分辨率还是有相当的价值的。Prophesee的这一代传感器单像素尺寸为4.86μm——这种尺寸应该也是现在Cu-Cu互联得以应用的关键,毕竟它还是比现在市场上活跃的传统CIS小至0.7μm的量级大了不少的。

再叠一层AI芯片

随CV(计算机视觉)的发展,以及更多行业对于CV的需求,CIS固然变得很重要;另一方面则在于AI也变得很重要。所以这两年不少见到图像传感器厂商为其CIS产品融入AI算力的新闻,索尼、思特威都是其中的先行者。

Yole Developpement此前也预言过,在CV发展的大背景下,图像传感器制造商的角色在发生变化。索尼去年5月推出过两款“智能视觉传感器”IMX500/501,就是把CIS和可做边缘AI处理的CNN卷积神经网络加速器(DSP)做融合。当然这是面向工业界的,而非消费电子产品。

这类方案的思路是,为CIS加入一定的AI边缘算力,在像素层拍完画面以后,立刻就能由AI处理器做计算,降低数据处理时延和功耗。因为以前这些数据都是传往主处理器做数据处理的。

索尼在paper中提到,这种“智能图像传感器”融入了ISP、CNN加速器、DRAM,叠层位于像素层下方(应该不是在原有3层基础上再叠一层,而是有个比较完整的逻辑芯片层)。整个CIS会输出的元数据(metadata)就可以是对象识别的结果了,似乎AI inference的识别精度也挺高,如下图。

这其中肯定是找来了其他合作伙伴的,此前思特威就在搞类似的SmartSensor AI智能传感器芯片平台,拉更多合作伙伴加入。2019年思特威就提过研发下一代AI视觉传感器平台芯片,准备将智能化计算引入到传感器端。

半导体技术对CIS的推进

其实说摩尔定律推动CIS技术进步,这话也是一点都没错的,虽然这并非全部。除了像像素尺寸微缩这类时代发展的变化,BSI、堆栈式、像素级并行ADC、再网上堆这些技术的达成,无一没有半导体行业技术发展的功劳。

再回看一下文首的那张图,是不是感觉已经能看懂了?这本身也的确是这些年,CIS的技术演进方向。不过它只是索尼眼中的布局,或许在三星看来,像素尺寸的进一步微缩也势在必行。这就不是本文要探讨的内容了。不过CIS技术与应用需求的进步,都在推动堆栈式CIS技术“堆”出更优的组合。

最后值得一提的是,索尼的paper其实还提到了用于测距(ToF)的图像传感器,比如SPAD这类做光子计数的图像传感器(毕竟索尼也给苹果造LiDAR用的传感器嘛)——索尼认为光子技术图像传感器是真正的数字转换技术,不仅能够无视读出噪声(readout noise),而且HDR闪瞎钛合金眼。

“SPAD光子计数图像传感器有希望成为最终的数字成像架构,尽管目前还存在着像素数量、高功耗的挑战。”我们此前探讨ToF的文章多少也涉足到了SPAD传感器,不过并未仔细研究过——未来可在这方面做更深入的探讨。

ReferenceYusuke OIKE, “Evolving Image Sensor Architecture through Stacking Devices”, IEICE Fundamentals Review Vol.15, No.1, https://doi.org/10.1587/essfr.15.1_5

责编:Luffy Liu

EETC https://www.eet-china.com
本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
黄烨锋
欧阳洋葱,编辑、上海记者,专注成像、移动与半导体,热爱理论技术研究。
  • 面向物联网应用的十大智能传感器技术趋势 本文简要介绍传感器与智能传感器的对比,并列举面向物联网应用的十大智能传感器技术趋势,包括:智能可穿戴、智能家居、智慧城市、智能交通、智能电网、智能楼宇、智慧农业、智慧医疗、环境监测和智能制造。
  • TWS耳机规格正快速提升改进,主动降噪受重视 TWS产品的重量和电池容量通常是关键的规格参数,降噪和智能辅助功能越来越成为产品的差异化因素。然而,随着差异化功能的增加,耳塞和充电盒的重量也在增加。同时,电池容量和材料的改进也提高了TWS产品的重量。
  • 中国工程师最喜欢的10大CMOS图像传感器芯片 为了让工程师朋友对全球和中国CMOS图像传感器市场及产品有更为完整的了解,ASPENCORE旗下《电子工程专辑》分析师团队分别从5大国际CIS厂商的产品系列中挑选5款CIS芯片,又从5家国产CIS厂商产品系列中挑选5款有代表性的CIS芯片。欢迎大家通过微信投票评选出“中国工程师最喜欢的10大CMOS图像传感器芯片”。
  • 人工智能物联网(AIoT)是什么?这些技术与应用从中获益 AIoT 正在发展新的应用和用例,并将帮助 IoT 发挥其最大潜力。 AIoT 可应用于智能城市、工业自动化、医疗、农业和智能家居等各种市场。我们将持续看到更多将人工智能纳入物联网终端的应用,越来越多的制造商将把人工智能作为重要的投资领域。
  • 驶入第二个百年!艾迈斯欧司朗中国首秀公布新战略 在迈入第二个百年“加速区”之际,艾迈斯欧司朗的战略定位,就是通过大胆投资颠覆性创新技术和持续转型,实现一流的盈利能力和增长,成为无可争议的光学解决方案全球领导者。
  • 此疫绵绵无绝期,穿戴医疗正当时 消费或是医疗性穿戴式产品有各种不同的外观,其中,可以化身为更多“型态”的穿戴式生物传感器要让普罗大众进一步接受,仍有其挑战存在。其中最大的挑战为低功耗与高分辨率芯片设计技术、医疗法规认证的设计考虑、传输接口的稳定设备、软件服务的确效要求、产品设计的医疗规范。
  • 新款iPad Pro 2021成最受欢迎的 由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
  • 三星折叠屏手机Galaxy Z Fold 3 目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。

  • 重磅新品| 纳芯微推出车规LIN收发 纳芯微(NOVOSNS)推出了全新通用车规LIN收发器芯片---NCA1021,可广泛适用于汽车电子子系统的总线接口设计,如电动门锁,电动窗,电动座椅,电动后视镜,玻璃刮水器,座椅加热器等模块,具有线间干扰小,线束少,传输距离长,成本低等优点。
  • 猎豹移动2021年Q3财报:AI和其他收入 本季度猎豹移动持续提升运营效率,Non-GAAP营业总成本及费用同比下降47.4%。其中互联网业务环比扭亏为盈,实现Non-GAAP营业利润180万元。截止到2021年9月30日,公司持有的现金及现金等价物、受限资金及短期投资18.53亿元,长期投资24.23亿元。
  • 祝感恩节快乐! if (!window.__second_open__) { document.getElementById('js_image_desc').inne
  • AWS也在用的实时视频转码方案 行业挑战实时转码是视频流分发最为重要的阶段之一。此时实时视频流进入网络,为大规模分发做准备。这一转码过程不仅需要快速进行,同时还要保持高画质。AWS 拥有大量处理电视网络视频转码工作负载的客
  • Xilinx Adapt 中国站开发者Vivado专场正式启动! 随着赛灵思芯片产品复杂性的增加,使用这些高级功能的设计也随之变得更加复杂,更多的团队成员需要参与到设计过程中。IP Integrator 使设计团队能够通过 Block Design Containe
  • 中国上市公司ESG排行榜【10月】 来源 | 阿尔法工场ESG在10月份的ESG榜单中,海尔智家、迈瑞医疗、万科、用友网络、华海药业、辉隆股份继续位居行业第一,而中国太保、宇通客车、伊利股份、工商银行重新登上行业榜首
  • 从学单片机到完成一个智能小车都需要掌握哪些知识? 你点击蓝字关注,回复“入门资料”获取单片机入门到高级开挂教程文 | 无际(微信:603311638)个人原创 | 第 137 篇全文约2084字,阅读大约需要&
  • 写软件帮抢TI芯片要6.8万!啥业务啊有矿吗? 最近有读者向芯世相反映,芯片大厂TI(德州仪器)官网到了一批货,不过紧缺的芯片仍然难抢,听说有人写软件帮抢,竟然需要6.8万元的费用。芯片原厂如今纷纷玩转线上购买,颇高的直销比例让TI把现货(芯片)掌
  • ​GE解体了,多元化公司都不值得投资了吗? 作者 |  icefighter来源 | 天玑情报局 多元化战略也是需要随着环境变化不断演进的。看到一篇文章讨论美国通用电气这个工业巨头的解
  • 国科微、新华三等12家中企被美国列入实体清单! 11月24日,美国商务部工业与安全局宣布将27个实体和个人列入所谓“军事最终用户”清单,包括12家中企!根据美国商务部网站,中企名单包括:国科微电子、新华三半导体技术、嘉兆科技、杭州中科微电子、合肥微
  • 秦淮数据:超级IDC出海  海外征战,不是轻轻松松、敲锣打鼓就能实现的,而是核心能力出海的过程和结果。近期,随着在美股上市的国内主要互联网和科技类公司陆续披露三季报,投资者开始显露失望情绪——阿里本季度营收扣除合并高
  • 势头强劲!TCL通讯第三季度智能手机和平板电脑出货量显著增长 (香港2021年11月25日,美通社消息)国际数据公司(IDC)近期发布的全球智能设备季度追踪报告显示,TCL通讯在第三季度势头强劲,智能手机和平板电脑产品的市场份额均有明显提升。TCL通讯的智能手机
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了