小米11 Pro/Ultra手机摄像头,主摄所用的CIS(CMOS图像传感器)型号为三星ISOCELL GN2(以下简称GN2)。这颗CIS的厉害之处倒不在于像素数量,而在于1/1.12英寸的整体大小。前年我们首次谈1亿像素摄像头的小米手机时,还在说1/1.33英寸何其之大,如今一转眼都变1/1.12英寸了……

小米11 Pro/Ultra手机摄像头,主摄所用的CIS(CMOS图像传感器)型号为三星ISOCELL GN2(以下简称GN2)。这颗CIS的厉害之处倒不在于像素数量,而在于1/1.12英寸的整体大小。

虽然这款手机发布也有些时日了,不过GN2可能仍是目前应用于手机最大的CIS,大于华为Mate40 Pro/P50系列(前者是索尼IMX700,后者可能是Omnivision OV50A)与近期比较火的拍照手机vivo X70 Pro摄像头主摄(索尼IMX766V)所用的CIS尺寸。索尼IMX766也是如今手机上比较热门的一颗5000万像素CIS,1/1.56英寸虽然也可以说是“大底”,但还是不及三星GN2。

前年我们首次谈1亿像素摄像头的小米手机时,还在说1/1.33英寸何其之大,如今一转眼都变1/1.12英寸了。事实上1/1.12英寸这个尺寸,也已经比9年前的拍照怪兽诺基亚808Pureview还要大了,后者的CIS尺寸是1/1.2英寸——在当时可谓惊掉了一众手机爱好者的下巴。

遥想数码小DC还活跃于世的时候,很多高端数码小DC的CIS尺寸也不过1/1.7英寸。当代索尼黑卡(RX100系列)的CIS也就1英寸——当然这只是图像传感器尺寸的对比;而且1/1.12英寸的CIS与主流微单/单反当然还是无法相提并论。

上面这张图片最早来源已经不大可考(最早可能出自推特或微博),主要表现的是索尼IMX689与三星GN2的尺寸大小。不过这张图的拍摄角度及焦距呈现出的透视效果,让下方的GN2显得更大了。索尼IMX689是去年OPPO Find X2 Pro手机上用的一颗CIS,尺寸为1/1.4英寸——年初在OPPO这款手机发布的时候,大谈IMX689“底大一级压死人”的文章不在少数。不过显然IMX689在GN2面前还是不够看的。

三星在此前的Hot Chips 33大会上,特别谈到了这颗5000万像素的GN2图像传感器。Electronic Engineering Journal选择性地对其作了一些解读。虽然很遗憾并非三星演讲的全部,但将其与我们掌握的一些信息做结合,从中我们也能看到手机摄像头CIS的发展之路。三星在发展思路上和索尼还是有比较大的差异的,前不久我们也探讨了索尼眼中手机摄像头CIS的发展之路。所以理解GN2的特性,也有利于我们从中看清楚CIS的另一种技术发展可能性。

单像素尺寸的另一个方向

前年总结手机摄像头CIS发展之际,我们提到过大方向上,CIS单个像素的尺寸是越来越小的。比如2008年前后,手机CIS单像素大小普遍在1.4μm左右,2011年降至1.12μm,2018年来到了0.9μm;2019年较为大众所知的4800万像素CIS,单像素尺寸达到0.8μm;如今1亿像素CIS的单像素尺寸已经来到了0.7μm。

此前三星LSI公开的CIS路线图显示,2021-2022规划中像素尺寸可缩减至0.56μm/0.64μm。今年的ISSCC 2021之上,三星就有公开其0.64μm像素的paper。今年年中,三星继而宣布其首款0.64μm像素传感器大规模量产,具体是1/2.76英寸的5000万像素JN1;此外今年9月三星推出的ISOCELL HP1——那款2亿像素的图像传感器,用的也是0.64μm尺寸的像素。有兴趣的同学可以去看一看三星0.64μm像素的PPT资料

本文的主角三星GN2的单像素尺寸为1.4μm——这个尺寸与主流手机相比算是比较大的。不过和更偏爱大像素(而非高像素)的iPhone 13 Pro主摄相较,还是略小一点。iPhone 13 Pro主摄的CIS单像素尺寸为1.9μm。当然三星GN2有像素数量方面的优势,分辨率8160x6144总共5000万像素。而且论CIS整个面积,GN2还是绝对的最大。

在面向手机摄像头的CIS方面,看来三星也不是一味地追求小像素,毕竟小像素通常总是面临感光能力和宽容度的问题——而要解决这样的问题,所需花费的技术精力也是相当巨量的。去年的GN1也没有用堆砌上亿像素数量。隔壁索尼主推IMX766大方向也是这个思路,可能表明对手机摄像头CIS而言,单纯做小像素短期内不会成为整体趋势。

三星在Hot Chips上提到,GN2的1.4μm单像素尺寸带来33%的满井容量(full well capacity)提升,即可储存于像素阱的最大电子数量增加,自然也就能带来更大的动态范围。反映到照片上,就是更少的噪声——虽然个人认为其实在手机摄像头这种小尺寸成像系统的量级内,其差别也大不到哪儿去。

对于低光环境,GN2同样可以采用此前已经为众人所知的像素四合一技术,每四个像素当做1个来用,实现暗光环境下2.8μm大像素,达成更大的感光能力。这是一种比较通常的,以牺牲分辨率来提升感光度的方式,隔壁索尼也是这么做的。

另外在像素数量方面,三星也为GN2提供了1亿像素拍摄的选项。三星的官方新闻稿中说,“在1亿像素模式下,GN2会用智能的re-mosaic(重做拜耳排列?)算法重新排列色彩像素,针对绿红蓝,构建三层5000万像素帧的独立层。这些帧随后升格(up-scale)并融合,生成一张1亿像素的照片。”

这个说法还是比较模糊,从描述来看可能仍是某种插值算法。毕竟GN2物理像素量就是5000万,只不过大概这种插值算法更高级一些。

除了像素层,比较值得一提的也在于GN2采用双层die堆叠。其中一层是像素层:即5000万像素所在的die。另外一层die包含了ADC(模数转换器)和图像处理数字电路——这一层采用了28nm工艺。这种堆叠方案当然也不新鲜,在此前索尼CIS堆叠技术文章中,我们就介绍过。

一种奇技淫巧:交错HDR

HDR(高动态范围)如何实现,似乎是当代手机拍照永恒的主题。手机厂商普遍在宣传的“逆光也清晰”,以及夜拍“照亮你的美”,其重要基础一部分就在于HDR:即在拍摄场景光比很大时(如逆光),则需要HDR发挥作用;亮的、暗的,在同一个画面内要兼顾。

比较常见的HDR实现,是在用户一次按下拍照按钮以后,用不同的曝光参数拍摄多张照片,然后将这些照片做堆栈融合。那么场景的亮部和暗部细节都能兼顾。

不过这种方案有个副作用,即拍摄的多张照片毕竟还是在不同时间点进行的,在拍摄运动对象的时候,如果融合算法不到位就会产生模糊或伪像。要减少多张堆栈产生的伪像,方法之一应该是尽可能减少多张照片拍摄之间的间隔。

三星在GN2推出之际,宣布了一种交错HDR(staggered HDR)技术;不是隔行单帧HDR方案。三星方面提到,这项技术依赖于卷帘快门(rolling shutter)特性。今年5月刊的《电子工程专辑》杂志封面故事,我们还特别谈到了CIS厂商在贯彻全局快门(global shutter)方面的趋势。因为卷帘快门的工作方式是CIS逐行像素曝光的,拍摄高速运动物体会有果冻效应。

三星的这种交错HDR,据说是在拍摄一张照片的时间内,以三种不同的曝光方式来实现HDR。具体方法如上图所示。必须基于卷帘快门,首先就是做一次长时间的曝光,随后中等长度时间曝光,最后短曝光——分别对应昏暗、中等和明亮的画面场景,输出后做合成。

在进行长曝光以后,就立刻开始做行输出——即从像素行转往ADC。在长曝光的所有像素行都完整输出以前,传感器就会进行中等长度曝光。这个阶段的曝光,其实在长曝光像素完全输出以前,也已经开始做输出了。短曝光的流程同理。最后GN2的图像处理单元会对照片做融合,生成HDR照片。

此过程中,传感器用虚拟MIPI通道来输出三个曝光过程。传感器针对画面暗部做长曝光,并开始输出走VC0虚拟MIPI通道;后续分别对应VC1和VC2虚拟通道。另外还有个VC3虚拟通道,用于同时发出PDAF生成的自动对焦信息。

异样的PDAF相位对焦双像素

主CIS传感器的PDAF相位对焦,也是这两年手机CIS的热点技术。常规的双像素(dual-pixel)自动对焦,就是把一个像素分成两份。每个像素包含了2个光电二极管,用于成像和对焦。检测双像素影像画面的相位重合时,即认为对上了焦。

此前《iPhone摄像头发展史》文章中,我们曾谈过iPhone作为手机拍照发展颇具代表的存在,PDAF技术在其上就有过对应的演进史。一直到iPhone 11摄像头CIS实现了PDAF对焦像素的100%覆盖。

比较值得一提的是,索尼去年在宣传其2x2 OCL对焦技术——此前我们也介绍过。其实质是每4个像素之上覆盖1个微透镜,所有像素都参与相位对焦。索尼在paper中提过,这种方案在做相位检测时,不仅能够在垂直和水平方向做相位检测,还能进行斜向检测,实现CIS覆盖的十字对焦或米字对焦。

一般来说,相位检测像素的两个光电二极管,如果只是左右排列的,则将无法检测场景中横向线条的相位差——或者说对于包含横向线条的对象,对焦就会成问题。索尼的这种2x2 OCL对焦方案就会显得更具全场景的适用性。

三星想到的解决方案则是,以对角线方向来切分像素,而不再是垂直对半切。上面这张图就是GN2相位检测像素光电二极管的简单演示图。传统方案,是以DTI(深槽隔离)来把相位检测像素一分为二,垂直切分。而GN2则采用偏对角线方向的DTI结构,令其针对横向与纵向线条,都能实现比较高效率的对焦。

下面这张图展示了两者实现可对焦场景方面的差异。显然单纯垂直隔离相位检测子像素的方案,无法针对更多区域做相位差检测——左右像素排列,对于场景中的横向线条,几乎无法在对应光电二极管输出的信号上检测出相位差异。而对角线隔离方法,对焦使用场景就会更多,横向、纵向线条皆可,也算是实现了十字对焦。

当然我们对其实现细节,和制造工艺流程是否造成额外的难度并不了解。三星提到,针对PDAF每个像素都采用两个光电二极管,也就有1亿个相位检测主体参与。在结构上是“不仅垂直切分像素,而且对角线切分像素”,具体在工艺和像素结构上是怎么做的,其实也比较值得研究。另外对低光照环境下的对焦,和运动物体追焦也有提升。

ISO双增益、低功耗实现

有关ISO双增益(dual native ISO)的问题,我们在此前的文章里也已经介绍过了。国内最早做ISO双增益宣传的手机应该是OPPO Find X2,那颗索尼IMX689就应用了这项技术。虽然到目前为止,我们也仍然不怎么清楚手机摄像头CIS实现双增益的方法具体是什么。

三星GN2的每四个像素为一组,有单独的双增益控制开关,可调整两档ISO感光度。对于比较明亮的场景,传感器会让像素的图像信号达到ADC的全输入范围,也就是低ISO模式;对于暗光场景,则切换到高ISO模式,即提高像素增益。

这类方案针对不同的光照场景选择两档原生ISO,三星称其为Smart ISO Pro。“采用iDCG(intra-scene dual conversion gain)解决方案,从高和低ISO读出,获得高动态范围画面,更少受到动态伪像的影响。”看起来也是HDR的组成部分,不知道这一点和前文提到的交错HDR是否做了结合。

“此外,在低光照环境下,Smart ISO Pro能够在高ISO下快速获取和处理多帧,将感光度提升到接近1000000 ISO,将手机夜间成像提升到更高的高度。”感觉这是一个略夸张的表达方式,和如今手机夜景模式常见的多张堆栈的“长曝光”应该是同一个意思。至于ISO 1000000,体现这一点的应该是将晚上拍得像白天也是现在一众手机夜景模式的常见操作......

还有个相关GN2比较值得一提的点是三星宣传中提及GN2的低功耗。针对GN2这颗CIS,三星将ADC的供电电压从2.8V降低到2.2V,实现20%的功率缩减(311mW->244mW)。

不过降供电电压也会降低ADC的输入范围,令其无法接收像素电压的完整范围。为了解决这个问题,三星针对像素die增加了-0.6V的substrate反馈偏压,level shifting输出范围;与此同时,逻辑die这层(也就是28nm die)的ADC电路,所用的晶体管设计作了优化,是一种所谓的低阈值电压晶体管。两者结合,在确保完整曝光范围的情况下,降低了工作功率。

从Yole Developpement公布2020年CIS市场的数据来看,索尼仍然是绝对的第一,占到整个市场的40%。不过三星一定程度缩短了与索尼的距离——虽然幅度还是比较小,从前年的21%上涨到2020年的22%;索尼则下滑了2个百分点。

两者技术上的竞争这两年还是咬得很紧,此前Yole Developpement还专门写了一篇专注于三星的智能手机模块对比报告,强调了其创新性。而CIS的技术发展,自可视作手机拍照进步的一大基石,从这两年手机厂商的宣传就看得出来。

责编:Luffy Liu

本文为EET电子工程专辑原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
阅读全文,请先
您可能感兴趣
图像传感器相当于汽车的眼睛,支持 ADAS 功能,例如车道偏离警告、行人检测和紧急制动。它们帮助汽车系统评估周围环境并监控驾驶员的行为。
2021年是激光雷达“上车”元年。随着智能驾驶技术不断演进,未来几年激光雷达将被各大车企采用。这家具备领先的激光雷达技术优势的德国企业,将要在激光雷达装配率极速上升的“黎明前夜”落幕吗?
过去,蜂窝宽带无法为上述众多用例提供合适解决方案,原因是可用产品耗电过多且不够紧凑。因此上述众多用例的首选技术通常是 Wi-Fi 或蓝牙。尽管这两者现在仍然是蜂窝网络的替代产品,但他们既无法提供 5G 的所有功能和性能,也不能连接到公共网络。随着 5G RedCap(低容量)的发展,这种状况将会发生变化。
在AI算力突破传统成像系统天花板的计算革命下,AI ISP技术也将不断发展,其算力也将越来越强,其产品成本将不可避免的越来越低,拍摄距离也将越来越远,效果也会越来越好。而一直被大众所不理解和诟病的特斯拉的全摄像头视觉技术,或许不久将成为现实。
本文将介绍 USB 3.1 以及第一代与第二代 USB 3.1 之间的差异及两者能给机器视觉开发人员带来的实际益处。 USB Implementers Forum 还针对 USB 3.2 标准发布了相关规范,该标准使 USB 3.1 吞吐量加倍。
机器人已经融入到了我们生活的方方面面,现在酒店、餐饮、娱乐、工业、汽车自动驾驶等各个领域都有机器人在为我们服务。机器人越来越智能,应用场景也越来越多。 6月29日,由Aspencore与深圳市新一代信息通信产业集群联合主办的AIOT 2022国际生态发展大会-智慧机器人分论坛上,毕业于中山大学和荷兰代尔夫特理工大学,曾是光刻巨头ASML光刻过程控制算法的创始团队成员,现任深圳阜时科技有限公司CTO王李冬子先生分享了SPAD芯片在机器人LiDAR领域的应用。
根据TrendForce集邦咨询最新OLED技术及市场发展分析报告统计,在近期发表的摺叠新机中,UTG的市场渗透率已逾九成,随着摺叠手机规模持续成长,预估2023年UTG产值将达3.6亿美元;2024年可望挑战6亿美元。
随着终端及IC客户库存陆续消化至较为健康的水位,及下半年iPhone、Android阵营推出新机等有利因素,带动第三季智能手机、笔电相关零部件急单涌现,但高通胀风险仍在,短期市况依旧不明朗,故此波备货仅以急单方式进行。此外,台积电(TSMC)、三星(Samsung)3nm高价制程贡献营收亦对产值带来正面效益,带动2023年第三季前十大晶圆代工业者产值为282.9亿美元,环比增长7.9%。
治精微推出具过压保护OVP、低功耗、高精度运放ZJA3018
无线技术每天都在拯救生命,有些非常方式是人们意想不到的。在美国加利福尼亚州Scotts Valley,一名路过的慢跑者发现一处住宅冒出火焰后,按响了门铃,试图通知屋主。屋主不在家中,但无线门铃连接到了智能家居中枢,提醒屋主慢跑者试图联系。屋主立即向他提供了安全密码,让他跑进房子,从火场中救出了宠物。
自从集成电路发明以后,人类的电子信息技术开始腾飞,60年多年来,在摩尔定律的指导下,半导体集成电路的高速发展彻底改变了电子产品。以计算机为例,1946年诞生的世界第一台数字计算机重30吨,占地约140
有奖问卷调查:各位工程师朋友,作为全球知名的授权半导体和电子元器件代理商,贸泽电子 Mouser多年来一直倾心为中国工程师服务,助力本土创新! 时至年终,为了更好的服务工程师朋友,我们特别推出“贸泽电
广告分割线12月11日,臻鼎科技集团与协成昌集团(Saha Group)达成了战略合作协议。当晚还举办了“2023庆祝战略合作签约暨鹏晟科技动土典礼晚宴”。本次战略合作协议的签订将进一步促进双方的合作
点击左上角“锂电联盟会长”,即可关注!有需要联系,王经理:18058289318相关阅读:锂离子电池制备材料/压力测试!锂电池自放电测量方法:静态与动态测量法!软包电池关键工艺问题!一文搞懂锂离子电池
广告分割线12月11日,据台媒报道,群创(3481.TW)竹南T1厂员工向媒体爆料,群创竹南T1厂将裁员50%!据报道,群创竹南厂工程师预计将减少一半,在线作业员也预计砍一半。群创今天表示,已于第一时
本文来源:物联传媒本文作者:市大妈前几年,对大部分人来说,FWA是一个比较陌生的领域,尽管早在3G和4G时代就已经得到一定的发展。后来,随着5G的发展,FWA作为当前5G应用量级最大的场景之一,被更多
曹原 发自 副驾寺智能车参考 | 公众号 AI4Auto全球第一的 Tier 1,官宣裁员了。博世刚刚证实,准备裁员1500人,以适应汽车行业不断变化的技术和需求。博世发言人表示:我们面临了比年初预期
点击左上方蓝色“一口Linux”,选择“设为星标”第一时间看干货文章 ☞【干货】嵌入式驱动工程师学习路线☞【干货】一个可以写到简历的基于Linux物联网综合项目☞【干货】Linux嵌入式知识点-思维导
巨头动向腾讯今年回购金额已超过去10年总额12月11日,腾讯公告称,当日耗资约4.03亿港元,回购133万股股份。年初至今,腾讯已经出手113次,累计回购数量约1.28亿股,累计回购金额超过422亿港
近日,懂车帝在漠河举办2023年“懂车帝冬测”活动,问界、小鹏、理想、比亚迪、特斯拉等主流19款新能源车型,进行冬季性能测试。其中,发布的关于在严寒情况下的插电混动车型纯电续航达成率测试结果,其中华为