小米11 Pro/Ultra手机摄像头,主摄所用的CIS(CMOS图像传感器)型号为三星ISOCELL GN2(以下简称GN2)。这颗CIS的厉害之处倒不在于像素数量,而在于1/1.12英寸的整体大小。前年我们首次谈1亿像素摄像头的小米手机时,还在说1/1.33英寸何其之大,如今一转眼都变1/1.12英寸了……

小米11 Pro/Ultra手机摄像头,主摄所用的CIS(CMOS图像传感器)型号为三星ISOCELL GN2(以下简称GN2)。这颗CIS的厉害之处倒不在于像素数量,而在于1/1.12英寸的整体大小。

虽然这款手机发布也有些时日了,不过GN2可能仍是目前应用于手机最大的CIS,大于华为Mate40 Pro/P50系列(前者是索尼IMX700,后者可能是Omnivision OV50A)与近期比较火的拍照手机vivo X70 Pro摄像头主摄(索尼IMX766V)所用的CIS尺寸。索尼IMX766也是如今手机上比较热门的一颗5000万像素CIS,1/1.56英寸虽然也可以说是“大底”,但还是不及三星GN2。

前年我们首次谈1亿像素摄像头的小米手机时,还在说1/1.33英寸何其之大,如今一转眼都变1/1.12英寸了。事实上1/1.12英寸这个尺寸,也已经比9年前的拍照怪兽诺基亚808Pureview还要大了,后者的CIS尺寸是1/1.2英寸——在当时可谓惊掉了一众手机爱好者的下巴。

遥想数码小DC还活跃于世的时候,很多高端数码小DC的CIS尺寸也不过1/1.7英寸。当代索尼黑卡(RX100系列)的CIS也就1英寸——当然这只是图像传感器尺寸的对比;而且1/1.12英寸的CIS与主流微单/单反当然还是无法相提并论。

上面这张图片最早来源已经不大可考(最早可能出自推特或微博),主要表现的是索尼IMX689与三星GN2的尺寸大小。不过这张图的拍摄角度及焦距呈现出的透视效果,让下方的GN2显得更大了。索尼IMX689是去年OPPO Find X2 Pro手机上用的一颗CIS,尺寸为1/1.4英寸——年初在OPPO这款手机发布的时候,大谈IMX689“底大一级压死人”的文章不在少数。不过显然IMX689在GN2面前还是不够看的。

三星在此前的Hot Chips 33大会上,特别谈到了这颗5000万像素的GN2图像传感器。Electronic Engineering Journal选择性地对其作了一些解读。虽然很遗憾并非三星演讲的全部,但将其与我们掌握的一些信息做结合,从中我们也能看到手机摄像头CIS的发展之路。三星在发展思路上和索尼还是有比较大的差异的,前不久我们也探讨了索尼眼中手机摄像头CIS的发展之路。所以理解GN2的特性,也有利于我们从中看清楚CIS的另一种技术发展可能性。

单像素尺寸的另一个方向

前年总结手机摄像头CIS发展之际,我们提到过大方向上,CIS单个像素的尺寸是越来越小的。比如2008年前后,手机CIS单像素大小普遍在1.4μm左右,2011年降至1.12μm,2018年来到了0.9μm;2019年较为大众所知的4800万像素CIS,单像素尺寸达到0.8μm;如今1亿像素CIS的单像素尺寸已经来到了0.7μm。

此前三星LSI公开的CIS路线图显示,2021-2022规划中像素尺寸可缩减至0.56μm/0.64μm。今年的ISSCC 2021之上,三星就有公开其0.64μm像素的paper。今年年中,三星继而宣布其首款0.64μm像素传感器大规模量产,具体是1/2.76英寸的5000万像素JN1;此外今年9月三星推出的ISOCELL HP1——那款2亿像素的图像传感器,用的也是0.64μm尺寸的像素。有兴趣的同学可以去看一看三星0.64μm像素的PPT资料

本文的主角三星GN2的单像素尺寸为1.4μm——这个尺寸与主流手机相比算是比较大的。不过和更偏爱大像素(而非高像素)的iPhone 13 Pro主摄相较,还是略小一点。iPhone 13 Pro主摄的CIS单像素尺寸为1.9μm。当然三星GN2有像素数量方面的优势,分辨率8160x6144总共5000万像素。而且论CIS整个面积,GN2还是绝对的最大。

在面向手机摄像头的CIS方面,看来三星也不是一味地追求小像素,毕竟小像素通常总是面临感光能力和宽容度的问题——而要解决这样的问题,所需花费的技术精力也是相当巨量的。去年的GN1也没有用堆砌上亿像素数量。隔壁索尼主推IMX766大方向也是这个思路,可能表明对手机摄像头CIS而言,单纯做小像素短期内不会成为整体趋势。

三星在Hot Chips上提到,GN2的1.4μm单像素尺寸带来33%的满井容量(full well capacity)提升,即可储存于像素阱的最大电子数量增加,自然也就能带来更大的动态范围。反映到照片上,就是更少的噪声——虽然个人认为其实在手机摄像头这种小尺寸成像系统的量级内,其差别也大不到哪儿去。

对于低光环境,GN2同样可以采用此前已经为众人所知的像素四合一技术,每四个像素当做1个来用,实现暗光环境下2.8μm大像素,达成更大的感光能力。这是一种比较通常的,以牺牲分辨率来提升感光度的方式,隔壁索尼也是这么做的。

另外在像素数量方面,三星也为GN2提供了1亿像素拍摄的选项。三星的官方新闻稿中说,“在1亿像素模式下,GN2会用智能的re-mosaic(重做拜耳排列?)算法重新排列色彩像素,针对绿红蓝,构建三层5000万像素帧的独立层。这些帧随后升格(up-scale)并融合,生成一张1亿像素的照片。”

这个说法还是比较模糊,从描述来看可能仍是某种插值算法。毕竟GN2物理像素量就是5000万,只不过大概这种插值算法更高级一些。

除了像素层,比较值得一提的也在于GN2采用双层die堆叠。其中一层是像素层:即5000万像素所在的die。另外一层die包含了ADC(模数转换器)和图像处理数字电路——这一层采用了28nm工艺。这种堆叠方案当然也不新鲜,在此前索尼CIS堆叠技术文章中,我们就介绍过。

一种奇技淫巧:交错HDR

HDR(高动态范围)如何实现,似乎是当代手机拍照永恒的主题。手机厂商普遍在宣传的“逆光也清晰”,以及夜拍“照亮你的美”,其重要基础一部分就在于HDR:即在拍摄场景光比很大时(如逆光),则需要HDR发挥作用;亮的、暗的,在同一个画面内要兼顾。

比较常见的HDR实现,是在用户一次按下拍照按钮以后,用不同的曝光参数拍摄多张照片,然后将这些照片做堆栈融合。那么场景的亮部和暗部细节都能兼顾。

不过这种方案有个副作用,即拍摄的多张照片毕竟还是在不同时间点进行的,在拍摄运动对象的时候,如果融合算法不到位就会产生模糊或伪像。要减少多张堆栈产生的伪像,方法之一应该是尽可能减少多张照片拍摄之间的间隔。

三星在GN2推出之际,宣布了一种交错HDR(staggered HDR)技术;不是隔行单帧HDR方案。三星方面提到,这项技术依赖于卷帘快门(rolling shutter)特性。今年5月刊的《电子工程专辑》杂志封面故事,我们还特别谈到了CIS厂商在贯彻全局快门(global shutter)方面的趋势。因为卷帘快门的工作方式是CIS逐行像素曝光的,拍摄高速运动物体会有果冻效应。

三星的这种交错HDR,据说是在拍摄一张照片的时间内,以三种不同的曝光方式来实现HDR。具体方法如上图所示。必须基于卷帘快门,首先就是做一次长时间的曝光,随后中等长度时间曝光,最后短曝光——分别对应昏暗、中等和明亮的画面场景,输出后做合成。

在进行长曝光以后,就立刻开始做行输出——即从像素行转往ADC。在长曝光的所有像素行都完整输出以前,传感器就会进行中等长度曝光。这个阶段的曝光,其实在长曝光像素完全输出以前,也已经开始做输出了。短曝光的流程同理。最后GN2的图像处理单元会对照片做融合,生成HDR照片。

此过程中,传感器用虚拟MIPI通道来输出三个曝光过程。传感器针对画面暗部做长曝光,并开始输出走VC0虚拟MIPI通道;后续分别对应VC1和VC2虚拟通道。另外还有个VC3虚拟通道,用于同时发出PDAF生成的自动对焦信息。

异样的PDAF相位对焦双像素

主CIS传感器的PDAF相位对焦,也是这两年手机CIS的热点技术。常规的双像素(dual-pixel)自动对焦,就是把一个像素分成两份。每个像素包含了2个光电二极管,用于成像和对焦。检测双像素影像画面的相位重合时,即认为对上了焦。

此前《iPhone摄像头发展史》文章中,我们曾谈过iPhone作为手机拍照发展颇具代表的存在,PDAF技术在其上就有过对应的演进史。一直到iPhone 11摄像头CIS实现了PDAF对焦像素的100%覆盖。

比较值得一提的是,索尼去年在宣传其2x2 OCL对焦技术——此前我们也介绍过。其实质是每4个像素之上覆盖1个微透镜,所有像素都参与相位对焦。索尼在paper中提过,这种方案在做相位检测时,不仅能够在垂直和水平方向做相位检测,还能进行斜向检测,实现CIS覆盖的十字对焦或米字对焦。

一般来说,相位检测像素的两个光电二极管,如果只是左右排列的,则将无法检测场景中横向线条的相位差——或者说对于包含横向线条的对象,对焦就会成问题。索尼的这种2x2 OCL对焦方案就会显得更具全场景的适用性。

三星想到的解决方案则是,以对角线方向来切分像素,而不再是垂直对半切。上面这张图就是GN2相位检测像素光电二极管的简单演示图。传统方案,是以DTI(深槽隔离)来把相位检测像素一分为二,垂直切分。而GN2则采用偏对角线方向的DTI结构,令其针对横向与纵向线条,都能实现比较高效率的对焦。

下面这张图展示了两者实现可对焦场景方面的差异。显然单纯垂直隔离相位检测子像素的方案,无法针对更多区域做相位差检测——左右像素排列,对于场景中的横向线条,几乎无法在对应光电二极管输出的信号上检测出相位差异。而对角线隔离方法,对焦使用场景就会更多,横向、纵向线条皆可,也算是实现了十字对焦。

当然我们对其实现细节,和制造工艺流程是否造成额外的难度并不了解。三星提到,针对PDAF每个像素都采用两个光电二极管,也就有1亿个相位检测主体参与。在结构上是“不仅垂直切分像素,而且对角线切分像素”,具体在工艺和像素结构上是怎么做的,其实也比较值得研究。另外对低光照环境下的对焦,和运动物体追焦也有提升。

ISO双增益、低功耗实现

有关ISO双增益(dual native ISO)的问题,我们在此前的文章里也已经介绍过了。国内最早做ISO双增益宣传的手机应该是OPPO Find X2,那颗索尼IMX689就应用了这项技术。虽然到目前为止,我们也仍然不怎么清楚手机摄像头CIS实现双增益的方法具体是什么。

三星GN2的每四个像素为一组,有单独的双增益控制开关,可调整两档ISO感光度。对于比较明亮的场景,传感器会让像素的图像信号达到ADC的全输入范围,也就是低ISO模式;对于暗光场景,则切换到高ISO模式,即提高像素增益。

这类方案针对不同的光照场景选择两档原生ISO,三星称其为Smart ISO Pro。“采用iDCG(intra-scene dual conversion gain)解决方案,从高和低ISO读出,获得高动态范围画面,更少受到动态伪像的影响。”看起来也是HDR的组成部分,不知道这一点和前文提到的交错HDR是否做了结合。

“此外,在低光照环境下,Smart ISO Pro能够在高ISO下快速获取和处理多帧,将感光度提升到接近1000000 ISO,将手机夜间成像提升到更高的高度。”感觉这是一个略夸张的表达方式,和如今手机夜景模式常见的多张堆栈的“长曝光”应该是同一个意思。至于ISO 1000000,体现这一点的应该是将晚上拍得像白天也是现在一众手机夜景模式的常见操作......

还有个相关GN2比较值得一提的点是三星宣传中提及GN2的低功耗。针对GN2这颗CIS,三星将ADC的供电电压从2.8V降低到2.2V,实现20%的功率缩减(311mW->244mW)。

不过降供电电压也会降低ADC的输入范围,令其无法接收像素电压的完整范围。为了解决这个问题,三星针对像素die增加了-0.6V的substrate反馈偏压,level shifting输出范围;与此同时,逻辑die这层(也就是28nm die)的ADC电路,所用的晶体管设计作了优化,是一种所谓的低阈值电压晶体管。两者结合,在确保完整曝光范围的情况下,降低了工作功率。

从Yole Developpement公布2020年CIS市场的数据来看,索尼仍然是绝对的第一,占到整个市场的40%。不过三星一定程度缩短了与索尼的距离——虽然幅度还是比较小,从前年的21%上涨到2020年的22%;索尼则下滑了2个百分点。

两者技术上的竞争这两年还是咬得很紧,此前Yole Developpement还专门写了一篇专注于三星的智能手机模块对比报告,强调了其创新性。而CIS的技术发展,自可视作手机拍照进步的一大基石,从这两年手机厂商的宣传就看得出来。

责编:Luffy Liu

本文为EET电子工程专辑原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
阅读全文,请先
您可能感兴趣
2021年是激光雷达“上车”元年。随着智能驾驶技术不断演进,未来几年激光雷达将被各大车企采用。这家具备领先的激光雷达技术优势的德国企业,将要在激光雷达装配率极速上升的“黎明前夜”落幕吗?
过去,蜂窝宽带无法为上述众多用例提供合适解决方案,原因是可用产品耗电过多且不够紧凑。因此上述众多用例的首选技术通常是 Wi-Fi 或蓝牙。尽管这两者现在仍然是蜂窝网络的替代产品,但他们既无法提供 5G 的所有功能和性能,也不能连接到公共网络。随着 5G RedCap(低容量)的发展,这种状况将会发生变化。
在AI算力突破传统成像系统天花板的计算革命下,AI ISP技术也将不断发展,其算力也将越来越强,其产品成本将不可避免的越来越低,拍摄距离也将越来越远,效果也会越来越好。而一直被大众所不理解和诟病的特斯拉的全摄像头视觉技术,或许不久将成为现实。
本文将介绍 USB 3.1 以及第一代与第二代 USB 3.1 之间的差异及两者能给机器视觉开发人员带来的实际益处。 USB Implementers Forum 还针对 USB 3.2 标准发布了相关规范,该标准使 USB 3.1 吞吐量加倍。
机器人已经融入到了我们生活的方方面面,现在酒店、餐饮、娱乐、工业、汽车自动驾驶等各个领域都有机器人在为我们服务。机器人越来越智能,应用场景也越来越多。 6月29日,由Aspencore与深圳市新一代信息通信产业集群联合主办的AIOT 2022国际生态发展大会-智慧机器人分论坛上,毕业于中山大学和荷兰代尔夫特理工大学,曾是光刻巨头ASML光刻过程控制算法的创始团队成员,现任深圳阜时科技有限公司CTO王李冬子先生分享了SPAD芯片在机器人LiDAR领域的应用。
意识到没有必要精确复制神经元,再加上DVS摄影机的开发,是今日神经形态视觉系统背后的驱动力。不过现在虽然已经有系统问世,在我们拥有可供商用、完全像是人类的计算机视觉技术之前,还有很长的路要走。
德州仪器首席执行官Rich Templeton当选SIA副主席
由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
本文介绍了目前比较成熟的已经得到广泛应用的三种信道建模方法并分析了各自的优缺点。坤恒顺维公司可以提供上述三种完整的信道建模软件。优异的信道模型对于准确预测无线电波的传播特性,支持无线通信系统的架构设计极其重要,好的信道建模方法对于用户方便高效的测试验证通信系统的性能更是不言而喻。因此在具体实际应用种,应综合考虑具体环境、条件以及要求有针对性的选择最符合实际测试的方法以提高测试效率。
Qorvo今日宣布将在CES®2023上展示其最新的物联网 (IoT)、智能家居、5G、Wi-Fi、超宽带 (UWB)、传感器和电源产品。
文|金融街老李新政后的这一周,在连续上涨5天后,宁德时代出现了连续两天的下跌,市场的热门板块是医药医疗、文旅消费这些“复苏经济”板块。从11月底到现在,新能源汽车板块出现了短暂的“阳春”,宁德时代近5
众所周知,随着企业转向比集中式云数据中心更低的延迟、更安全和私密的处理,网络边缘计算持续快速增长。市场上正部署数十亿的网络边缘计算设备,而且随着时间的推移,它们会变得越来越先进。机器学习和深度神经网络
1983年,100台桑塔纳以CKD(全散装件)的形式抵达上海进行组装,在大众派来的专家指导下,上汽大众建立起汽车组装线,耗时七年完成了桑塔纳的国产化。作为曾经的国民神车,桑塔纳激活了中国的民用汽车市场
来源:《中国半导体大硅片年度报告2022》亚化咨询数据显示,2021年全球半导体硅片市场快速增长,整体销售额达157.44亿元,过滤掉交叉部分仅计算销售到IDM/Fab部分的话(过滤部分为销售给纯外延
芯片供应商骗局近期频频爆雷,假货、跑路、维权无门,两眼一抹黑怎么办?【超人投票】告诉你答案,火眼识别靠谱供应商。【超人投票】是芯片超人在2017年推出的,帮助市场上的朋友找到靠谱供应商的决策工具。5年
   深圳市云影天光科技有限公司    PART.1企业介绍深圳市云影天光科技有限公司专注于诠释创新,致力于为客户实现价值。从2017年创立至今,在为多家机构及客户提供专业IT服务的同时,亦不断提升自
中国北京 – 2022 年 12 月13 日– 移动应用、基础设施与航空航天、国防应用中 RF 解决方案的领先供应商 Qorvo®, Inc.(纳斯达克代码:QRVO)将在 CES®2023 (#CE
化学机械抛光(CMP)是实现晶圆全局平坦化的关键工艺。CMP工艺贯穿硅片制造、集成电路制造与封装测试环节。抛光液和抛光垫是CMP工艺的核心耗材,占据CMP材料市场80%以上。 鼎龙股份、华海清科为代表
天风证券和芯片超人合办的芯智库今年举办27场汽车和各行业专家沙龙,获得产业强烈反响和评价。我们定于12月21日在上海和科技部中国汽车芯片产业联盟联合举办“芯智库年度大会”和“汽车芯片产业盛会”,本次会
如何看待中国自主汽车品牌冲击中高端市场?背景:11月,比亚迪官宣,旗下高端汽车品牌定名为“仰望”。11月16日,在比亚迪第300万辆新能源汽车下线仪式上,比亚迪集团董事长王传福在表示,明年将推出一款专