手机拍照的影响力尽人皆知。随着手机摄像技术的不断进步以及AI的参与,图像处理器(ISP)的性能也变得更高,再加上“计算摄影”和“趣味摄影”技术的发展,ISP技术有了更大的外延,在链条上的话语权显著提升。根据手机拍照图像技术的演进路线,本文透彻分析了独立ISP的成因及优缺点,以及本土手机厂商自研独立ISP的意义。

早年的数码爱好者,对于“独立”一词是有迷思的,比如“独立显卡”“独立声卡”。“独立”就是指某颗芯片以单独的方式出现在主板上,不和其他芯片集成在一起,尤其是不和CPU中央处理器放在一起。“独立”在某些平台上,有时意味着性能更好,更受重视。

诺基亚还在统治手机市场之时,有一度传言其手机拍照好的原因,不仅在于图像传感器、和卡尔蔡司合作的镜头设计,还在于后端用上了“独立”的ISP(图像信号处理器)。当然这则传言的可信度大概并不高,因为即便是诺基亚N90时期,德州仪器OMAP系列芯片风靡,着重于宣传ISP,实则ISP模块也是封装在芯片内部的。

从直觉来看,手机作为追求便携性、轻薄性、低功耗的移动设备,迈向高集成度才是其发展方向。“独立”在手机上也因此很难成为好用的宣传点。如今的ISP主要都以集成在手机AP SoC芯片内部的方式存在于手机设备中。

之所以这两年ISP诸多受人关注,在于智能手机的技术竞争焦点一大部分都放在了拍照上。实际上,图像传感器、镜头、ISP,甚至滤镜、联名合作,都已经成为手机厂商内卷的组成部分。高通骁龙、联发科天玑芯片近几代产品的ISP性能与功能的跃进,更是芯片厂商的宣传重点;Arm也在不遗余力地推自家的ISP IP。

有趣的是,这两年好几个主流手机品牌都开始采用自研的“独立”ISP,而且都还应用到了拍照旗舰设备中——小米、vivo、OPPO都有类似的动作。这些ISP独立于手机AP SoC之外,如vivo宣传“双芯”,OPPO则有“一帧影像动用两块芯片”这样的宣传语。这里的“双”和“两”,言下之意都在于,除了AP SoC之外,主板上还有一颗专用的ISP芯片。

在这个相对特殊的历史时期,独立ISP成为旗舰手机产品的一个“新潮流”。这期封面故事,我们就来谈谈这股新潮流存在的原因,及其未来可能的发展趋势。

首个“反潮流”的,可能是谷歌

之所以说分立、独立的ISP是“反潮流”的,可藉用GPU来做类比:在智能手机上,连GPU这样的大件都尚且没有独立出来,更不必说ISP这类规模小很多的处理器有何必要从AP SoC上剥离出来,成为单独的一颗芯片。实际上,不仅仅是手机产品寸土寸金的内部面积,还有成本以及不同芯片间带来的通讯开销问题,似乎都不怎么适合ISP“独立”。

通常我们所说的ISP,是专用于图像处理的处理器单元——主要是对摄像头拍摄到的影像数据做处理和计算。维基百科对于ISP的功能介绍中提到,ISP的主要功能包括拜耳转换、反拜耳(demosaicing)、降噪、图像锐化等。此前小米在MIX Fold手机上应用澎湃C1 ISP芯片时谈到,这颗芯片的工作职能至少涵盖了3A(自动对焦、自动白平衡、自动曝光)。

图1:ISP完整管线示意图。图片来源:https://doi.org/10.1186/s13640-016-0137-2

当代ISP的完整管线当然不止于此,图1给出了更多有关“ISP是用来做什么的”这一问题的解答,包括色彩修正、转换、gamma校正等。虽然这张图给出的流程仍然是不完整的,尤其在近代摄像头往高像素超采样、多摄的方向发展以后,ISP的职能和性能要求也变得更高;不过从中我们大致能够了解ISP作为“图像处理器”究竟在处理些什么。

而随着“计算摄影”(Computational Photography)的技术发展,以及厂商越来越注重手机摄影的卖点宣传,当代手机拍照的后端数据处理、计算流程,已经不仅限于ISP了。由于传统图像处理流程上,越来越多的部分有AI参与,AI单元(如NPU)也介入到了这个过程里,且介入的环节也变得愈发多样化。

现在的AI拍照,绝不仅限于美颜、换脸、卡通化、背景虚化这些原属于“趣味摄影”的功能;像自动白平衡、自动对焦、防抖、HDR这样的ISP传统环节都已经有AI单元和ML算法的强力介入了。从这个角度来说,“图像处理器”有了更大的外延,而不仅限于ISP。

近代较早有所作为的应该是谷歌。谷歌不仅限于将AI/ML技术应用于计算摄影和计算机视觉,还在于谷歌为了自家AI技术能更好地用到手机拍照上,于2017年面向Pixel 2手机推出了Pixel Visual Core(PVC)芯片。虽然PVC芯片并非传统意义上的ISP,但它就是专门用作图像处理与计算的;更重要的是PVC是一颗独立于手机AP SoC芯片之外的芯片。

图2:谷歌Pixel Visual Core芯片die shot示意图。图片来源:Google

简单看看PVC芯片的架构:这颗芯片大框架是由一个Arm Cortex-A53核心、专门的512MB LPDDR4内存、一些IO,和主体部分的8个IPU(图像处理单元)核心构成的。这8个IPU核心,每个核心都由512个ALU组成,每个ALU则由256个PE(Processing Elements,16x16 2D阵列)构成,执行并行乘加运算。在Pixel 4时代,PVC经过迭代后改名为Pixel Neural Core(PNC),凸显了其中的AI属性。

PVC是一颗完全可编程的DSA芯片。Google AI Blog每隔一阵都会发布谷歌在AI拍照方面的技术成果,比如说视频防抖、超分辨率(super resolution)、人像背景虚化、模拟光照等。谷歌会通过固件推送的方式,把这些特性推送到用户的Pixel手机上。在PVC/PNC近代停止更新以前,谷歌发布的不少计算摄影成果都是需要以这颗“独立芯片”为算力依托的。

谷歌于2017年推这颗PVC芯片,可能是因为对当时市面上已有的高通骁龙CPU、GPU、ISP、AIE等单元和集合的效率在应用于图像处理工作时并不怎么满意,或者说后者无法相对高效地承载谷歌赋予计算摄影的AI算法;而非执着于手机产品的差异化竞争或对“独立”芯片有什么追求。

谷歌当时宣称,PVC在效率和能耗方面会有相对显著的优势——虽然没有人去系统地做过测试,不过应当是相对可信的,毕竟采用的是DSA专用架构。PVC在计算效率上的优势,加上片内存储资源,应该能够稀释芯片间的通讯开销。而且Pixel 2及后续手机在拍照表现上的确得到了比较好的效果:Pixel 2用单摄像头,就达到了其他手机双摄类似的背景虚化效果;而且也因此有了“别家靠图像传感器,谷歌靠算”的名声。

原本图像传感器的技术进步,在手机拍照乃至更广泛的成像领域具备最大的影响力;而在此之后,图像处理器在整条链路上的话语权显著上升。虽说图像处理器的市场价值仍远不及图像传感器,但其影响力已今非昔比;当然这和AI技术的发展也是有很大关系的。这大概也是Pixel手机能两三代都不换图像传感器,但拍照依旧保持第一梯队的原因。

国产手机厂商自研ISP的意义

相较于谷歌PVC,小米、vivo这两年所推的ISP就更像是传统ISP了,这从厂商宣传的ISP功能(如3A)就看得出来。而且国产厂商近些年在这方面的投入也算是不遗余力了,此前招聘平台上就出现过vivo招聘ISP方向总监岗位,月薪高达12-15万。

可惜的是,国产厂商在技术透明度上还是比较低,所以我们几乎不清楚小米澎湃C1/C2、vivo V1/V1+这些ISP芯片架构如何,在图像处理的整条流水线上与AP SoC怎么配合输出最终的影像,是否用了别家IP等等。此前有人猜测澎湃C1是个着力在Pre-ISP的芯片,而V1则更倾向于脱离AP SoC,完成ISP的full pipeline。

不过ISP这类芯片的技术透明度似乎一直也远低于CPU、GPU、NPU这样的大件。有关大框架上,ISP芯片究竟长什么样(而不单是前文提及的,整条流水线如何),历史文献中有一些可做参考的,比如1984年日立发布的paper,题为Architecutre of an Image Signal Processor;更偏近代的大概可以看一看NXP的S32V中的可编程ISP子系统。

图3:vivo V1+芯片示意图。图片来源:vivo

此前vivo在发布V1芯片时提到,V1历时“24个月左右,投入超过300人的研发团队完成”。“V1针对高速数据处理的针对性优化设计,让极其复杂的多个计算成像算法,在低功耗下并发实时处理变为可能。”小米澎湃C1发布之际则宣传“双滤波器配置,可以实现高低频信号并行处理,信号处理效率提升100%”。

或许有读者会好奇AP SoC厂商对于下游手机厂商自研ISP这件事是什么态度,毕竟骁龙8、天玑9000这些芯片的ISP算力水平也是不差的:宣传点则早已不限于单路几亿像素摄像头支持。此前骁龙8 Gen 1就在宣传“三核18-bit ISP”——“提升4096倍数据采集量”,天玑9000则配备了“3个18bit HDR Fusion ISP”。这些都还是相当符合高像素、多摄、HDR这类对吞吐需求越来越贪婪的手机摄像头发展趋势的。

起码联发科对于手机厂商自研ISP是不介意的态度。今年上半年,联发科还和vivo坐在一起,共同召开了一场“双芯影像技术沟通会”。而且似乎vivo V1+ ISP芯片在vivo X80的应用,还得到了联发科技术上的支持。联发科在沟通会上说:“天玑9000提供天玑开放架构,与vivo V1+深度整合。”“天玑开放架构”是联发科为客户提供的一种技术方案,本质上是增加芯片的可定制性,面向客户提供一些接口;比如说视频录制链路中有个“AI-ISP开放架构接口”,大约与此合作是有关的。

vivo则在会上提到双方投入了“超过300人的精英团队,超过350天的研发周期,大幅革新了软件通路架构,将V1+和天玑9000调通。”

一般来说,在上游芯片厂商已经有对应产品的基础上,手机厂商仍然选择自研芯片,应该是为了达成更高的效率。尤其在自己掌握相关算法、软件等技术的前提下,藉由更为针对性的设计来实现功能和优化,自然在效率、性能和功耗方面能够做到最优。谷歌PVC即是其中颇具代表性的。而更大范围内,苹果更是个中翘楚了。

但对国产手机厂商而言,这其中的意义恐怕又有所不同。在我们看来,相比于AP SoC提供的现成资源,现阶段自研ISP芯片真正达成的效率提升、性能收益,还是比较有限的:毕竟那些启用了“独立”ISP的手机产品,相较同等定位、未采用“独立”ISP的手机,其实在拍照表现上很难拉开大的差距。

而且像文首提到的,ISP这种“小件”并无“独立”的必要性,就连谷歌都已经停止在Pixel手机上继续用PVC/PNC芯片——如果AP SoC芯片在算力和效率上愈发精进,则独立芯片方案的确算不上什么优选。跨芯片、远距离的数据存取和通讯,在手机上总是应当尽力避免的。

谷歌现如今更倾向于和芯片厂商合作,在AP SoC芯片上下功夫。所以我们看到Pixel 6手机上,谷歌和三星合作推出了Tensor芯片——这是一颗完整的手机AP SoC。而且今年年初的消息是,谷歌准备在圣地亚哥启用一个新的团队,专注于Tensor芯片的ISP设计。这样的思路在手机设备上才显得更为合理。

不过自研并启用独立ISP带来了另外两个层面的收益。其一是在手机这片红海市场上竞争的差异化:无论独立ISP有没有带来切实的体验收益,或者体验层面的加成有多少,在市场上“自研芯片”都是个相当不错的卖点。而且在这么激烈的竞争环境下生存,自研芯片似乎已经成为必由之路。那些没有芯片设计能力的手机厂商都逐渐被边缘化了。

其二,更重要的收益在于,以ISP芯片作为芯片设计技术积累的起点,是个相当不错的选择。有了这样一个切入点,未来才有机会进一步设计规模更大、更复杂的芯片。从长远来看,这都将是个可持续发展的必要选择。谷歌以PVC芯片为切入点,转而去造Tensor SoC,大约也是这么回事。

从ISP扩散开去

其实相比于V1,vivo V1+芯片就不是一颗单纯的ISP芯片了。除了片上“等效”32MB SRAM,vivo此前在介绍中说,V1+还用于游戏插帧。所以V1+应该算是ISP+MEMC芯片。这更像是芯片职能的扩散。

而OPPO MariSilicon X芯片就更不只是一颗ISP了,ISP只是其中的一部分。从OPPO公布的芯片框架图来看,除了ISP、存储子系统以外,占据较大die size的是NPU——也就是AI单元。基于OPPO公布的参数,我们认为OPPO的这颗芯片用于替代AP SoC上的ISP也显得更有价值,包括20bit 120db动态范围、4K HDR/AI夜间视频拍摄等。

图4:OPPO MariSilicon X芯片。图片来源:OPPO

基于当代ISP需要与AI单元配合工作这一点,如果AI单元独立于ISP芯片之外,则如果双方涉及频繁的数据交换,数据存取和通讯带来的开销都是不小的。优选自然仍然是把两者放在一起(虽然最好仍然应该是将两者都集成到AP SoC上),MariSilicon X在这一点上就迈进了一步,虽然我们不知道这颗芯片的NPU单元,在除影像处理之外的AI inferencing工作上究竟充当何种角色,及其与AP SoC上的AI单元是否有配合……

这种由ISP向外“扩散”的尝试,对于vivo、OPPO、小米这样的厂商而言,应当还会持续。所以很容易理解上半年就有OPPO预计于明后年推出自研AP SoC的传言消息的出现。这才应该是这些手机OEM厂商的终极目标,“独立ISP”不过是其中的一小步罢了。

在这一点上颇具说服力的应该是华为海思,即便因为某些众所周知的原因,华为的AP SoC暂停在了麒麟9000。但麒麟9000当年的一大亮点也在ISP与NPU上,包括3A处理能力的100%提升、quad pipeline令处理管线速度提升50%等。

比较值得一提的是,《电子工程专辑》此前多次撰文谈到过华为在“ISP+NPU融合架构”上的努力。在同一颗AP SoC芯片上,麒麟9000的ISP+NPU处理时间<33ms,基本相当于以前只用ISP来处理摄像头拍摄数据的时长。这对视频处理而言是具备了相当价值的。未来实时性要求更高的应用,如AI VR,对整个系统也都会有更高的要求。

图5:华为ISP+NPU融合架构。图片来源:华为

而同处在一个系统、一颗SoC内的价值,举个例子:此前华为对于这种ISP+NPU融合架构的优化方案之一在于,藉由片上cache(Smart Cache 2.0)以及影像行或帧切片的方式,让ISP和NPU进行数据通讯,以降低带宽消耗和延迟(图5)。当时华为展示的摄像头拍摄画面实时卡通化就用到了这种技术,即便是看起来很简单的一个功能实现。这应当是独立ISP难以企及的。

走向AP SoC设计,基于此做集成ISP、NPU等单元的加强显然才是未来方向。不过现阶段的国产手机厂商造专门的ISP芯片,乃是走向这条路的一部分。未来更大、更复杂形态的芯片产品也将能体现当今的技术储备;更多的“海思”也才有机会诞生。在我们看来,这才是手机独立ISP的真正价值!

本文为《电子工程专辑》2022年9月刊杂志文章,版权所有,禁止转载。点击申请免费杂志订阅

责编:Jimmy.zhang
本文为EET电子工程专辑原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
阅读全文,请先
您可能感兴趣
“数字时代的关键资源是数据、算力和算法,其中数据是新生产资料,算力是新生产力,算法是新生产关系,三者构成数字经济时代最基本的生产基石”。亿铸科技聚焦国产存算一体AI大算力芯片,28纳米工艺实现10倍能效比。
如今,作为第三代半导体的宽带隙器件,氮化镓半导体技术已广为熟知。凭借其良好的CMOS兼容能力,GaN工艺可能实现高频、高功率GaN器件与高密度存储和数字逻辑电路的高度集成,从而推动包含射频收发器、现场可编程门阵列、处理器和存储器等功能的高频大功率系统级芯片的构建与实现。
苹果A16堆了160亿个晶体管——A15实则也有150亿晶体管,以及这颗新的SoC芯片在显示引擎和ISP上下了点工夫,那么堆料上能够分派给CPU、GPU的余地也就不大了。所以性能提升真的不做好。不过A16用上了台积电的4nm工艺,比5nm先进不是?
今年初,Mikron准备了一个投资项目,计划将产能扩大两倍(每月达6000片),用于生产180-90nm的芯片。为了实施这一项目,该公司需要大约100亿卢布。因此,俄罗斯此次给予70亿卢布的资金支持,将极大缓解Mikron扩产的资金压力。
瀚博在去年的WAIC上发布了SV100系列AI芯片。这是一家将赛道选择在云、数据中心、边缘的AI推理(inference)方向的企业。此前瀚博半导体创始人兼CEO钱军在采访中提到,暂避英伟达在AI训练(training)市场的锋芒,且AI推理的市场价值也已经大于训练市场,所以选择了这样的市场方向。但今年瀚博的新品更新中,除了板卡产品更新外,预告的GPU——而且是能做渲染的GPU……
当芯片产业在一二线城市得到了大力支持,遍地开花、欣欣向荣的局面下,是否有过热隐忧的问题?智能汽车是人工智能落地很好的载体,也有望成为移动服务器。但汽车电子的起量速度远慢于消费电子,手机可以卖上千万,那汽车能卖多少?于AI芯片企业来说,又该如何在创新中生存,在生存中发展?
由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。

OPPO K10x搭载5000mAh大容量电池与67W超级闪充,一次充电可带来1.3天的续航使用,同时,OPPO 67W超级闪充方案,33分钟即可从1%充到80%。搭载120Hz LCD高刷屏和高通骁龙695 5G移动平台,采用金刚石智冷散热系统,4种不同的散热材料搭配4颗温度传感器,在手机散热的同时,实时感知手机温度并进行智能控温,大幅提升手机温控效果。
海洋光学(Ocean Insight)与等离子蚀刻技术的领先创新者合作,探索适用于检测关键晶圆蚀刻终点的全光谱等离子监测解决方案。

点此查看:2022年PCB行业创新分享会通知广告分割线近日,在相关政府网站上显示,江西省江铜铜箔科技股份有限公司(以下简称:江铜铜箔)通过IPO辅导验收。9月3日,中信证券发布了《关于江西省江铜铜箔科
--关注回复“SOA”--↓↓领取:面向智能车辆开发的开放性SOA方案↓↓转载自汽车行业关注,文中观点仅供分享交流,不代表本公众号立场,如涉及版权等问题,请您告知,我们将及时处理。-- END --
免责声明:内容如有侵权,请联系本部删除!(手机微信同号15800497114)来源:中科智芯近日,江苏中科智芯集成科技有限公司二厂智芯集成进入设备入场安装阶段。本次入场设备化镀机分为六个单元,目前该设
“进入9月,受疫情和全球经济持续低迷的影响,全球智能手机市场需求依旧疲软,消费者换机欲望下降,平均换机周期延长,尽管在旺季效应的带动下,终端品牌的整机库存在逐渐消耗,但在中低端产品项目上,品牌厂商的备
芯片供应商骗局近期频频爆雷,假货、跑路、维权无门,两眼一抹黑怎么办?【超人投票】告诉你答案,火眼识别靠谱供应商。【超人投票】是芯片超人在2017年推出的,帮助市场上的朋友找到靠谱供应商的决策工具。5年
免责声明:内容如有侵权,请联系本部删除!(手机微信同号15800497114)19年以上的高端LED封装企业汇大光电解散导读:9月13日,新三板挂牌企业深圳市汇大光电科技股份有限公司(以下简称汇大光电
关注我们更多精彩等你发现!END往期精选   【免费】FPGA工程师招聘平台简谈FPGA设计中系统运行频率计算方法与组合逻辑的层级SANXIN-B01开发板verilog教程V3电子版学员笔记连载 |
9月15日晚,广汽埃安旗下的超跑车型 Hyper SSR 正式发布,该车型号称是“中国第一超跑”,零百加速仅需1.9秒。值得一提的是,该车将搭载900V SiC电驱。据“行家说三代半”此前报道,7月1
免责声明:内容如有侵权,请联系本部删除!(手机微信同号15800497114)来源:第三代半导体产业又迎来新的发展机遇。近日,在新能源汽车、芯片以及光储等行业的需求高涨背景下,第三代半导体产业又迎来新
免责声明:内容如有侵权,请联系本部删除!(手机微信同号15800497114)来源:金港潮今天上午,默克半导体一体化基地在张家港保税区正式开工奠基。江苏省副省长方伟,省政府副秘书长黄澜,省商务厅厅长陈