广告

手机SoC运算规模将收缩?但娱乐体验却会更好?

时间:2019-06-30 作者:黄烨锋 阅读:
现如今性能越来越强劲的手机SoC——包括CPU、GPU、NPU等,在不远的将来可能将在运算规模上发生缩减。尤其在5G普及以后,手机连接带宽大幅提升——或者说“5G将成为无线PCIe总线”,真正的运算任务交给云去完成,而本地只需要保留通讯功能,和视觉处理器,用于管理屏幕显示效果即可。
EETC https://www.eet-china.com

今年的MWC 2019上海展会上,我们听到了一个颇为新奇的观点:现如今性能越来越强劲的手机SoC——包括CPU、GPU、NPU等,在不远的将来可能将在运算规模上发生缩减。尤其在5G普及以后,手机连接带宽大幅提升——或者说“5G将成为无线PCIe总线”,真正的运算任务交给云去完成,而本地只需要保留通讯功能,和视觉处理器,用于管理屏幕显示效果即可。zQCEETC-电子工程专辑

这是视频和显示解决方案提供商Pixelworks首席技术官张洪敏博士在聊天时告诉我们的。这个想法好似是沿袭自云计算诞生之初的设想,不过现如今边缘计算正大行其道,尤其正当edge AI之风盛行,如此大胆的设想还是相当有趣的。zQCEETC-电子工程专辑

20190628-pixel-1.jpgzQCEETC-电子工程专辑
Pixelworks首席技术官张洪敏zQCEETC-电子工程专辑

“我们讲弹性运算。如果只在线下运算,和云还是不能比的。未来5G普及了,应用也成为了云应用,BAT也会更加强势。”“手机的能量应该留给通讯,而不是留给计算。”zQCEETC-电子工程专辑

把电视套用到手机上

视觉处理器及其连带的解决方案,在电视产品中并不罕见。它们通常以“画质增强引擎”这类形态存在于电视机制造商的宣传词中:现如今的很多智能电视都有类似的方案,它能够实现的功能通常包括运动补偿、视频内容的分辨率upscale,甚至高级一些的比如分区背光、HDR等。zQCEETC-电子工程专辑

典型的运动补偿:比如我们看到的很多视频内容,像是一般的电影,拍摄时其帧率就定格在24fps。画面动起来,或者画面中动态内容很多时,在60帧或120帧的电视屏幕上就会产生运动模糊。如果能够把24fps的画面提升到60fps,那看起来感觉就会顺畅很多。zQCEETC-电子工程专辑

手机屏幕本身的刷新率是可以达到60Hz(甚至最新一加的90Hz)的,在应对24fps的视频内容时,一般的方法是通过对原内容帧的多次重复(有的帧重复两次,有的帧重复三次)来显示画面。Pixelworks移动业务营销副总裁Peter Carson先生为我们演示了常规24fps内容,在画面平移时产生的画面抖动和运动模糊。zQCEETC-电子工程专辑

20190628-pixel-2.pngzQCEETC-电子工程专辑

 zQCEETC-电子工程专辑

但如果通过运算,在这24fps画面中插入36个中间帧,而非简单重复,情况就大不一样了。针对每一帧的运动方向、运动速度做检测,然后沿着每个方向做连续插帧。那么低帧率的内容就可以这样的算法插值到高帧率,包括120fps。Pixelworks将这种技术称作MotionEngineTM。zQCEETC-电子工程专辑

除了这种抵消画面抖动和运动模糊的方案之外,还有色彩增强,以及画面细节的加强。这其中画面细节的增强除了显示内容锐度加强外,主要是可将原有SDR窄动态范围的画面,转换到HDR——我们猜测应该是应用某种tone曲线以及dithering达到增加亮部和暗部细节以及色域扩展的效果——加之本身就支持HDR内容显示(HDR10/10+),所以Pixelworks称其为“always-on HDR”;色彩增强则表现为对屏幕显示色准和色域覆盖更为准确的把控。zQCEETC-电子工程专辑

20190628-pixel-3.jpgzQCEETC-电子工程专辑
20190628-pixel-4.jpgzQCEETC-电子工程专辑
iPhone XS Max与诺基亚7.1手机显示相同内容时的画面宽容度对比(注:可能因为拍摄设备及角度等原因,照片可能无法完整还原现场看到的对比情况)zQCEETC-电子工程专辑

现实中,这种技术在电视设备上并不罕见;家庭娱乐本身也是Pixelworks一直在做的业务。但张洪敏表示:“以前是电视在做,现在手机也要开始做。”Pixelworks为手机设计的这种视觉处理器名为Iris。所以我们看到,像诺基亚7.1这样的手机已经用上了Iris芯片(具体为Iris 3 Lite),Peter Carson为我们现场展示了,显示高光比画面时,诺基亚7.1和iPhone XS Max呈现出的差距。然而实际上,诺基亚7.1是一款售价2000出头的中端手机,而且其屏幕是LCD而非OLED。zQCEETC-电子工程专辑

还有支持MotionEngineTM动态补偿算法的Android手机(具体为Iris 2+),在播放24/30fps的视频内容时,流畅平滑程度碾压iPhone XS Max。现场观摩的同仁总体都是相当惊叹的。“iPhone XS Max的这块屏幕本身就已经非常不错了,但在显示动态画面及画面细节时还是不够的。尤其我自己看多了Iris加持的视频画面,起初就只是觉得还不错,但再看普通画面,就感觉再也回不去了。”Carson笑说。zQCEETC-电子工程专辑

20190628-pixel-5.pngzQCEETC-电子工程专辑

 zQCEETC-电子工程专辑

Pixelworks在做的这件事有时又更像是手机主SoC的职责。有趣的是今年3月,Pixelworks才刚刚宣布和高通达成合作,将Iris融入到骁龙855平台(所谓的Soft Iris),Iris在此成为骁龙SoC的一个组成部分。在常规的Iris芯片架构中,从逻辑上本身就包含存储系统的Iris与手机SoC连接,手机连接屏幕的DDIC/TCON,并且会管理屏幕亮度,最终起到加强显示的目的。zQCEETC-电子工程专辑

5G就是无线PCIe总线

当然我们并不能真的认为iPhone XS Max的显示效果不够好,只不过iPhone XS并没有针对原视频内容做各种upscale操作,而且iPhone XS也支持HDR10(和杜比视界)。然而这其中看起来就更有成本效益了,毕竟诺基亚7.1的价格和iPhone XS差了5倍。zQCEETC-电子工程专辑

Carson特别提到了现如今手机成本BOM物料清单中,用于提升视觉体验的成本占到了32%,包括显示屏、摄像头。同时eMarketer的数据显示,2020年中国成年人会把33%的日常数字时间用于观看视频,那么包括通讯模块、SoC中的编解码block在内的很多物料,也算是用在了视觉体验上。zQCEETC-电子工程专辑

iPhone XS Max的一块屏幕成本就超过90美元。Carson认为,以更经济的屏幕搭配Iris,实际也可以达到相似甚至更好的效果,“成本优势可以达到10美元”。或者讲得再直白些,就是用更低的价格来优化视觉效果。Carson甚至列举了一款采用Pixelworks方案的手机,虽然他没有透露是何型号,但价格不到iPhone XS Max的一半,其屏幕整体的ΔE色彩偏离度平均0.5——iPhone XS Max屏幕以很高的成本将ΔE控制在1.2实则已经相当出色,但Pixelworks的这个数字就让人咋舌了——如果它的确属实的话。或许未来是该好好留意是怎样几款手机。zQCEETC-电子工程专辑

20190628-pixel-6.jpgzQCEETC-电子工程专辑
Pixelworks移动业务营销副总裁Peter CarsonzQCEETC-电子工程专辑

“当然了,屏幕本身的亮度、色域等指数也必须能够达到相应的水平,Iris才能帮助进行更到位的调教。”张洪敏说。zQCEETC-电子工程专辑

“Iris本身是针对AP来offload computing power。AP输出30fps画面,让Iris做到90fps,功耗就会得到下降。”这么听来,Iris作为一个中间身份的存在,颇有点儿抢SoC多个模块饭碗的意思。但张洪敏的看法更激进:未来SoC本来就会在规模上有缩减。“5G时代来了,手机的能量应该留给通讯,而不留是给计算。”zQCEETC-电子工程专辑

那玩游戏、执行各种操作的算力又从哪儿来呢?云!“5G本身就是低延迟、高带宽的通讯,它会成为无线PCIe总线。”这是个很形象的说法了。而手机设备和云之间实现了“虚拟显示屏”。总的来说,张洪敏理想中的结构是下面这样的:zQCEETC-电子工程专辑

20190628-pixel-7.pngzQCEETC-电子工程专辑

 zQCEETC-电子工程专辑

“5G带宽的增加,让3D游戏、云游戏成为可能。我们接下来的计划也是瞄准云游戏。美国的很多厂商都在开发云游戏,谷歌、微软、索尼都在做。云上游戏,在手机端可以直接玩。”而不需要手机端具备多大的算力。zQCEETC-电子工程专辑

“游戏的云服务器上,Pixelworks会提供运动处理SDK。游戏引擎产生的图像,每一帧+向量到达本地,手机上的Pixelworks还会执行预测帧的操作。这样可以做到几乎100% offload GPU了。” 一方面设备成本得以降低,而且高帧率屏幕也让触摸响应更快。这样一来本地娱乐体验自然也就得到加强了。另外还有针对VR的视觉协同处理,这些都是相当超前的想法,未来这种架构能不能彻底铺陈开去,真的就要看5G和各种技术的发展程度了。zQCEETC-电子工程专辑

构建一个端到端的帝国

然而这还只是个开始,pixelworks真正在做的事看来野心更大。Carson说,现如今技术让设备端的发展速度很快,所以电视、手机显示屏、芯片早就支持HDR、高分辨率、高刷新率了;但内容却完全没能跟得上,包括发展了那么多年的4K电视,实际的4K内容还很少。zQCEETC-电子工程专辑

20190628-pixel-8.pngzQCEETC-电子工程专辑

 zQCEETC-电子工程专辑

Pixelworks第一阶段的工作就是用Iris这样的芯片,在播放设备端让低分辨率、低帧率、低动态范围的原始内容转成高分辨率、高帧率、高动态范围的内容。“我们就是要弥合内容与设备之间的间隙。”zQCEETC-电子工程专辑

这不过是小场面,Pixelworks的TrueCutTM平台期望从内容创作过程开始介入:也就是在视频内容拍摄时,就让摄影师、调色师有4K/8K、60fps/120fps、高动态范围等选择,从源头提供工具;随后提供并控制分发渠道,也就是相关视频格式;最后就是现有电视、手机播放设备端利用视觉处理器的强化。zQCEETC-电子工程专辑

这项工作实则已经关乎标准设立。而且单是电影拍摄,即便全套平台系统得以顺利铺开,也不仅是技术层面这么简单,还关乎艺术创作意图:比如传说中的“电影感”就要求24fps在动态模糊中传递的感觉,所以李安120fps的《比利林恩的中场战事》才在电影创作中存在特殊性。很多影人认为高帧率天生不适合艺术创作,甚至认定播放设备端应用类似动态补偿这样的算法以后,“根本就不是同一个电影了”。zQCEETC-电子工程专辑

高帧率、HDR本身就会颠覆创作过程,并对构思和拍摄提出更高的要求。张洪敏表示:我们为制作端提供这样的选择,有60fps/120fps的显示,但仍然保持24fps的抖动感觉,“控制这种电影感”。“甚至提供虚拟快门,拍摄120fps画面的时候保证画面清晰的同时,仍然做到24fps 180 shutter angel的曝光。”zQCEETC-电子工程专辑

这听起来简直就是帝国级别的任务了。“这套创作流程现在只有杜比才有,但他们并没有提供高帧率的选择。我们是为高帧率、高动态对比度提供了全套流程的。”目前Pixelworks已经和优酷达成协议,进行TrueCutTM方面的合作;另外去年还跟万达影业合作,利用这套方案制作了《飞驰人生》——这也是国内第一部48fps电影。zQCEETC-电子工程专辑

打造这样一个帝国,加上“5G做无线PCIe总线”把主要算力悉数转移到云端,都是大胆的远见卓识。可能多年之后,我们回看Pixelworks的这些设想,会了解pixelworks的娱乐版图是否真的能够完美落地。zQCEETC-电子工程专辑

EETC https://www.eet-china.com
本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
黄烨锋
欧阳洋葱,编辑、上海记者,专注成像、移动与半导体,热爱理论技术研究。
您可能感兴趣的文章
相关推荐
    广告
    近期热点
    广告
    广告
    广告
    可能感兴趣的话题
    广告