广告

实时调整视频的失真校正算法

时间:2020-09-09 作者:Nitin Dahad 阅读:
随着手机录像需求的激增,需要使用软件来为高质量视频创建理想的取景框。 Immervision的新算法可在一系列智能手机中实现“20/20视觉”,实时纠正视频失真,以改善捕获到的显示体验,同时不会影响视角。
广告

成像技术公司Immervision宣称,他们已经开发出能够对视频失真进行实时校正的软件算法,比如校正被拉伸的物体、改变线条、对象和人脸比例,可以实时调整手机拍摄的图像和视频场景。

该公司将通过其分销合作伙伴和主要投资者CEVA将这些新算法直接授权给移动OEM厂商。 Immervision联合创始人兼副总裁Patrice Roulet Fontani在接受EE Times采访时说,这种新的实时失真校正算法以前从未有过。“以前也有一些算法,但是能够在不额外消耗电池电量的前提下,在便携式设备上运行,并提供适当的校正,这是前所未有的。”

Immervision联合创始人兼副总裁Patrice Roulet Fontani

Patrice对相关背景知识做了一些解释。“智能手机屏幕越做越宽,但迄今为止,无论怎么看,手机上的视频仍然是4x3的比例。如果要让视频满屏,则需要处理图像,先裁剪再分割,然后增加传感器上的图像大小。现在的摄影镜头和广角镜头可以让视频充满整个屏幕,但仍然存在一些人工痕迹或者失真。图片校正相对简单,你拍摄一张图片,也许只花半秒钟的时间就可以完成处理和修改。但是对于30-120 fps的视频来说,这就没那么简单了。”

 “为了实现失真校正,我们引入了一种新算法,它不仅可以根据一种设置来校正失真,还可以根据不同情景来选择不同类型的失真校正。这种校正可以实时进行,例如在有人的区域,我们可能希望人物看起来更正常一些。而对全景图,你可能想要提供一种广阔无边际的感觉。”

随着手机录像需求的激增,需要使用软件来为高质量视频创建理想的取景框。 Immervision的新算法可在一系列智能手机中实现“20/20视觉”,实时纠正视频失真,以改善捕获到的显示体验,同时不会影响视角。(图片来源:Immervision)

 “现在的设备根本无法校正失真。图像和视频也许有一些失真校正处理,但大都集中在直线处理上。而且,他们仅提供一种失真校正馈送来应对所有的应用场景。但问题是,你无法实现一次处理不但校正直线,而且还保持身体或人脸比例。因此,在如今的大多数智能手机中,当您朝着FOV(视场)边缘移动时,身体和人脸会扭曲变形,它们会被拉伸到比实际要宽的比例。”

 “我们并不是为所有场景仅提供一个处理馈送,而是根据不同场景为智能手机OEM提供不同的视频失真校正处理。因此,如果要拍摄风景,那么对它的处理将与人群或头像场景的处理不同。我们开发了视频畸变校正以及我们称之为“人脸保护”的功能,可以使人脸看起来更真实,而不会扭曲和拉伸。而且,这个过程是实时进行的。我们对客户的承诺是所见即所得。”

许多新式的手机都拥有更宽的视角,但也会产生更明显的失真。Immervision公司声称其新软件算法可提供一站式解决方案,实时校正拉伸的物体、改变线条、对象和面部比例,以适应不同场景,并缩减编辑时间。该软件可提供不同级别的校正、变化的投影,并且实时适应场景。手机厂商采用它就能够为用户提供多种选择,例如,保留预设配置不变,或者完全自定义,又或者让用户自己决定;同时还可以让手机控制定向,或利用机器学习来增强用户体验。

Fontani表示,能够实时校正失真非常重要。“因为拍摄时会同时发生两件事,一是录制,二是播放,这两个功能需要同时进行,你不能录制完再进行处理。”

Immervision公司表示,随着手机视频录制需求的飞速增长,需要使用软件来为高质量视频创建理想的取景框。Immervision与客户合作已有20年,其硬件和软件专家一直与OEM紧密合作,微调算法以满足特定需求。他们的新算法有助于在一系列智能手机中实现“20/20视觉”,实时纠正视频失真,以改善捕获到的显示体验,而不会损害视角。

添加现成的125度广角镜头

Immervision公司在声明种还介绍了其125度广角镜头,据称是市面上性能最高的广角镜头。该镜头已预先配置流行的传感器,无需定制摄像头,其目标客户为二级和三级手机厂商。

广角镜头可以减少摄像头数量与成本,同时提高用手机拍摄风景、人群、特写和视频的图像质量。大多数一级手机厂商现在都装有广角镜头,但二、三级的移动品牌都还尚未配备。目前,Immervision的技术已经预配置在一些较流行的传感器上,包括索尼、豪威科技和三星。

 “二、三级手机厂商面临的挑战是如何提供与行业领先手机同等水平的图像质量。” Immervision执行副总裁、运营和首席商务官Alessandro Gasparini表示。“Immervision的125度广角镜头将行业所有领先的指标集成到一个镜头中。过去,这些一流的指标分散在多种手机中。现在它们通过现成的软件,合成到一个镜头中,这样就可以减少摄像头的定制和集成时间,并提供与知名手机品牌同样的图像质量。”

“这是一种新的光学设计,可在不同参数之间实现最佳平衡,以尽可能获取最大的FOV,而不会影响f值和相对照明度,而且即使在边缘处分辨率都不会下降,高达21兆像素。它将让二、三级手机供应商仅用一个摄像头即可提供从广角到传统成像的完整体验。换句话说,同一个摄像头具有两种不同的功能特性。”

他补充道:“我们致力于使这项技术变得简单易用,因为这些功能通常仅在大品牌旗舰手机中才有。就广角性能而言,我们提供的将是最好的镜头。”

(参考原文:Distortion Correction Algorithms Adapt Video in Real-Time

责编:Amy Guan

本文为《电子工程专辑》2020年9月刊杂志文章,版权所有,禁止转载。点击申请免费杂志订阅  

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
Nitin Dahad
EE Times欧洲记者。Nitin Dahad是EE Times的欧洲记者。
  • 50家国产MCU厂商综合信息汇总 我们从如下五个角度对每家公司进行高度概括性陈述和对比:主要产品、核心技术、关键应用、主要客户、竞争优势。虽然公司员工人数和研发人员比例、申请专利数量和财报等数据可
  • 国产MCU发展的五大驱动力 对国产MCU厂商来说,“国产替代”和“芯片短缺”反而成为推动其MCU产品线打入大中型OEM厂商供应链,甚至汽车供应链的驱动力。据《电子工程专辑》分析师团队调查了解,凡是能够保证代工厂和封测合作伙伴正常供应的国产MCU厂商,都享受到了销售和利润同时增长的甜头。
  • 未来MCU设计的六个方向 随着AI和IoT的发展与融合,微处理器(MCU)的设计也更加复杂,逐渐从传统单一功能的微控制器转向集成更多功能特性、计算性能更强的系统级芯片(SoC)。ASPENCORE《电子工程专辑》分析师团队识别出如下六个MCU设计的发展方向。
  • 10大国产MCU上市公司 国内从事MCU研发的IC设计公司有50多家,其中在上交所和深交所上市的公司有10多家。ASPENCORE旗下《电子工程专辑》分析师团队从中挑选10家以MCU为主营业务的上市公司,分别从核心技术、主要产品、应用市场、供应链和竞争优势等方面予以阐述。
  • 现在到处都是传感器,我该怎么办? 现在,对于运输、机器人、家庭自动化、智能城市、工厂和仓库管理中许多可能的应用来说,通过视觉、雷达或激光雷达传感来进行物体识别和碰撞警告,通过超声波传感器实现短距离的接近侦测,通过IMU进行运动和姿势检测,基于声学的危险声音检测已经很普遍了。说实话,这个清单是无穷无尽的。我们拥有建立一个由智能传感驱动的未来主义的、几乎是科幻小说的世界所需要的所有原材料。但是怎么做呢?
  • CTSD ADC系列之二:为信号链设计人员介绍CTSD架构 本文将采用一种与传统方法不同的方式介绍连续时间Σ-Δ (CTSD) ADC技术,以便信号链设计人员了解这种简单易用的新型精密ADC技术,将其想像成一个连接了某些已知组件的简单系统。在第1部分,我们主要介绍了现有信号链设计的关键挑战,利用精密CTSD ADC,在实现高精度的同时还可保持连续时间信号完整性,从而可以显著简化这些设计。现在的问题是CTSD架构背后是什么使其能够实现这些优势?
  • 新款iPad Pro 2021成最受欢迎的 由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
  • 三星折叠屏手机Galaxy Z Fold 3 目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。

  • ​快人一步,一触即发|芯海科技信号 视频来源:iQOO手机官方微博8月17日晚,iQOO8系列未来电竞旗舰重磅发布,通过屏下双控压感实现更多样的操控体验,双指变四指手速度倍增,在保持机身简洁的同时助你成为自带BUFF的竞技
  • 泰艺电子推出小型化恒温控制晶体振 泰艺电子,频率控制解决方案的领先供货商,推出全新 NN 系列恒温控制晶体振荡器(OCXO),能够满足严格的频率稳定度要求,同时具备优越的相位噪声性能。
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了