广告

高通XR芯片重燃AR/VR希望,6DoF空间定位增强游戏体验

时间:2020-07-03 作者:顾正书 阅读:
六自由度(6DoF)空间定位技术是支持VR/AR沉浸式体验的关键。无论采用高通XR芯片,还是华为的8K解码芯片,VR/AR设备都必须支持高分辨率显示和精准的6DoF追踪功能。
广告
ASPENCORE

EE直播间“硬件创新”直播系列:VR/AR市场趋势、生态建设、核心技术和设计方案

OtNEETC-电子工程专辑

 OtNEETC-电子工程专辑

过去的十年,虚拟现实(VR)和增强现实(AR)可以说是市场发展最火爆但消退也最快的电子创新。VR是完整的沉浸式交互,而AR则在现实环境中叠加增强的虚拟对象。这些由处理器计算生成的虚拟对象会以多种形式呈现,例如图像、视频或交互式数据,这类融合的技术统称为扩展现实(XR)。2019年似乎是AR和VR重新恢复元气的一年,用户体验和内容方面都取得了很大的进步,驱动着用户需求的激增。进入2020年,伴随着新冠病毒疫情在全球蔓延,5G网络也开始在全球铺开,网络速度的大幅提升将为VR/AR提供低延时的保证,同时也会改变VR/AR设备的连接和设计。OtNEETC-电子工程专辑

 OtNEETC-电子工程专辑

市调机构Digi-Capital 去年发布的报告显示,在未来 5 年中,AR/VR 将迎来高速增长。预计到 2023 年,AR 市场规模将达 700~750 亿美元(包含移动端 AR 和 AR 眼镜),而VR 市场规模将达到 100~150 亿美元。根据另一家机构的数据,全球对XR的需求在2020-2026年间的复合年增长率高达45.0%,到2026年将达到3463.9亿美元。OtNEETC-电子工程专辑

科技巨头加大AR/VR投资和研发

昙花一现的Google眼镜虽然是一个失败的尝试,但Google并没有停止VR/AR的探索。为了实现其无处不在的“环绕计算”(ambient computing)愿景,Google最近收购了加拿大智能眼镜初创公司North。同时,Facebook、苹果、微软、HTC,以及Magic Leap和 Snap等大小公司都在争抢下一代智能设备市场的有利位置,无论通过手机还是专用硬件设备。OtNEETC-电子工程专辑

Facebook于2014年花费20亿美元收购VR头盔初创公司Oculus,但由于显示、传输速率等多种技术的不成熟,VR设备的用户体验比较差,难以为大众消费者所接受。然而,Facebook并没有放弃探索下一个能够替代手机的技术产品,反而投入更多资金和人力研发VR/AR技术。OtNEETC-电子工程专辑

OtNEETC-电子工程专辑

Oculus Quest是一个独立的VR硬件设备,具有两个六自由度(6DOF)控制器,主控芯片采用高通骁龙835和Adreno 540 GPU,配备两个钻石Pentile OLED显示屏。OtNEETC-电子工程专辑

Facebook正在开发代号为Orion的AR眼镜,预计将于2023年发布。鉴于用户无法使用传统的触屏和键盘输入方法来控制AR眼镜,Facebook正在大力投入开发一种称为人脑-计算接口的全新技术,利用可穿戴传感器来检测佩戴者头脑的想法并用简单的语句表达出来。OtNEETC-电子工程专辑

微软的最新MR(混合现实)产品HoloLens 2瞄准的不是大众消费者,而是专业人士和企业用户。结合微软的Windows操作系统和云计算平台,HoloLens可以为商用用户提供传统软件和视觉系统无法呈现的视觉效果。只要通过手和眼睛,用户即可在显示玻璃上跟踪和滑动凸显,特别适用于医疗、科学研究和工厂设备检视等场景。OtNEETC-电子工程专辑

2017年苹果CEO Tim Cook在一次访谈中表示,AR市场将会像智能手机一样庞大,但现在还没有合适的技术来构建适合消费者使用的AR眼镜。 擅长创新但不会第一个吃螃蟹的苹果在AR上也开始加大力度,预计将于2022年发布一款AR头盔产品,而AR眼镜要到2023年才能发布,但苹果计划2021年就开始构建开发者生态来开发AR头盔APP。OtNEETC-电子工程专辑

苹果AR头盔项目代号为N301,据称将混合AR和VR功能,它类似Facebook Oculus Quest,但会更轻巧,摄像头绑定在设备外面,可以让用户看到并与周围环境互动。苹果的AR眼镜项目代号为N421,比头盔的技术难度更高,因此预期发布日期也会晚一年。现在的原型看起来像一个高端太阳镜,厚厚的镜框内置芯片和供电电池。要让用户整天佩戴,轻便小巧是必需的,在所用材料和配件上还有太多的技术挑战需要克服。OtNEETC-电子工程专辑

高通和华为海思围绕XR芯片构建新的生态

高通最近发布XR2芯片,并联合全球15家合作伙伴一起打造XR Viewer生态,其中包括中兴、VIVO和一加等手机厂商,以及VR/AR开发商和电信运营商等。高通还为此专门推出了Qualcomm XR眼镜适配计划,其中包括XR Viewer与智能手机的六自由度(6DoF)头部追踪性能适配认证。OtNEETC-电子工程专辑

OtNEETC-电子工程专辑

华为海思也推出了首款 XR 芯片,支持 8K 解码能力,并集成了 GPU和NPU处理器。华为携手Rokid开发全新的双目一体AR眼镜Rokid Vision,备受行业关注。OtNEETC-电子工程专辑

VR/AR能否流行进入主流大众市场,关键还在于用户体验。影响VR体验的三大因素包括:OtNEETC-电子工程专辑

1. 显示的清晰度:人眼视网膜分辨率的极限是60PPD(Pixels Per Degree, 每度像素数),用户使用4K VR头显观看4K分辨率的VR全景视频,其清晰度远低于人眼舒适的PPD。需要同时提高显示屏和视频内容的分辨率才能显著提高VR清晰度;OtNEETC-电子工程专辑

2. 画面的流畅性:显示屏幕刷新率和VR视频帧率都会影响画面的流畅性,屏幕刷新率一般要高于72Hz,而VR帧率要求在90FPS以上;OtNEETC-电子工程专辑

3. 交互的延迟:从运动到成像的时延MTP(Motion-to-Photons)要低于20ms,VR才不会让人产生眩晕感。要降低传输时延才能保证用户交互感,提供较好的用户体验。OtNEETC-电子工程专辑

目前VR设备主要是连接到PC的头显,或者像Facebook Oculus Quest之类的独立头显。除用户体验不佳外,这类设备的成本和使用操作也不太能为大众用户所接受。5G网络可以解决传输速度和延迟问题,显示屏、主控芯片和VR/AR视频内容也可以支持8K分辨率,与5G手机配套将成为VR/AR新的出路。OtNEETC-电子工程专辑

6DoF空间定位是增强XR用户体验的关键技术

在VR领域,无论是inside-out还是outside-in追踪方案,都需要对controller进行实时定位和追踪,要求无论controller的移动速度有多快,有没有被遮挡,都要准确定位、稳定追踪、不能丢失。6DoF空间定位技术是支持VR/AR沉浸式体验的关键。无论采用高通XR芯片,还是华为的8K解码芯片,VR/AR设备都必须支持高分辨率显示和先进的六自由度(6DoF)追踪功能。OtNEETC-电子工程专辑

目前,HTC、Oculus和索尼都提供了基于激光、单目视觉和双目视觉的outside-in controller及其追踪方案,微软的Holographic项目也提供了inside-out的controller及其追踪方案。虽然现有方案已经对定位精度做得比较好了,但是成本一直居高不下。在保持现有定位精度不降低甚至进一步提高的条件下,如何提供更低成本的定位方案?这是目前VR业内巨头们正在努力解决的难题。OtNEETC-电子工程专辑

位于深圳的VR初创公司欢创科技(Camsense)自主研发出一种多传感器融合技术,配合多个单目相机系统来实现outside-in 或者inside-out VR追踪体系,该系统可实现对头盔和手柄六自由度的高性能追踪定位。这家公司现在正与多家业内一线品牌厂商合作,为其VR/AR设备提供基础空间定位技术。OtNEETC-电子工程专辑

《电子工程专辑》主分析师顾正书专门采访了欢创科技创始人兼CEO周琨先生,就VR/AR的市场趋势及其核心追踪技术进行了深入探讨。下面是针对VR/AR关键技术和Camsense解决方案的问答要点,以及欢创科技采用的单目测量空间定位原理解释。OtNEETC-电子工程专辑

OtNEETC-电子工程专辑

一、请谈谈对VR/AR未来3-5年的市场发展看法

● 5G商业部署带来网络传输速度的提升,为VR/AR实时交互体验提供了基础保障OtNEETC-电子工程专辑

● VR头盔的摄像定位从Outside-in转向Insider-out,方便用户操作使用OtNEETC-电子工程专辑

● Facebook Oculus、Microsoft、HTC等VR巨头加大投资研发力度,推动VR/AR市场重新焕发活力OtNEETC-电子工程专辑

● VR/AR内容更为丰富,特别是沉浸式交互游戏,比如美国Valve公司开发的游戏OtNEETC-电子工程专辑

● VR和AR融合为XR,交互式娱乐+垂直2B应用(教育、旅游、培训等)是重点应该领域OtNEETC-电子工程专辑

● VR/AR将成为手机的用户体验增强功能,未来市场规模高达10亿台/年OtNEETC-电子工程专辑

二、Camsense针对VR/AR应用的技术方向和产品规划

● 核心技术在于单目精准空间定位算法OtNEETC-电子工程专辑

● 欢创科技自从2014-15年以来已经有多年VR技术积累OtNEETC-电子工程专辑

● 与多家业内一线品牌厂商合作,打磨六自由度空间定位算法和技术OtNEETC-电子工程专辑

● 采用Camsense技术的VR/AR设备2021年出货量有望达到100万台OtNEETC-电子工程专辑

● 一旦进入量产,公司会提供包括ASIC、算法和模组在内的完整方案OtNEETC-电子工程专辑

三、公司的技术定位和市场战略

● Camsense凭借高性能VR追踪系统积极参与确定市场和技术方向。Camsense HPP SDK是一套业内领先、基于自主知识产权的红外光学定位算法,将内置于公司研发的芯片、传感器和模组中。OtNEETC-电子工程专辑

● 团队目前有50余人,其中研发人员40余人OtNEETC-电子工程专辑

● 目标是树立国内第一的视觉空间定位行业地位,致力于成为全球计算机视觉空间定位领先企业OtNEETC-电子工程专辑

● 主要竞争包括亚洲光学和加拿大NDI等。OtNEETC-电子工程专辑

四、为什么选择单目测量?

单目测量比激光和双目的测量方式难度都大,因为它没有激光那么高精度的测量元件,同时所采集的信息量又不如双目那么多,所以要实现三维空间定位,必须要采用不同的方法。一般来讲,有两种方式可实现单目定位。一是采用结合IMU传感器的多帧定位方法,让摄像头在运动过程中连续不断的采集多帧信息,通过IMU信息和多帧图像对比来计算摄像头自身的运动参数,并估计物体位置,常见的单目SLAM算法就是这么做的。二是进行单帧测量,就是基于PnP原理进行定位和测量。单帧测量不需要借助IMU作为辅助传感器,但需要预先知道被测量物体的几何模型。几何模型掌握的越精确,定位精度就越精确。在测量时,首先需要提取出被测量物体上至少4个不共面的兴趣点,然后再根据这几个点之间的几何模型约束,唯一反解出物体的空间位置、姿态以及几何尺寸。OtNEETC-电子工程专辑

OtNEETC-电子工程专辑

相比其它测量方式,基于单帧的单目测量需要预先知道被测量物体的几何模型,从而可以在计算过程中引入约束进行校验,因此可以非常精确的测量出物体的空间位置和姿态。例如,Oculus Rift定位系统的定位精度就可以达到2-3mm,比起Sony PSVR的双目摄像头来讲,精度提高了一个数量级。OtNEETC-电子工程专辑

但这种方式也有一定的限制,需要预先估计或者掌握被测量物体的几何模型。在很多场景下,这个也不是大问题。例如,在工业领域中,被测量物体都是预先知道的。甚至在家用环境下,如果被测量物体是一个已知的大致模型,也可以用于估计位置和姿态,只是精度没有那么高而已。单目的优势很多,包括运算量相对比较小、FoV视场角大、不像双目视觉会有盲区等。OtNEETC-电子工程专辑

为了更加清晰直观地讲解VR/AR设备及其核心6DoF空间定位技术,我们专门举办一场“硬件创新”直播讲座,特邀请高通中国VR/AR业务负责人郭鹏,以及欢创科技创始人兼CEO周琨,与观众分享即将伴随5G手机进入大众市场的VR/AR头显市场趋势、生态发展、核心技术和设计方案。OtNEETC-电子工程专辑

EE直播间“硬件创新”直播系列:VR/AR市场趋势、生态建设、核心技术和设计方案OtNEETC-电子工程专辑

OtNEETC-电子工程专辑

责编:Amy GuanOtNEETC-电子工程专辑

 OtNEETC-电子工程专辑

ASPENCORE
本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
顾正书
电子工程专辑(EETimes China)主分析师。以深圳为坐标原点,扫描全球电子和半导体行业。专注于China Fabless和SoC设计细分市场的分析和学习,欢迎交流。
  • 华为启动“南泥湾项目”,新笔记本产品将不包含任何美国 华为启动备胎计划“南泥湾项目”,意在终端产品中规避使用美国技术或产品。华为消费者业务部门正加速推进笔记本和智慧屏产品业务,并且华为新笔记本将不包含任何应用美国技术的零部件。后续笔记本、智慧屏和IoT智能家居产品等完全不受美国影响的产品类别,将纳入该项目中。
  • 30家国产MCU厂商综合实力对比 ASPENCORE旗下《电子工程专辑》分析师团队经过半年的第一手跟踪调查和分析,加上各家公司的官网信息和公开数据,挑选出30家国内MCU厂商,并对他们进行了适当的量化评估和综合实力陈述。这是继《中国IC设计行业30家上市公司综合实力排名》分析报告之后,China Fabless 100系列行业分析的又一重量级报告,相信会让读者更加全面而深入地了解中国MCU市场及国内MCU厂商的现状和未来发展趋势。
  • 苏州三星电子电脑裁员:只留研发,产线8月底关停 7月30日,苏州三星电子电脑有限公司(SESC)发布了一则致员工的相关说明,宣布裁员,仅保留研发部门,笔记本电脑生产线运行到8月底将关闭。预计将有一千多名员工的劳动合同履行受影响,但据消息人士透露,三星这次的裁员补偿方案非常良心……
  • 美媒:欧盟敢禁华为5G,中国就敢反制诺基亚爱立信 《华尔街日报》7月20日援引消息人士的话报道称,如果欧盟决定对华为5G设备采取类似于美国和英国那样的封杀举措,那么中方将对欧洲电信公司瑞典的爱立信(Ericsson)和芬兰的诺基亚(Nokia)予以反制。对于禁用华为的国家来说,更不利的一点是华为设备使用维护、安装部署的成本,都只有竞争对手一半……
  • “315”曝美的空调遥控器APP窃取隐私,美的:APP系山寨 7月16日晚,央视315晚会曝光了一些手机应用中存在第三方SDK插件,窃取用户信息的情况。被曝光的应用中有一款名为“美的空调遥控器APP”,@美的空调官方微博 随后发布声明……
  • 10款路由器评测:腾达EMC超标,小米等三款获5星 深圳市消费者委员会采购了市面上比较热门的10款路由器产品,通过对这些产品的性能、信息安全、电气安全及电磁兼容等四大方面开展测试并进行分级评价,制作并发布了2020年路由器比较试验报告。此次共比较了10款样品,涉及品牌有:小米、普联、华为、领势、网件、华硕、水星、腾达、360、友讯……
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了