广告

从VR到XR,让虚拟现实不仅仅停留在好奇

时间:2017-12-22 作者:邵乐峰 阅读:
越来越多的移动场景正在拉动AR/VR的应用需求,用户无论是玩游戏还是看电影,享受内容的地点肯定不再是电脑前,而是在客厅沙发或卧室的床上,或者是在公交地铁里。
EETC https://www.eet-china.com

越来越多的移动场景正在拉动AR/VR的应用需求,用户无论是玩游戏还是看电影,享受内容的地点肯定不再是电脑前,而是在客厅沙发或卧室的床上,或者是在公交地铁里。移动技术的革命,正在为AR/VR/XR产业的爆发打下坚实的基础。mPIEETC-电子工程专辑

身临其境的魔幻感mPIEETC-电子工程专辑

对移动设备而言,用户体验和性能是关键但并不唯一的因素,如何在性能、功耗、成本等方面找到平衡更为关键。而对移动VR来说,要想拥有最好的沉浸式体验,视觉质量、音频质量、交互界面这三大要素的提升缺一不可。mPIEETC-电子工程专辑

20171222-XRVR-1mPIEETC-电子工程专辑

分辨率的高低决定了视觉效果的高下。由于VR屏幕距离人眼非常近,这就要求VR显示不但要达到2K或4K的水平,还要具备极低的时延以防止用户产生眩晕。不过,较高的分辨率就意味着更多的视觉信息需要处理,没有强大的视觉计算能力是无法支撑的。而VR音频不仅需要支持高保真,更重要的是声音需要具备方向感与临场感,能实时配合虚拟场景中物体的方位,这同样是提供沉浸感的关键。在交互上,相对电视、手机来讲,VR设备与人的交互是实时的,也更加频繁,对于处理器的要求自然也更高。mPIEETC-电子工程专辑

20171222-XRVR-2mPIEETC-电子工程专辑

对于VR,骁龙处理器的到来恰逢其时,它将把虚拟现实体验推向新的高度。在开发过程中,Qualcomm为骁龙835注入了超强的性能、领先的连接能力、强劲的安全性和超强的电池续航能力。与此同时,Qualcomm还为开发者提供了基于骁龙835移动平台的虚拟现实开发工具包(VRDK)。通过这款VRDK,虚拟现实应用的开发者可以获得先进的工具与技术,加速下一代VR游戏、360度VR视频与各种交互式教育、企业、医疗保健与娱乐应用的发展,而VR内容的开发人员也可以针对不同的VR产品在最短的时间内开发出创新的VR应用。目前,已有包括暴风、酷开、Pico、微鲸、亮风台、Focalmax等品牌推出了多款基于骁龙VR虚拟现实参考平台开发的VR/AR产品。mPIEETC-电子工程专辑

20171222-XRVR-3mPIEETC-电子工程专辑

尽管对VR行业来说,内容和用户体验仍然是当前最亟待解决的问题。但无论是程序员、创客、还是硬件或不同维度的开发者,都可以在Qualcomm IoT 生态中实现持续创新。比如对APP和软件开发者而言,他们完全可以利用Qualcomm提供的各种开发工具和SDK,去调用骁龙处理器中集成的各种计算与连接能力;创客、硬件玩家、教育或开发者社区用户则可以通过使用DragonBoard 410c开发板快速开发硬件原型,简化开发流程,将脑海中的想法快速实现;如果是专业的智能硬件公司,Qualcomm可以提供专业的SoM开发板、骁龙VR参考设计平台和一系列智能硬件参考设计,从而帮助企业快速进行产品商业化。mPIEETC-电子工程专辑

6-DoF新体验mPIEETC-电子工程专辑

VR的概念最早诞生于上世纪70年代,在19世纪,人们首次用立体视镜观看某个瞬间的3D 场景;之后在20世纪初,利用红/绿立体影片的形式,3D电影被发明出来;到了1970年代,军队尝试用 VR模拟飞行训练,允许通过3-DoF自由度操控视角方向;一直到2010年左右,完全沉浸式6-DoF 3D才被发明出来,可以控制用户的旋转以及位置。mPIEETC-电子工程专辑

不同于以往的技术,6-DoF可以使用户实现对虚拟世界的控制,拥有前所未有的交互体验。相较以往的 3-DoF体验,用户不仅仅能够通过X/Y/Z轴三个自由度看场景中的事物,最最重要的是还可以打破维度限制,完全成为故事中的一部分,身临场景中去感受,实现真正意义上的“打破次元壁”。mPIEETC-电子工程专辑

20171222-XRVR-4mPIEETC-电子工程专辑

随着技术的不断改进,支持6-DoF的移动VR在用户体验方面也有了很大提升。除了视频游戏,这些移动VR 还被广泛应用于制造业以及医疗培训等领域,比如用于医学培训的Think F.A.S.T VR。mPIEETC-电子工程专辑

Think F.A.S.T 的场景是一个环形医疗训练室,装饰颇具未来感,给人的整体印象介于《星际迷航:企业号》的全息甲板和医务室之间。由于支持 6-DOF(自由度),你可以在房间内自由走动。患者位于房间中部的台座上,你可以根据文字教程做出动作诊断患者是否得了中风,还可以向患者提问与之互动。最后,你可以像X光那样扫描患者全身,以便诊断所患中风的类型。
20171222-XRVR-1
用于医学培训的Think F.A.S.T VRmPIEETC-电子工程专辑

利用集成的Qualcomm Hexagon DSP,Think F.A.S.T VR 头显前部用于6-DoF动作捕捉的摄像头,能以高频率采集动作信息,让用户自由地探索周围环境。另外,得益于Adreno 540 GPU的出色性能,VR功能开发者得以搭建起高分辨率的环境模型并赋予它们真实的质感,释放出真正沉浸式体验的潜力。mPIEETC-电子工程专辑

VR正当其时mPIEETC-电子工程专辑

AR/VR行业的发展同时也带动了AI、5G、物联网等其他领域的进步。尽管AR/VR只是一种视觉呈现方式,但其后端系统也是异常庞大和复杂的:既需要人工智能和大数据处理机制提供更智能的数据,也需要透过各种传感器、各种无线和有线连接获得信息。未来甚至可以使用传输速度更快的5G网络将低延迟串流到视野里,摆脱厚重的电池和计算部件。mPIEETC-电子工程专辑

作为在VR行业深耕多年的厂商,Qualcomm 在2016年发布了基于骁龙820处理器的VR820参考平台。这是一款专为帮助OEM厂商快速开发面向VR内容和应用实现优化的独立式头显设备(HMD)参考设计平台,通过图形、显示、视频、音频、计算机视觉和传感器技术,以及功耗和热效率方面的强大特性,为用户提供综合的沉浸式体验。随后,骁龙835 VRDK的推出,Qualcomm VR参考设计平台的水平又被提升到了更高的层级,让开发者在获得先进工具与技术的同时,进一步提高了VR在整个2B和2C市场的标准。mPIEETC-电子工程专辑

  • 搭载骁龙835的VR一体机

HTC于VIVE开发者峰会(VDC2017)上首次展示了备受期待的高端VR一体机 VIVE FOCUS,该产品专为大众市场设计,即戴即用、操作简单、佩戴舒适、携带方便,是首款采用 inside-out追踪技术,支持六自由度(6DoF),可实现大空间(world-scale)定位的高端VR一体机产品。Vive Focus无需连接电脑或手机即可带来无拘无束的使用体验,同时还降低了用户享有高端VR设备的成本,可满足更广泛的消费人群需求。不仅如此,Vive Focus配有高分辨率AMOLED显示屏,可为用户带来低延迟、高清晰的绝佳体验,并且搭载了性能卓越的 Qualcomm骁龙835移动VR平台,支持Vive Wave VR开放平台,可畅享Viveport平台上丰富的VR内容。mPIEETC-电子工程专辑

20171222-XRVR-5
HTC高端VR一体机 VIVE FOCUSmPIEETC-电子工程专辑

Vive Focus基于Vive Wave VR开放平台打造。该平台集开发工具与配套服务于一身,旨在助力第三方合作伙伴简化移动 VR 内容开发流程,优化高性能设备的使用体验。包括爱奇艺、暴风魔镜、小鸟看看、小派科技、创维酷开、海信聚好看、创通联达、亿境虚拟、IDEALENS虚拟世界、努比亚、360手机以及广达电脑在内的12家硬件合作伙伴共同表达了在未来产品中整合Vive Wave及对应的VIVEPORT开放内容平台的意愿。mPIEETC-电子工程专辑

  • 歌尔发布基于骁龙835的VR HMD参考设计平台

歌尔股份在2017年的MWC展会上正式对外宣布,其采用Qualcomm骁龙835移动平台的第二代虚拟现实一体机参考设计平台正式发布。该参考设计平台提供了定制化的VR平台,有效缩短了研发周期,加速产品上市。该参考设计平台不仅计算能力提升30%,同时为虚拟现实发烧用户提供了先进的手势控制与眼球追踪功能,这是自VR820发布后的再一次提升。mPIEETC-电子工程专辑

歌尔采用Qualcomm骁龙835研发的第二代虚拟现实一体机参考设计平台可以协助品牌厂商使用参考设计产品,并从一系列预认证组件中进行选择。这一全新HMD的发布是Qualcomm Technologies“HMD加速器计划”重大举措的一部分。这一计划对专注于自主打造虚拟现实HMD的品牌厂商而言无疑是一剂催化剂
20171222-XRVR-6
歌尔第二代VR HMD参考设计平台mPIEETC-电子工程专辑

歌尔的第二代VR HMD参考设计平台是一个基于Qualcomm骁龙835并完全独立的VR HMD系统。歌尔的创新系统设计包含的工业设计、散热设计、电子设计、光学设计、声学设计与固件开发,结合骁龙835强大的计算、图形、音频、连接和功耗管理技术以及高频惯性数据传感、减少图像画面延迟、功效管理及带有镜头矫正的立体渲染等技术,使该参考平台成为一个的创新产品,基于此平台的终端可以独立工作,不需要连接其他辅助装置或主机。mPIEETC-电子工程专辑

  • 中科创达骁龙835 VR开发套件

目前市面上大多数VR耳机都是使用智能手机的系留式或插槽式设计。Qualcomm Snapdragon 835 VR开发套件是独立的一体式VR耳机,具有单面板AMOLED头戴显示器(HMD),分辨率为2560x1440,以及集成的 Snapdragon 835处理器。它包括六个自由度的双面前置摄像头(6DoF),6DoF运动跟踪使用集成的Hexagon DSP以快速的800Hz速率进行,这使得Snapdragon CPU和Adreno GPU自由用于计算和图形处理。
20171222-XRVR-7
中科创达骁龙835 VR开发套件mPIEETC-电子工程专辑

Snapdragon 835 VR开发套件旨在帮助软件开发人员创造更加身临其境的VR体验。除了强大的835移动处理器外,该套件还包括:头部跟踪相机、多个麦克风、陀螺仪、加速度计和磁力计;Qualcomm TruPalette显示色域映射,颜色增强对颜色的综合控制;Qualcomm Ecopix像素压缩与变量,刷新延长电池寿命;以及运动的光子18ms(或更少)延迟、每眼90-120度自由度和双耳3D位置音频等特性。mPIEETC-电子工程专辑

  • Pico Goblin

硬件上,Pico Goblin 搭载了一块2560 x 1440的5.5寸高速显示屏,属于主流的2K级,并且得益于集成在 Qualcomm骁龙820/821移动平台中的Kryo CPU和Adreno 530 GPU,强大的图像计算和渲染能力使得显示效果流畅逼真,整个体验过程中丝毫感受不到“纱窗效应”。
20171222-XRVR-8
Pico GoblinmPIEETC-电子工程专辑

在视觉体验方面,除了分辨率之外,另外两项重要指标包括延时和视场角。延时方面,Pico Goblin 搭载的这块显示屏能以70Hz的频率刷新,并能以20ms的延迟更新画面,也就是当你抬头看或做其它动作,画面能在20ms内更新完成,显而易见,延迟越低,拖影和随之产生的眩晕就会越轻。另一方面,由于附加的手柄设计减少了头部运动,眩晕感进一步减轻。实际体验中,在经过30分钟的VR游戏后,仍然没有明显眩晕感。而 92°的视场角,即便不是最顶级,但应对日常的观影游戏需求,已经绰绰有余。mPIEETC-电子工程专辑

XR:拥有一个更真实的二次元偶像mPIEETC-电子工程专辑

XR可以说就是AR、VR、MR(Mixed Reality 混合现实)的结合体。目前的AR和VR在体验上相去甚远,不过许多技术是两者共享的,以此为基础,未来的XR可穿戴设备将同时支持AR和VR。mPIEETC-电子工程专辑

不同于VR头盔的不便携带,在将来某一天,一副XR眼镜就可以帮我们轻松打破次元壁!这副眼镜将会由智能手机、VR头盔、AR眼镜合而为一,除了拥有强大的功能,这副眼镜还会有时尚的外观、而且佩戴舒适,无论工作还是生活抑或是娱乐,XR将取代任何有屏幕的设备成为新一代视听娱乐必备的“黑科技”!mPIEETC-电子工程专辑

20171222-XRVR-9mPIEETC-电子工程专辑

融和三者,XR将为我们带来无限可能。它不仅会改变你我的日常体验,更将从根本上改变许多行业,比如工业制造、医疗健康、教育和零售。如同近十年智能手机带来的变革作用,下一个十年,可穿戴XR设备有望成为广泛普及的颠覆性产品。当然,这一设想要真正实现起来却并不容易。mPIEETC-电子工程专辑

就目前的技术而言,XR主要有5大难点。mPIEETC-电子工程专辑

显示:XR亟需一次显示技术的革命。相比VR和AR,XR将显示更丰富多彩的内容,同时能在虚拟和现实中做到任意切换。除了舒适性和显示寿命以外,XR 的显示屏还需解决一系列挑战,比如视轴调焦的问题,作为人类视觉系统的生理特性,如果得不到有效解决,眼球的频繁转动和聚焦很容易导致视觉疲劳和不适。实现透明屏幕上的应用程序控制同样是一大难题。此外,还需要提高屏幕视野、像素密度、显示帧率和亮度等等。mPIEETC-电子工程专辑

均匀照明:在增强现实中制作一个虚拟但难辨真假的物体是一项巨大的挑战,不过若想实现 XR的全部功能设想,这个难题恐怕还是要得到有效解决。而这需要计算机视觉技术和3D图形技术的进一步融和。mPIEETC-电子工程专辑

动作追踪:为了简化交互方式和创造沉浸式的体验,XR必须实现对头、手、眼的智能捕捉,尤其对手的追踪尤其重要,比如更精确的6自由度头部追踪。同时,在多数情况下,最好的控制器就是没有控制器,因此在AR模式中实现对手的追踪,在VR模式中制作出虚拟又真实的手,是实现沉浸式体验的基础。另外,眼球跟踪,高效3D图形和视频渲染、更友好的 UI设计同样必不可少。mPIEETC-电子工程专辑

电池和温控:要在一副眼镜中置入足够大的电池,提供无时无刻不在计算的芯片所需的电量,并且要把温度控制在一定范围内,是一项不小的挑战。芯片的异构计算能力、电池技术、材料科技、软件效率等方面都需要得到改进。mPIEETC-电子工程专辑

连接性:XR需要无时无刻、随处可得的网络连接和云服务,在初始阶段,这一需求可以用千兆级LTE网络和Wi-Fi来满足,不过随着沉浸式XR的普及,5G将为其提供高带宽服务。XR串流视频有望成为下一个十年的杀手级应用,但这需要千兆级的带宽和极低的时延才能实现。5G增强型移动宽带可以提供几千兆的吞吐量,和低于1毫秒的无线传输时延,并且能保证你在任何地点享受到统一的XR体验,因为5G不会像目前的4G一样,传输速率因距离基站的远近产生大幅波动。mPIEETC-电子工程专辑

XR+骁龙845=?mPIEETC-电子工程专辑

全新推出的骁龙845移动平台聚焦六大关键点:包括拍摄、沉浸式体验、人工智能、安全性、全球网络连接和续航。通过集成高通新一代的Kyro 385 CPU、Adreno 630视觉处理子系统、Hexagon 685 DSP、骁龙X20 LTE Modem、Spectra 280 ISP、Wi-Fi、Aqstic Audio和新引入的系统级存储与移动安全模块。再加之外围的音频Codec、无线模块、RFFE、Touch和PMIC等模块单元,以及相应的算法库、软件开发套件等,为开发者提供了一套完整的系统级解决方案。mPIEETC-电子工程专辑

20171222-XRVR-10
全新推出的骁龙845移动平台mPIEETC-电子工程专辑

为了更好的满足XR(扩展现实)应用需要,骁龙845移动平台集成了Qualcomm Spectra 280 ISP 和 Qualcomm Adreno 630视觉处理子系统。这些全新的架构可为旗舰移动终端带来高性能、逼真的电影级别视频拍摄,以及出色的影像。与其前代产品对比,骁龙845能够捕捉高达64倍的高动态范围色彩信息,以支持在 Ultra HD Premium显示屏上的视频拍摄与播放,而其前代产品也是移动行业首款支持 Ultra HD Premium内容播放的平台。这一色彩信息上的巨大提升包括了支持超过10亿种色调的10位色深,这些色彩可以在Rec.2020广色域显示,从而使影像能以10亿色调的色彩展现。mPIEETC-电子工程专辑

除了视频拍摄体验的提升,全新Adreno 630视觉处理子系统架构将变革娱乐、教育和社交互动,使其更具沉浸感和直观性,旨在为包括 VR、AR 和 MR在内的全新XR体验提供创新。骁龙845是首款支持室内空间定位(room-scale)六自由度(6DoF)和即时定位与地图构建(SLAM)的移动平台,从而实现诸如避免墙壁碰撞等特性。此外,与前代产品相比,骁龙845 所引入的“Adreno 视觉聚焦”可以显著降低功耗,提升视觉质量,并增强XR应用性能。mPIEETC-电子工程专辑

而要想拥有酷爽的XR游戏体验,仅有一颗强悍的骁龙芯可能还不足够。日前,高通与网易旗下网易游戏事业部就联合宣布,两家公司计划面向Qualcomm骁龙800系列顶级移动平台包括最新发布的骁龙845移动平台合作,共同优化网易游戏引擎Messiah。该合作将有助于为顶级移动终端打造下一代手游和XR游戏内容,探索未来全新的沉浸式移动游戏体验。mPIEETC-电子工程专辑

以移动游戏为代表的下一代移动游戏,包括VR/AR应用对移动终端的性能和功耗带来极大挑战。目前,两家公司已经分别在支持Khronos的Vulkan图形和计算API方面取得巨大进展。作为高效的新一代图形计算API,Vulkan可以更大程度地释放CPU负载,让游戏开发者利用骁龙移动平台上的Qualcomm Adreno GPU。同时,Vulkan所具有的多平台兼容性可减少资源对PC和手机端共有游戏开发者的限制。网易公司自研游戏引擎Messiah以多线程并行执行闻名,支持诸如物理渲染和动态阴影等先进的技术,已经面向Qualcomm骁龙移动平台进行了优化,旨在为游戏玩家带来更多支持Vulkan的游戏内容。mPIEETC-电子工程专辑

此外,两家公司正在XR技术领域开展合作。通过骁龙VR软件开发包,网易游戏已将旗下首款支持六自由度(6 DoF)的顶级VR游戏《破晓唤龙者》(Twilight Pioneers)成功迁移至骁龙。网易自研AR平台InsightAR旨在为内容开发者带来易于使用的开发工具,并为使用骁龙移动平台的终端用户带来高品质的AR体验。mPIEETC-电子工程专辑

两家公司计划在骁龙845移动平台上面向网易多款即将在2018年发布的游戏进行优化。mPIEETC-电子工程专辑

本文为《电子工程专辑》原创,版权所有,转载请注明出处并附链接mPIEETC-电子工程专辑

EETC wechat barcode


关注最前沿的电子设计资讯,请关注“电子工程专辑微信公众号”。
mPIEETC-电子工程专辑

mPIEETC-电子工程专辑

EETC https://www.eet-china.com
本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
邵乐峰
ASPENCORE 中国区首席分析师。
您可能感兴趣的文章
  • AR同行从硬件和软件上揭秘微软HoloLens 抛开Magic Leap等神秘黑科技不说,Hololens可以说是目前体验最好的一款AR和MR设备了,从它的名字上就可以看出微软的野心,Holo是全系的意思,lens是镜片的意思……
  • 特朗普政府对华为的制裁将带来哪些负面影响? 自上周特朗普政府对华为启动禁令以来,中国、美国及全球都骚动起来,一种无名的不确定性阴云笼罩着地球。在全球经济衰退、半导体产业下滑、中美贸易摩擦升级的大背景下,特朗普拿华为开刀以赢得谈判筹码的算盘已经落空。然而,他的这一举措造成的影响将会持续下去。《电子工程专辑》的小编们根据国内外媒体分析报道、华为事态的进展、中国和美国民众的想法,加上自己的分析和思考,列出了特朗普政府对华为的制裁将对全球、中国和美国的经济造成的七大负面影响。
  • Arm中止与华为合作,曾经的永久授权还能用吗? 根据英国广播公司(BBC)获得的内部文件称,日本软银 (SoftBank) 旗下的英国芯片设计公司 Arm Holdings将暂停与华为的全部业务。Arm的芯片IP授权构成了全球大多数移动设备处理器的基础,华为的处理器也是购买了他们的IP授权,那么如果现在停止合作,对华为开发下一代处理器会造成什么影响呢?
  • 华为禁令战火燃烧!美国安部警告:中国制无人机有窃密之嫌 美国对华为禁令战还未落幕,中国制造无人机的资安问题又因美国的强烈关切与质疑而成为焦点。美国国土安全部(DHS)稍早发布警告,指称中国制无人机具有潜在风险,恐将敏感数据回传制造商,并进一步交由中国政府掌握,对美国国家安全构成威胁。
  • 它成为首家官宣断供华为的美国厂商… 手机零部件生产商Lumentum Holdings Inc在5月20日成为首家正式证实停止向华为技术有限公司发货的美国公司,这家公司表示,无法预测何时能恢复发货。
  • Marvell收购Avera Semi,抢占不断增长的基础设施机遇 2019 年5月21日, Marvell宣布,已就收购格芯旗下 ASIC 业务 Avera Semiconductor 达成最终协议。此次收购将Avera Semi领先的客户设计能力和Marvell先进技术平台和规模相结合,为有线和无线基础设施OEM打造一个领先的ASIC提供商。
相关推荐
    广告
    近期热点
    广告
    广告
    广告
    可能感兴趣的话题
    广告