广告

元宇宙畅想:英伟达创造的Omniverse虚拟世界比现实世界还要大

时间:2021-07-23 作者:黄烨锋 阅读:
今年英伟达在Computex的主题演讲之后,黄仁勋接受媒体线上采访时,特意选在了英伟达新落成的一个企业建筑楼内。这栋建筑叫“Voyager”,位于美国的圣克拉拉,占地大约75万平方英尺。我们也算是第一批见到建筑内部长什么样的人了,虽然是通过线上的方式……
广告

今年英伟达在Computex的主题演讲之后,黄仁勋接受媒体线上采访时,特意选在了英伟达新落成的一个企业建筑楼内。这栋建筑叫“Voyager”,位于美国的圣克拉拉,占地大约75万平方英尺。我们也算是第一批见到建筑内部长什么样的人了,虽然是通过线上的方式。

比较有趣的是,黄仁勋特别提到这栋建筑的独特之处在于其内部的光照设计,是最大程度考量了自然光特性的。“我们在超级计算机DGX上用RTX光线追踪技术模拟了整个建筑,之所以这么做是为了平衡照进这栋建筑的光,以及节约能源——主要是恒温系统的节能。因为进入建筑的光太多的话,就需要更大程度地使用空调。”黄仁勋说。

“这栋建筑的屋顶在角度上是恰到好处的,如此一来,早晨的阳光、傍晚的夕阳都不会直射进来。屋顶、窗户的倾斜都能够做到自然光的精致平衡,对人眼来说相当舒服。”“我们用超级计算机模拟了未来建筑,我相信这样的设计会在所有的建筑中见到。”这栋建筑内,也有专为机器人通行,远程VR之类的实现。

虽然黄仁勋在介绍Voyager时并未直接谈到Omniverse,但实际上在DGX上用光线追踪模拟建筑全貌,实现自然光的平衡照射,我们猜测很大程度用上了英伟达自己的Omniverse。Omniverse译作中文应该是“全宇宙”。本质上就是基于真实世界的各种物理特性,创建的虚拟世界,所以它应该属于Metaverse,也就是元宇宙或者虚拟世界范畴。这个虚拟世界内的各部分构成都极大遵循现实世界的物理法则,因此可以模拟现实世界的运作,并在很大程度上指导现实世界。

今年GTC上,黄仁勋对Omniverse的形容是,“一款将3D世界连接至共享虚拟世界的平台”。这句话是可以概括Omniverse的。这样看来,Omniverse可能成为未来digital twin数字孪生技术的基础。当前英伟达主要在图形领域和仿真领域融入Omniverse。黄仁勋在接受采访时,有人提问:“Omniverse技术能将这一概念扩展到什么程度呢,比如化学技术或者其他领域?” 

元宇宙未来主义畅想

在谈元宇宙这个问题时,黄仁勋对Omniverse作了一些预想。“未来会有很多的设计者、创造者,在虚拟现实、Metaverse中设计数字事物;然后才在现实世界中去完成设计,包括汽车、包、鞋子等等产品。我相信这会是个更大的市场、更大的领域。可能Metaverse里的世界,会比我们现实世界(Universe)大上百倍。”

“其次,我相信Metaverse世界里的经济会比物理世界规模大很多,数字货币、加密货币会在Metaverse中使用。”日本此前有部电影叫《夏日大作战》,其中畅想的虚拟世界就与黄仁勋此处提及用Omniverse搭建的虚拟世界很相似——同类虚拟世界题材影片又如《头号玩家》。或许这件事很快就不只存在于科幻电影中了。

电影《头号玩家》剧照

“如果这个世界看起来很美好,很精致,就值得艺术家们贡献时间去打造漂亮的建筑、漂亮的汽车、漂亮的产品,只不过是以数字的方式。以数字的方式买东西,数字的方式驾车,数字的方式享受。”

“怎么去造出一个虚拟世界?并且为这样的虚拟世界添砖加瓦?”黄仁勋说,“首先需要有个引擎,这就是Omniverse要做的事情。这个引擎能够渲染非常高保真的影像。其次,这个虚拟世界需要符合物理定律,包括粒子物理、引力、电磁波、光、压力等等。”“在这样仿真的引擎之下,人们愿意将创造的东西放进去。”

“随后,这个世界必须是开放的。所以我们选择了Pixar发明的USD(universal scene description)语言。我们在其中投入了相当多的资源。有了USD,AI本体(AI agent)穿越虫洞就能通过AR/VR的方式进出。”“最后,Omniverse在云上也是可扩展的。”

“这就是Omniverse,我们动用全球最棒的工程师、科学家去打造,已经为其投入了大约3年的时间。我觉得这会成为我们最重要的作品之一(one of our most important bodies of work)。”

虚拟世界现在走到了哪里?

计算机图形学的核心就是模拟,使用数学和计算机科学来模拟光线、材料的交互,模拟物体、粒子和波的物理特性等等。光线追踪实际上是其中很典型的一个例子。所以由英伟达提出Omniverse一点也不奇怪。对于黄仁勋畅想的未来,我们也从不怀疑。不过问题也在于现阶段的Omniverse能做什么。前年GTC China上,英伟达才特别面向建筑行业(AEC)推了Omniverse,尤其强调3D制作流程的协作,“在AEC工作流中增加实时协作功能”。或许Voyager就是这么来的。到现在,Omniverse的发展速度有些超乎我们的想象。去年12月,英伟达发布Omniverse公开测试版。

或许英伟达本身也无法完全预想Omniverse究竟未来能做什么,更多的需要交给使用Omniverse Kit的开发者去为元宇宙添砖加瓦。除了在不同工作地点协同进行建筑设计的例子(福斯特建筑事务所全球17个办公地点的设计师再用Omniverse协同作建筑设计),工业光魔(ILM)此前已经在测试Omniverse,这就是影视行业的应用了。

工业光魔主要是期望用Omniverse将来自多个工作室的内部、外部工具管线汇集到一起,在Omniverse中协同实时地渲染最终的镜头,以及创建Holodeck之类的大型虚拟数据集。从不同位置实现设计协作,以及构建更简单的工作流,也是Omniverse的重要特性之一。

有关设计协作还有不少例子,比如游戏公司Activision用Omniverse将自家大量3D内容整理到一个共享,并且可以搜索的空间内;包括Autodesk、WPP等不同领域的企业及其工具都参与了进来。不过这里我们将重点放在Omniverse在Digital Twin的应用上——在我们的理解里,Omniverse应用中,Digital Twin应该属于其中的高级阶段。

前文提到爱立信用Omniverse进行5G波传播的模拟,已经有真实世界模拟的成分了;Twin Earth则用Omniverse打造了一个数字孪生(Digital Twin)地球——虽然我们尚不清楚这个孪生是孪生到了何种程度。

但Digital Twin的确是这两年很热门的一个词,是工业4.0时代我们经常提到的一个概念。其本质就是针对现实世界——比如制造工厂的环境或某些系统,模拟一个数字复刻版出来。智慧工厂的某些解决方案常这么做,用数字复刻版模拟运作这样的虚拟工厂,也就能够实现预测性维护(predictive maintenance)、错误预判等。在图形学发展到Omniverse这个程度之时,Digital Twin似乎也有了更大的外延。

用Omniverse来构建Digital Twin的例子也不少。基础设施工程软件公司Bentley,构建的项目比如道路桥梁、铁路和交通系统等。这家公司打造的iTwin平台,是在施工完毕后可以使用3D模型在整个生命周期中监控和优化性能。其本质也算是基础设施Digital Twin的构建。

Bentley在Omniverse中用于构建Digital Twin的工具

如前文提到的,Omniverse可以模拟粒子、液体、材料、弹簧、线缆之类的物理特性。英伟达对于这个问题的理解是,这些模拟乃是机器人技术的基本能力,机器人可以在Omniverse世界里通过模拟,学习如何成为一名合格的机器人。

比如机器人可以在Omniverse的虚拟工厂里训练如何搬箱子、拾取放置对象等操作。虚拟工厂内的AI、软件,和实体工厂所用的完全相同。这就是打造Digital Twin的概念了,包括虚拟工厂中的布局、操作设备和实体工厂一样,而且也连接ERP系统等等。

宝马的虚拟工厂

宝马工厂就用Omniverse进行虚拟工厂的模拟,在Omniverse世界里构建工厂的Digital Twin。宝马打造Digital Twin的出发点在于,他们需要定期对工厂做重组,来适应新车上市的节奏。那么在Digital Twin虚拟工厂里面就能做规划和测试了。从此前GTC的演示来看,宝马可能不仅用到了Omniverse技术,还需要更多技术的配合。比如需要有人用动作捕捉套件在虚拟工厂中操作,穿越实体工厂和虚拟工厂的“虫洞”进入装配模拟系统,记录任务动作;随后有人以协作的方式再去实时调整生产线设计。

针对新的工作流程,则可以使用“数字人”来测试。这些“数字人”本身就是Digital Twin,与真实员工的数据一致。最终优化生产线,针对人体工学设计和人身安全等问题做出考量。

至于工厂中的机器人,宝马主要是用机器人执行生产中的物料流动。这个过程里,宝马用英伟达的Isaac来对机器人做AI训练,类似于在机器人“脑内”训练其物流工作过程中,应对各种环境的能力。有关Isaac Sim——它实际上是Omniverse的一个具体应用:用Omniverse平台来进行模拟,比如说各种常见的机器人使用场景,像是在工厂内导航、操作,为之生成合成数据用于感知模型的训练。这也是比较具有代表性的Omniverse应用,下文还会提到。据说宝马在生产网络中模拟了全部的31家工厂,Digital Twin智能制造方式果然还是未来啊。

如果将来Omniverse以更高的精度模拟世界甚至宇宙,则其应用场景或许就覆盖到了全人类的方方面面,而不仅限于以上谈到的这些企业。而且从今年夏天开始,Omniverse正式提供企业许可证,作为企业服务存在。

还有一些比较典型的例子,比如说用Omniverse来测试自动驾驶汽车。毕竟虚拟世界的一个好处就是,可以测试各种现实世界无法测试(或无法简单测试)的项目,而且测试时间可以大幅缩短。沃尔沃就是用Omniverse做自动驾驶汽车测试的成员,这其中涉及到对汽车驾驶周边环境、行人等的模拟。

这应该是英伟达DRIVE AV在Omniverse上的应用DRIVE Sim。这是又一个Omniverse的典型应用,通过DRIVE Sim的“模拟路测”,自动驾驶开发者也就能够提升测试效率、加快汽车的time-to-market时间了。

自动驾驶和机器人是英伟达现阶段对Omniverse设想中应用的两个重要组成部分,也都是Digital Twin方向。不过感觉现阶段的这些例子,在英伟达看来估计还只是Omniverse的小试牛刀。

Omniverse需要哪些核心构成?

最后来谈谈Omniverse本身的一些主要的构成要素,这有助于我们理解到底如何构建元宇宙。今年GTC上,黄仁勋对Omniverse进行了比较详细的介绍,他在介绍中将Omniverse平台分成了几个部分:

第一部分是Omniverse Nucleus。Nucleus是连接不同位置的用户,实现3D资产交互和场景描述的数据库引擎。“连接以后,负责建模、布局、着色、动画、照明、特效或渲染工作的设计师,可以协作创建场景。”Omniverse客户端向数字内容和虚拟世界做出改动,应用于Nucleus Database。这些改动在所有连接应用之间实时传输。

就像用Office 365进行线上的多人文本编辑协作一样。当然其实现难度要比文本编辑协作大很多。这对于很多行业而言也是长期以来的痛点。在Omniverse中,“多个用户可以连接到Nucleus,以USD代码段的形式传输和接收对自己场景的更改。”

有关USD(Universal Scene Description),这里可以多聊几句——也是Omniverse的关键元素之一。USD技术原本是著名的动画工作室Pixar开发出来用于制作动画电影的,其存在历史有超过10年了。这属于一种数据交换格式,针对的是大型3D场景,以无损的方式处理针对内容的融合、组装、覆盖、动画化等操作;算是融合了Pixar在电影协作软件打造方面数十年的经验。

USD的设定甚至可以追溯到《玩具总动员2》时期。对于3D世界而言,没有哪两个应用会使用相同的“语言”;而USD是为了突破这一点被英伟达看中的。我们大概可以把USD形容为3D领域的HTML,作为某种标准存在。对于Omniverse而言,协作也就实现了跨应用的内容共享,而且可以不同的方式浏览、修改内容。Nucleus整体在此扮演一个用于多方场景修改的通讯的hub型角色;USD则作为一种统一表达方式存在——如果没有统一表达方式,那其实也不用谈Metaverse虚拟世界构建了。

基于此,英伟达提到Pixar的动画电影协作是非实时的,所以英伟达在USD之上增加了在不同用户间同步的能力。与此同时要把USD扩展到媒体和娱乐应用之外,包括机器人、汽车、建筑、工程、生产制造等等。对于第三方应用而言, Omniverse Connect库作为插件可以让第三方应用连接到Nucleus——插件用Omniverse Connect来追踪本地和外部对内容的修改。 

Omniverse的第二部分是合成、渲染和动画引擎,也就是对虚拟世界的模拟。这应该是前文提到了遵循现实世界各种物理性质的构成要素,也是英伟达在图形计算和AI领域这么多年来的经验集合:包括通过Nvidia PhysX模拟物理性质,通过Nvidia MDL模拟材质,并做Nvidia AI的全面集成。

第三部分则是Nvidia CloudXR。黄仁勋在GTC 2021上说:“如果你愿意,可将其用作‘星际之门’。用VR将内容传送到Omniverse中,而AI可以使用AR将内容从Omniverse传送出去。”这应该算是扩展的一种便捷途径。CloudXR本身作为英伟达应用于流VR/AR的解决方案,与Omniverse的结合,猜测在英伟达的规划中还是比较近期的事情。

以上每个不同的组成部分下属应当还有各种不同的组件和工具,比如说Omniverse Create用于加速场景组合,并且能够实时地、交互式地对场景做渲染、模拟、组合等;Omniverse View则是实现设计协作和建筑工程项目可视化的构成等等。

从游戏到现实世界

要在高度抽象下理清Omniverse究竟是什么,可以看看下面这张Omniverse平台结构图,里面还是有各种我们熟悉的组成部分,尤其在Omniverse平台之下实现图形、计算和AI的各种技术和组件;上层现阶段也有英伟达自己打造的各种应用。

应用这一层未来应当还会持续完善,就像元宇宙的不同组成模块一样。前文已经提到了其中的DRIVE Sim和Isaac Sim,分别是自动驾驶和机器人在Omniverse世界里的应用。这里再来简单地看两个例子,也能体现英伟达现阶段对元宇宙的构建程度。Machinima也是今年Computex上,英伟达着重谈到的一点。

Machinima一般是指使用实时图形引擎去打造电影、短片作品的方式。此前Quake、Doom引擎就被用来创作电影。《模拟人生》这款游戏在网上就有很多人用其素材来做成短片或者故事片的。Omniverse Machinima是为这种创作方式还加入了光线追踪和AI支持的应用。用户可以导入自己的游戏素材,或者从英伟达的库中提取素材。

再比如Omniverse Audio2Face:这个应用是在仅有人声(音频)的情况下生成3D面部表达的应用。实时生成的3D形象,嘴巴就能与输入的音频完美匹配。而且可以调整参数,来丰富3D面部表达——比如自定义一个3D人脸(如用外星人3D形象),或者加入面部表情等等。这个应用也用上了某个预训练深度神经网络,输出的网络可以驱动3D形象面部的各个顶点做运动。

Audio2Face显然也能和Machinima一起来用,此前英伟达在GeForce 30系列发布会上其实就有这两个应用的联合演示。这些应当都是构建元宇宙的基石。更多创作者和开发者的加入,对这些Omniverse应用的使用和二次开发也是在完善这个构建过程。 

这篇文章从相对抽象的角度谈了谈英伟达的Omniverse,以及英伟达对其的畅想。在实现其畅想的过程里,其实还有很多待解决的问题,毕竟罗马不是一天建成的。比如对于巨型数据集,达到城市构建级别的建模,USD该怎么发展——这是Digital Twin应用上遭遇的问题。而在设计协作应用方向,还有不同行业之间的协作其实也面临十分巨大的挑战,比如建筑公司,从工程师到咨询顾问,再到制造商的内容传递都是不简单的,存在很多需要解决的实际问题。这是此前在GTC会后圆桌上有嘉宾提到的。

像Omniverse这么庞大的工程,不知黄仁勋是何时发想的。不过最初英伟达是针对游戏做图形计算的公司——游戏原本就是虚拟世界,游戏大概有自己的元宇宙。游戏玩家在虚拟世界中寻找存在感。而现如今Omniverse要把这个虚拟世界以超大规模量级扩展开来,扩展到企业,甚至令其与现实世界并驾齐驱,对英伟达而言似乎也是一条顺理成章之路。我们期待这一天的到来。

责编:Luffy Liu

  • 真tn的长
本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
黄烨锋
欧阳洋葱,编辑、上海记者,专注成像、移动与半导体,热爱理论技术研究。
  • MathWorks:加速推进四大战略,助力全球数字化转型 借2021 MATLAB EXPO中国用户大会召开之际,MathWorks中国区总经理曹新康和MathWorks中国区行业市场经理李靖远接受了《电子工程专辑》的采访,分享了数字化时代下MathWorks如何在众多应用中帮助科学家及工程师加速开发进程。
  • IDC发布中国人工智能软件及应用市场研究报告 中国人工智能产业化应用在过去5年间已经取得显著的成效,呈现出无可比拟的规模与速度:中国人工智能软件市场规模在2020年达到230.9亿元人民币,约为美国AI软件市场规模的6成左右。
  • 无法破解的芯片之谜:密歇根大学无敌CPU在美国防部DARPA 美国国防部高级研究计划局组织了580名网络安全的专家总共花费了13000个小时来攻克代号“墨菲斯(Morpheus)”的处理器,然而并没有攻克。号称完美的无敌CPU究竟有何魔力?
  • 软件吞噬世界,开源吞噬软件,解读2021年OSSRA报告 新思科技(Synopsys)发布的《2021年开源安全和风险分析》报告(OSSRA),重点介绍了在商业应用程序中开源应用的趋势,并且提供了见解,以帮助企业和开源开发者更好地了解他们所处的互联软件生态系统。同时,这份报告也详细地介绍了非托管开源所带来的安全隐患,包括安全漏洞、过期或废弃的组件以及许可证合规性问题。
  • 未来工厂你不可不知的五大趋势 MathWorks工业自动化和机械领域行业经理Philipp Wallner将未来的工厂称之为“柔性(Flexible)”的,认为市场驱动力源自商品的个性化,并导致系统复杂性显著增加。这样,就需要越来越多的仿真模型去进行参数的调优和设计,需要AI和数字孪生技术用于运行优化,或是对设备进行健康预测。
  • Wind River Studio:重新定义关键任务智能系统 Wind River Studio是风河公司近期推出的云原生平台,用于关键任务智能系统的开发、部署、运作和服务,能够满足信息安全性、功能安全性和可靠性等方面特别严苛的要求。
  • 新款iPad Pro 2021成最受欢迎的 由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
  • 三星折叠屏手机Galaxy Z Fold 3 目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。

  • EMC对策产品: TDK推出用于移动设备 TDK株式会社(TSE:6762)推出用于移动设备的TCM0403M系列小型薄膜共模滤波器
  • 比科奇ORANIC板卡获行业大奖,5G小基 比科奇(Picocom)日前宣布:该公司荣获全球小基站论坛(SCF)一项大奖,其全新的ORANIC板卡赢得了全球小基站论坛(SCF)2021年度“小基站芯片及组件杰出创新金奖”。
  • 小米汽车来了! 点击蓝字关注我们9月1日,小米集团董事长雷军在微博上表示,小米汽车正式注册,公司名为小米汽车有限公司,注册资金100亿,小米董事长兼CEO雷军担任法人代表。小米汽车公司的正式注册成立,被视为小米集团进
  • 美国插手中韩半导体领域关键收购案 ▲ 更多精彩内容 请点击上方蓝字关注我们吧!近些年来,虽然中国面板产能持续提升,已成为全球最大的显示面板生产国,但驱动芯片却仍以进口为主,成为中国面板产业发展的一大瓶颈。  今年3
  • 如何将Flash模拟成EEPROM ↑点击上方蓝色字体,关注“嵌入式软件实战派”获得更多精彩内容。温馨提示:本文参考《EEPROM Emulation with Qorivva MPC55xx, MPC56xx, and MPC57xx
  • 惊艳!大佬用200个LED做了一个智能手表(附PCB) 最近在hackaday上逛的时候,看到一个还在制作中的非常炫酷的手表项目,分享给大家。背景作者正在造的这个ESP32 Pico Watch有WIFI、BT、Mesh、一个振动马达、一个RTC、4个按钮
  • 【求职必备干货】电子工程师面试笔试题汇总 ▲ 更多精彩内容 请点击上方蓝字关注我们吧!金九银十,又到一年毕业求职季,面对人生的第一份工作,既兴奋又担心。每位学子都希望能进入大厂历练,为自己的职业生涯打下坚实基础。每年这个时
  • 一代国民神车落寞,宝马中国收购华晨中华工厂 点击蓝字关注我们据财经汽车报道,8月31日,华晨集团等12家企业实质合并重整案召开第二次债权人大会,会上共有三项议案,包括财产管理及变价方案、成立债权人委员会两项议案,以及核心议案宝马中国收购华晨中华
  • Xilinx 携手魔视智能助推汽车前视摄像头创新 ★NEWS★赛灵思公司与魔视智能( Motovis )今日宣布,双方正合作推出一款面向汽车市场的解决方案。它将赛灵思车规级( XA ) Zynq® 片上系统( SoC )平台与魔视智能的卷积神经网络(
  • 10年后手机会是什么样子,有哪些投资机会? 智能手机浪潮带来海量的投资机会,未来10年,手机会变成什么样子?又有哪些投资机会?TechRadar 的团队和资源数据分析机构ElementsVC 试图解答这些问题。 在2010年代末期,智
  • 相见恨晚的Altium Designer使用技巧 首先声明下,写这个专题的目的不是为了做教程,所以前提都是建立在大家对于AD比较熟悉的基础上,旨在为大家减少一些画板过程中的繁琐机械的劳动~本文转载自Altium官方公众号。废话不多说,正文开始!场景一
  • 国产替代之痛,这款超高性价比的MCU堪称“翘楚”! MCU涨价缺货是埋在工程师心头的一根刺,从晶圆产能告急再到疫情天灾不断,MCU市场命途多舛。而究其市场国外产品占据超过70%,加之地缘政治摩擦加剧,国产化和国产替代成为当代电子必谈之需。记者获悉,从去
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了