Meta的GenAI团队开展新研究,公布了一款Meta 3D Gen模型。据悉,该模型可在 1 分钟内之内从文本端到端生成 3D 资产的新AI组合系统,同时具有高分辨率纹理和材质图。GenAI团队称,其结果优于现有解决方案,速度是该领域现有工作的 3-10 倍。

电子工程专辑讯 近日Meta的GenAI团队开展新研究,公布了一款Meta 3D Gen模型。据悉,该模型可在 1 分钟内之内从文本端到端生成 3D 资产的新AI组合系统,同时具有高分辨率纹理和材质图。GenAI团队称,其结果优于现有解决方案,速度是该领域现有工作的 3-10 倍。

AI技术在3D内容生成领域逐步创新并突破。

在数字艺术、游戏设计、影视制作等领域,3D动画一直扮演着重要角色。传统3D动画制作过程繁琐复杂,需要专业技能和大量时间,GenAI+3D技术的出现,有望改变这一现状。

Meta  3DGenAI大模型的三维内容如何生成?

Meta 3DGen 集成了其关键技术组件 Meta 3D AssetGen 和 Meta 3D TextureGen。

通过结合这两种技术的优势,3DGen 可同时以三种方式表示三维物体:视图空间、体积空间和 UV(或纹理)空间。在Meta的一则报告中提到,与单阶段模型相比,这两项技术的集成实现了 68% 的胜率。我们将 3DGen 与众多行业基准进行了比较,结果表明,就复杂文本提示而言,3DGen 在提示保真度和视觉质量方面都优于行业基准,而且速度明显更快。

3D Gen的生成主要分为两个步骤。

第一阶段:可以根据用户提供的文本提示,使用Meta 3D AssetGen模型(简称 AssetGen)创建初始三维资产。这一步将生成带有纹理和 PBR 材质贴图的 3D 网格。推理时间约为 30 秒。

所为的PBR,就是基于物理的渲染,是计算机图学中的着色方法,目的在于模拟光线的物理行为及其与材质的交互作用,从而实现逼真的视觉效果。 

第二阶段:可使用文本到纹理生成器 Meta 3D TextureGen(简称 TextureGen),可以生成更高质量的纹理和 PBR 贴图。此外,也可以重新生成三维(再)纹理,就是给定一个没有纹理的三维网格和一个描述其理想外观的提示,从头开始为该3D资产生成纹理(网格可以是以前生成的,也可以是艺术家创建的)。推理时间约为 20 秒。

GenAI团队称,该技术不仅在设计、视频游戏开发、增强和虚拟现实应用以及电影业特效等,也可以作为 3D 艺术家的人工智能助手,实现以创建个性化、用户生成的 3D 内容为中心的新体验。人工智能驱动的三维生成对于在 Metaverse 中构建无限大的虚拟世界也非常重要。

GenAI+3D是一种基于深度学习的人工智能技术,它利用神经网络对大量数据进行训练,从而学会从单张图像中提取出三维信息。简单来说,其工作原理可分为三个步骤:

其一是数据收集与处理。GenAI+3D首先需要收集大量的三维数据,包括各种形状、纹理、光照等信息。这些数据经过预处理后,被用于训练神经网络。

其二是神经网络训练。在训练阶段,神经网络通过不断学习和调整参数,逐渐学会从单张图像中提取三维信息。这个过程需要大量的计算资源和时间,但一旦训练完成,神经网络便能具备强大的泛化能力,适应各种不同的图像输入。

其三是,三维重建与动画生成。当用户提供一张参考图像时,训练好的神经网络能够迅速提取出图像中的三维信息,生成相应的3D模型。然后,通过一系列算法和技术,将这些3D模型转化为流畅的3D动画。

通过AI制作的3D内容在艺术质量、生成速度、三维网格的结构和拓扑质量、UV 贴图的结构以及纹理的清晰度和分辨率等方面都有严格的标准。当前的三维数据学习内容不及图片和视频的多,因此,三维生成还必须从非三维图像和视频中学习,而三维信息必须从局部的二维观察中推断出来。

在报告中GenAI团队称,经专业 3D 艺术家评估,Meta 3D Gen 显著提高了生产质量 3D 资产的关键指标,尤其是复杂的文字提示。无论是否商业化,该技术生成的三维形状和纹理的质量更好,至少与这些竞争对手不相上下,而且使用的是可扩展系统,速度更快,忠实度更高。对象生成后,可在 20 秒内对其纹理进行进一步编辑和定制,与其他方法相比,质量更高,成本更低。

Meta通过AI技术实现了虚拟现实设备的普及化,并且3D Gen AI模型的发布有望进一步推动了元宇宙的发展。3D Gen大大简化了3D设计的过程。

不过目前该模型的具体发布时间尚未确定。

3D AI大模型,群雄四起

目前,市场上也出现了不少关于AI生成3D模型的应用和工具,比如Meshy是一款基于AI技术的在线3D内容生成工具,能够根据图像和文本生成3D模型;还有Deep Art Effects、Pix2PixHD、Meshroom和GANPaint Studio等也在市场上受到关注。

专长于视觉内容生成的 Stability AI 携手VAST团队推出的TripoSR模型,据悉能够在 0.5s 的时间内由单张图片生成高质量的 3D 模型,甚至无需 GPU 即可运行。

腾讯的 AI新 模型“InstantMesh”可以使用静态照片渲染 3D 对象,并且开源供开发者使用。

OpenAI公司推出了新模型Shap-E,可以通过文字提示和图片提示生成多样化的3D模型。

英伟达与设计工具Shutterstock合作训练“文本生成3D”模型,大幅缩短从创建到发布具有精美纹理、结构化的3D模型的周期。

谷歌推出的DreamFusion项目,同样受到关注。

国盛证券在研报中指出,作为生产力工具,AIGC能够对3D生成内容起到降本增效的重要作用,这将加速推动产业变革,并带给用户更加逼真的视觉体验,包括影视、游戏、建筑、营销等多个场景都将受益,加速元宇宙时代的到来。

AI概念的热潮正涌向影视行业。随着AI的使用场景越来越广泛,自动生成3D类大模型的出现或将再次激发影视行业发展的活力。《复仇者联盟》导演乔·罗素的预测,影视行业在两年后有望出现一部完全由AI制作的电影。

复旦大学和上海AI lab的研究人员推出了3DGen-Arena。这是一个针对3D生成模型的人工评测竞技场,旨在让大众进行公开、匿名的评测。该平台不仅支持匿名投票和比较,还提供交互功能,通过多维度的用户评测来优化3D模型生成质量,推动技术和算法的进一步发展。此外,3DGen-Arena分为文生3D和图生3D两个赛道,提供360°环绕视频展示,并允许用户根据几何合理性、精细度、纹理质量、一致性等维度进行投票。目前平台上已有19个开源3D生成模型,参与者可以通过匿名投票或与指定模型进行比较来进行评测。

3D AI大模型面临的挑战主要包括数据质量和多样性、高成本和长周期、精度与效率的矛盾以及巨大的算力需求。其中,精度与效率的矛盾是3D建模中的一个痛点。在3D建模中,精度越高,模型的质量就越好,但同时建模的效率就会降低。这些挑战需要通过技术创新和数据积累来逐步克服。

责编:Amy.wu
本文为EET电子工程专辑原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
阅读全文,请先
您可能感兴趣
据悉,这笔高达16亿美元资金将通过奖励金的形式提供给创新项目,每份奖励金不超过1.5亿美元,以撬动来自工业界和学术界的私营部门投资。
近些年,跟AI相关的工作岗位的薪酬日益攀升,字节跳动已经连续三年位居新发AI岗位量第一。近日,字节跳动推出了“筋斗云人才计划”,是一项面向全球高校招聘顶尖技术人才的专项计划。
Acrevia是一款新型的GCB系统,专为细化EUV光刻创建的图案而设计。该工具采用低损伤表面处理技术,可以减少即将推出的节点的EUV多重图案化使用量,并最终降低芯片制造成本并提高产量。
随着生成式AI技术的快速演进,AI模型在训练和推理过程中,产生巨大算力需求,RISC-V技术在生成式AI硬件算力时代有哪些发展机遇呢?RISC-V是否对AI适合呢?
Omdia 的最新智能手机市场报告指出,2024 年第一季度,联发科的5G智能手机的SoC芯片组出货量超过高通,位列第一。自2023 年第一季度到2024年第一季度,联发科在5G 智能手机的市场份额从 22.8% 上升至29.2%,高通骁龙的份额则从 31.2% 下降至 26.5%。
从0变成1是需要能量的,乌镇智库理事长张晓东预计摩尔定律还能走到2100年以后,半导体行业至少还可以蓬勃发展80到100年。
为了不断追求更好的视觉效果,显示技术行业在增强对比度、亮度和能效方面都面临着挑战。其中一个重要障碍是实现有效的"局部调光",即屏幕特定区域可独立变暗或变亮的技术。
AONZ66412 XSPairFET™ 占地面积紧凑,可简化 PCB板内设计,有助于提高功率密度,同时满足高效Type C应用性能需求。
市场大量需要能够快速、省电地提供定位详细信息的物联网设备,全球价值达到9万亿美元的物流和运输行业领域更是如此[1]。在电子商务蓬勃发展和消费者网购偏好转变的推动下,物流企业正在运送数量惊人的包裹。最大型电子商务公司亚马逊在2022年处理了47.9亿份美国快递订单,相当于每天处理1313万份订单[2]。
IAR与芯驰科技宣布进一步扩大合作,最新版IAR Embedded Workbench for Arm已全面支持芯驰科技的E3119/E3118车规级MCU产品。
半导体制造设备预计将在2025年继续增长。美通社消息,SEMI在SEMICON West 2024上宣布,全球原始设备制造商半导体制造设备总销售额将创下新的行业纪录,2024年将达到1090亿美元,同
一凡 发自 副驾寺智能车参考 | 公众号 AI4Auto武汉的星火,正在点燃自动驾驶。最近,各大社交平台上,涌现出一波在武汉打无人车的体验分享,高转高赞,热度空前。没想到,打车这件日常小事,竟然成为了
知识酷 👆显示技术 | 显示资讯 | 知识管理第1663篇推文‍来源:方正证券,材料汇编辑,显示汇转发,版权归原作者所有点这里👇关注我,记得标星哦~       
联发科日前公布的2024年6月及第二季度财报显示,2024年第二季度,联发科合并营收1272.7亿元新台币(约合284亿人民币),环比减少4.6%,同比增长29.7%,优于此前预期。2024年上半年,
知识酷 👆显示技术 | 显示资讯 | 知识管理第1661篇推文就在刚刚,法国创业团队抢先OpenAI发布端到端实时音频模型——Moshi。官方直接秀了段现场演示:好家伙,感觉语速比真人还快!甚至还学会
据上海市青浦区人民政府新闻办公室消息,2024 年 7 月 9 日,华为上海青浦项目已全部建成,正式命名为华为练秋湖研发中心。信息显示,华为练秋湖研发中心项目位于青浦区金泽镇西岑社区,是上海市重点工程
7月9日消息,据媒体报道,台积电将于下周开始试生产其2nm工艺芯片,早于市场预计的第四季度。众所周知,苹果是台积电的主要客户,苹果将率先使用该先进工艺,这意味着2025年的苹果A19芯片将进入2nm时
全球领先的连接和电源解决方案供应商 Qorvo® 携“消费电子、物联网和汽车”三大主题,于 7月 8 日参加 2024 慕尼黑上海电子展,通过一系列前沿技术和解决方案,在呈现多元化创
点击上面↑“电动知家”关注,记得加☆“星标”!市值超1500亿元的上汽集团换帅一事项尘埃落定。电动知家消息,7月10日晚间,上汽集团(600104)发布公告称,公司董事长陈虹由于到龄退休,申请辞去上海
近两年在多端互通趋势和高品质新作的共同推动下,端游市场逆势回升,成为行业新的增长极。伽马数据《客户端游戏市场营销发展报告》显示,端游市场收入已连续三年实现同比增长,在2023年创下662.83亿元的历