一场物理AI革命：NVIDIA重塑机器人认知现实的法则

时间来到2025 年，人工智能（AI）产业已呈现清晰的技术分化。根据Gartner 2025年AI技术成熟度曲线报告，AI技术已从单一的“感知”功能（如图像识别、语音处理）发展为四大分支。

最早用于计算机视觉和语音识别的，是所谓的感知AI（Perception AI），至此很长一段时间AI在人们的认知中就是简单的语音转文字、人脸识别一类应用；直到2018年谷歌发布Transformer模型BERT，才让AI的发展向前迈进一步，2022年底，以 ChatGPT 为代表、基于Transformer的大语言模型（LLM）面世，重构了文本处理范式，生成式 AI（Generative AI）在内容创作领域掀起革命；而我们现在所处的，是从生成式AI向代理式AI（Agentic AI）过渡的关键节点，Agentic AI具备自主推理和决策能力，能推动智能体在虚拟世界实现复杂任务。

然而，当 AI 需要驱动物理实体 —— 如机器人 —— 与现实世界交互时，传统大语言模型的局限性暴露无遗。人形机器人需要理解重力对物体抓取的影响、预判推箱子时的摩擦力变化、在动态环境中维持平衡，这些能力依赖于对物理定律的实时建模与推理，而非文本统计规律。

物理 AI（Physical AI）的崛起正是为了填补这一空白。与依赖符号逻辑或统计学习的传统 AI 不同，物理 AI 的特殊性在于其必须解决“现实世界物理约束”问题，聚焦于构建 “具身智能”，即通过传感器融合、动力学建模和实时控制，让机器人在真实物理环境中实现安全、高效的交互。

例如，工业机械臂抓取不规则物体时，需实时计算接触力与重心分布，这依赖于精确的物理仿真和数据驱动的控制策略，而这些正是 LLM 无法胜任的。英伟达（NVIDIA）在 2025 年 GTC 大会上推出的系列技术，正是围绕物理 AI 的核心痛点 ——数据采集成本高、仿真精度不足、跨模态控制复杂—— 展开突破。

现实世界的物理挑战：机器人物理AI开发三大痛点

开发一款人形机器人，不单单是做成人的样子，还要让它具备一颗接近人的“大脑”，在面对现实物理世界时具备一些简单的思考和推断能力。但说是简单，实现起来却困难重重。

首先，物理交互的复杂性远远超越符号推理。真实环境中的机器人面临非线性动力学问题：双足行走时的平衡控制需要实时解算 100 + 自由度的动力学方程，抓取玻璃水杯时需感知接触力避免滑落，这些任务涉及微分方程求解和高频反馈控制，远超 LLM 的序列生成能力。传统基于规则的控制算法难以泛化，而纯数据驱动的方法（如强化学习）在真实硬件上试错成本高昂，动辄需要数千小时的物理测试，安全性和效率均无法满足需求。

而且物理AI决策延迟需控制在毫秒级，机器人在动态环境中避障时，若延迟超过50ms可能导致碰撞。例如，早期人形机器人在复杂地形行走时，常因无法实时调整重心而摔倒。又以波士顿动力Atlas机器人的跳跃障碍任务为例，其需实时计算关节力矩来确保运动轨迹的稳定性、计算地面摩擦系数来避免滑倒，甚至还需要计算空气阻力，来优化跳跃高度与距离。传统方法依赖预设程序，难以应对复杂场景，当障碍物高度或材质发生变化时，程序需重新编写，这一切都暴露出传统控制策略对动态环境的适应性不足。

（图自：Boston Dynamics）

其次，数据采集存在 “维度鸿沟”。我们平时训练视觉模型，需要百万级图像数据，而训练物理 AI则需要百万级带物理标注的轨迹数据，二者在数据维度上存在显著鸿沟。例如，训练机器人开门需要记录关节扭矩、接触力、物体运动轨迹等多维度数据，而这类数据在现实中难以大规模采集 —— 单个工业机器人每天仅能生成数小时有效数据，且需人工标注物理参数，成本是图像数据的数百倍。这种数据稀缺性导致模型训练样本不足，难以覆盖现实世界中的复杂场景，进而限制了机器人的泛化能力。

最后是仿真与现实之间，永远存在鸿沟。尽管仿真技术可生成大量数据，但传统物理引擎（如 MuJoCo）在复杂场景下的精度不足，需融合视觉、力觉、触觉等传感器数据。例如，布料褶皱的动力学模拟、液体晃动的多相流计算、非结构化环境中的碰撞检测，均存在 “仿真 - 现实” 偏差。

现有大模型在虚拟环境中训练后，迁移到真实场景时性能衰减达40%以上。例如，视觉模型可能因光照变化或地面材质差异而失效。早期研究显示，仅依赖仿真数据训练的机器人在真实场景中的任务成功率低于 30%，必须依赖大量真机调参，形成 “数据闭环” 的周期长达数月。这种偏差使得仿真难以替代真实测试，阻碍了机器人开发的效率提升。

“三台计算机”，重构物理 AI 开发范式

针对上述机器人领域开发痛点，英伟达提出了 “三台计算机”（NVIDIA‘s 3 Computers）系统架构，构建从训练到部署的全流程闭环，它们分别是：

第一台计算机：DGX—— 云端训练大脑

DGX 超级计算机在搭载Hopper架构GPU时，可提供 2000 PFLOPS FP4 算力，支持训练万亿参数的物理 AI 模型，用于训练大规模物理AI模型。

例如，NVIDIA Isaac GR00T N1 基础模型在训练时融合 2623 小时真实机器人数据、1742 小时仿真数据和 2517 小时人类行为视频（如 Ego4D 数据集），通过混合精度训练（FP8/FP4）将训练时间缩短 40%。DGX 的分布式训练框架支持跨 8 个 Hopper GPU 的并行优化，使千万量级轨迹数据的处理效率提升 3 倍。这一算力优势不仅加速了模型训练，更使得复杂物理模型的学习成为可能，为物理 AI 的发展提供了坚实的计算基础。

第二台计算机：Cosmos+Omniverse—— 数字孪生仿真

这个组合用于构建高保真虚拟环境，加速模型开发。

Cosmos 世界基础模型基于 2000 万小时多模态数据（包含视觉、力传感器、关节轨迹），生成物理一致的合成场景。例如，Isaac Lab提供的仿真环境可精确模拟不同材质（如冰面、地毯）的摩擦系数，减少对真实硬件的依赖；通过扩散模型生成冰箱门开启的 10 万种变体数据，覆盖不同材质、阻尼系数和初始位置，解决真实数据稀缺问题。

Omniverse 平台则可以提供物理精确的数字孪生环境，支持 1000 + 机器人并行仿真，单场景算力消耗较传统引擎降低 50%。二者结合可以实现 “数据倍增”的效果，例如5 条真实演示数据通过 GR00T-Mimic 工作流可扩展至 1000 条合成轨迹，数据生成效率提升 200 倍。这种数据生成能力的飞跃，有效缓解了物理 AI 数据采集的难题，为模型训练提供了丰富的素材。

第三台计算机：AGX —— 端侧部署引擎

这部分主要部署在机器人本体，实现低延迟推理（如关节控制）。以Jetson AGX Thor 芯片为例，集成 2000 FP4 TFLOPS 算力，支持实时运行复杂控制模型。其硬件安全岛设计满足 ISO 26262 功能安全标准，确保机器人在工业场景中的故障容错；256-bit LPDDR5X 内存支持加载 2B 参数的 GR00T N1 模型，推理延迟低至 12ms，满足 100Hz 高频控制需求。

之前这个领域主要以Jetson AGX Orin为主，其边缘推理单元集成500 TOPS算力，延迟控制在15ms内，满足了部分实时控制的需求。而Jetson Thor 芯片的出现，使得机器人能够在边缘端实现更高效的模型推理，进一步减少对云端的依赖，提升了机器人的实时性和自主性，为物理 AI 的落地应用提供了硬件保障。

从模型到引擎的开源工具链，降低机器人开发门槛

今年3月，英伟达正式推出首个通用人形机器人基础模型NVIDIA Isaac GR00T N1，在行业看来，这标志着机器人开发进入了一个全新的阶段。因为其双系统架构的设计极具创新性。

系统1（System 1 ）作为底层控制模块，通过扩散模型（DiT）实现 120Hz 高频关节控制，直接生成关节位置 / 速度指令，解决实时平衡控制问题；System 2 采用 Eagle-2 视觉语言模型（1.34B 参数）处理自然语言指令（如 “将红色杯子放入黄色柜子”），通过跨模态注意力对齐视觉输入与动作空间。这种 “小脑（VLM视觉模型）+ 大脑（Diffusion Transformer）” 的分工模式，有效解决了机器人 “脑 - 体” 协同的难题，使得机器人能够在复杂环境中快速做出反应。

从技术实现角度看，GR00T N1 的跨本体泛化能力尤为突出。通过 “Embodiment-Specific Adapters”，它能够将不同机器人（如宇树 GR-1、傅利叶智能 Galbot）的关节空间投影到统一动作空间，支持在新机型上的快速迁移，无需重新训练基础模型。这一特性打破了传统机器人开发中 “一机一模型” 的局限，大大降低了开发成本和时间。在英伟达公布的实测视频中，在未见过的物体抓取任务中，GR00T N1 的成功率比传统模型提升 40%，充分证明了其泛化能力的优势。

开源生态也是 GR00T N1 的另一大特点。目前模型权重（2B 参数）和预训练脚本已经在 Hugging Face 开放，配套 LeRobot 数据格式支持快速接入自定义数据集。开发者可通过 4 步流程完成微调：数据转换（LeRobot 格式）、模态配置（视觉 / 状态 / 动作）、扩散模型训练（4 步去噪）、端侧部署（TensorRT 优化）。预计这种低门槛的开发模式，会使得更多中小团队甚至个人开发者能够参与到机器人开发中来。

除了GR00T N1，Newton 开源物理引擎也可以看作机器人仿真领域的一次重大突破。

基于 NVIDIA Warp 框架的Newton，实现了 70 倍于 MuJoCo （Multi-Joint dynamics with Contact）的仿真速度，支持极端场景下的复杂动力学模拟（如布料、流体、动态障碍物），单场景百万粒子计算耗时从 2 小时缩短至 1.5 分钟。这种效率提升不仅体现在计算速度上，更重要的是其微分编程特性。

通过允许梯度反向传播至物理参数（如摩擦系数），Newton 支持基于梯度的策略优化，较传统强化学习样本效率提升 3 倍。通过Newton引擎生成对抗样本（如低摩擦表面或动态障碍物），训练模型在极端条件下的鲁棒性。数据显示，在滑动表面测试中，经过对抗训练的模型成功率从32%提升至89%。这意味着开发者可以减少对真实硬件的依赖，通过更少的训练数据和时间，获得更优的控制策略，大大加速了机器人算法的迭代过程。

从生态兼容性来看，Newton 兼容 MuJoCo 仿真格式，支持 OpenUSD （Universal Scene Description）场景描述，可以添加自定义求解器，例如Material Point Method （MPM）求解器与沙子与刚体动力学相结合。这使得它能够无缝接入包括Isaac Lab、MuJoCo Playground在内的现有机器人开发工作流。

目前，迪士尼、DeepMind 等合作伙伴已基于 Newton 开发下一代娱乐机器人（如星球大战 BDX 机器人）和工业机械臂控制策略，充分证明了其在实际应用中的价值。据悉Newton将于今年下半年正式发布，值得一提的是，其开源协议（Apache 2.0）允许学术机构自由修改物理模型，这对于推动产学研协同创新，丰富机器人仿真的技术生态意义深远。

如何实现从 “数据贫困” 到 “数据爆炸” ？

前面我们提到，训练物理AI需要的百万级带标注的轨迹数据，这样的量级依靠真机采集完全不现实，互联网数据虽多，但大部分没有标注，并不可靠。英伟达给出的方案，是构建一个合成数据生成体系，如同三级火箭般层层推进，来解决物理 AI 数据稀缺的问题。

第一级是 GR00T-Teleop 采集金标准，NVIDIA Isaac GR00T Blueprint通过 Apple Vision Pro 等设备采集人类遥操作数据（Real Data），生成高精度示范轨迹（如 3D 关节坐标、接触力传感器数据），作为合成数据的 “种子”。这些数据具有极高的真实性和准确性，为后续的数据增广提供了可靠的基础。

第二级是 GR00T-Mimic 数据增广，工作流基于 Newton 引擎的 GPU 加速能力。在一个案例中，GR00T-Mimic将 5 条真实演示分解为子任务片段（如 “伸手→抓取→移动→放置”），通过空间变换生成 1000 条变体轨迹，覆盖目标位置、物体姿态的多样性。NVIDIA Isaac Sim的传感器模拟器则可生成视觉、IMU、力觉数据。例如，在模拟仓库环境中，同步记录货架高度、机器人运动轨迹和抓取力数据，构建多维度训练集。这些合成数据（Sim Data）增强技术不仅扩大了数据规模，更重要的是增加了数据的多样性，使得模型能够学习到更多复杂场景下的应对策略。

第三级是 Cosmos 世界模型扩展，基于 2000 万小时多模态数据训练的 Cosmos Predict，可预测物体运动轨迹（如 “推箱子时的滑动距离”），生成无限长尾场景数据，解决 “未见场景泛化” 问题。

通过这三级数据生成机制，开发者就能实现从少量真实数据到大量合成数据的跨越，为物理 AI 模型的训练提供了充足的 “燃料”。

那么问题又来了，真实数据与合成数据能混用吗？带来的成功率如何？这就涉及到“真实 - 合成数据协同训练”（Co-Training）。

在数据训练层面，英伟达有一个 “数据金字塔” 策略。即，

• 底层：海量的人类视频（如做饭、组装物品等）和互联网视觉语言数据，提供通用行为模式；
• 中层：通过物理仿真生成的模拟轨迹（如虚拟厨房操作）和AI生成的“神经轨迹”（类似机器人操作的视频），覆盖多样性（如不同光照、物体材质），通过混合损失函数（αL_sim + (1-α) L_real）平衡仿真与现实偏差；
• 顶层：真实机器人采集的示范数据（如抓取、搬运等），提供物理约束（如关节扭矩极限），确保模型能精准执行实际动作。

这种分层设计，既利用了低成本的人类视频学习“常识”，又通过合成数据弥补真实数据的不足，最终用少量真实数据“校准”模型。后训练（fine-tuning）策略充分发挥了真实数据的准确性和合成数据的多样性优势，通过科学的权重分配，有效减少了 “仿真 - 现实” 偏差。

模型训练环节，GR00T N1在多模态输入处理和跨领域知识融合方面的能力突出，能够充分利用合成数据和真实数据进行高效训练。例如，在训练机器人执行复杂操作任务时，GR00T N1 可以同时学习视觉场景、语言指令和机器人状态之间的关联，快速掌握任务要求并生成精准的动作序列。

验证模型训练效果，通常分为多个阶段和指标： 

• Loss下降趋势：观察训练过程中的损失函数（loss）是否持续下降，表明模型在逐步学习并减少错误。特别是在模仿学习中，error应逐渐减少。 

• 预测动作与真实动作对比：通过绘制ground truth（真实动作）与predicted action（预测动作）曲线，评估两者的吻合程度。这比单纯查看某些loss指标（如MAC loss）更直观和有效。 

• 仿真测试集任务成功率：在仿真环境中，执行具体任务（如“将苹果放入篮子”），统计模型完成任务的成功率。这是衡量策略模型性能的直接指标。 

• 任务随机化测试鲁棒性：对已有任务进行环境随机化测试，如改变篮子的位置、颜色，或更换不同形状的物体，检验模型对环境变化的适应能力和鲁棒性。这反映模型在现实中面对细微差异时的稳定性。 

• 真机测试验证：最终将模型部署到真实机器人上，执行各种任务，观察成功率和执行质量。

实测显示，该策略使机器人在 “开门 + 放置物品” 复合任务中的成功率从 42% 提升至 82%；在抓取不规则物体时，GR00T N1通过视觉模型识别物体形状，结合力反馈调整握力，成功率达78%，而传统模型仅55%。

如光轮智能等专注于使用仿真技术推动AI进入物理世界的公司，也实际证明了数据协同训练的有效性，并认为仿真合成数据使用比例未来在GR00T迭代版本中将有百倍的增长空间，有效助力GR00T模型加速落地。

Thor实现端云协同生态部署

虽然还未正式上市，但Jetson AGX Thor 芯片的出现，彻底改变了机器人端侧计算的格局。根据此前英伟达发布的信息，Thor在异构计算架构设计上很巧妙，14 核 Poseidon-AE CPU 处理实时控制逻辑（如 100Hz 力矩控制），Blackwell GPU 加速视觉推理（如 6D 物体姿态估计），支持同时运行 GR00T N1 模型（2B 参数）和实时传感器融合算法。

单芯片集成1000 TOPS AI算力+100 TFLOPS图形算力，支持同时处理视觉识别与物理仿真，在能效比上则每瓦特算力提升3倍，适合边缘部署——Thor这种级别的算力密度和能效比，使得机器人能够在边缘端实现复杂任务的处理，减少对云端的依赖，提升了系统的响应速度和自主性。

在安全性方面，Thor 芯片集成硬件安全岛，支持功能安全等级 ASIL-D，满足医疗机器人、工业协作机器人等对安全性要求极高的应用场景。4x25GbE 高速接口实现传感器数据低延迟融合（如 12 路摄像头同步采集延迟 < 5ms），确保了数据的实时性和准确性。

这些特性使得 Thor 芯片成为物理 AI 落地应用的理想硬件平台，根据英伟达方面，今年6月底将提供Jetson AGX Thor的开发工具，正式上市时间或许将在7月中。

从 “专用设备” 到 “通用智能体” 的拐点

综上所述，英伟达的技术组合正在引发机器人开发的范式革命。

首先，GR00T N1 的开源使中小团队无需从头训练模型，聚焦特定场景微调（如酒店服务机器人的 “端茶递水” 动作），研发周期从 18 个月缩短至 3 个月。这种开发效率的提升，将催生更多创新应用，推动机器人技术在各个领域的普及。

其次，产业生态正在重构。激光雷达厂商（如速腾聚创、禾赛科技）加速切入机器人赛道，提供高精度环境感知数据；零部件企业（如绿的谐波、中大力德）受益于通用机器人量产。平安证券在研究报告中预计，2027 年全球人形机器人核心零部件市场规模将达 20 亿美元。英伟达的技术平台正在成为产业协同创新的催化剂，带动整个机器人产业链的发展。

在应用场景方面，也有显著突破。在工业场景，傅利叶智能的 Galbot 机器人通过 GR00T N1 实现柔性装配，复杂零件组装效率提升 50%；在消费领域，宇树 H1 机器人基于 Newton 引擎优化步态，在地毯、瓷砖等异质地面的行走稳定性提升 30%。

再往近一点说，近期在北京亦庄首届人形机器人马拉松大赛中，获得第一名的天工Ultra，就来自与英伟达深度合作的北京人形机器人创新中心。据悉该中心还发布了全球首个支持多本体多场景应用的通用具身智能平台“慧思开物”，可以实现“一脑多能”“一脑多机”。也就是说，机器人应用开发商或者是系统集成商可以使用这个平台，在市场上选购一款机器人，通过简单配置以及简单的自然语言的描述，或者当有一些复杂任务需要一些编程，就可以让这样一个机器人去物理世界完成相应的任务。

天工Ultra在人形机器人马拉松大赛冲线画面（图自：央视新闻）

可见，当前具身智能在“智能化”方面仍处于初级阶段，行业亟需一个具备多本体兼容性、多场景适应性和强大泛化能力的通用智能平台。GR00T N1这类开源模型就是机器人从专用设备到通用智能体的关键。

未来，物理 AI将赋予机器人真正的“大脑”

未来三年将是机器人 “大脑” 技术成型的关键窗口期，如果以英伟达的方案为例，我们或许可以窥见这个行业未来的发展脉络。

在模型层面，GR00T N1 将进化至多模态统一架构，融合触觉、力觉等传感器数据，实现 “视觉 - 语言 - 动作” 端到端训练，英伟达在今年GTC上公布模型在未知环境中的任务泛化成功率已从早期的 65% 提升至 82%，目标是通过更复杂的自监督学习突破 90%。这将使机器人具备更强大的感知和决策能力，能够适应更加复杂多变的环境。

在数据层面，Cosmos 平台计划将工业场景数据规模扩展 10 万小时级、家庭服务场景扩展至5 万小时级，通过对比学习（Contrastive Learning）和掩码自动编码器（Masked Autoencoder），模型可从无标注 YouTube 工业操作视频中学习物体运动规律，数据利用率提升 70%。随着数据规模的扩大和利用效率的提高，物理 AI 模型将获得更丰富的训练资源，进一步提升其性能和泛化能力。

在硬件层面，Thor 芯片目前已集成 2000 FP4 TFLOPS 算力，支持 2B 参数的 GR00T N1 模型以 12ms 延迟运行，下一代架构计划将算力密度提升至 4000 FP4 TFLOPS，可实时运行 10B 参数的超大规模模型，推动 “端云协同” 向 “端侧自主” 进化。通过优化 TensorRT 推理引擎和硬件级任务调度，Thor 芯片计划将关键控制信号的处理延迟从 50ms 缩短至 10ms，满足 100Hz 以上的高频控制需求。硬件性能的提升将使机器人能够在边缘端完成更复杂的计算任务，实现更高水平的自主性和实时性。

物理 AI 的进步不仅是人工智能技术突破，更将重塑工业、物流、零售等行业的生态。当机器人能够像人类一样理解物理世界，制造业、物流业、服务业的 50 万亿美元市场将被重新定义 —— 这不再是简单的自动化升级，而是从 “工具” 到 “智能体” 的质变。英伟达的工具链恰似机器人领域的 “ChatGPT”，正在推开通用智能的大门，让每个开发者都能低成本构建具备物理智能的机器人，最终实现 “一脑多形、一机多用” 的终极目标。随着技术的不断演进，我们有理由相信，物理 AI 将引领机器人产业进入一个全新的时代，为人类社会带来更多的可能性。