广告

机器人已经会用“大脑”进行自我训练,但训练数据从哪儿来?

时间:2021-12-14 10:42:51 作者:黄烨锋 阅读:
对于现在比较流行的“以数据为中心”的ML方法来说,开发模型其实就是不停迭代(iterate):工程师对完成训练的模型进行评估,并确定数据集的改进;然后生成新的数据集,再进行新的训练。如此迭代往复,直到模型性能达到要求。这其中数据的产生,自然是相当关键的组成部分。
广告

机器人技术这两年在各行各业的应用和发展是迅速的,对于普通人而言,在购物中心或餐厅看到机器人,好像越来越司空见惯了。许多酒店、医院、工厂对机器人的应用也日趋普遍。机器人是各学科、各类技术的集合,其自主化、智能化实现都并不容易。比如操控、自主导航就是很大的难题,仅依靠传感器技术的发展是不行的。

今年GTC报道中我们提到过,汽车大概可以认为是某种特殊的机器人。但两者又有差异,比如说汽车自动驾驶是遵循道路路径、路面和路侧标志的,而机器人的自主导航——如在工厂中的物流机器人——就这个层面的实现难度显然会更大,因为它们没有天然的固定路径。

我们自然能够想到的是利用AI技术来训练机器人,令其构建起自主导航和操纵的经验。但机器人的AI训练,不可能是在现实中让一大堆机器人真的跑在一个实体工厂里,并通过四处撞壁来习得经验。

前年的GTC China之上,英伟达发布了面向机器人的Isaac SDK。当时黄仁勋在演讲中提到Isaac是“用在非结构化环境中的导航和关节活动控制”的,Isaac“让机器人自我学习,模拟、训练”。

此前英伟达的宣传中提过Isaac包含4个模块,分别是Isaac Sim、Isaac Engine、Isaac GEMs,Isaac APPs。未知现在其抽象构成是否已经发生变化。我们着重想谈的是其中的Isaac Sim。这是个机器人仿真平台,可以进行环境和机器人的建模、算法的验证、强化学习、监督学习的模型训练等。

简单来说,Isaac Sim是为了让机器人在其“脑内”进行AI训练,搭建起虚拟的环境,并进行机器人建模。值得一提的是Isaac现在是Omniverse的一部分(有关什么是Omniverse可参见这里)。比如说在Omniverse中开发一个跑在工厂里的机器人,那么就在Omniverse中构建工厂场景;在场景搭建完成后,再对机器人做建模并放到Omniverse中。在虚拟的世界里就可以对机器人进行各种测试了,包括可以在这个虚拟世界中进行强化学习算法开发,还有目标检测之类的机器学习。

我们知道Omniverse对于现实世界的模拟是颇有心得的,包括物理引擎、图像渲染。这是机器人能够在Isaac Sim环境下进行各种学习和测试的基础。

不过一旦涉及到了AI,训练数据从哪里来、有没有好的数据就成为很大的问题。在这个问题上,英伟达选择的是数据生成+迁移学习的方式。针对数据生成,英伟达似乎从更早开始就在做研究,包括CVPR 2021之上都有研究成果的介绍,有兴趣的同学可以去搜搜看。

前不久的GTC上,英伟达又特别发布了Omniverse Replicator,这就是个合成数据生成引擎(synthetic-data-generation engine),其中之一就是面向Isaac Sim的(Isaac Sim Replicator)。

机器人的“脑内世界”

用合成数据来训练AI是如今挺热门的研究课题,因为合成数据生成是以模拟的方式来生成数据,减少了数据创建所需的成本和劳动。Omniverse Replicator就是能够产生物理模拟的合成数据的引擎,用于训练深度神经网络。

实际上GTC上发布了两个Omniverse Replicator的应用,分别面向DRIVE Sim(DRIVE Sim Replicator)和Isaac Sim,也就是汽车和机器人。英伟达表示,Omniverse Replicator能够让开发者创建AI模型,填补真实世界数据的空白,还能够以人无法做到的方式来标记地面真值(label the ground truth)。在虚拟世界中生成的数据能够覆盖大范围的各种场景,包括一些比较罕见和危险的情况——是在现实世界当中通常都难以察觉的。

这里“填补真实世界数据的空白”指的其实是真实世界数据收集的困难性。比如说位处气候炎热地带的开发者,若要模拟雪地的训练环境,那么对现实世界而言耗费的成本就会很高。那么用合成数据生成的方式,也就是用模拟世界生成的数据,就能显著降低成本,尤其是时间成本。

英伟达表示,Isaac Sim中的这些新功能使得工程师能够构建“生产级”的合成数据集。每次迭代的数据都是在模拟世界里生成的,也就加快了模型训练的速度。

尤其对于现在比较流行的“以数据为中心”的ML方法来说,开发模型其实就是不停迭代(iterate):工程师对完成训练的模型进行评估,并确定数据集的改进;然后生成新的数据集,再进行新的训练。如此迭代往复,直到模型性能达到要求。这其中数据的产生,自然是相当关键的组成部分。

除了数据生成本身的价值,合成数据也有让ML工程师做参数控制的余地——包括噪声、环境变量等因素,或者说工程师对数据有更高程度的掌控度,则开发时间自然可以被极大程度地缩短。以下这张图是在Isaac Sim中合成数据生成工作流的示例。

这些数据是怎么生成的?

针对Isaac Sim Replicator是怎么工作的,英伟达官方有给出一个AMR(自助移动机器人)避开叉车叉齿的示例。感兴趣的各位可以去看看Isaac Sim Data Replicator的这个功能概述视频,就是大致给出个概念,来说AMR如何避开叉车的。

避开叉车用传感器不就行了吗?工厂现有AMR会用平面LiDAR,这类传感器的确可以做对象测距。但这种平面LiDAR虽可检测叉车底盘,却检测不到叉齿(相比底盘通常更突出)。在这一例中,如果AMR能够知道:这是一辆叉车,也就能够避开叉车叉齿了。

一般数据生成的方式,都是在仿真中大量生成图片或CAD模型,再加入噪声和各种环境变量,以此来“复制目标域的内在分布”。英伟达介绍中提到,用Isaac Sim Data Replicator训练DNN的工作关键流程是这样的:

- 在 Omniverse 的 Isaac Sim 中建立仓库场景

- 在仓库中放置一个 AMR 并重新创建故障场景

- 获取叉车模型并使用 Isaac Sim 生成合成数据

- 使用合成数据,使用 TAO 工具套件训练现有的预训练模型

- 使用 DNN Inference Isaac ROS GEM 部署该模型

- 在模拟中测试 Isaac ROS GEM

- 最后一步:在 NVIDIA Jetson 平台上的机器人软件栈中部署 Isaac GEM

这里面我们比较关心的是1-3步,尤其是第3步。其过程至少包含了下面这些要素:

从用USD(不了解什么是USD点这里)来表达一辆叉车3D模型,到后续叉车本身的纹理随机、姿态随机、场景纹理随机、对象数量变化,包括还在场景中加入其他非叉车对象等等;最终让深度学习模型泛化对叉车的理解。各种环境变量,纹理、照明、姿态,主视角(机器人)的位置等等都可以配置。

除了Omniverse Replicator之外,针对将模型部署到机器人之上,英伟达还有更丰富的流程布局(如上图)。这从前面列举的Isaac Sim Data Replicator训练DNN的工作关键流程中也能看得出来。包括将合成数据,用TAO工具套件来训练预训练模型——有关TAO,我们此前的文章就已经有了介绍;以及将模型添加到Isaac ROS GEM中,实现AI感知;落到实处就是“在NVIDIA Jetson平台上的机器人软件栈中部署Isaac GEM”(GEM是机器人的算法功能模块)。

这套流程实际上是能够体现英伟达从软件到硬件的生态能力的,Omniverse Replicator只是其中的一个组成部分。或者说这里我们看到AMR训练避开叉车叉齿的全过程,也只是英伟达AI生态中的冰山一角。

这里既然提到了Jetson,可捎带一句前不久的GTC上,英伟达宣布推出Clara Holoscan——这是面向医疗设备的一款软件定义、可编程影像平台。黄仁勋在主题演讲中说Holoscan是英伟达的第三个机器人平台(另外两个是Isaac和Drive)。这一点在我们此前的GTC报道文章中就提到过。

随Holoscan而来的,英伟达同时宣布推出AGX Orin传感器处理机器人芯片。这颗芯片预计明年1月发售。而基于Orin芯片的Jetson AGX Orin乃是英伟达Jetson家族的新成员,用于取代此前的Jetson Xavier。芯片方面是安培架构GPU和Cortex-A78 CPU的升级,Int8算力达成200TOPS。Holoscan平台就是由Orin和ConnectX-7组成的。Jetson作为英伟达的边缘AI平台,也成为其在机器人方面发力的重要构成,或者机器人生态构建的布局。

我们从Holoscan的出现就不难发现,英伟达还在扩张其机器人生态的覆盖范围。想必将来Omniverse Replicator也会扩展到Isaac和DRIVE之外吧。

责编:Luffy Liu

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
黄烨锋
欧阳洋葱,编辑、上海记者,专注成像、移动与半导体,热爱理论技术研究。
  • 并购以色列3D视觉芯片公司,银牛强势登陆中国市场 2020年底,通过收购以色列3D视觉芯片设计领军企业Inuitive,银牛成功将集成了3D视觉深度引擎技术、人工智能及SLAM技术的高端芯片公司纳入旗下,至此开启了中以合作、双向反哺的创新模式。
  • 人工智能安全性又浮上台面 在第一轮对人工智能夸张的担忧想法中,主要包括担心它的恶意、可自我复制,以及类似HAL的机器最终超越它的创造者或在战场上不受控制地攻击。但自那以后,对人工智能的讨论变得更加务实,更多地聚焦于最受关注的安全性问题上。
  • 工业4.0必考题:伺服驱动工业多协议总线通信 工业通信是实现智能工厂的基础技术,它能够数据采集、实时监控、实时控制,以实现制造的数字化和自动化。其中最引人注目的是多协议工业以太网的迅速普及,市场上存在着针对工业以太网、现场总线和位置编码器的十多种不同的通信协议,每种都有其优缺点……
  • TOPS:深度学习谎言背后的真相 AI公司通常都以更高的TOPS(每秒一万亿次操作)作为评判算力的标准。但芯片制造商在推销他们的TOPS指标时,都不会真正提供准确的引导。本文将论述业界因错误标记性能指标而导致的问题,并阐述用户该如何独立评估真实环境中的TOPS。
  • 人工智能时代的双刃剑 人工智能迅速扩张并已成为一个竞争相当激烈的行业。大多数单独的人工智能技术将被用于各种机器人控制任务的自动化,它们能够做出关键决策,但也会对整个数字生态系统产生负面影响。
  • 利用边缘设备的有限计算能力实现ML 为了发挥其全部潜能,边缘人工智能将需要具备自适应能力。这意味着边缘设备将必须在本地实现机器学习(ML)。确切地说,就是如何利用边缘设备的有限计算能力来实现ML这一功能,这是当前大量研究与开发的主题方向。
  • 新款iPad Pro 2021成最受欢迎的 由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
  • 三星折叠屏手机Galaxy Z Fold 3 目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。
  • 类脑芯片与智能座舱深度融合,时识科 类脑智能与应用解决方案提供商SynSense时识科技宣布与宝马展开技术探索,推进类脑芯片与智能座舱应用场景的深度融合。双方将主要围绕SynSense时识科技基于类脑技术的“感算一体”动态视觉智能SoC——Speck,探索汽车内外相关车载智能应用创新。
  • 美光:智能边缘应用的供应链和汽车架 随着数十亿台设备产生的数据和洞察力不断激增,智能边缘也随之崛起
  • 瞎充集团启动“共享充电宝+共享电商”双引擎 瞎充集团,深耕互联网、金融、共享租物领域已经10年时间了,企业的发展经历了探索、电商创业、金融支付转型、研发、核心技术沉淀、扩张、数字化二次转型等 7个阶段。如今的瞎充集团,屹立在中国商业科
  • 亚化咨询推出《中国半导体大硅片年度报告2022》,欢迎索取目录! 来源:《中国半导体大硅片年度报告2022》亚化咨询数据显示,2021年全球半导体硅片市场快速增长,整体销售额达157.44亿元,过滤掉交叉部分仅计算销售到IDM/Fab部分的话(过滤部分为销售给纯外延
  • 柔宇科技已6个月发不出工资!  中国半导体论坛 振兴国产半导体产业!   点击链接:2022春季半导体线上招聘会开始啦!4月1日消息,曾经估值超过500亿的独角兽柔宇科技被曝出已拖欠员工6个月工资!据报道,柔宇科技一员工称,从去年
  • 珠联璧合!晶合集成发力车芯 面对汽车产业走向智能化、网联化、电动化时代,安徽省率先部署,以政策引领产业链协同发展,推动“芯”“端”加速联动。3月31日,“芯”“车”协同专场对接会在晶合集成顺利举办。安徽省经济和信息化厅、安徽省发
  • 手机出货量暴跌00后4年没换手机引热议 全球通胀,原材料越来越贵,手机厂商跟随涨价也是情理之中的事情,但是真正阻碍消费者换新的原动力,还是厂商在创新上的减速。有媒体调查显示,手机出货量暴跌三成,00后4年没换手机,还有从业者表示,幸运自己转
  • 包含7个项目表,2个数据表,4张项目地图!亚化咨询半导体数据全家桶开启订阅! 亚化咨询重磅推出《中国半导体材料、晶圆厂、封测项目及设备中标、进口数据全家桶》。本数据库月度更新,以EXCEL表格的形式每月发送到客户指定邮箱。1. 中国大陆半导体大硅片项目表(月度更新)2.中国大陆
  • 能讯高能半导体:中国芯在昆山的突围 这是一个5G集大成的时代万物互联如果说射频芯片为5G基站提供了动力源泉那么氮化镓就是芯片中的“最强心脏”它在极大提升效率增强带宽的同时又能实现能源节约氮化镓在5G通信时代至关重要一座24小时运转的5G
  • 大基金二期:入股杭州富芯半导体 3月29日消息,爱企查显示,杭州富芯半导体发生工商变更,新增股东国家集成电路产业投资基金二期股份有限公司、杭州富远企业管理合伙企业(有限合伙)。投资金额和持股比例未透露。公开资料显示,杭州富芯半导体有
  • AMD在汽车领域能翻起多少风浪来? 2021年特斯拉的Model S Plaid搭载了AMD的Ryzen RDNA 2处理器,然后逐步替代英特尔A3950处理器,用在了Model 3和Model Y高配版本的车载信息娱乐系统上。在2月份
  • 大基金减持2家公司!  中国半导体论坛 振兴国产半导体产业!   点击链接:2022春季半导体线上招聘会开始啦!3月31日晚间,万业企业、长川科技两家公司公告称,国家集成电路产业投资基金股份有限公司(大基金)因自身经营管理
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了