广告

AI的训练与推理,会往哪个方向发展?

时间:2020-12-08 作者:黄烨锋 阅读:
Graphcore公司CEO Nigel Toon先生多年前曾经专门撰文提过,训练和推理的问题。Graphcore的IPU同时支持训练和推理,不过“如果你根据训练和推理来看IPU,那么你可能对机器学习硬件有些误解。”“对于IPU是针对训练还是推理的问题,我的回答可能会让很多人惊讶。”
广告

去年我在与英国Graphcore公司联合创始人兼CEO Nigel Toon先生的沟通中,他有数度谈到AI的“训练(training)和推理(inference)技术本质上没有什么区别”。似乎在多番探讨中,Nigel Toon都有意无意地提及,训练和推理不应做过分严格的区分。

当时Graphcore高级副总裁兼中国区总经理卢涛也谈到:“未来的应用,是在不停地训练和发展这个模型。有客户之前提到online training或者streaming training的说法。一般大家讲的训练都是离线的,数据拿来,训练好之后再拿到线上进行推理。但现在,很多应用可能会转为online training和inference。就是一边在用,同时又有新的数据进来,一边同时更新知识库。”

这两段话,是什么意思呢?

Graphcore去年针对IPU芯片的宣传资料中也提到了这么一段:“用户可以用相同IPU芯片进行推理或训练;从架构的角度来看,这对我们非常重要,因为随着机器学习演进,系统将能够从经验中学习。推理性能表现的关键包括低延迟、能使用小模型、小批次(small batches),以及可能会尝试导入稀疏性(sparsity)的训练模型;IPU可以有效地完成所有这些事情。”

“因此在一个4U机箱中,16颗IPU共同合作协作进行训练,每颗IPU可以执行独立的训练或者推理任务,并由一个CPU上执行的虚拟机来控制,最终你会得到一个可用于训练的硬件。因此一旦模型被训练、布署,随着模型演进且我们开始想要从经验中学习时,就可以采用相同硬件。”

AI的训练与推理

消费用户知道AI或者“深度神经网络”,应该是从当代手机产品上,手机SoC内可能会有个专门的AI单元——Arm和华为称其为NPU,苹果则称其为NE。通常我们说,执行神经网络任务有两个关键点,分别就是神经网络模型的执行与推理(也译作推论)。

训练过程,就和神经网络学习的过程一样。而训练后的神经网络,投入使用,就是将其所学应用到具体的场景中,比如说识别图片、语音——这个过程,就是推理的过程。有了训练才有了推理。

在训练神经网络的过程中,会有训练数据首先加入到网络第一层,单个神经元基于执行的任务,为输入分配权重。比如说在图片识别的网络中,第一层会去找画面对象边缘;随后查看边缘构成的形状——长方形或圆形;第三层再去发现特定的特征,比如画面中的眼睛、鼻子......直至最后一层,最终输出是由所有产生的权重决定的。

比较典型的例子是猫图片的识别:给神经网络输入海量的训练图片,神经网络需要做是不是猫的判断——训练算法的响应仅有“正确”和“错误”两种。如果算法告诉神经网络某判断“错误”,则这个错误会通过神经网络层级回传,网络就需要做其他的尝试了。每次尝试,都需要考虑其他属性;并给每层检查的属性加权重。直到最终有了正确的权重,每次都能取得正确答案。

那么这样一来就有了数据结构和所有的权重,是通过“学习”的过程获得的。整个过程的最大特点,就是算力需求非常大。

而将小批量、真实世界的数据,交给神经网络,并得到非常快速的回答——这就是推理的过程。在上例中,就是给一张全新的照片,让已经训练过的神经网络来判断这张图中是否有猫。但通常,推理部分在应付巨型的神经网络时,在应用中要确保速度和延迟,就需要有一些方案来对其做“修剪”,比如说一部分神经网络不激活;或者将神经网络多层级融合成单独的计算步骤。

推理过程,通常以更为简单、优化的运行时性能,来获得相近的预测精度。手机上的NPU,以及许多带ADAS系统的汽车所携的AI芯片,如果按照这样的划分来看,担纲的角色就是做本地推理。推理也是进行高度并行计算,但算力、精度要求通常会比训练低很多。

说推理,可能太狭隘了

Nigel Toon多年前曾经专门撰文提过,训练和推理的问题。Graphcore的IPU同时支持训练和推理,不过“如果你根据训练和推理来看IPU,那么你可能对机器学习硬件有些误解。”“对于IPU是针对训练还是推理的问题,我的回答可能会让很多人惊讶。”

Graphcore官方比较喜欢提“机器智能”这个词,称其IPU产品为机器智能硬件,以及“我们设计IPU,帮助变革者们开发新一代机器智能系统”。此前我没能很好地理解这个词,基本将其与传统机器学习方案划等号。或许针对这个词,一个优解就在Graphcore对于训练和推理的理解上。

Toon当时曾提到:“如今的机器学习系统,相对而言仍然太过简单。”常规的方案如卷积神经网络,前文所述比如训练一个分类系统,那么系统就能相对精准地识别图片、文字等对象了。整个过程需要大量标记数据,而且更为重要的是,由于训练和推理的分开,系统并不会从新的经验中有所学习。

而Graphcore理想中的“机器智能”硬件,是能够学习,并且使用已习得的知识来构建系统的。这样“机器智能系统才有可能提升,并且提供越来越好的结果。”Toon表示,“这些系统不应当只是训练,而应当是即便在部署之后,都仍然能够快速进化,成为学习系统。”

“推理,是比较狭隘的一种表达方式;推理实际上可以快速发展成复杂得多的机器学习系统。”“比如说,在自动驾驶领域,我们期望汽车能够持续学习,我们在路上遭遇的各种新状况。如果有辆自动驾驶汽车,发现有个球滚到了马路上,后面还跟着个孩子,我们期望自动驾驶系统能够学习到,在马路上出现一个皮球,是极有可能意味着后面跟着个孩子的。”

“而这个新知识不应当只是放在一辆车上,我们期望能够分享这个知识,比如说可能当天晚上就连接到云端的学习系统,知识系统就获得了更新。如此一来,第二天所有的汽车都能更新模型,获得最新的理解。理想情况下,我们期望其他的汽车,也能在看到一辆玩具拖拉机突然出现在马路上的时候,也能够意识到后面可能跟着一个孩子——跟它看到一个球的时候,做出的反应一样。”

这番描述实际上就相当清晰地表明了,为什么Toon认为“推理”在机器智能应用上,是个比较片面、狭隘的词汇,因为在他看来部署机器智能才是正确的方向。

机器智能的理想硬件形态

那么如果不谈推理,而用像上面这种概念的机器智能系统,那么实际的硬件部署是什么样的呢?Toon此前同样有给出自己的答案。在理想情况下,机器智能计算应当是在云端进行的,而边缘位置则进行“智能处理”,可以是嵌入到端侧产品的,也可以是边缘服务器上的——针对某些特定的任务,做本地的支持。

云需要支持许多不同的用户和不同的智能任务——并且在云端高度并行运作。在更为具体的设备部署上,算力需要具备相当的弹性——相信这应该也是现如今二代IPU,具备相当程度弹性扩展能力的重要原因。有兴趣的可以参见电子工程专辑官网的文章《二代IPU:怎样做一颗秒杀超算的芯片?》

而在边缘和端侧,为了确保实时响应,系统仍然要求“智能处理”的硬件部署。比如自动驾驶汽车,“L5自动驾驶需要大量的本地智能处理。通过移动互联网连接到云是不实际的。系统需要作出实时响应,处理一些突发状况,比如在发生危险时快速决策。那么车内本身就需要相当的智能处理算力。

但如前所述,作为机器智能系统的组成部分,本地仍然参与学习的过程,并且也能从云获取更多的知识。

“创新,还在以相当快的步伐继续,我们很快也会有全新的硬件平台,让机器学习领域的革新者们推进边界。现如今训练,并在此后推理的方式,会让位于机器智能系统。机器智能系统在部署之后,能够学习并持续进化。机器智能将戏剧性地改变计算。”Toon写道。

实际上,我们现如今看到越来越多的AI系统,本身就在朝着这个方向发展,即便可能在称呼上不叫“机器智能”或者延续了训练与推理的说法传统。不过当现在回顾开头那几段文字,是否感觉已经十分明朗?尤其是“系统将能够从经验中学习”,以及同时支持训练和推理。

责编:Amy Guan

本文为《电子工程专辑》2020年12月 刊杂志文章,版权所有,禁止转载。点击申请免费杂志订阅  

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
黄烨锋
欧阳洋葱,编辑、上海记者,专注成像、移动与半导体,热爱理论技术研究。
  • 传奇AI公司现身超算中心,心中对手只有英伟达 Habana Labs日前宣布,其人工智能(AI)训练和推理加速器将为加州大学圣地亚哥分校圣地亚哥超级计算机中心(SDSC)的Voyager超级计算机提供高性能的AI计算能力,计划于2021年秋季投入使用。
  • 分布式边缘计算的到来,将如何改变IT基础设施? 众所周知,所有转型技术都是经过成年累月的推动,逐渐发展成熟。然而过去一年以来全球在疫情的刺激下,大规模的数字化转型浪潮已开始汇集而成,各个产业皆趋之若鹜,争相构建能维持生存的技术,并期望可以成功为企业带来显著改变。这一切的转变,对于IT基础设施又有什么重要意义呢?
  • 未来几年会出现哪些GaN 创新技术? 现在GaN很火 ,人们似乎忘记了GaN 依然是一项相对较新的技术,仍处于发展初期,还有较 大的改进潜力和完善空间。本文将介绍多项即将出现的 GaN 创新技术,并预测未来几年这 些创新技术对基站设计和发展的影响。
  • 重一步逻辑验证,省百步漏洞补缺 一款软件从设计到实现,往往会被拆分成许多小的功能模块,分别实现后再组装整合。大量简单的业务逻辑被用于构建复杂而又丰富的业务逻辑,设计或实现上的偏差或缺陷都会导致漏洞的产生。
  • 传小鹏自研自动驾驶专用芯片,中美两地同步进行 据36氪援引消息人士报道,小鹏汽车正在自研自动驾驶芯片,项目已经启动数月,在中美两地同步进行,目前团队规模10人以内。如果进展顺利,有望在今年底或者明年初流片。
  • 雷军称小米汽车价格在10-30万元之间,是轿车或SUV 4月6日晚,雷军在直播中讨论了小米新logo、小米汽车等相关问题。他透露,小米内部做车的呼声很大,“很多员工下了请战书,愿意加入汽车团队。”从微博投票显示,希望小米汽车价格在10万元以内的人数最多,不过雷军的解释是——选择小米第一辆车在10万-30万区间的人数大于选择10万以内的人数……
  • 千亿级别的暴涨与暴跌的比特币为啥 比特币暴跌20%或有400亿美金资金爆仓,显卡行业也深受波及,而这背后一方面是政府的禁令频发,另一方面金融犯罪的案例被推到了台面上,再加持众多资本狂割韭菜使得整个市场乌烟瘴气。而纵观发展历史,速度快的CPU为何没有用武之地呢,本文来带你一探究竟。
  • EE快讯——华为2021第18届全球分析 2021年4月12日,华为在深圳举办了第18届华为全球分析师大会,会上华为徐文伟提出了未来10年九大技术挑战与研究方向;轮值董事长徐直军表示:6G比5G快50倍,将在2030年左右推出,同时表示要提升软件能力减少芯片依赖,对海思的态度是养得起,也会一直养着,对于业界一直猜测的麒麟9000芯片库存还有多少,徐直军表示:华为的库存可以支撑公司活得更长一点。另一方面,欧菲光的前途终于有了结果...
  • 紫光展锐:大破大立,做数字世界的生态 4月20日,以“构go”为主题的2021紫光展锐创见未来大会在线上举行。会上,展锐重磅发布了5G业务新品牌——唐古拉系列,推出了Cat.1bis新技术特性,并分享了创新业务AR领域的最新商用进展。此外,展锐重申了公司产业定位——数字世界的生态承载者,并公布了对消费电子业务和工业物联网领域的前瞻预见和战略规划。
  • 安谋中国发布全新“山海”S12解决 安谋中国今天发布面向 AIoT 系统的全栈安全解决方案“山海”S12,包含硬件加解密引擎、安全软件和安全服务三大部分,从芯片的安全 IP 层到云端安全应用和安全管理提供全链路的安全保护。“山海”S12可以广泛应用于智能手机、平板、智能电视及安防等行业,为多种安全解决方案如数字版权保护、AI 安全、身份认证等提供基础安全能力。
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了