广告

边缘AI能聪明到什么程度?

时间:2020-04-25 作者:Nitin Dahad 阅读:
由于物联网(IoT)的快速发展,以及实现IoT设备智慧化所需运算力和处理能力的提升,“边缘”一词诞生。其所指的范围可能很广,可以指从“网关边缘(edge of a gateway)”到“终端(endpoint)”的任何设备。那么业界对边缘vs.终端的定义是否达成了共识?谁需要边缘AI?边缘设备可以有多智慧?让我们来一探究竟。
广告
ASPENCORE

每当有产业新词出现时,我们这些产业媒体人面临的挑战便是要理解一个公司想要做什么,特别是在他们利用这些词去实现自已的营销目标时。近来流行的一个新词是边缘人工智能(AI)或称边缘AI。UsIEETC-电子工程专辑

由于物联网(IoT)的快速发展,以及实现IoT设备智慧化所需运算力和处理能力的提升,“边缘”所指的范围可能很广,它可以指从“网关边缘(edge of a gateway)”到“终端(endpoint)”的任何设备。那么业界对边缘vs.终端的定义是否达成了共识?谁需要边缘AI?边缘设备可以有多聪明?让我们来一探究竟。UsIEETC-电子工程专辑

首先,边缘和终端的区别是什么?好吧,每个人都有自己的看法——云端之外的一切都可以称之为边缘。UsIEETC-电子工程专辑

定义:边缘可以是指很多设备,而终端就是终端

最清晰的定义或许来自英飞凌(Infineon)概念与系统工程部门资深主管Wolfgang Furtner(图1)。他认为,“边缘AI一词跟边缘一样含糊。有人把车辆称为边缘设备,而有人用这个词来指小型低功耗无线连接能量收集传感器。边缘是相对的,它用来区分本地与云端。不过将边缘的各种设备区分开来的确很有必要,有时也有人使用『边缘的边缘(edge-of-the-edge)』或『叶节点(leaf nodes)』这样的词。边缘AI可以指很多设备,包括车辆里的运算服务器。”UsIEETC-电子工程专辑

UsIEETC-电子工程专辑

图1 英飞凌概念与系统工程部门资深主管Wolfgang Furtner认为,“边缘AI”一词跟“边缘”一样含糊。UsIEETC-电子工程专辑

但他强调,“终端AI处于虚拟网络世界与现实世界的交汇处,在这里传感器与致动器离得很近。”UsIEETC-电子工程专辑

恩智浦半导体(NXP Semi-conductors)机器学习(ML)技术主管Markus Levy认为,这其实就是语义上的理解,就看怎么划分界限。“边缘ML与终端机器是一样的,只是边缘ML还可以包括网关甚至雾运算环境中的ML。终端ML通常在分布式系统中使用,例如,我们的客户甚至在这些分布式系统的传感器中实现了智能。另一个例子是家庭自动化系统,它包含『卫星』设(如恒温器、门铃摄影机、安防摄影机或其他类型的连接设备),这些设备可以独立执行ML功能,还可以将数据传给网关,以完成更高阶的ML处理。”UsIEETC-电子工程专辑

对于边缘服务器及终端越来越智慧,Arm基础设施业务总经理兼副总裁Chris Bergey站在Arm的角度,表达了略微不同的观点(图2)。他说,“网桥和交换机这类基础设备已不再适用,取而代之的是功能强大的边缘服务器,它们将数据中心等级的硬件增加到终端和云端之间的网关中。这些新型边缘服务器与5G基地台相结合,功能非常强大,能够完成复杂的AI处理——不仅是ML推理,还有训练。”UsIEETC-电子工程专辑

UsIEETC-电子工程专辑

图2 Arm基础架构业务部门总经理兼副总裁Chris Bergey对边缘服务器及终端智慧化持不同的观点。UsIEETC-电子工程专辑

边缘服务器与终端AI有何不同?Bergey说,“智能手机中包含功能强大的硬件,因此长期以来一直是终端AI的肥沃试验田。随着IoT与AI技术的融合,以及5G的不断成熟,虽然设备尺寸更小、价格更低,但是却更加智能,功能也更强大,而且由于对云端或因特网的依赖更少,隐私保护和可靠性也更好。随着终端设备越来越智慧,AI执行的边界也开始从终端向边缘融合,对异质运算基础架构的需求变得迫切。”UsIEETC-电子工程专辑

一些人认为,云端以外的一切就是边缘。例如,边缘AI和视觉联盟的创始人Jeff Bier这样说:“我们将边缘AI定义为在数据中心之外执行的全部或部分AI。智慧可能就在智慧相机的传感器旁边;或者稍远一点,在杂货店的设备柜中;甚至更远一点,在蜂巢基地台中;又或者是它们的某种组合或变化。”UsIEETC-电子工程专辑

Xilinx AI、软件和生态系统产品营销总监Nick Ni持类似观点(图3)。他表示,“边缘AI从根本上来说是一种不依赖于数据中心、能够在应用中满足自身需求的智能。对于要求实时响应、安全性(例如,不向数据中心发送机密数据)和低功耗(大多数设备)的应用而言,这是至关重要的。人类不会每天依赖数据中心做出无数决定,未来几年边缘AI将在半自动车辆和智能零售系统等市场应用中占主导地位。”UsIEETC-电子工程专辑

UsIEETC-电子工程专辑

图3 Xilinx AI、软件和生态系统产品营销总监Nick Ni认为,边缘AI从根本上来说是一种不依赖于数据中心、能够在应用中满足自身需求的智能。UsIEETC-电子工程专辑

Imagination AI资深主管Andrew Grant也认同这一观点。“我们知道,现在大家都在谈论边缘。它如何发展将取决于客户。未来肯定会出现一种混合的方法,云端运算和数据中心绝对会在其中占一席之地。」他补充,「市场(向边缘)发展的速度很快,目前已掀起向边缘智能迈进的浪潮,但对许多应用来说,具体芯片的实现需要时间。”Grant进一步解释,“我们在与中国的一家交通管理公司沟通后,了解到他们还在从云端来回传资料。我告诉他们我们在做什么,他们马上就认识到,如果红绿灯自己能够判断车辆是否在行驶,数据就不用传到云端,这样做有极大的好处。”UsIEETC-电子工程专辑

嵌入式系统供货商Adesto Technologies技术长Gideon Intrater表示,他们同时为IoT边缘服务器及IoT边缘设备提供产品,因此并不需要区分边缘和终端(图4)。“我们不太使用终端一词,终端的定义也许与边缘设备类似。这些设备中的AI通常是一些本地推理,它使用专用加速器,透过近内存(near-memory)处理或内存内(in-memory)运算,其算法在处理器上执行。”UsIEETC-电子工程专辑

UsIEETC-电子工程专辑

图4 Adesto Technologies技术长Gideon Intrater表示,他们同时为IoT边缘服务器及IoT边缘设备提供产品,因此并不需要区分边缘和终端。UsIEETC-电子工程专辑

他补充,“几乎所有应用都将实现边缘AI。AI可以实现预测和预防性维护,在制造中进行质量控制,从而惠及工业、建筑及其他许多产业,带来巨大的机会。这个产业才刚刚起步, 每天我们都期待AI能做得更多。不具备AI功能的旧设备常常不能理解我们的要求,我们为此感到沮丧,而有的设备直接就能理解我们。最终用户并不清楚AI的工作原理,他们只希望AI有用。”UsIEETC-电子工程专辑

谁需要边缘AI?

因此本文的定义很清楚:你要不认同边缘是云端外的一切,就是认同终端是现实世界与数字世界的交汇点,其中大多是传感器。但是,随着边缘和终端的界限越来越模糊,加上异质运算架构的发展,究竟在哪里执行AI,实际上是由具体的应用决定。UsIEETC-电子工程专辑

接下来的问题是谁需要它,市场对边缘AI的期望是什么?“我们所有人仍在为之努力,”Levy解释,“业内的大公司正在积极实现边缘AI,我们的很多客户也在边缘实现各种ML。但是,从『技术采用周期』来看,我仍然相信业内大部分公司甚至还没有进入『早期采用阶段』,真正开始发展得等到2020年底。”UsIEETC-电子工程专辑

UsIEETC-电子工程专辑

图5 恩智浦AI技术主管Markus Levy表示,边缘AI的真正开始发展得等到2020年底。UsIEETC-电子工程专辑

客户仍在了解ML可能带来哪些酷炫的演进。而Levy考虑的是:UsIEETC-电子工程专辑

1.能不能省钱?例如,如果用AI替代检查人员,使工厂生产线运作速度更快、效率更高,能否节省成本?UsIEETC-电子工程专辑

2.能不能赚钱?例如为产品增加一种专门功能,使其更实用。一个应用场景是条形码扫描仪,如果外包装上的条形码弄皱了就不能准确扫描,使用ML可以消除皱折的影响。UsIEETC-电子工程专辑

Furtner认为这实际上提出了一个问题,“边缘AI会带来什么好处?」他说,「边缘有一个极大的好处,就是我们可以将它的局限性『弱点』变为优点。人们关心的易用性、功能性、隐私、安全、成本、气候或资源的可持续利用,都是边缘AI能够带来的好处。我们相信,在合适的地方应用AI能提高我们的生活质量,现实生活中也有许多终端AI的应用场景。边缘AI可用于预测性维护、进一步自动化或机器人、家庭自动化或智能农业等。我们开发了采用AI的低功耗传感器,直觉感测变得更加普及,这催生了家庭或城市新应用,让生活更轻松、更安全、更环保。云端的不可靠性促使工业或家庭采用全新的应用模型,以满足隐私和安全要求。”UsIEETC-电子工程专辑

此外,Furtner 说,边缘AI能以一种更高效和可持续的方式利用海量IoT数据,这在气候变化的情况下尤其重要。UsIEETC-电子工程专辑

UsIEETC-电子工程专辑

图6 边缘AI及视觉联盟的Jeff Bier认为5个关键的应用需求将推动边缘AI的发展。UsIEETC-电子工程专辑

Bier说,以下五个关键的应用需求将推动边缘AI的发展:UsIEETC-电子工程专辑

带宽:就算用5G,可能也没有足够的带宽将所有原始数据发送到云端。UsIEETC-电子工程专辑

延迟:许多应用要求较快的响应时间,比用户从云端接收到数据的时间还要短。UsIEETC-电子工程专辑

经济性:某个应用如果使用云端,即使能从技术上解决带宽和延迟问题,但在边缘执行AI可能更划算。UsIEETC-电子工程专辑

可靠性:某个应用如果使用云端,即使能从技术上解决带宽和延迟问题,但到云端的网络连接并非一直可靠,而应用可能需要一直运作。在这种情况下,就要使用边缘AI了。例如人脸辨识门锁,如果网络连接断开,你希望门锁仍然正常工作。UsIEETC-电子工程专辑

隐私:某个应用如果使用云端,即使能从技术上解决带宽、延迟、可靠性和经济性等问题,可能仍有许多应用出于隐私考虑而需要进行本地处理。例如婴儿监控器或卧室安全监控摄影机。UsIEETC-电子工程专辑

边缘AI的聪明程度取决于内存容量

这个问题看起来似乎显而易见,但必须弄清楚,每种应用都不同。UsIEETC-电子工程专辑

“智能通常不是限制因素——内存容量才是。”Levy认为,“实际上,内存容量限制了可以使用的ML模型的大小,特别是在MCU领域。例如,一个视觉应用的ML模型就需要更多的处理能力和更大的内存容量。需要实时响应时,处理能力更重要。”UsIEETC-电子工程专辑

“以一台微波炉为例,它内部有一个摄影机来判断放进去的食物种类,1秒或2秒的响应时间就足够了,因此可以使用恩智浦i.MX RT1050这样的处理器。内存容量决定了模型的大小,进而决定微波炉可以辨识的食物种类。但是,如果微波炉不能辨识放入的食物怎么办?可以将数据传送到网关或云端来判断是什么食物,然后使用这些信息重新训练智能边缘设备。”UsIEETC-电子工程专辑

Levy针对“边缘AI要有多智慧”这个问题的答案是,“简单地说就是性能、准确性、成本和能源的权衡。此外,恩智浦正在开发一个应用,它使用自动编码器来实现另一种形式的ML,即异常检测。简而言之,自动编码器非常高效,我们实现的一个例子仅用了3KB数据,在45~50μs内完成了推理——让MCU比较容易处理。”UsIEETC-电子工程专辑

Furtner也认可这种实用方法。边缘AI在能耗、空间和成本方面受到极大限制。在这种情况下,问题不是“我们应该在边缘提供多少智慧」,而是「我们有能力在边缘提供多少智慧?”接下来的问题是“可不可以对现有的某种AI技术进行简化,使其足够『小』,以适用于边缘?”功耗无疑限制了终端智慧化的程度。这些终端通常由小型电池供电,有时甚至依赖能量收集,数据传输也要消耗大量能源。UsIEETC-电子工程专辑

Furtner补充,“来看一个智慧传感器。在这些条件下,要使本地AI正常工作,必须对传感器的某些属性和行为进行优化。另外,一些新传感器只能透过嵌入式AI实现,例如液体和气体环境传感器。需要终端AI的原因有很多,智能化数据的使用和缩减,或者快速的实时本地响应,便是其中两个原因。数据隐私和安全也是两个原因,海量传感器原始数据可以在产生的地方进行处理,而密集的运算任务仍在云端执行。随着低功耗神经运算(例如边缘TPU和神经形态技术)的进步,这一界限开始向边缘节点和终端转移。”UsIEETC-电子工程专辑

UsIEETC-电子工程专辑

图7 Imagination Technologies AI资深主管Andrew Grant提倡尽可能多地在边缘实现智能,然后在设备的生命周期使用软件进行优化。UsIEETC-电子工程专辑

Grant说:“我们认为应该尽可能多地在边缘实现智慧,然后在设备的生命周期使用软件进行优化。”他与游戏机产业作了个比较,当供货商发布一款新的游戏机后,在硬件的整个生命周期中,是透过软件更新对游戏机进行优化。他补充,从成本或尺寸的角度来看,在系统单芯片(SoC)中增加神经网络加速器并不重要;“因此边缘加速的机会真的非常巨大。”UsIEETC-电子工程专辑

Bergey说:“随着异质运算在基础架构中的普及,我们必须能够判断在哪里处理资料是最好的,这因应用而异,甚至在一天中不同的时间里也不相同。市场所需的解决方案是能够让不同的AI层担任不同的角色,以了解全局,从而推动真正的业务转型。在边缘,AI扮演着双重角色。在网络层,它可以对数据流进行分析,智能地将数据发送至最合适的处理点,这有可能是云端,也可能是其他节点,从而实现网络预测和网络功能管理。”UsIEETC-电子工程专辑

Intrater补充,“边缘应该多智能”取决于具体的应用、能处理多少延迟(对重要的实时应用而言不多)、功率范围多大(对电池供电的设备而言非常小)、安全和隐私问题,以及是否能连网。即使能连网,你也不会希望把所有的数据都发送到云端进行分析,因为那样带宽开销很大。在边缘和云端之间划分出智能区域是为了平衡所有这些问题。UsIEETC-电子工程专辑

Bergey接着说,“AI也可以在本地的边缘服务器上执行,但训练和分析通常是在云端完成。要决定AI在哪里执行并不是那么容易,『智慧』通常是分布式的,有些在云端执行,有些在边缘设备中执行。一个典型的AI系统分为本地执行和远程执行两部分。Alexa/Siri就是一个很好的例子,设备中有算法来完成语音/关键词辨识,而互动是在云端完成。”UsIEETC-电子工程专辑

什么是赋能技术?

“实现边缘AI需要很多关键的赋能技术。最容易想到的就是适合执行AI算法的高性能、低能耗、价格便宜的处理器。”Bier说,还有其他许多技术,其中最重要的技术包括:UsIEETC-电子工程专辑

软件工具:促进这些处理器的有效使用;UsIEETC-电子工程专辑

云端平台:从边缘设备汇集元数据,并管理边缘设备的预配和维护。UsIEETC-电子工程专辑

采访的公司大多可提供一系列用于边缘AI的设备和IP。英飞凌称可提供用于IoT的传感器、致动器、MCU(包括神经网络加速器)和硬件安全模块。Furtner表示:“我们在电源效率、安全和安防方面有很大优势。使用我们的产品能够连接现实世界与数字世界,为边缘提供安全、可靠和节能的AI解决方案。”UsIEETC-电子工程专辑

Ni说,将AI边缘产品推向市场并非易事,因为这需要工程师将ML技术与传感器融合,以及计算机视觉和讯号转换等传统算法相结合。“为了满足端到端响应,就要优化所有的工作负载,这需要一个自我调整定制运算架构(adaptable domain specific architecture),使硬件和软件均可程序设计。Xilinx SoC、FPGA和ACAP提供了这样的自我调整平台,在满足端到端产品需求的同时可持续创新。”UsIEETC-电子工程专辑

恩智浦称其赋能技术包括硬件和软件。Levy说:“有客户使用我们的低阶Kinetis或LPC MCU来实现一些智能功能。在我们的i.MX RT交叉处理器级别,事情开始变得更有趣,我们提供整合Cortex-M7核心的MCU,工作频率为600~1,000MHz。我们新的RT600包括一个M33和HiFi4 DSP,透过在异质模式下使用DSP,以加速神经网络的各种组件,从而实现中等性能的ML。将频谱提升,最新的i.MX 8M Plus将4个A53核心与一个专用神经处理单元(NPU)整合,NPU可提供2.25TOPS运算力,推断性能提高2个数量级,功率小于3W。这种高阶NPU对于实时语音识别(即NLP)、手势辨识,以及实时视讯和物体辨识等应用至关重要。UsIEETC-电子工程专辑

至于软件方面,Levy称恩智浦提供了eIQML软件开发环境,在恩智浦产品系列(从i.MX RT到i.MX 8应用处理器及更多)中实现开放原始码ML技术。“利用eIQ,客户可以根据需要在他们选择的运算单元上(包括CPU、GPU、DSP或NPU)执行ML。甚至还会见到一些异质实现,比如在DSP上运作关键词检测的语音应用、在GPU或CPU上的人脸辨识、在NPU上的高性能视讯应用,或它们的任意组合。“UsIEETC-电子工程专辑

Bergey说:“全世界的IoT设备已接近1兆台,我们的基础设施和架构面临前所未有的挑战,为迎接这一巨大机会,我们所需的技术也在不断发展。Arm主要提供可配置、可扩展的解决方案,以满足性能和功耗要求,从而让AI无处不在。”UsIEETC-电子工程专辑

Adesto也提供边缘AI赋能技术,包括内建AI加速器的ASIC、在语音和影像辨识AI芯片中储存权重的NOR闪存,以及将新、旧数据送至云端(如IBM Watson和Microsoft Azure)进行分析的智慧边缘服务器。UsIEETC-电子工程专辑

UsIEETC-电子工程专辑

图8 Adesto使用RRAM技术开发内存内AI运算,其中单个内存单元既是储存元素又是运算资源。(图片来源:Adesto)UsIEETC-电子工程专辑

Intrater补充,“我们也在利用RRAM技术开发内存内AI运算,其中单个储存单元既是储存元素又是运算资源。在这种范式中,深度神经网络矩阵变成NVM单元数组,矩阵权值变成NVM单元的电导。将输入电压施加到RRAM单元,然后对所产生的电流求和,即可完成点积运算。由于不需要在运算资源和内存之间移动权重,因此这一模型可以实现电源效率和可扩展性的完美组合。”UsIEETC-电子工程专辑

一致的观点

在笔者看来,边缘AI和终端AI之间有一个非常明显的区别。终端是实体世界与数字世界的交汇点,而边缘的定义却很灵活。供货商的说法也各不相同,有的认为数据中心以外的一切都是边缘(包括网关、网络边缘、汽车),而有的则把终端定义为边缘的子集。UsIEETC-电子工程专辑

如何定义并不重要。最终还是要看具体的应用,以及可以在终端或边缘实现多少智慧。这需要在可用内存容量、性能需求、成本和能耗之间进行权衡,以决定能够在边缘实现多少推理和分析,需要多少神经网络加速器,以及是作为SoC的一部分,还是与CPU、GPU或DSP并列使用。当然,在应对这些挑战时,不要忘记使用创新的方法和技术,比如内存内运算和AI。UsIEETC-电子工程专辑

我们都认同,“边缘应该要多智能”是由具体的应用决定,要根据可用的资源来找出实用的方法。UsIEETC-电子工程专辑

(参考原文:Let’s Talk Edge Intelligence,by Nitin Dahad)UsIEETC-电子工程专辑

本文同步刊登于EDN Tiwan 2020年4月号杂志UsIEETC-电子工程专辑

ASPENCORE
本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
Nitin Dahad
EE Times欧洲记者。Nitin Dahad是EE Times的欧洲记者。
  • 50万亿新基建下的人工智能趋势及商业模式 AI已经成为科技的一股主力军,在5G高速公路的路基上,AI会跑的更快更远,而中国未来10年的新基建投资达到50万亿,那么在这庞大的新基建规模下,AI将会有哪些趋势呢?
  • 为什么说将边缘AI芯片嵌入物联网设备是必然之选 边缘AI芯片的普及将可能给消费者和企业带来重大变化。但从长远来看,边缘AI芯片对企业应用的影响可能更大,它可以为企业带来更多新的可能性,尤其是在物联网应用方面。
  • 承诺销售7000万元,实现35.26万元:国民技术要求华夏芯补 截至2019年12月31日,华夏芯2019年度承诺实现销售7,000万元收入,实现的销售收入35.26万元,差额6,964.74万元,完成率0.50%。按照增资协议约定,2019年未完成财务指标,当年度补偿额为2019年度收入目标与实际销售收入的差额6,964.74万元。
  • 科创板两天受理13家申请,半导体企业密集过会 6月初,科创板两天内受理了13家企业的上市申请,其中中芯国际成为募资最高企业,引领红筹回归;中国半导体专用设备五强的盛美半导体获得受理;寒武纪2个月快速过会创纪录;敏芯微则在专利风波下获得通过。目前科创板受理企业总数已达到323家,上市的芯片概念企业已近20家,集聚效应初显……
  • 提《安全校园法案》,美拟驱逐数千名中国理工科学生 美国《纽约时报》引述不具名美官员的话称,特朗普政府计划取消“与中国人民解放军所属大学有直接关系的”数千名中国研究生和研究人员的签证。报道称,官方估计该计划可能会影响至少3000名中国学生。5月27日,美国议员汤姆・科顿公布了禁止中国公民取得美国理工科领域毕业生及研究生学习签证的《安全校园法案》,并称这将防治中国利用美国大学进行间谍活动……
  • MEMC成中高端智能电视分水岭? 日前,小米集团副总裁,中国区总裁,红米Redmi品牌总经理卢伟冰在微博发了一篇科普文,讲述MEMC技术对于定位年轻人的“轻旗舰”智能电视的重要性。年轻群体对于看大片、看球、玩游戏的需求较多,对于好画质有着天生的追求……
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了