广告

神经网络加速器研发竞赛开始

时间:2017-07-28 作者:Junko Yoshida 阅读:
随着许多嵌入式系开始变得“智慧”且“自主”,以人工智能(AI)神经网络为导向的嵌入式系统市场即将起飞,神经网络加速器大战一触发…

嵌入式神经网络加速器市场持续升温,从智能音箱、无人机到智能灯泡等越来越多的系统准备在本地执行神经网络,以取代传送至云端进行运算的途径。Jc2EETC-电子工程专辑

Movidius副总裁兼总经理Remi El-Ouazzane日前在接受《EE Times》访问时,将这个成长中的趋势定义为“让事情变得更智能与自主的一场竞赛”。
20170727-Movidius-1
Remi El-Ouzaane,Movidius副总裁兼总经理Remi El-OuazzaneJc2EETC-电子工程专辑

英特尔旗下子公司Movidius在上周推出了一款采用USB外形的独立式人工智能(AI)加速器。El-Ouazzane说,这款名为Movidius神经运算棒(Neural Compute Stick)的AI加速器设计,可轻松简单地插入Raspberry Pi或X86 PC,让大学研究人员、独立软件开发人员与程序增补人员易于为嵌入式系统进行编译、调整以及加速深度学习应用。Jc2EETC-电子工程专辑

Movidius在去年秋天被英特尔收购后,如今已成为英特尔新技术部门的一部份。Movidius之前曾经开发出业界首款视觉处理器——Myriad 2 VPU。如今,El-Ouazzane表示,推出这款运算棒的最终目标在于让Movidius VPU成为可在边缘执行神经网络的“参考架构”。Jc2EETC-电子工程专辑

20170727-Movidius-2
Movidius Myria 2 VPU方块图 (来源:Intel/Movidius)Jc2EETC-电子工程专辑

尽管目标远大,但业界分析师随即指出,Movidius Myriad 2 VPU当然不是嵌入式系统中可在边缘执行神经网络的唯一选择。Jc2EETC-电子工程专辑

催生新产品类别:神经加速器Jc2EETC-电子工程专辑

Tirias Research首席分析师Jim McGregor表示:“从技术上来看,您可以使用任何具有处理组件的开发板,并用于执行一种模型。例如机器学习(Machine learning)/AI模型已经执行于各种广泛的处理器和SoC了,特别是针对移动领域。”Jc2EETC-电子工程专辑

高通(Qualcomm)以Snapdragon系列实现的影像辨识可说是最佳的例子。高通从Snapdragon 820开始采用自家开发的模型,McGregor说:“Snapdragon基本上就是推理引擎”。Jc2EETC-电子工程专辑

具有平行处理组件(如GPU、DSP和FPGA)的处理解决方案非常适于作为推理引擎。McGregor解释说,许多正在开发中的客制化芯片解决方案都采用可内建于SoC的DSP或FPGA。Jc2EETC-电子工程专辑

Linley Gwennap首席分析师Linley Gwennap对此表示赞同。他在最近出刊的《微处理器报告》(Microprocessor Report)中写道:高通、苹果(Apple)和英特尔(Movidius)都在“打造一种新的产品类别:神经加速器。”Jc2EETC-电子工程专辑

Gwennap解释说,对于这些以客户端为基础的加速器需求来自于要求极低延迟的自动驾驶车。Gwennap在该报告的评论中指出,在本地进行处理的新技术将会开始“渗透至一些较低成本的应用”。他预测,“在消费设备中,小型的神经加速器可能是SoC中的一个重要区块,就像是绘图核心或图像处理器一样。几家知识产权(IP)供应商开始提供这一类加速器,期望尽可能地降低额外的硬件成本。”Jc2EETC-电子工程专辑

Gwennap在《EE Times》的访谈中指出,Movidius Neural Compute Stick对于开发人员几乎没有什么不同。“对于开发人员来说,这并没什么了不起。典型的PC就能产生至少100GFLOPS,特别是如果它还内建绘图卡,直接在PC上进行开发会更好。对于需要较低功率处理器的嵌入式系统,高通Snapdragon 835提供超过250GOPS的效能,对于大多数的推理应用来说都够了。”
20170727-Movidius-3
(来源:Movidius)Jc2EETC-电子工程专辑

不过,Movidius的El-Ouazzane并不赞同这样的看法。Jc2EETC-电子工程专辑

首先,Movidius Neural Compute Stick利用USB让神经网络更易于存取,有利于制造商或程序增补人员用于开发深度神经网络原型或进行调整。Jc2EETC-电子工程专辑

其次是电源效率的问题。El-Ouazzane指出,Movidius的解决方案可让神经网络在边缘运算时旳功耗小于2瓦(W)。Jc2EETC-电子工程专辑

然后,还有成本的考虑。El-Ouazzane说:“我认为这是一个杀手级因素。Movidius Neural Compute Stick要价79美元,可望让神经网络的发展变得‘超级普遍’。”Jc2EETC-电子工程专辑

他预期开发人员能使用Movidius的神经运算平台(Neural Compute Platform)应用程序编程接口(API),“将经过训练的Caffe、前馈卷积神经网络(CNN)输入工具套件中,并进行配置,然后编译成一种可用于嵌入式部署的调整版本。”Jc2EETC-电子工程专辑

以AI为导向的嵌入式应用?Jc2EETC-电子工程专辑

随着许多嵌入式系开始变得“智慧”且“自主”,El-Ouazzane预计以AI为导向的嵌入式系统即将爆发。Jc2EETC-电子工程专辑

但是,不久的将来即将出现什么样的AI设备?Jc2EETC-电子工程专辑

McGregor预测,“我认为在2025年以前,每个人所接触的每一款新系统/平台都将具有某种程度的AI元素,它可能内建于设备本身,或存在于网络、云端,或是分散在其间。”Jc2EETC-电子工程专辑

他补充说:“它可能就像是用户接口或应用一样简单,或者是像虚拟助理或自主控制般复杂的某种装。目前已经有许多应用已经导入了AI,包括虚拟助理、搜索引擎、财务建模、与文章写作.....等等。”Jc2EETC-电子工程专辑

他说:“而在设备上,AI将因各种不同的原因而持续成长,特别是数据的安全、实时互动/处理以及带宽限制等。然而,在设备上进行训练才是真正的挑战,最终可能需要新的处理模型。”Jc2EETC-电子工程专辑

英特尔想掌握一切…Jc2EETC-电子工程专辑

当然,Movidus现在是英特尔的子公司,但其目标并不仅限于有更多嵌入式系统在边缘执行神经网络。El-Ouazzane将其产品发布架构在英特尔端对端AI产品组合的更大脉络之下。Jc2EETC-电子工程专辑

他指出,英特尔拥有广泛的AI产品组合,并为其提供一整套完整的开发工具和资源。Jc2EETC-电子工程专辑

“无论是在英特尔Nervana云端上训练AI神经网络、优化新兴的工作负载(如AI、、VR和AR),以及使用英特尔Xeon Scalable处理器实现自动驾驶,或是以Movidius视觉处理器技术将AI导入边缘,”英特尔宣称该公司已为下一代AI驱动的产品和服务提供了全面的AI产品组合、工具、训练和部署选择。Jc2EETC-电子工程专辑

然而,Movidus是否真的能在即将变得无所不在的AI嵌入式系统中成为其关键参考架构,目前还不而知。Jc2EETC-电子工程专辑

Tirias Research的McGregor尽管认同Neural Compute Stick是“一款可在新设计中快速评估AI模型训练效能的有利工具,”但他仍指出,“设计人员仍然必须在最后的系统设计时间执行类测试,特别是如果他们并未使用Moviduis的芯片和/或Caffe架构。”Jc2EETC-电子工程专辑

The Linley Group的Gwennap还认为,Movidius无法达到其目标——实现在边缘运算神经网络的嵌入式系统设计。Jc2EETC-电子工程专辑

区隔推理引擎与训练Jc2EETC-电子工程专辑

Gwennap指出,“值得注意的是,新的AI时代并不会有‘参考架构’。诸如TensorFlow和Caffe等架构将会把软件(神经网络)和硬件分开来。”他补充说:“映像到Myriad VPU的网络可以轻易地映像到Snapdragon或其他处理器上。因此,AI处理器将在性能和效率的基础上进行竞争,而不是锁定于指令集。”Jc2EETC-电子工程专辑

同样地,他也不认同“同样的工具适用于训练和推理”的论点。Gwennap说:“一旦网络开始接受训练,就可以轻松地部署在支持主流架构的任何平台上。而且,主流的架构都是开放源码,以避免单一家厂商锁定。”Jc2EETC-电子工程专辑

El-Ouazzane看好AI处理器抽取底层硬件的能力,它让设计者可将推论与练训分离开来。但他重申先前的观点,从长远来看,能够使用相同的工具进行神经网络的训练和部署,才有助于系统设计人员。Jc2EETC-电子工程专辑

他以Movidius的开发蓝图为例表示,未来三年,深度学习的效能预计将会增加50倍。“为了在不增加功耗的情况下实现这一目标,我们可以在训练方面设计许多架构技巧。”El-Ouazzane补充说:“当你在斟酌这些技巧时,让学习和推理方面置于同一平台是至关重要的。”Jc2EETC-电子工程专辑

编译:Susan HongJc2EETC-电子工程专辑

本文授权编译自EE Times,版权所有,谢绝转载Jc2EETC-电子工程专辑

EETC wechat barcode


关注最前沿的电子设计资讯,请关注“电子工程专辑微信公众号”。
Jc2EETC-电子工程专辑

Jc2EETC-电子工程专辑

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
Junko Yoshida
ASPENCORE全球联席总编辑,首席国际特派记者。曾任把口记者(beat reporter)和EE Times主编的Junko Yoshida现在把更多时间用来报道全球电子行业,尤其关注中国。 她的关注重点一直是新兴技术和商业模式,新一代消费电子产品往往诞生于此。 她现在正在增加对中国半导体制造商的报道,撰写关于晶圆厂和无晶圆厂制造商的规划。 此外,她还为EE Times的Designlines栏目提供汽车、物联网和无线/网络服务相关内容。 自1990年以来,她一直在为EE Times提供内容。
您可能感兴趣的文章
  • 自动驾驶火爆,汽车Tier one供应商开始研究深度神经网络 由于自动驾驶车的开发还处于早期阶段,因此, Waymo、Uber 和英特尔/Mobileye等公司都选择跳过与中间商(Tier one供应商)的联系,径自开发自家平台。然而,Visteon动作频频,是否意味着被冷落的Tier one供应商要开始绝地大反攻?
  • 美军给战斗机配的“电子大脑”有多厉害? “仿人脑超级计算机”已经在美国空军服役。这种超级计算机采用了IBM的TrueNorth神经形态64芯片数组,适合飞机,以及尺寸、重量和功耗受限的其他嵌入式、行动和自动系统等潜在应用使用。
  • 大脑植入芯片可绕过眼耳,将影像声音传到大脑 过去,眼睛失明的人仅能透过器官移植手术才有机会重见光明。不过,最新研究开发出一款可植入大脑的微型芯片……
  • 高速电子泵是怎样一步步成功模拟神经信号的? 有机电子离子泵有6个小孔(位于金色方块上的黑点),这些小孔能够高速释放神经递质。为了比较大小,我们把这个离子泵放在瑞典硬币(大约 1 美分硬币大小)旁边。
  • 催生更强AI,科学家致力破解人脑运算之谜 神经形态芯片面临的一大难题,是研究人员仍不知道大脑究竟是如何学习...
  • 协同仿真可实现更好的IC测试 虽然IC设计复杂性日益增加,但留给IC设计工程师的时间却没怎么变化。这迫使工程师加速所有相关流程。花费太多时间在测试上可能会错过产品及时面世的最佳时机,而花费太少时间可能会漏掉设计错误。随着我们转向更复杂的SoC设计,有效地利用测试时间变得越来越重要。有多种途径可以测试我们的设计,我们必须选择最佳方法来优化测试和花费的时间。仿真作为一种改善测试时间的方法优势突出,虽然方式并不简单。
相关推荐
    广告
    近期热点
    广告
    广告
    广告
    可能感兴趣的话题
    广告