向右滑动:上一篇 向左滑动:下一篇 我知道了
广告

如何选择AI加速器?

时间:2019-11-21 作者:Sally Ward-Foxton 阅读:
越来越多的公司开始将机器学习纳入其营运业务中,但随着AI生态系统扩展,他们开始面对如何为其业务决定最适用加速器的“选择题”…

首先,确定您是否真的需要。

随着越来越多的公司开始采用机器学习作为其正常业务营运的一部份,无论一开始出于何种原因而投资于硬件的公司,如今正因为这一生态系统开始扩展而面对着如何在各种不同加速器之间作抉择的难题。JKiEETC-电子工程专辑

在即将上市的各种不同芯片架构之间进行选择时,性能、功耗、灵活度、连接性以及总拥有成本(TCO)当然是判断的标准。除此之外,还有其他值得考虑的因素。JKiEETC-电子工程专辑

JKiEETC-电子工程专辑
Alexis Crowell (来源:Intel)JKiEETC-电子工程专辑

不久前,我有机会针对这个主题采访了英特尔(Intel)人工智能(AI)产品营销资深总监Alexis Crowell。英特尔提供了具有完全不同架构的各种AI加速器产品(包括Movidius、Mobileye、Nervana、Loihi等,但当然不只这些,而且更不用提还CPU产品了)。Crowell很开心地强调,还有一些较不明显的评判标准在选择AI加速器时也应该加以考虑。JKiEETC-电子工程专辑

你真的需要AI加速器吗?

事实上,一个最不明显但应该是最直接的问题是:您的应用真的需要最新的AI加速器ASIC吗?JKiEETC-电子工程专辑

Crowell说:“这是一个十分普遍的问题,特别是因为AI如此流行。许多公司真的想做AI,但大多数并不是真的了解它的意义,也不知道要从哪里开始。”JKiEETC-电子工程专辑

英特尔从指导客户完成整个流程的经验中发现,除了数据中心超大规模业者(hyperscaler)和大型云端服务供货商之外,大部份的客户还没有为AI加速做好准备。大多数的业者都还需要花费大量的时间才能使其数据就绪。JKiEETC-电子工程专辑

她说:“如果您只想试着整理资料,那就无需投资于昂贵的加速器硬件,只是为了清理数据。我们与客户的许多对话主要都在于弄清楚他们在这一过程中的位置。”JKiEETC-电子工程专辑

Crowell还说,有些数据中心客户可能也有大量可用的备用CPU周期——在此情况下,为什么还要另外花钱呢?JKiEETC-电子工程专辑

软件堆栈够成熟吗?

每一种新芯片架构都需要以某种方式进行编程。尽管目前不会有人在缺少相应工具链的情况下发布新芯片,但是这些软件堆栈的成熟度是需要考虑的因素之一。JKiEETC-电子工程专辑

Crowell说:“当所有的新创公司一下子涌进这一市场时,真正有趣的是:用于AI的软件堆栈十分困难。英特尔拥有25年编写和软件开发工作经验,目前还有数百人在为所有的产品组合执行软件作业。我认为,将其整合于人们已在使用中的架构、编译程序堆栈或任何看起来类似的东西中,对于在进行硬件决策时的理解非常重要。”JKiEETC-电子工程专辑
20191119-301.jpgJKiEETC-电子工程专辑
英特尔的Movidius Myriad X视觉处理单元(VPU)瞄准了无人机、机器人和智慧相机(来源:Intel)JKiEETC-电子工程专辑

是否考虑过安全性?

Crowell说:“当今的安全性(security)比以往任何时候都更重要。”他并强调数据的安全性和业务模式的稳定性也同样重要。JKiEETC-电子工程专辑

她说:“数据本身就应该加入更多的安全性,才能确保它确实是您所期待的数据池或真正的数据量。但是在进行训练之前,如何确保数据安全,从而确定您不至于取得错误的输入?[你怎么知道]会不会有人一直在编造数据的子集,导致其开始影响结果?”JKiEETC-电子工程专辑

模型的安全性同样重要。一旦在野外(在终端装置中)部署了模型,就需要保护其免于受到攻击者的尝试骇入、更改模型权重以操纵结果,或者即使只是窃取您的IP (也就是您的模型啊!)。JKiEETC-电子工程专辑

她说:“我们正为推论建构一款芯片,为其内建了RAS [可靠性、可用性和可维护性]功能,专门用于解决此问题。由于我们将安全性和AI视为重要基础,因此不可能先打造了解决方案,之后再为了增加安全性而加以改造。您必须从一开始就这样做。”JKiEETC-电子工程专辑

芯片是否经过基准检验?

适用于AI加速器的基准检验仍处于早期发展阶段。英特尔是向MLPerf以及百度(Baidu) DeepBench提交结果的少数几家公司之一。尽管Crowell强调,英特尔希望客户能够在不同产品之间进行公平的比较,而基准检验正是一个很好的起点,不过她对于当今基准检验经常使用的模型表感到有些失望。JKiEETC-电子工程专辑
20191119-302.jpgJKiEETC-电子工程专辑
英特尔的Nervana神经网络处理器提供了训练和推论版本(来源:Intel)JKiEETC-电子工程专辑

她说:“如今,ResNet和MobileNet是一种入门级的拓扑,无法反映人们在现实世界中实际上如何使用AI。但我认为这是尝试让所有人看法一致的良好基础,因为有了AI就有很多的“变量”——批次大小、延迟需求、准确性要求等等...您必须从某个地方开始。而从ResNet和MobileNet开始并不表示我们无法成长为更现代、更巨大且更贴近实际情况的模型。”JKiEETC-电子工程专辑

Crowell提到的最后一点是,应该将基准视为未来更广泛发展的一部份,并能将在此讨论的所有问题都纳入考虑。JKiEETC-电子工程专辑

她说:“我一直提醒客户不要以基准为其整体决策的判断标准。因为还必须考虑到其他的许多因素¬¬——就像生活中发生的所有大小事,这是十分微妙的。”JKiEETC-电子工程专辑

编译:Susan Hong   责编:Yvonne GengJKiEETC-电子工程专辑

(参考原文:How to Choose Between AI Accelerators,bySally Ward-Foxton)JKiEETC-电子工程专辑

 JKiEETC-电子工程专辑

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
Sally Ward-Foxton
Sally Ward-Foxton是EE Times特派记者,她专注于EE Times美国版的AI技术和相关话题,以及EE Times欧洲版杂志中的欧洲企业报道。 Sally base在英国伦敦,她报道电子行业已有15年,曾为Electronic Design、ECN、Electronic Specifie撰写设计、电子元件类文章。 她拥有剑桥大学的电气和电子工程硕士学位。
您可能感兴趣的文章
  • 2019年EDA/IP收购业务盘点 2019年半导体市场EDA/IP行业依旧火热,当然也出现了一些并购案。本文对2019年EDA/IP收购业务进行简要的盘点。
  • 华为5款手机被移出GeekBench跑分榜单 日前,国外知名跑分平台Geekbench更新排名名单,同时也公布了最新黑名单,有六款设备因人工干预上榜,五款华为,一款一加。型号分别的华为Mate 10 Pro、华为P20 Pro、华为Mate 10、华为P20、华为荣耀Play、一加手机5……
  • 美国限制AI软件出口中国,影响无人机/自动驾驶行业 虽然即将与中国达成第一阶段的贸易协定,但这并不意味着美国将放松对中国的科技战。最细消息显示,美国已经针对中国出台最新出口管制措施——限制人工智能(AI)软件出口,主要包含无人机、自动驾驶等领域的必要软件,因为此类成像软件“让美国拥有巨大的军事或情报优势”……
  • “遁隐”的Groq终于开始揭开其AI架构的神秘面纱 自从Groq “高调”没出现在自己赞助的AI硬件峰会之后,EETimes日前采访了这个开始从“潜伏”状态进入大众视野的神秘公司,与其高层领导团队进行了访谈,详细了解了他们关于其软件定义的硬件TSP。
  • 阿里达摩院发布《2020十大科技趋势》:芯片领域迎来重大 2020是如此科幻的年份,步入2020年,仿佛回到久违的未来。科技浪潮新十年开启,蓄势已久的智能革命将迎来颠覆性的技术变局。1月2日,阿里达摩院再度重磅向业界发布《2020十大科技趋势》,对AI、芯片、云计算、区块链、量子计算以及工业互联网等科技领域的未来发展做了重要预测。
  • 艰难之后,2020年半导体产业期待复苏 2019年,动荡的全球贸易局势为半导体市场蒙上了一层阴影。不过值得庆幸的是5G、AI、云计算、大数据和物联网等新兴技术持续保持高速发展,让半导体产业进入继个人电脑和智能手机后的下一个发展周期。
相关推荐
    广告
    近期热点
    广告
    广告
    广告
    可能感兴趣的话题
    广告