向右滑动:上一篇 向左滑动:下一篇 我知道了
广告

如何选择AI加速器?

时间:2019-11-21 作者:Sally Ward-Foxton 阅读:
越来越多的公司开始将机器学习纳入其营运业务中,但随着AI生态系统扩展,他们开始面对如何为其业务决定最适用加速器的“选择题”…

首先,确定您是否真的需要。

随着越来越多的公司开始采用机器学习作为其正常业务营运的一部份,无论一开始出于何种原因而投资于硬件的公司,如今正因为这一生态系统开始扩展而面对着如何在各种不同加速器之间作抉择的难题。vGKEETC-电子工程专辑

在即将上市的各种不同芯片架构之间进行选择时,性能、功耗、灵活度、连接性以及总拥有成本(TCO)当然是判断的标准。除此之外,还有其他值得考虑的因素。vGKEETC-电子工程专辑

vGKEETC-电子工程专辑
Alexis Crowell (来源:Intel)vGKEETC-电子工程专辑

不久前,我有机会针对这个主题采访了英特尔(Intel)人工智能(AI)产品营销资深总监Alexis Crowell。英特尔提供了具有完全不同架构的各种AI加速器产品(包括Movidius、Mobileye、Nervana、Loihi等,但当然不只这些,而且更不用提还CPU产品了)。Crowell很开心地强调,还有一些较不明显的评判标准在选择AI加速器时也应该加以考虑。vGKEETC-电子工程专辑

你真的需要AI加速器吗?

事实上,一个最不明显但应该是最直接的问题是:您的应用真的需要最新的AI加速器ASIC吗?vGKEETC-电子工程专辑

Crowell说:“这是一个十分普遍的问题,特别是因为AI如此流行。许多公司真的想做AI,但大多数并不是真的了解它的意义,也不知道要从哪里开始。”vGKEETC-电子工程专辑

英特尔从指导客户完成整个流程的经验中发现,除了数据中心超大规模业者(hyperscaler)和大型云端服务供货商之外,大部份的客户还没有为AI加速做好准备。大多数的业者都还需要花费大量的时间才能使其数据就绪。vGKEETC-电子工程专辑

她说:“如果您只想试着整理资料,那就无需投资于昂贵的加速器硬件,只是为了清理数据。我们与客户的许多对话主要都在于弄清楚他们在这一过程中的位置。”vGKEETC-电子工程专辑

Crowell还说,有些数据中心客户可能也有大量可用的备用CPU周期——在此情况下,为什么还要另外花钱呢?vGKEETC-电子工程专辑

软件堆栈够成熟吗?

每一种新芯片架构都需要以某种方式进行编程。尽管目前不会有人在缺少相应工具链的情况下发布新芯片,但是这些软件堆栈的成熟度是需要考虑的因素之一。vGKEETC-电子工程专辑

Crowell说:“当所有的新创公司一下子涌进这一市场时,真正有趣的是:用于AI的软件堆栈十分困难。英特尔拥有25年编写和软件开发工作经验,目前还有数百人在为所有的产品组合执行软件作业。我认为,将其整合于人们已在使用中的架构、编译程序堆栈或任何看起来类似的东西中,对于在进行硬件决策时的理解非常重要。”vGKEETC-电子工程专辑
20191119-301.jpgvGKEETC-电子工程专辑
英特尔的Movidius Myriad X视觉处理单元(VPU)瞄准了无人机、机器人和智慧相机(来源:Intel)vGKEETC-电子工程专辑

是否考虑过安全性?

Crowell说:“当今的安全性(security)比以往任何时候都更重要。”他并强调数据的安全性和业务模式的稳定性也同样重要。vGKEETC-电子工程专辑

她说:“数据本身就应该加入更多的安全性,才能确保它确实是您所期待的数据池或真正的数据量。但是在进行训练之前,如何确保数据安全,从而确定您不至于取得错误的输入?[你怎么知道]会不会有人一直在编造数据的子集,导致其开始影响结果?”vGKEETC-电子工程专辑

模型的安全性同样重要。一旦在野外(在终端装置中)部署了模型,就需要保护其免于受到攻击者的尝试骇入、更改模型权重以操纵结果,或者即使只是窃取您的IP (也就是您的模型啊!)。vGKEETC-电子工程专辑

她说:“我们正为推论建构一款芯片,为其内建了RAS [可靠性、可用性和可维护性]功能,专门用于解决此问题。由于我们将安全性和AI视为重要基础,因此不可能先打造了解决方案,之后再为了增加安全性而加以改造。您必须从一开始就这样做。”vGKEETC-电子工程专辑

芯片是否经过基准检验?

适用于AI加速器的基准检验仍处于早期发展阶段。英特尔是向MLPerf以及百度(Baidu) DeepBench提交结果的少数几家公司之一。尽管Crowell强调,英特尔希望客户能够在不同产品之间进行公平的比较,而基准检验正是一个很好的起点,不过她对于当今基准检验经常使用的模型表感到有些失望。vGKEETC-电子工程专辑
20191119-302.jpgvGKEETC-电子工程专辑
英特尔的Nervana神经网络处理器提供了训练和推论版本(来源:Intel)vGKEETC-电子工程专辑

她说:“如今,ResNet和MobileNet是一种入门级的拓扑,无法反映人们在现实世界中实际上如何使用AI。但我认为这是尝试让所有人看法一致的良好基础,因为有了AI就有很多的“变量”——批次大小、延迟需求、准确性要求等等...您必须从某个地方开始。而从ResNet和MobileNet开始并不表示我们无法成长为更现代、更巨大且更贴近实际情况的模型。”vGKEETC-电子工程专辑

Crowell提到的最后一点是,应该将基准视为未来更广泛发展的一部份,并能将在此讨论的所有问题都纳入考虑。vGKEETC-电子工程专辑

她说:“我一直提醒客户不要以基准为其整体决策的判断标准。因为还必须考虑到其他的许多因素¬¬——就像生活中发生的所有大小事,这是十分微妙的。”vGKEETC-电子工程专辑

编译:Susan Hong   责编:Yvonne GengvGKEETC-电子工程专辑

(参考原文:How to Choose Between AI Accelerators,bySally Ward-Foxton)vGKEETC-电子工程专辑

 vGKEETC-电子工程专辑

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
Sally Ward-Foxton
Sally Ward-Foxton是EE Times特派记者,她专注于EE Times美国版的AI技术和相关话题,以及EE Times欧洲版杂志中的欧洲企业报道。 Sally base在英国伦敦,她报道电子行业已有15年,曾为Electronic Design、ECN、Electronic Specifie撰写设计、电子元件类文章。 她拥有剑桥大学的电气和电子工程硕士学位。
您可能感兴趣的文章
  • 国际固态电路会议(ISSCC) 2020 科技展望 2019年11月22日,中国集成电路设计业2019年会暨南京集成电路产业创新发展高峰论坛在南京国际会展中心召开。本次年会期间,主办方协同国际固态电路会议(ISSCC)远东技术委员会举办了2020年ISSCC中国区新闻发报会。本次发报会意在向国内相关领域的学者及从业人士介绍最新ISSCC论文收录情况,以及中国学术产业界在ISSCC 2020论文发表方面的优异表现。
  • 全球最大芯片WSE,遇上全球最快AI计算机CS-1 今年8月,芯片初创公司Cerebras Systems 在Hot Chips上展出了比脸还大,号称是“世界上最大”的半导体器件Wafer Scale Engine(WSE)。这款芯片首次亮相时,很多人质疑它的实用性,但在9月,Cerebras就宣布与美国能源部(DOE)达成合作,如今它又在加速深度学习的新系统上找到了自己存在的意义……
  • 2020年Gartner十大策略科技趋势预测 Gartner近日提出2020年企业必须了解的十大策略性科技趋势。分别为超级自动化、多重体验、专业知识的全民化、增进人类赋能、透明化与可追溯性、更强大的边缘运算、分布式云端、自动化对象、实用性区块链,以及人工智能安全性。
  • 安静!我要跟车子讲话... 随着CarPlay、Android Auto以及Echo Auto等平台渗透乘用车市场,车内语音识别技术预期将成为主流;但仍有一个答案未知的问题是:市场上有任何语音启动技术已经准备好因应车内的关键任务了吗?
  • 16999的华为折叠屏手机Mate X已被炒到9万一部 华为Mate X 5G版刚刚开售,一秒即宣告售罄。官网售价16999元的Mate X由于一机难求,在闲鱼平台甚至有用户加价2万回收,淘宝也有卖家标价超出6万、8万,甚至9万元。折叠屏手机被热炒的主要原因是供应不足,而华为品牌又是其中被炒得最厉害的,但从业内专家们看来,目前折叠屏还在产能爬坡中,产业链上下游并没有成熟,用户们是在为高昂的研发成本买单……
  • 边缘AI大战一触即发 一场边缘AI大战正悄悄展开...每一家处理器供货商都将机器学习视为“金鸡母”,积极地调整自家公司策略,竞相为这个具有最大商机的领域——边缘AI提供加速特定工作负载的解决方案...
相关推荐
    广告
    近期热点
    广告
    广告
    广告
    可能感兴趣的话题
    广告