向右滑动:上一篇 向左滑动:下一篇 我知道了
广告

AI芯片推理性能比拼,Nvidia称第一

时间:2019-11-13 作者:Sally Ward-Foxton 阅读:
继今年稍早之前发表了AI训练的性能测试基准后,MLPerf近期又针对AI推理性能公布了一份测试基准以及各家业者的跑分结果。

MLPerf的AI训练性能测试基准有来自5家公司的63个“参赛者”提供了跑分结果,而参与推理性能测试基准跑分并提供成绩的公司数量更多,共有来自14个组织的500组成绩,包括来自多家新创公司的数字,不过有几家知名的市场新秀显然缺席。tOVEETC-电子工程专辑

在经过严格条件限制以实现系统之间直接比较性能的封闭性赛程中,比分结果显示各个系统的性能分数达到5个量级(magnitude)的差异,而在预估功耗方面则横跨了3个量级。在开放性的赛程中,参赛者则能利用一系列的模型,包括较低精确度的实作。tOVEETC-电子工程专辑

Nvidia的商用装置在封闭赛程中的所有分组都获得了第一名,其他领先者包括数据中心分组的Habana Labs、Google与Intel;而在边缘装置的分组中,Nvidia则与Intel以及Qualcomm相互较劲。市场研究机构Moor Insights and Strategy分析师Karl Freund表示:“Nvidia是唯一拥有能在MLPerf所有项目进行性能测试之量产芯片、软件、可编程性以及人才的公司,而且他们几乎在所有项目都胜出。”tOVEETC-电子工程专辑

Freund接着指出:“GPU的可编程性让它们在未来的MLPerf测试结果中拥有独特定位…我认为这证明了Nvidia实力的广度,以及这些挑战者的利基性质。但众家挑战者会随着时间推移逐渐成熟,因此Nvidia会需要继续在软硬件技术上创新。”tOVEETC-电子工程专辑

Nvidia公布的图表展示了该公司对测试结果的诠释,他们在商用装置封闭赛程的所有4个情境中,将自己置于第一名位置。那些情境就是代表不同的使用案例,脱机(offline)与服务器情境则是针对数据中心推理的测试项目。其中脱机情境可能代表大量图片的脱机标记,并量测纯粹的处理量,服务器情境则代表来自不同使用者、在无法预料的时间内送出的多个要求,量测在一个固定时间内的处理量。tOVEETC-电子工程专辑

边缘推理情境则包括单一数据流(stream),例如针对手机应用程序中单一影像进行推理的时间;以及多数据流,也就是量测来自多个摄影机系统的多少个影像数据流能同时被推理。参与测试的公司能提供在上述四种情境中,针对选定机器学习模型执行影像分类、物体侦测以及语言翻译的测试结果。tOVEETC-电子工程专辑
tOVEETC-电子工程专辑
商用装置在封闭赛程中的数据中心推理测试结果,以每个加速器为单位与Nvidia的分数进行比较。其中X代表未提交结果。tOVEETC-电子工程专辑

tOVEETC-电子工程专辑
(来源:Nvidia)tOVEETC-电子工程专辑

“看数据中心推理的测试结果,Nvidia在包括服务器与脱机项目中的所有5个测试中都排名第一;”Nvidia加速运算产品管理总监Paresh Kharya表示:“我们的Turing GPU表现超越所有商用解决方案的产品。”他强调,Nvidia是唯一在数据中心与服务器(这个情境的困难度更高)分组中提供所有5项基准检验模型跑分结果的公司,其性能表现优于竞争对手。tOVEETC-电子工程专辑

在数据中心分组中与Nvidia成绩最接近的对手是以色列新创公司Habana Labs的Goya推理芯片;Moor Insights and Strategy的Freund表示:“Habana是唯一完全量产高性能芯片的挑战者,在下一轮可望包含功耗表现数据的MLPerf测试中应该会表现优良。”tOVEETC-电子工程专辑
Habana Labs在接受EE Times访问时指出,该测试成绩完全以性能为基础,功耗并不是一个量测标准,也非实用性(例如考虑采用被动冷却或水冷解决方案)与成本。Habana在开放性赛程中也展现了低延迟优势,比起封闭性赛程能更进一步降低延迟;此外该公司也提交了多数据流情境中的测试结果。tOVEETC-电子工程专辑
tOVEETC-电子工程专辑
配备Goya推理芯片的Habana Labs PCIe卡。tOVEETC-电子工程专辑

20191113-101.jpgtOVEETC-电子工程专辑
(来源:Habana Labs)tOVEETC-电子工程专辑

在边缘推理测试中,Nvidia则在商用方案的封闭式赛程所有4个项目中胜出。Qualcomm的Snapdragon 855 SoC以及Intel的Xeon CPU在单数据流情境中紧随Nvidia,不过Qualcomm与Intel都没有提交较困难的多数据流情境测试结果。tOVEETC-电子工程专辑
tOVEETC-电子工程专辑
商用装置在封闭赛程中的边缘推理测试结果,以每个加速器为单位与Nvidia的分数进行比较。其中X代表未提交结果。tOVEETC-电子工程专辑

20191113-102.jpgtOVEETC-电子工程专辑

(来源:Nvidia)tOVEETC-电子工程专辑

至于“预览版”(也就是还未正式上市的产品)系统分组的测试结果,则是让阿里巴巴旗下平头哥(T-Head)的含光(Hanguang)芯片与Intel的Nervana NNP-I、以色列业者Hailo的Hailo-8,以及美国业者Centaur Technologies的一款参考设计同台竞争。还有研发团队分组的测试结果,则有一家仍在隐身模式的韩国新创公司Furiosa AI名列其中。tOVEETC-电子工程专辑

编译:Judith Cheng   责编:Yvonne GengtOVEETC-电子工程专辑

(参考原文:Benchmark Scores Reveal Who’s Winning the AI Inference Race,by Sally Ward-Foxton)tOVEETC-电子工程专辑

 tOVEETC-电子工程专辑

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
Sally Ward-Foxton
Sally Ward-Foxton是EE Times特派记者,她专注于EE Times美国版的AI技术和相关话题,以及EE Times欧洲版杂志中的欧洲企业报道。 Sally base在英国伦敦,她报道电子行业已有15年,曾为Electronic Design、ECN、Electronic Specifie撰写设计、电子元件类文章。 她拥有剑桥大学的电气和电子工程硕士学位。
您可能感兴趣的文章
  • 2019年EDA/IP收购业务盘点 2019年半导体市场EDA/IP行业依旧火热,当然也出现了一些并购案。本文对2019年EDA/IP收购业务进行简要的盘点。
  • 苹果2亿美元买下这家公司或改进Siri? 据外媒Geekwire报道,继16年花费2亿美元收购西雅图AI创业公司Turi之后,苹果又用相近的价格买下了另一家西雅图AI创业公司Xnor.ai。
  • 华为5款手机被移出GeekBench跑分榜单 日前,国外知名跑分平台Geekbench更新排名名单,同时也公布了最新黑名单,有六款设备因人工干预上榜,五款华为,一款一加。型号分别的华为Mate 10 Pro、华为P20 Pro、华为Mate 10、华为P20、华为荣耀Play、一加手机5……
  • 美国限制AI软件出口中国,影响无人机/自动驾驶行业 虽然即将与中国达成第一阶段的贸易协定,但这并不意味着美国将放松对中国的科技战。最细消息显示,美国已经针对中国出台最新出口管制措施——限制人工智能(AI)软件出口,主要包含无人机、自动驾驶等领域的必要软件,因为此类成像软件“让美国拥有巨大的军事或情报优势”……
  • “遁隐”的Groq终于开始揭开其AI架构的神秘面纱 自从Groq “高调”没出现在自己赞助的AI硬件峰会之后,EETimes日前采访了这个开始从“潜伏”状态进入大众视野的神秘公司,与其高层领导团队进行了访谈,详细了解了他们关于其软件定义的硬件TSP。
  • 阿里达摩院发布《2020十大科技趋势》:芯片领域迎来重大 2020是如此科幻的年份,步入2020年,仿佛回到久违的未来。科技浪潮新十年开启,蓄势已久的智能革命将迎来颠覆性的技术变局。1月2日,阿里达摩院再度重磅向业界发布《2020十大科技趋势》,对AI、芯片、云计算、区块链、量子计算以及工业互联网等科技领域的未来发展做了重要预测。
相关推荐
    广告
    近期热点
    广告
    广告
    广告
    可能感兴趣的话题
    广告