向右滑动:上一篇 向左滑动:下一篇 我知道了
广告

AI芯片推理性能比拼,Nvidia称第一

时间:2019-11-13 作者:Sally Ward-Foxton 阅读:
继今年稍早之前发表了AI训练的性能测试基准后,MLPerf近期又针对AI推理性能公布了一份测试基准以及各家业者的跑分结果。

MLPerf的AI训练性能测试基准有来自5家公司的63个“参赛者”提供了跑分结果,而参与推理性能测试基准跑分并提供成绩的公司数量更多,共有来自14个组织的500组成绩,包括来自多家新创公司的数字,不过有几家知名的市场新秀显然缺席。ireEETC-电子工程专辑

在经过严格条件限制以实现系统之间直接比较性能的封闭性赛程中,比分结果显示各个系统的性能分数达到5个量级(magnitude)的差异,而在预估功耗方面则横跨了3个量级。在开放性的赛程中,参赛者则能利用一系列的模型,包括较低精确度的实作。ireEETC-电子工程专辑

Nvidia的商用装置在封闭赛程中的所有分组都获得了第一名,其他领先者包括数据中心分组的Habana Labs、Google与Intel;而在边缘装置的分组中,Nvidia则与Intel以及Qualcomm相互较劲。市场研究机构Moor Insights and Strategy分析师Karl Freund表示:“Nvidia是唯一拥有能在MLPerf所有项目进行性能测试之量产芯片、软件、可编程性以及人才的公司,而且他们几乎在所有项目都胜出。”ireEETC-电子工程专辑

Freund接着指出:“GPU的可编程性让它们在未来的MLPerf测试结果中拥有独特定位…我认为这证明了Nvidia实力的广度,以及这些挑战者的利基性质。但众家挑战者会随着时间推移逐渐成熟,因此Nvidia会需要继续在软硬件技术上创新。”ireEETC-电子工程专辑

Nvidia公布的图表展示了该公司对测试结果的诠释,他们在商用装置封闭赛程的所有4个情境中,将自己置于第一名位置。那些情境就是代表不同的使用案例,脱机(offline)与服务器情境则是针对数据中心推理的测试项目。其中脱机情境可能代表大量图片的脱机标记,并量测纯粹的处理量,服务器情境则代表来自不同使用者、在无法预料的时间内送出的多个要求,量测在一个固定时间内的处理量。ireEETC-电子工程专辑

边缘推理情境则包括单一数据流(stream),例如针对手机应用程序中单一影像进行推理的时间;以及多数据流,也就是量测来自多个摄影机系统的多少个影像数据流能同时被推理。参与测试的公司能提供在上述四种情境中,针对选定机器学习模型执行影像分类、物体侦测以及语言翻译的测试结果。ireEETC-电子工程专辑
ireEETC-电子工程专辑
商用装置在封闭赛程中的数据中心推理测试结果,以每个加速器为单位与Nvidia的分数进行比较。其中X代表未提交结果。ireEETC-电子工程专辑

ireEETC-电子工程专辑
(来源:Nvidia)ireEETC-电子工程专辑

“看数据中心推理的测试结果,Nvidia在包括服务器与脱机项目中的所有5个测试中都排名第一;”Nvidia加速运算产品管理总监Paresh Kharya表示:“我们的Turing GPU表现超越所有商用解决方案的产品。”他强调,Nvidia是唯一在数据中心与服务器(这个情境的困难度更高)分组中提供所有5项基准检验模型跑分结果的公司,其性能表现优于竞争对手。ireEETC-电子工程专辑

在数据中心分组中与Nvidia成绩最接近的对手是以色列新创公司Habana Labs的Goya推理芯片;Moor Insights and Strategy的Freund表示:“Habana是唯一完全量产高性能芯片的挑战者,在下一轮可望包含功耗表现数据的MLPerf测试中应该会表现优良。”ireEETC-电子工程专辑
Habana Labs在接受EE Times访问时指出,该测试成绩完全以性能为基础,功耗并不是一个量测标准,也非实用性(例如考虑采用被动冷却或水冷解决方案)与成本。Habana在开放性赛程中也展现了低延迟优势,比起封闭性赛程能更进一步降低延迟;此外该公司也提交了多数据流情境中的测试结果。ireEETC-电子工程专辑
ireEETC-电子工程专辑
配备Goya推理芯片的Habana Labs PCIe卡。ireEETC-电子工程专辑

20191113-101.jpgireEETC-电子工程专辑
(来源:Habana Labs)ireEETC-电子工程专辑

在边缘推理测试中,Nvidia则在商用方案的封闭式赛程所有4个项目中胜出。Qualcomm的Snapdragon 855 SoC以及Intel的Xeon CPU在单数据流情境中紧随Nvidia,不过Qualcomm与Intel都没有提交较困难的多数据流情境测试结果。ireEETC-电子工程专辑
ireEETC-电子工程专辑
商用装置在封闭赛程中的边缘推理测试结果,以每个加速器为单位与Nvidia的分数进行比较。其中X代表未提交结果。ireEETC-电子工程专辑

20191113-102.jpgireEETC-电子工程专辑

(来源:Nvidia)ireEETC-电子工程专辑

至于“预览版”(也就是还未正式上市的产品)系统分组的测试结果,则是让阿里巴巴旗下平头哥(T-Head)的含光(Hanguang)芯片与Intel的Nervana NNP-I、以色列业者Hailo的Hailo-8,以及美国业者Centaur Technologies的一款参考设计同台竞争。还有研发团队分组的测试结果,则有一家仍在隐身模式的韩国新创公司Furiosa AI名列其中。ireEETC-电子工程专辑

编译:Judith Cheng   责编:Yvonne GengireEETC-电子工程专辑

(参考原文:Benchmark Scores Reveal Who’s Winning the AI Inference Race,by Sally Ward-Foxton)ireEETC-电子工程专辑

 ireEETC-电子工程专辑

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
Sally Ward-Foxton
Sally Ward-Foxton是EE Times特派记者,她专注于EE Times美国版的AI技术和相关话题,以及EE Times欧洲版杂志中的欧洲企业报道。 Sally base在英国伦敦,她报道电子行业已有15年,曾为Electronic Design、ECN、Electronic Specifie撰写设计、电子元件类文章。 她拥有剑桥大学的电气和电子工程硕士学位。
您可能感兴趣的文章
  • 国际固态电路会议(ISSCC) 2020 科技展望 2019年11月22日,中国集成电路设计业2019年会暨南京集成电路产业创新发展高峰论坛在南京国际会展中心召开。本次年会期间,主办方协同国际固态电路会议(ISSCC)远东技术委员会举办了2020年ISSCC中国区新闻发报会。本次发报会意在向国内相关领域的学者及从业人士介绍最新ISSCC论文收录情况,以及中国学术产业界在ISSCC 2020论文发表方面的优异表现。
  • 全球最大芯片WSE,遇上全球最快AI计算机CS-1 今年8月,芯片初创公司Cerebras Systems 在Hot Chips上展出了比脸还大,号称是“世界上最大”的半导体器件Wafer Scale Engine(WSE)。这款芯片首次亮相时,很多人质疑它的实用性,但在9月,Cerebras就宣布与美国能源部(DOE)达成合作,如今它又在加速深度学习的新系统上找到了自己存在的意义……
  • 2020年Gartner十大策略科技趋势预测 Gartner近日提出2020年企业必须了解的十大策略性科技趋势。分别为超级自动化、多重体验、专业知识的全民化、增进人类赋能、透明化与可追溯性、更强大的边缘运算、分布式云端、自动化对象、实用性区块链,以及人工智能安全性。
  • 安静!我要跟车子讲话... 随着CarPlay、Android Auto以及Echo Auto等平台渗透乘用车市场,车内语音识别技术预期将成为主流;但仍有一个答案未知的问题是:市场上有任何语音启动技术已经准备好因应车内的关键任务了吗?
  • 16999的华为折叠屏手机Mate X已被炒到9万一部 华为Mate X 5G版刚刚开售,一秒即宣告售罄。官网售价16999元的Mate X由于一机难求,在闲鱼平台甚至有用户加价2万回收,淘宝也有卖家标价超出6万、8万,甚至9万元。折叠屏手机被热炒的主要原因是供应不足,而华为品牌又是其中被炒得最厉害的,但从业内专家们看来,目前折叠屏还在产能爬坡中,产业链上下游并没有成熟,用户们是在为高昂的研发成本买单……
  • 边缘AI大战一触即发 一场边缘AI大战正悄悄展开...每一家处理器供货商都将机器学习视为“金鸡母”,积极地调整自家公司策略,竞相为这个具有最大商机的领域——边缘AI提供加速特定工作负载的解决方案...
相关推荐
    广告
    近期热点
    广告
    广告
    广告
    可能感兴趣的话题
    广告