广告

TOPS:深度学习谎言背后的真相

时间:2021-09-02 08:28:23 作者:Ludovic Larzul 阅读:
AI公司通常都以更高的TOPS(每秒一万亿次操作)作为评判算力的标准。但芯片制造商在推销他们的TOPS指标时,都不会真正提供准确的引导。本文将论述业界因错误标记性能指标而导致的问题,并阐述用户该如何独立评估真实环境中的TOPS。
广告

AI公司通常都以更高的TOPS(每秒一万亿次操作)作为评判算力的标准。但芯片制造商在推销他们的TOPS指标时,都不会真正提供准确的引导。在大多数情况下,他们大肆宣传的数字并不是实际的 TOPS,而是峰值TOPS。换句话说,您认为能在板卡中获得的TOPS 算力,实际上是芯片在不可能存在的理想世界中的最佳表现。

本文将论述业界因错误标记性能指标而导致的问题,并阐述用户该如何独立评估真实环境中的TOPS。

真假TOPS

AI应用开发人员通常以衡量芯片制造商发布的TOPS性能数据是否足以支持他们的项目来开始进行审查。

假设要在U-Net神经网络上以10 fps(每秒帧数)的速度重新制作全高清图像。由于U-Net处理每个图像需要3 TOPS算力,简单的数学计算表明,共需要30 TOPS才能按所需的FPS完成项目。在购买芯片时,您可能认为,那些声称运行50、40 甚至 32 TOPS 的板卡对您的项目来说应该足够了。在理想世界中,的确是这样的;但您很快就会发现,这些板卡很少能达到所宣称的算力。而且我们谈论的不仅仅是几个TOPS的下降,其计算效率可低至所宣扬的10%。

当然,调整神经网络可以从板卡中“榨出”更多的性能,但永远不可能接近供应商给出的峰值TOPS。即使试图获得60%或70%的计算效率,也将耗费巨大的时间成本。如果神经网络发生任何变化,您将不得不返回原点以再次优化所有内容——而且,它甚至可能根本不适用于您的应用。这个问题在小规模样本处理中尤为明显;幸运的话,您也许能够获得峰值TOPS 15%的算力。

计算效率

现在,您也许很想知道该如何计算真实的TOPS?这其实很简单!

要了解一个板卡的实际TOPS是多少,首先需要确定板卡的计算效率。理想情况下,这在目标板卡上运行您需要的神经网络就可以完成。不过有可能此时您还没有板卡。但通过查看更多来自供应商的营销数字细节,您仍然可以进行估算。通常,ResNet50或类似神经网络的性能数据是可以得到的。假设这是一个典型的ResNet50实现,则可以通过GOPS(每秒十亿次操作),而不是TOPS,来计算单个图像的算力。然后,只需将其乘以供应商宣传的每秒图像数量 (IPS),瞧!这样获得的TOPS将更实际,或者说更真实。

而效率也只是真实值除以峰值TOPS所得的比率,即:

峰值TOPS x 计算效率= 真实TOPS

该公式使用户能够在购买芯片之前,对板卡运行神经网络时的真实效率进行比较。您可以重复使用该效率计算需要的TOPS,看看它是否符合需求。虽然功率和样本大小等因素也会影响结果,但如果知道板卡的效率,利用该公式将可以很好地估计其在实际用例中的真实性能。当然,供应商发布的神经网络IPS也令人存疑,但相对于在实际需要的TOPS和板卡峰值TOPS之间进行比较,这种估算方法已经非常有效。

还有一点也值得注意,这不仅仅是GPU的问题。大多数专用ASIC的实际效率也非常低,其宣传效率明显夸大其词。但我们用IPS、已知的网络GOPS和一个简单的乘法,就可以得到一个较实际的数字。

高效替代品

GPU和ASIC在效率和性能方面都存在问题,但有一种替代方案不涉及这两种芯片中的任何一种。

2020年10月的MLPerf结果表明,结合了推理加速的FPGA比其他方案更高效,可以更接近其他芯片制造商宣传的峰值TOPS数据。

根据已发布的每个TOPS数据,比较不同架构下的FPS(来源:Mipsology)

FPGA的高效不仅体现在计算上,还体现在其用于计算时的硅片利用率上。从本质上讲,这些板卡可以实现“事半功倍”,以极低的成本获得更佳的神经网络性能。

再提醒一次:不要落入TOPS的营销陷阱。这是大多数神经网络在现实条件下永远达不到的夸大的性能数据。相反,请利用这个公式:

峰值TOPS x计算效率=真实TOPS

这将帮助您快速、轻松、准确地比较性能需求和实际芯片性能,而不会被任何夸大的供应商声明所误导。

(参考原文:TOPS: The Truth Behind a Deep Learning Lie)

责编:Amy Guan

本文为《电子工程专辑》2021年9月刊杂志文章, 版权所有,禁止转载。点击申请 免费杂志订阅 

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 盘点2021年人工智能领域发布的十大技术 人工智能已经成为未来数十年的重大科技发展方向之一,在经过了前面五年左右的突破、落地以后,现在AI的发展似乎越来越深入。现在我们总结人工智能技术领域在2021年发布的十大技术。
  • 摩尔定律都没了,GPU 3倍性能提升可信吗?详解英伟达Hoppe 我们在看过英伟达Hopper的发布后,更为现存的AI芯片公司感到颤栗:倒不光是明面上Tensor Core的算力与HBM3、NVLlink传输带宽之类的数字提升,还在于英伟达如今也在芯片架构层面做出更具针对性的改进……
  • 2022年人工智能推理五大趋势 如今人工智能各领域都正以足以让业界所有人都激动不已的速度加速发展,而推理领域更是如此。新的一年里,这种发展势头能否持续,都会出现什么发展趋势?来自Flex Logic科技公司推理产品的销售和营销副总裁Dana McCarty,分享了他的观点。给予他对市场的精准把脉,预测出2022年的人工智能推理的5大发展趋势。
  • 国产AI芯片调研分析之Top 15国产边缘AI芯片 AI芯片按照应用场景不同,可分为云端AI训练和推理、边缘AI推理,以及终端AI推理。我们在10大国产AI芯片文章中列出了10家国产AI芯片公司的云端AI训练和推理芯片,本文将侧重于边缘侧和端侧的AI芯片。
  • 目标宏大的激光雷达以及硬件无关的互联汽车平台 蓬勃发展的自动驾驶,催生出了激光雷达和互联网汽车平台。激光雷达的发展现状如何?未来前景又如何?互联网汽车平台的发展趋势又是什么?就这些热点问题,本期精英访谈采访了两位业内专家——Velodyne激光雷达的首席执行官Ted Tewkesbury和常春藤平台开发的高级副总裁Sarah Tatsis。就上述两个主题,他们分别表述了自己的观点。
  • 后疫情时代的消费者有哪些预期? 疫情发生后的两年多时间里,大家的生活方式都发生了或多或少的变化,但人们对于高质量体验的追求永无止境,本文将针对后疫情时代消费者最关注的三个领域展开讨论,探寻这些领域的发展将会如何影响客户体验的答案......
  • 新款iPad Pro 2021成最受欢迎的 由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
  • 三星折叠屏手机Galaxy Z Fold 3 目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。
  • 类脑芯片与智能座舱深度融合,时识科 类脑智能与应用解决方案提供商SynSense时识科技宣布与宝马展开技术探索,推进类脑芯片与智能座舱应用场景的深度融合。双方将主要围绕SynSense时识科技基于类脑技术的“感算一体”动态视觉智能SoC——Speck,探索汽车内外相关车载智能应用创新。
  • 美光:智能边缘应用的供应链和汽车架 随着数十亿台设备产生的数据和洞察力不断激增,智能边缘也随之崛起
  • 香农伙伴|壁仞科技点亮国内算力最大通用GPU芯片 3月31日晚间,壁仞科技首款通用GPU芯片BR100系列一次点亮成功,在核心性能设计标准上,BR100系列是国内算力最大的通用GPU芯片,直接对标国际厂商近日发布的最新旗舰产品。国内算力最大通用GPU
  • 能讯高能半导体:中国芯在昆山的突围 这是一个5G集大成的时代万物互联如果说射频芯片为5G基站提供了动力源泉那么氮化镓就是芯片中的“最强心脏”它在极大提升效率增强带宽的同时又能实现能源节约氮化镓在5G通信时代至关重要一座24小时运转的5G
  • 大基金二期:入股杭州富芯半导体 3月29日消息,爱企查显示,杭州富芯半导体发生工商变更,新增股东国家集成电路产业投资基金二期股份有限公司、杭州富远企业管理合伙企业(有限合伙)。投资金额和持股比例未透露。公开资料显示,杭州富芯半导体有
  • 柔宇科技已6个月发不出工资!  中国半导体论坛 振兴国产半导体产业!   点击链接:2022春季半导体线上招聘会开始啦!4月1日消息,曾经估值超过500亿的独角兽柔宇科技被曝出已拖欠员工6个月工资!据报道,柔宇科技一员工称,从去年
  • SK海力士收购KeyFoundry获韩反垄断部门批准 集微网消息,据韩媒报道,SK海力士去年全资收购代工厂Key Foundry的交易,于日前获得韩国公平交易委员会批准。审查意见认为,SK海力士旗下代工部门与Key Foundry在相关市场合计份额仅约5
  • 珠联璧合!晶合集成发力车芯 面对汽车产业走向智能化、网联化、电动化时代,安徽省率先部署,以政策引领产业链协同发展,推动“芯”“端”加速联动。3月31日,“芯”“车”协同专场对接会在晶合集成顺利举办。安徽省经济和信息化厅、安徽省发
  • 包含7个项目表,2个数据表,4张项目地图!亚化咨询半导体数据全家桶开启订阅! 亚化咨询重磅推出《中国半导体材料、晶圆厂、封测项目及设备中标、进口数据全家桶》。本数据库月度更新,以EXCEL表格的形式每月发送到客户指定邮箱。1. 中国大陆半导体大硅片项目表(月度更新)2.中国大陆
  • 刚刚!俄罗斯最大芯片厂被制裁!  中国半导体论坛 振兴国产半导体产业!   点击链接:2022春季半导体线上招聘会开始啦!4月1日消息,据外媒报道,美国财政部宣布对俄罗斯科技和网络相关的实体与个人实施制裁,俄罗斯最大芯片制造商米克朗
  • 腾讯马化腾刘炽平、B站陈睿谈降本增效;华为郭平、小米雷军称将招揽优秀人才|TMT大咖说 本期“TMT大咖说”的主题是“降本增效”。近日,中国互联网巨头们似乎在悄然加快裁员步伐,“降本增效”成为不少巨头关心的话题。他们似乎寄望通过对业务的调整和人员的优化,来降低不必要的投资、费用和成本,以
  • 大基金减持2家公司!  中国半导体论坛 振兴国产半导体产业!   点击链接:2022春季半导体线上招聘会开始啦!3月31日晚间,万业企业、长川科技两家公司公告称,国家集成电路产业投资基金股份有限公司(大基金)因自身经营管理
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了