广告

AI加速器性能只用TOPS是比不出来的!

时间:2019-12-17 作者:Sally Ward-Foxton 阅读:
TOPS数字越高并不一定就有更高的处理量,尤其是在样本大小为1的边缘应用中...
广告
EETC https://www.eet-china.com

在AI加速器世界,芯片的性能通常是以既定算法的TOPS (tera operations per second)来表示,但有很多理由显示,这或许并不是最好的参考数字。如美国的AI加速器开发商Flex Logix执行长Geoff Tate所言:“客户真正要的是每1美元的高处理量(throughput)。”

Tate解释,TOPS数字越高并不一定就有更高的处理量,尤其是在样本大小(batch size)为1的边缘应用中;而诸如数据中心等应用,可透过以较大的样本平行处理多个输入来提高处理量(因为就会有多余的TOPS),但这通常并不适合边缘设备。

举例来说,Tate比较了Flex Logix的InferX X1组件以及市场上的某款领导级GPU,虽然后者的处理量是3~4倍,TOPS是10倍,但需要用到8倍的DRAM;相较之下Flex Logix的组件架构能节省很多资源。

Flex Logix的InfereX X1预计2019年底投片,将提供8.5TOPS左右的算力。

(来源:Flex Logix)

但Tate提出的每1美元处理量指标听起来很合理,实际上也不是都能很容易找到可靠的组件产品价格,以直接进行比较。而像是需要多少DRAM或是某款特定芯片有多大的占位面积能显示成本,但并不精确。

另一个把TOPS当作指标会遇到的问题,是通常会以执行ResNet-50模型来进行测量。“ResNet-50并不是客户关心的测量基准,只是人们最常用的;”Tate解释:“这个模型不是非常重要的原因是,它使用非常小的影像。”

ResNet-50被使用了一段时间而且成为比较TOPS数据的既定标准,但现在被认为已经过时。虽然有很多继续使用这个标准的好理由,包括至少需要让所有接下来的分数能继续进行比较,还有这是所有类型设备(甚至是微小设备)都能使用的标准,但它不足以挑战现今为数据中心推理打造的巨大芯片,也不能充分显示它们的性能。

除了既定标准,当然也有不同的产业组织为AI加速器芯片开发出测量基准,例如MLPerf、DawnBench、EEMBC…等等。而尽管其中MLPerf已经公布了一批推理芯片的跑分结果,但Tate认为这个测量基准太“数据中心导向”。

他举例指出,在单数据流(single-stream)情境中,考虑边缘设备一次处理一个影像(样本数为1),性能指针为90百分位数(90th percentile)延迟;“在边缘,我不认为客户会想知道90百分位数,他们要知道百分之百:你能给我什么保证?”例如自动驾驶就是一个非常重视延迟表现的边缘应用。

像是对象侦测等复杂图像处理任务的表现性能,会更适合用来比较现在的高端AI加速器。

20191217-002.jpg
(来源:Flex Logix)

对于那些在信息于处理器核心与内存之间传递时会遭遇总线竞争(bus contention)的系统,长尾延迟(long tail latencies)是一个典型的问题。虽然目前有很多设备都使用了高带宽内存接口,但因为竞争可能发生,仍然会有一个理论上的尾延迟。

Flex Logix以FPGA为基础的推理处理器设计,号称每一次都有差不多的延迟时间(另一家AI加速器业者Groq也声称他们有同样的性能,但坚称其组件并非FPGA)。

Tate指出:“因为我们在核心中使用共同创办人发明的FPGA互连,有一个内存到乘法累加器(multiply accumulators)、再到触发逻辑并回到内存的专属路径,因此没有竞争问题;”信息流通顺畅,利用率没有到100%,但超越其他所有架构。

而尽管市场竞争激烈,AI加速器新秀如雨后春笋,Tate对于Flex Logix的前景信心十足;“当真正的芯片问世、开始执行软件并且展示,你也看到价格与性能…很快,市场上没办法跑到前四分之一的公司就消失不见。”

Tate预测,未来AI加速器领域只会有10~15家芯片公司的生存空间,以不同的市场(包括训练、推理、数据中心、边缘与超低功耗…等等)为基础;那些在市场上的解决方案在运算性能上跨越很大的数量级,因此不会全部都是直接彼此竞争。

他认为,未来一到两年就会有大量的公司被淘汰,套用一句投资之神巴菲特(Warren Buffett)的名言:“当潮水退去,你就会看到是谁在裸泳。”

编译:Judith Cheng   责编:Yvonne Geng

(参考原文: AI Accelerators: TOPS is Not the Whole Story,by Sally Ward-Foxton)

 

EETC https://www.eet-china.com
本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
Sally Ward-Foxton
Sally Ward-Foxton是EE Times特派记者,她专注于EE Times美国版的AI技术和相关话题,以及EE Times欧洲版杂志中的欧洲企业报道。 Sally base在英国伦敦,她报道电子行业已有15年,曾为Electronic Design、ECN、Electronic Specifie撰写设计、电子元件类文章。 她拥有剑桥大学的电气和电子工程硕士学位。
  • 论CPU核心数,为什么Intel会干不过AMD? AMD给自家处理器堆了这么多核心,Intel为什么不也这么干呢?偏要等到今年出了混合架构,才开始通过E-core堆出更多核心?很多同学首先想到的,应该是Intel工艺暂时落后于台积电的事实。这的确是一个因素,更大线宽的工艺,堆起核心来自然要耗费更多的芯片面积——也就是成本;而且对功耗也相当的不利。但实际上还有一些架构层面的原因,是相关于核心之间的连接方式的。
  • 采用4nm工艺,传2023年苹果与台积电制造5G调制解调器芯 苹果计划采用台积电的4纳米工艺,量产其首款内部5G调制解调器芯片。而苹果也正开发自家射频和毫米波组件以完善调制解调器,同时开发专门用于调制解调器的自家电源管理芯片。
  • 拆解OPPO Reno5,内部用料是否匹配2000+的售价? OPPO Reno5的整体拆解还算简单。使用的是安卓机常用的三段式组装。使用的FPC天线固定在后端盖上。内部散热采用铜箔、石墨贴纸+导热硅脂散热方式,并没有用上铜管散热。Reno5主打的是摄像头拍照和65W快充。但是作为一台2000多元手机来说……
  • 联发科4nm旗舰5G SoC天玑9000技术详解,拿下十项“全球 11月19日凌晨,联发科在其2021年度高管峰会上正式公布了自家新一代旗舰处理器天玑9000(Dimensity 9000,代号MT6983)的细节参数。据悉,天玑9000是世界首款采用台积电4nm工艺制造的5G SoC,具备更低的功耗和更出色的性能,在计算、多媒体和通信等方面拿下多项世界第一指标……
  • 配个“独显”玩手机游戏成趋势,Pixelworks发布X7移动视 手机以其便利性和越来越强的性能,已经成为游戏市场的最大硬件载体,然而,手机游戏的发展中仍面临电池续航、运动画面流畅性和黑暗场景细节等痛点。手机厂商需要联合手机处理器厂商和屏厂来一起对于手机屏幕显示效果进行联合优化,但是市面上手机型号众多,处理器和显示屏厂商很难来针对每款手机进行针对性的优化,这时候就需要一颗独立的视觉处理器……
  • 拆解Realme X7 Pro,它是否撑得起千元机的地位? Realme作为国产手机里的一员,主打的一直是极致性价比。早前发布的“国潮锦鲤”V15,1399的价格搭配天玑800U的处理器。而X7 Pro是它在2020年末推出的一款千元级的手机,搭载天玑1000+处理器,并配备了65W快充……
  • 新款iPad Pro 2021成最受欢迎的 由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
  • 三星折叠屏手机Galaxy Z Fold 3 目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。

  • 重磅新品| 纳芯微推出车规LIN收发 纳芯微(NOVOSNS)推出了全新通用车规LIN收发器芯片---NCA1021,可广泛适用于汽车电子子系统的总线接口设计,如电动门锁,电动窗,电动座椅,电动后视镜,玻璃刮水器,座椅加热器等模块,具有线间干扰小,线束少,传输距离长,成本低等优点。
  • 猎豹移动2021年Q3财报:AI和其他收入 本季度猎豹移动持续提升运营效率,Non-GAAP营业总成本及费用同比下降47.4%。其中互联网业务环比扭亏为盈,实现Non-GAAP营业利润180万元。截止到2021年9月30日,公司持有的现金及现金等价物、受限资金及短期投资18.53亿元,长期投资24.23亿元。
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了