广告

AI加速器性能只用TOPS是比不出来的!

2019-12-17 Sally Ward-Foxton 阅读:
TOPS数字越高并不一定就有更高的处理量,尤其是在样本大小为1的边缘应用中...
ASPENCORE

在AI加速器世界,芯片的性能通常是以既定算法的TOPS (tera operations per second)来表示,但有很多理由显示,这或许并不是最好的参考数字。如美国的AI加速器开发商Flex Logix执行长Geoff Tate所言:“客户真正要的是每1美元的高处理量(throughput)。”Y5YEETC-电子工程专辑

Tate解释,TOPS数字越高并不一定就有更高的处理量,尤其是在样本大小(batch size)为1的边缘应用中;而诸如数据中心等应用,可透过以较大的样本平行处理多个输入来提高处理量(因为就会有多余的TOPS),但这通常并不适合边缘设备。Y5YEETC-电子工程专辑

举例来说,Tate比较了Flex Logix的InferX X1组件以及市场上的某款领导级GPU,虽然后者的处理量是3~4倍,TOPS是10倍,但需要用到8倍的DRAM;相较之下Flex Logix的组件架构能节省很多资源。Y5YEETC-电子工程专辑
Y5YEETC-电子工程专辑
Flex Logix的InfereX X1预计2019年底投片,将提供8.5TOPS左右的算力。Y5YEETC-电子工程专辑

Y5YEETC-电子工程专辑

(来源:Flex Logix)Y5YEETC-电子工程专辑

但Tate提出的每1美元处理量指标听起来很合理,实际上也不是都能很容易找到可靠的组件产品价格,以直接进行比较。而像是需要多少DRAM或是某款特定芯片有多大的占位面积能显示成本,但并不精确。Y5YEETC-电子工程专辑

另一个把TOPS当作指标会遇到的问题,是通常会以执行ResNet-50模型来进行测量。“ResNet-50并不是客户关心的测量基准,只是人们最常用的;”Tate解释:“这个模型不是非常重要的原因是,它使用非常小的影像。”Y5YEETC-电子工程专辑

ResNet-50被使用了一段时间而且成为比较TOPS数据的既定标准,但现在被认为已经过时。虽然有很多继续使用这个标准的好理由,包括至少需要让所有接下来的分数能继续进行比较,还有这是所有类型设备(甚至是微小设备)都能使用的标准,但它不足以挑战现今为数据中心推理打造的巨大芯片,也不能充分显示它们的性能。Y5YEETC-电子工程专辑

除了既定标准,当然也有不同的产业组织为AI加速器芯片开发出测量基准,例如MLPerf、DawnBench、EEMBC…等等。而尽管其中MLPerf已经公布了一批推理芯片的跑分结果,但Tate认为这个测量基准太“数据中心导向”。Y5YEETC-电子工程专辑

他举例指出,在单数据流(single-stream)情境中,考虑边缘设备一次处理一个影像(样本数为1),性能指针为90百分位数(90th percentile)延迟;“在边缘,我不认为客户会想知道90百分位数,他们要知道百分之百:你能给我什么保证?”例如自动驾驶就是一个非常重视延迟表现的边缘应用。Y5YEETC-电子工程专辑

像是对象侦测等复杂图像处理任务的表现性能,会更适合用来比较现在的高端AI加速器。Y5YEETC-电子工程专辑

20191217-002.jpgY5YEETC-电子工程专辑
(来源:Flex Logix)Y5YEETC-电子工程专辑

对于那些在信息于处理器核心与内存之间传递时会遭遇总线竞争(bus contention)的系统,长尾延迟(long tail latencies)是一个典型的问题。虽然目前有很多设备都使用了高带宽内存接口,但因为竞争可能发生,仍然会有一个理论上的尾延迟。Y5YEETC-电子工程专辑

Flex Logix以FPGA为基础的推理处理器设计,号称每一次都有差不多的延迟时间(另一家AI加速器业者Groq也声称他们有同样的性能,但坚称其组件并非FPGA)。Y5YEETC-电子工程专辑

Tate指出:“因为我们在核心中使用共同创办人发明的FPGA互连,有一个内存到乘法累加器(multiply accumulators)、再到触发逻辑并回到内存的专属路径,因此没有竞争问题;”信息流通顺畅,利用率没有到100%,但超越其他所有架构。Y5YEETC-电子工程专辑

而尽管市场竞争激烈,AI加速器新秀如雨后春笋,Tate对于Flex Logix的前景信心十足;“当真正的芯片问世、开始执行软件并且展示,你也看到价格与性能…很快,市场上没办法跑到前四分之一的公司就消失不见。”Y5YEETC-电子工程专辑

Tate预测,未来AI加速器领域只会有10~15家芯片公司的生存空间,以不同的市场(包括训练、推理、数据中心、边缘与超低功耗…等等)为基础;那些在市场上的解决方案在运算性能上跨越很大的数量级,因此不会全部都是直接彼此竞争。Y5YEETC-电子工程专辑

他认为,未来一到两年就会有大量的公司被淘汰,套用一句投资之神巴菲特(Warren Buffett)的名言:“当潮水退去,你就会看到是谁在裸泳。”Y5YEETC-电子工程专辑

编译:Judith Cheng   责编:Yvonne GengY5YEETC-电子工程专辑

(参考原文: AI Accelerators: TOPS is Not the Whole Story,by Sally Ward-Foxton)Y5YEETC-电子工程专辑

 Y5YEETC-电子工程专辑

ASPENCORE
本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
Sally Ward-Foxton
Sally Ward-Foxton是EE Times特派记者,她专注于EE Times美国版的AI技术和相关话题,以及EE Times欧洲版杂志中的欧洲企业报道。 Sally base在英国伦敦,她报道电子行业已有15年,曾为Electronic Design、ECN、Electronic Specifie撰写设计、电子元件类文章。 她拥有剑桥大学的电气和电子工程硕士学位。
您可能感兴趣的文章
  • 恒基兆业集团主席李家杰:加速RISC-V开源芯片生态建设 两会期间,全国政协委员、全国工商联副主席、香港恒基兆业集团主席李家杰(Peter Lee)呼吁,加速推进RISC-V开源芯片生态建设,打造国家芯片创新高地,助力数字新基建。作为《福布斯》全球富豪榜第24位李兆基的长子,李家杰热衷于科技领域的投资……
  • Arm公布新CPU、GPU和NPU,超大核Cortex-X1亮相 Arm日前正式公布了其最新产品Cortex-A78和Cortex-X1 CPU,Mali-G78 GPU以及Ethos-N78 NPU。如果一切顺利的话,使用这些新设计的芯片将用于2021年及以后的下一代旗舰智能手机和移动设备上……
  • 韩媒:就算华为想买Exynos,三星也不会卖 华为在没办法摆脱美国技术和设备,进行芯片设计、生产的情况下,需要对外采购处理器、基带等芯片,以保障手机终端出货。鉴于华为一直在计划减少对美系厂商的依赖,高通可能不是一个好的选择,所以日前有传出联发科和三星都在争夺华为急速增大的对外订单。不过业界认为,三星可能会拒绝对华为供应Exynos芯片,原因是……
  • 西安要做坂田、松山湖之后的“华为第三总部”? 5月17日,西安市第十六届人民代表大会第五次会议上,西安市市长李明远发表《2020西安市政府工作报告》。在回顾2019年工作时他透露,华为中国区运营商总部已经落户西安,此举将实质性有力支撑西安打造继深圳坂田、东莞松山湖之后,华为“第三总部”。
  • 推动台积电美国新厂案的幕后「?」手 晶圆代工大厂台积电在上周宣布“有意”于美国亚利桑那州设置一座5纳米晶圆厂,其动机很可能是受到多重政治因素的影响,也可能与美国联邦政府已经提供的激励措施有关。但根据台积电前任首席法务官Dick Thurston的看法,那些激励措施可能在财务上一文不值,而是让台积电能在与华为这家大客户的相关问题上与美方交换条件。此举可能会为台积电的未来发展蒙上阴霾……
  • 美国出口新规曝“漏洞”,晶圆厂可直接出货给华为客户 根据新出口管制规定,美国商务部可以阻止台积电(TSMC)向华为旗下海思销售半导体产品,也可以阻止设在中国和韩国但使用美国芯片制造技术的制造厂,向华为出售芯片产品。对于设在美国的制造厂,美国商务部已经有权发放向华为出口技术的许可证,但近日有律师分析表示,该新规定只涉及华为设计的芯片,如果台积电或中芯国际等代工厂商,直接发货给华为的客户则不包括在内……
相关推荐
    广告
    近期热点
    广告
    广告
    广告
    可能感兴趣的话题
    广告
    向右滑动:上一篇 向左滑动:下一篇 我知道了