广告

AI加速器性能只用TOPS是比不出来的!

时间:2019-12-17 作者:Sally Ward-Foxton 阅读:
TOPS数字越高并不一定就有更高的处理量,尤其是在样本大小为1的边缘应用中...
广告
电子工程专辑 EE Times China -提供有关电子工程及电子设计的最新资讯和科技趋势

在AI加速器世界,芯片的性能通常是以既定算法的TOPS (tera operations per second)来表示,但有很多理由显示,这或许并不是最好的参考数字。如美国的AI加速器开发商Flex Logix执行长Geoff Tate所言:“客户真正要的是每1美元的高处理量(throughput)。”

Tate解释,TOPS数字越高并不一定就有更高的处理量,尤其是在样本大小(batch size)为1的边缘应用中;而诸如数据中心等应用,可透过以较大的样本平行处理多个输入来提高处理量(因为就会有多余的TOPS),但这通常并不适合边缘设备。

举例来说,Tate比较了Flex Logix的InferX X1组件以及市场上的某款领导级GPU,虽然后者的处理量是3~4倍,TOPS是10倍,但需要用到8倍的DRAM;相较之下Flex Logix的组件架构能节省很多资源。

Flex Logix的InfereX X1预计2019年底投片,将提供8.5TOPS左右的算力。

(来源:Flex Logix)

但Tate提出的每1美元处理量指标听起来很合理,实际上也不是都能很容易找到可靠的组件产品价格,以直接进行比较。而像是需要多少DRAM或是某款特定芯片有多大的占位面积能显示成本,但并不精确。

另一个把TOPS当作指标会遇到的问题,是通常会以执行ResNet-50模型来进行测量。“ResNet-50并不是客户关心的测量基准,只是人们最常用的;”Tate解释:“这个模型不是非常重要的原因是,它使用非常小的影像。”

ResNet-50被使用了一段时间而且成为比较TOPS数据的既定标准,但现在被认为已经过时。虽然有很多继续使用这个标准的好理由,包括至少需要让所有接下来的分数能继续进行比较,还有这是所有类型设备(甚至是微小设备)都能使用的标准,但它不足以挑战现今为数据中心推理打造的巨大芯片,也不能充分显示它们的性能。

除了既定标准,当然也有不同的产业组织为AI加速器芯片开发出测量基准,例如MLPerf、DawnBench、EEMBC…等等。而尽管其中MLPerf已经公布了一批推理芯片的跑分结果,但Tate认为这个测量基准太“数据中心导向”。

他举例指出,在单数据流(single-stream)情境中,考虑边缘设备一次处理一个影像(样本数为1),性能指针为90百分位数(90th percentile)延迟;“在边缘,我不认为客户会想知道90百分位数,他们要知道百分之百:你能给我什么保证?”例如自动驾驶就是一个非常重视延迟表现的边缘应用。

像是对象侦测等复杂图像处理任务的表现性能,会更适合用来比较现在的高端AI加速器。

20191217-002.jpg
(来源:Flex Logix)

对于那些在信息于处理器核心与内存之间传递时会遭遇总线竞争(bus contention)的系统,长尾延迟(long tail latencies)是一个典型的问题。虽然目前有很多设备都使用了高带宽内存接口,但因为竞争可能发生,仍然会有一个理论上的尾延迟。

Flex Logix以FPGA为基础的推理处理器设计,号称每一次都有差不多的延迟时间(另一家AI加速器业者Groq也声称他们有同样的性能,但坚称其组件并非FPGA)。

Tate指出:“因为我们在核心中使用共同创办人发明的FPGA互连,有一个内存到乘法累加器(multiply accumulators)、再到触发逻辑并回到内存的专属路径,因此没有竞争问题;”信息流通顺畅,利用率没有到100%,但超越其他所有架构。

而尽管市场竞争激烈,AI加速器新秀如雨后春笋,Tate对于Flex Logix的前景信心十足;“当真正的芯片问世、开始执行软件并且展示,你也看到价格与性能…很快,市场上没办法跑到前四分之一的公司就消失不见。”

Tate预测,未来AI加速器领域只会有10~15家芯片公司的生存空间,以不同的市场(包括训练、推理、数据中心、边缘与超低功耗…等等)为基础;那些在市场上的解决方案在运算性能上跨越很大的数量级,因此不会全部都是直接彼此竞争。

他认为,未来一到两年就会有大量的公司被淘汰,套用一句投资之神巴菲特(Warren Buffett)的名言:“当潮水退去,你就会看到是谁在裸泳。”

编译:Judith Cheng   责编:Yvonne Geng

(参考原文: AI Accelerators: TOPS is Not the Whole Story,by Sally Ward-Foxton)

 

电子工程专辑 EE Times China -提供有关电子工程及电子设计的最新资讯和科技趋势
本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
Sally Ward-Foxton
Sally Ward-Foxton是EE Times特派记者,她专注于EE Times美国版的AI技术和相关话题,以及EE Times欧洲版杂志中的欧洲企业报道。 Sally base在英国伦敦,她报道电子行业已有15年,曾为Electronic Design、ECN、Electronic Specifie撰写设计、电子元件类文章。 她拥有剑桥大学的电气和电子工程硕士学位。
  • Skylake处理器设计者Shlomit Weiss回归英特尔,负责消费 Shlomit Weiss在半导体行业总共工作了 32 年,其中28年献给了英特尔。她曾因在以色列开发了双核架构,而获得了英特尔公司最高的成就奖项(Achievement Award)。随后,她又被委以带领开发英特尔著名的 Sandy Bridge 和 Skylake 处理器的重任。之后她在 Mellanox Technologies 公司做了4年的芯片工程高级副总裁,直到公司最近被英伟达(Nvidia)收购……
  • 为什么市场需要DSA架构的AI推理芯片?解读瀚博SV100芯片 EE Times刚刚公布今年的Silicon 100榜单中,中国企业增加了不少,有9家是首次入选该榜单的。其中有一家是致力于AI芯片研发的瀚博半导体:这家公司今年4月份刚刚完成了5亿元人民币的A+轮融资,自天使轮至今身价看涨。这和AI技术和行业本身的火热应当也有很大的关系。
  • 谈谈三星手机上的AMD GPU,秒杀iPhone还有多远? 前不久的一则新闻,曝光了三星即将推出的Exynos芯片的图形性能。这颗应用于未来三星手机的SoC芯片,据说其3DMark Wild Life跑分达到了8134分。这个性能成绩比高通骁龙888的Adreno 660高出大约50%。至于和苹果A14比,我们手头没有可现测的设备,有媒体提到8134这个得分和iPhone 12 Pro Max相似……
  • 司机身绑256块CPU走私,网友:连数量都是二进制 自去年以来,全球芯片短缺的情况不断加剧。由于缺芯,全球多个汽车公司一度停产。受缺芯浪潮蔓延的影响,芯片价格不断水涨船高。也是在这种情况下,芯片一时之间似乎成为了“硬通货”,于是接连有不法分子盯上了芯片。7月5日,据海关总署官方信息平台“海关发布”消息称……
  • 海思牵手劲拓发力芯片封装,系统级封装(SiP)需要回流焊 本次合作的背景是基于劲拓在热工领域的能力,加之海思大力推进封测产业链国产化进程,因此,双方旨在加大半导体封装设备领域的合作,解决卡脖子问题,实现产业自主可控。系统级封装(SiP)代表半导体业的发展方向之一,在这一集成的SMT(表面贴装)制程中就要用到加热设备,融化锡膏以便无源器件与载板贴合,后面的Die attach、植锡球等步骤中……
  • 人工智能如何能够改善自动光学检测? 在制造业中,检测是必不可少的功能。视觉检测可确保产品符合其预期的功能和外观,并为制造商和客户带来重要利益。最明显的是,检测结果能够提供质量保证,可以通过产品标注或标签直接传达给客户,或者在制造工厂内记录,并作为其质量控制过程的一部分。如果产品从现场退回,检测报告还可以帮助进行故障排除,并可以帮助制造商处理任何索赔。
  • 新款iPad Pro 2021成最受欢迎的 由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
  • 三星折叠屏手机Galaxy Z Fold 3 目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。

  •  Cirrus Logic宣布同意收购Lion S Cirrus Logic近日宣布已达成协议,以3.35亿美元现金收购位于美国加利福尼亚的Lion Semiconductor。此次收购为智能手机、笔记本电脑和其他设备的电源应用带来了独特的知识产权和产品,并加速了公司高性能混合信号业务的增长。预计 Lion Semiconductor将立即增加 GAAP 和非 GAAP 每股收益,从交易完成到 2022 财年结束之间贡献约 6000 万美元的收入。
  • 2021国产IP和定制芯片生态大会成功 7月6日,2021国产IP和定制芯片生态大会在上海盛大召开,本次大会由中国高端IP和芯片定制企业芯动科技主办,是国内首个聚焦IP技术和产品合作的行业生态大会,适应了产业链上下游对合作共赢的企盼,有力助推国产自主化风口……
  • 晶体管发明与诞生及发展历程详解 1947年12月23日,第一个基于锗半导体的具有放大功能的点接触式晶体管面世,标志着现代半导体产业的诞生和信息时代正式开启。点接触式晶体管:把间距为50 μm的两个金电极压在锗半导体上,微小的电信号由
  • 【案例】南山图书馆智能书库AGV应用 此项目采用智能仓储、堆垛机、穿梭车、AGV机器人技术,实现图书的高密度存储和高效率分拣 文|凯乐士深圳南山图书馆,是深圳南山区标志性的文化建筑之一。图书馆占地面积13700平方米,馆舍建筑面
  • 漫画描述数字电路之时序电路 1什么是时序电路?组合电路是根据当前输入信号的组合来决定输出电平的电路,换言之,就是现在的输出不会被过去的输入所左右,也可以说成是,过去的输入状态对现在的输出状态没有影响的电路。时序电路和组合电路不同
  • “特斯拉又割了我7万块” 新版Model Y来了,“韭菜”味儿的。来源 | 深燃(shenrancaijing)作者 | 黎明编辑 | 魏佳价格屠夫、油车杀手、车圈“渣男”特斯拉,又又又降价了。 7月8日,特斯拉正式
  • 吃药吗?AI造的! 李时珍是明代的神医,真正的药圣,尝百草,参考各种药学古籍,花费二十七年著述《本草纲目》,只为给后人留下一座药物宝库供参考,润泽无数后人;药王孙思邈也是救疾济危般的圣人,《千金要方》里八百多种药草,六千
  • 【直播预告】Dialog ZVS方案助您以低BOM成本将100W+充电器缩小多达50% 亲爱的朋友们,Dialog半导体公司将于7月13日(周二)上午10:00-11:00举办线上研讨会,向您介绍Dialog独特的AC/DC零电压开关(ZVS)解决方案,以及该方案如何帮助您以极低的BOM
  • arduino与蔽障小车的连接使用 一、 壁障小车的制作1、 制作壁障小车的准备工作硬件:Arduino UNO、L298N驱动模块、超声波模块、小车底盘、舵机模块、一块面包板、一些杜邦线。软件:Arduino UNO的程序下载软件下面
  • 开关电源电路中输入电容的选型 我们了解了电容器的特性取决于材料及外壳的不同。下面请介绍一下在实际用于开关电源电路时,其特性和性质具体会带来什么样的影响。在开关电源电路中需要有输入电容器与输出电容器,它们各自处理的电压与电流的性质是
  • B站牵手阿里入股如涵,UP主里要诞生下一个李佳琦? 如涵喜提阿里B站联手入股,直播带货涌入二次元能搅起多大的浪?文 | 美股研究社B站的UP主们可能要做好直播带货的准备了。来自企查查的信息显示,从纳斯达克退市两个多月的“网红第一股”如涵文化近期新增了以
  • 一个“言语粗俗”的李想,如何撑起理想的高端化? 不利于理想汽车高端化发展的定位。文 | 李平来源 | 砺石商业评论“造谣我们用水银的人和媒体,祝愿你们血液里流动着水银,脑子里装满了水银!” 一场突如其来的“水银门”事件,再次让理想汽车与其
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了