广告

AI芯片这场华山论剑,一定会有人阵亡……

时间:2018-11-18 作者:Junko Yoshida 阅读:
尽管市场上充斥众多的AI新芯片,但至今还没有哪一种SoC架构能一统AI世界,也没有一种所谓正确设计AI SoC的方法,我们也找不到一款可在今年或甚至明年上市的产品。只有等真正的AI芯片上市,我们才能知道哪些芯片实际可用,哪些只是误导市场的烟雾弹…
EETC https://www.eet-china.com

 除了Google、Facebook、亚马逊(Amazon)和百度(Baidu)等业界“大咖”一直在设计用于训练和推论的深度学习芯片,几乎每一周,我们都还会听说有一些“名不见经传”的新创公司开发出新一代AI SoC架构。MrcEETC-电子工程专辑

尽管有这么多的AI新芯片陆续发布,但一位资深的产业分析师——Tirias Research首席分析师Kevin Krewell提醒道:“机器学习处理领域充斥着许多新的主张,但只有真正可用的芯片和软件才能展现实力。”MrcEETC-电子工程专辑

事实上,这么多的产品中却找不到一款可在今年或甚至明年上市。直到真正的芯片上市,我们才有办法知道哪些芯片是真的,哪些只是误导市场的烟雾弹。MrcEETC-电子工程专辑

然而,最近在一次与Arteris营销副总裁Kurt Shuler的采访中,他提醒我们,有时候,像AI芯片这样一个被过度宣传的新兴市场中,真正发生哪些事情的答案必须要向更深层的食物链中去寻找。MrcEETC-电子工程专辑

谁在打造AI SoC?

Arteris日前推出新的互连IP以及名为FlexNoc 4的AI软件套件。据Shuler称,该公司的新产品旨在加速下一代深度神经网络(DNN)和机器学习系统的开发。MrcEETC-电子工程专辑

从与Shuler的访谈中可以发现,Arteris凭借其网络芯片(NoC) IP,已经将自家公司提升至一个新高度,清楚可见在全球AI SoC设计领域中有谁在经营哪些业务。MrcEETC-电子工程专辑

据Shuler表示,当专为训练而设计的AI芯片比以往任何时候都更加强大、更复杂,而且还经常与大规模平行处理器整合时,“互连变得格外重要”。MrcEETC-电子工程专辑

Shuler在采访中分享了目前使用该公司互连IP和工具开发AI SoC的芯片公司名单。虽然这份清单中包括许多没没无闻的新创公司和现有的系统供货商(包括日本相机OEM和一些大型系统OEM),但它清楚地描绘出现有SoC公司也在切入AI芯片设计及其最新进展。MrcEETC-电子工程专辑

ArterisIPcustomers.jpgMrcEETC-电子工程专辑

(来源:Arteris)MrcEETC-电子工程专辑

在汽车领域,这份清单中不乏Mobileye、恩智浦(NXP)和东芝(Toshiba)等知名大厂;针对移动性,当然少不了海思半导体(HiSilicon)。至于网络和自动化的机器学习类别,Arteris的客户还包括了Movidius和百度(Baidu)。MrcEETC-电子工程专辑

根据Shuler的观察,“中国目前正兴起一波AI芯片淘金热潮。”中国政府正大力支持各种相关活动。包括云天励飞(Intellifusion)、燧原科技(Enflame Technology)、天数智芯(Iluvatar Corex)、寒武纪科技(Cambricon Technologies)和嘉楠耘智(Canaan Creative)等多家中国业者也积极与Arteris合作投入AI芯片的开发。MrcEETC-电子工程专辑

谁在推动AI架构?

相较于应用处理器(AP)或物联网(IoT)芯片必须支持定义明确的架构,AI SoC则全然不同。Shuler说,“例如,应用处理器基本上就是一种架构。但对于AI SoC,每个人都还在尝试各种途径。”MrcEETC-电子工程专辑

至今还没有哪一种SoC架构能一统AI世界,也没有一种所谓正确设计AI SoC的方法。Shuler指出,这使得“灵活性”成为AI SoC设计的一项重要元素。MrcEETC-电子工程专辑

他说,“目前大多都是软件人员在开发AI芯片。MrcEETC-电子工程专辑

因此,软件人员可能会说,“让我们看看这种特殊的DNN类型。我们都专精于数学,所以想弄清楚哪一部份能以硬件加速。”每个人都跟着这样做,一直到有人终于问了,“数据需要整理吗?我们应该清除不需要的数据。我们能开发出有助于更快得到答案的硬件吗?”当然,但接下来,同样的软件类型起不了作用后,他们可能还会问:“我们该如何加速这种卷积?”MrcEETC-电子工程专辑

因此,Shuler解释说,许多设计团队倾向于个别处理元素——每个元素都有一些数学成份、一些本地内存。然而,最终真正未解决的问题是“数据流”(data flow)。MrcEETC-电子工程专辑

虽然处理元素之间必须能够彼此通讯,但也必须管理处理组件和内存之间的传输流量。Shuler说:“数据流是他们无法真正了解的问题之一。”但他们必须能够“以最有效率的方式保持这些数据的流动。”这就是互连IP和工具得以发挥作用之处。MrcEETC-电子工程专辑

架构问题

Arteris从与各种系统和SoC公司合作开发AI芯片的经验中,更清楚地掌握了AI芯片面临的架构问题。MrcEETC-电子工程专辑

Shuler说目前主要有三大挑战。他首先提到的是AI训练芯片,并指出网络拓扑、芯片尺寸太大,以及需要更大的带宽,包括芯片上数据流以及存取至芯片外接内存。MrcEETC-电子工程专辑

Shuler解释说,关于网络拓扑结构,AI芯片设计人员通常会寻找网格、环形和圆环等元素,这有助于建立可预测的数据流。Arteris根据从AI芯片客户学习到的各种知识,在其FlexNoC AI中打造了新的IP技术。Shuler说,该新工具能够“自动产生拓扑结构”,为硬件设计人员提供了“客制和优化拓扑和个别网络路由器”的机会。MrcEETC-电子工程专辑

另一项重大设计挑战来自于设计人员必须能够实际处理大型芯片的现实问题。MrcEETC-电子工程专辑

BigAIchipproblems.jpgMrcEETC-电子工程专辑

大型AI芯片可能成为时序收敛等问题的根源(来源:Arteris)MrcEETC-电子工程专辑

Shuler提到,他所见过的最大型AI芯片尺寸约20 x 20 mm。400 mm 2是一相当大的芯片了。他解释说,尺寸大小真的很重要,因为在AI芯片上跨越长距离时需要“较长的芯片路径,而这将导致时序收敛问题”。据Arteris指出,新工具提供的“来源同步通讯”和“虚通道链路”有助于解决这个问题。MrcEETC-电子工程专辑

第三项挑战是最经常被提到的问题:带宽。芯片上数据流以及存取至芯片外接内存都需要很大的带宽。MrcEETC-电子工程专辑

支援群播

最近几个月,AI芯片客户越来越关注于芯片是否能支持“群播”(multicast)。MrcEETC-电子工程专辑

为什么需要群播?因为它能以尽量接近网络目标的方式播送数据,从而使芯片上和芯片外内存带宽的利用优化。Shuler说:“这将更有效率地升级DNN权重、影像映像以及其他群播数据。”MrcEETC-电子工程专辑

Intelligentmulticast.jpgMrcEETC-电子工程专辑

AI芯片日益需要智能群播功能。例如上述的广播电台技术能使NoC带宽利用优化(来源:Arteris)MrcEETC-电子工程专辑

加一家新创公司Provino Technologies首席执行官Shailendra Desai曾经在接受《EE Times》采访时表示,由于该公司开发出NoC IP,目前正获得了好几家名列Fortune 500的公司关注。Desai表示,系统供应商如今都要求AI芯片“支持群播”,因为他们认为这将显著地降低AI芯片的功耗和延迟。MrcEETC-电子工程专辑

Shuler也认同“智能群播”是目前每一个AI SoC设计师都在追求的功能。MrcEETC-电子工程专辑

内存存取

众所周知,外接内存的数据经常需要移进移出,但由此带来的功耗,是在设计AI芯片时最头痛的问题。MrcEETC-电子工程专辑

一方面,新创公司Mythic期望将神经网络映像至NOR内存数组。据该公司介绍,这种新架构能以节省多达两个数量级的功耗计算和储存数据。MrcEETC-电子工程专辑

但是,对于等不及Mythic推出商用产品的人来说,目前并没什么选择。他们必须找到最节能的方法来建立存取至芯片外接内存的途径。MrcEETC-电子工程专辑

为此,Arteris提供第二代高带宽内存(HBM2)和多信道内存支持工具,让设计人员能整合HBM2多信道内存控制器以及“8或16通道交错”。MrcEETC-电子工程专辑

藉由Arteris的工具部署记录器缓冲区和“流量聚合和数据宽度转换”,即可透过8或16个目标网络接口单元,将各种不同的连接组合于HBM2前端,如下图所示:MrcEETC-电子工程专辑

HBM2support.jpgMrcEETC-电子工程专辑

HBM2和多信道内存支持(来源:Arteris)MrcEETC-电子工程专辑

未来:“一定有人阵亡…”

Arteris规划了一个远大的未来蓝图,毕竟,AI SoC设计移动并不只是“空谈”或幻影。从取得Arteris IP授权的业者即可证实,许多新创公司和传统SoC供货商都在设计AI芯片。有趣的是,Arteris发布的设计工具也显示许多公司都面临相同的设计问题。MrcEETC-电子工程专辑

但实际上,大多数产业观察家并不看好目前所有的AI芯片公司都能在五年后继续存在。MrcEETC-电子工程专辑

一位不愿透露姓名的AI新创公司主管表示,“最终必然会有公司阵亡。每一家新创公司都必须考虑如何退场,未来并不一定会一路顺风。”MrcEETC-电子工程专辑

他看到一个可能的重要变量是“云端解决方案供货商和OEM的需求”,他们希望在内部开发自家芯片。因此,他们很可能造成“一些新创公司的退场。”MrcEETC-电子工程专辑

而在边缘端,“仍然存在一些机会,但要和大型公司竞争也不容易。”这将促使一些希望求生存的竞争者采取“更高风险的路径”,例如AI在内存内计算(IMC)、模拟等方面。MrcEETC-电子工程专辑

历史背景

AI芯片新创公司正从创投业者(VC)手中获得了大把创投资金。然而,Linley Gwennap总裁Linley Gwennap说,“虽然VC通常都会审慎行事,但仅有1/5或1/10的投资案能带来巨大报酬即可接受。无论是VC或任何人应该都不会指望所有的新创公司都能繁荣兴盛。”MrcEETC-电子工程专辑

Linley认为,“VC大举投资AI新创公司,主要是因为这些解决方案的市场规模很大,在未来五年内,每年创造的芯片营收可能至少都有100亿美元。”MrcEETC-电子工程专辑

但是,“在新创公司开始出货产品之前,你很难对其进行评估。”他指出,这种循环就像回到了我们开始对话AI芯片之处。MrcEETC-电子工程专辑

Linley说:“即使是像Wave和Graphcore等似乎比多数公司发展更超前的公司,就算发布了一些性能基准,也不允许第三方公开评估其产品。许多新创公司已经远远落后于其最初所承诺的性能和时间表。等到这些产品能够公开供测试时,证据自然就会出现了;预计在一年后,我们将更能了解整个市场定位。”MrcEETC-电子工程专辑

编译:Susan Hong, EET TaiwanMrcEETC-电子工程专辑

qrcode_EETCwechat_120.jpgMrcEETC-电子工程专辑

关注最前沿的电子设计资讯,请关注“电子工程专辑微信公众号”MrcEETC-电子工程专辑

EETC https://www.eet-china.com
本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
Junko Yoshida
ASPENCORE全球联席总编辑,首席国际特派记者。曾任把口记者(beat reporter)和EE Times主编的Junko Yoshida现在把更多时间用来报道全球电子行业,尤其关注中国。 她的关注重点一直是新兴技术和商业模式,新一代消费电子产品往往诞生于此。 她现在正在增加对中国半导体制造商的报道,撰写关于晶圆厂和无晶圆厂制造商的规划。 此外,她还为EE Times的Designlines栏目提供汽车、物联网和无线/网络服务相关内容。 自1990年以来,她一直在为EE Times提供内容。
您可能感兴趣的文章
  • 深度学习的兴起,是通用计算的挽歌? 早期的计算机鲜有真正“通用”的设计,它们基本上都是为某一类算法特制的,我们不能简单将其说是像ASIC或FPGA。即便在真空管转向半导体以后,针对新功能进行硬件重新设计也是必须的。后来才有基于冯诺依曼体系的计算机架构,即可以存储指令,在软件中执行算法才成为可能。这是“专门硬件”向通用硬件的华丽转身。
  • Graphcore如何能成为西方半导体业唯一“独角兽”? 总部位于英国布里斯托的新创公司Graphcore,开发了一款被称为智能处理单元的新型AI加速器;Graphcore估计市值达17亿美元,被认为是西方半导体产业界唯一的“独角兽”,其投资者包括Dell、Bosch、BMW、Microsoft和Samsung等巨擘。
  • 何谓迄今最复杂的处理器芯片——IPU处理器? Graphcore公司日前推出了一款称为智能处理单元(IPU)的新型AI加速处理器。其首席执行官Nigel Toon在接受EETimes采访时介绍了其公司愿景、AI加速器市场以及AI的未来。
  • 别让AI变成人类眼中的混蛋! 要充分了解何谓 AI 的“不公正”,你需要想象自己是机器决策触发之坏消息的受害者。
  • 全球超算500强最新榜单:中国上榜数蝉联第一 当地时间6月17日上午,第53届全球超算TOP500名单在于德国法兰克福举办的“国际超算大会”(ISC)上发布。从上榜的超算总数来看,中国以219台上榜系统数继续位列第一位,美国以116台排第二位。
  • 这家公司重点布局工业市场的底气何在?智能、5G,还有... 现在我们可以看到各种各样的趋势都在推动半导体行业在工业场景中的应用。电子系统越来越智能,越来越聪明,这是因为有了人工智能。在工厂中,所有的工厂都在修改他们的生产线让它更智能......
相关推荐
    广告
    近期热点
    广告
    广告
    广告
    可能感兴趣的话题
    广告