广告

AI芯片这场华山论剑,一定会有人阵亡……

时间:2018-11-18 作者:Junko Yoshida 阅读:
尽管市场上充斥众多的AI新芯片,但至今还没有哪一种SoC架构能一统AI世界,也没有一种所谓正确设计AI SoC的方法,我们也找不到一款可在今年或甚至明年上市的产品。只有等真正的AI芯片上市,我们才能知道哪些芯片实际可用,哪些只是误导市场的烟雾弹…
广告

 除了Google、Facebook、亚马逊(Amazon)和百度(Baidu)等业界“大咖”一直在设计用于训练和推论的深度学习芯片,几乎每一周,我们都还会听说有一些“名不见经传”的新创公司开发出新一代AI SoC架构。bYAEETC-电子工程专辑

尽管有这么多的AI新芯片陆续发布,但一位资深的产业分析师——Tirias Research首席分析师Kevin Krewell提醒道:“机器学习处理领域充斥着许多新的主张,但只有真正可用的芯片和软件才能展现实力。”bYAEETC-电子工程专辑

事实上,这么多的产品中却找不到一款可在今年或甚至明年上市。直到真正的芯片上市,我们才有办法知道哪些芯片是真的,哪些只是误导市场的烟雾弹。bYAEETC-电子工程专辑

然而,最近在一次与Arteris营销副总裁Kurt Shuler的采访中,他提醒我们,有时候,像AI芯片这样一个被过度宣传的新兴市场中,真正发生哪些事情的答案必须要向更深层的食物链中去寻找。bYAEETC-电子工程专辑

谁在打造AI SoC?

Arteris日前推出新的互连IP以及名为FlexNoc 4的AI软件套件。据Shuler称,该公司的新产品旨在加速下一代深度神经网络(DNN)和机器学习系统的开发。bYAEETC-电子工程专辑

从与Shuler的访谈中可以发现,Arteris凭借其网络芯片(NoC) IP,已经将自家公司提升至一个新高度,清楚可见在全球AI SoC设计领域中有谁在经营哪些业务。bYAEETC-电子工程专辑

据Shuler表示,当专为训练而设计的AI芯片比以往任何时候都更加强大、更复杂,而且还经常与大规模平行处理器整合时,“互连变得格外重要”。bYAEETC-电子工程专辑

Shuler在采访中分享了目前使用该公司互连IP和工具开发AI SoC的芯片公司名单。虽然这份清单中包括许多没没无闻的新创公司和现有的系统供货商(包括日本相机OEM和一些大型系统OEM),但它清楚地描绘出现有SoC公司也在切入AI芯片设计及其最新进展。bYAEETC-电子工程专辑

ArterisIPcustomers.jpgbYAEETC-电子工程专辑

(来源:Arteris)bYAEETC-电子工程专辑

在汽车领域,这份清单中不乏Mobileye、恩智浦(NXP)和东芝(Toshiba)等知名大厂;针对移动性,当然少不了海思半导体(HiSilicon)。至于网络和自动化的机器学习类别,Arteris的客户还包括了Movidius和百度(Baidu)。bYAEETC-电子工程专辑

根据Shuler的观察,“中国目前正兴起一波AI芯片淘金热潮。”中国政府正大力支持各种相关活动。包括云天励飞(Intellifusion)、燧原科技(Enflame Technology)、天数智芯(Iluvatar Corex)、寒武纪科技(Cambricon Technologies)和嘉楠耘智(Canaan Creative)等多家中国业者也积极与Arteris合作投入AI芯片的开发。bYAEETC-电子工程专辑

谁在推动AI架构?

相较于应用处理器(AP)或物联网(IoT)芯片必须支持定义明确的架构,AI SoC则全然不同。Shuler说,“例如,应用处理器基本上就是一种架构。但对于AI SoC,每个人都还在尝试各种途径。”bYAEETC-电子工程专辑

至今还没有哪一种SoC架构能一统AI世界,也没有一种所谓正确设计AI SoC的方法。Shuler指出,这使得“灵活性”成为AI SoC设计的一项重要元素。bYAEETC-电子工程专辑

他说,“目前大多都是软件人员在开发AI芯片。bYAEETC-电子工程专辑

因此,软件人员可能会说,“让我们看看这种特殊的DNN类型。我们都专精于数学,所以想弄清楚哪一部份能以硬件加速。”每个人都跟着这样做,一直到有人终于问了,“数据需要整理吗?我们应该清除不需要的数据。我们能开发出有助于更快得到答案的硬件吗?”当然,但接下来,同样的软件类型起不了作用后,他们可能还会问:“我们该如何加速这种卷积?”bYAEETC-电子工程专辑

因此,Shuler解释说,许多设计团队倾向于个别处理元素——每个元素都有一些数学成份、一些本地内存。然而,最终真正未解决的问题是“数据流”(data flow)。bYAEETC-电子工程专辑

虽然处理元素之间必须能够彼此通讯,但也必须管理处理组件和内存之间的传输流量。Shuler说:“数据流是他们无法真正了解的问题之一。”但他们必须能够“以最有效率的方式保持这些数据的流动。”这就是互连IP和工具得以发挥作用之处。bYAEETC-电子工程专辑

架构问题

Arteris从与各种系统和SoC公司合作开发AI芯片的经验中,更清楚地掌握了AI芯片面临的架构问题。bYAEETC-电子工程专辑

Shuler说目前主要有三大挑战。他首先提到的是AI训练芯片,并指出网络拓扑、芯片尺寸太大,以及需要更大的带宽,包括芯片上数据流以及存取至芯片外接内存。bYAEETC-电子工程专辑

Shuler解释说,关于网络拓扑结构,AI芯片设计人员通常会寻找网格、环形和圆环等元素,这有助于建立可预测的数据流。Arteris根据从AI芯片客户学习到的各种知识,在其FlexNoC AI中打造了新的IP技术。Shuler说,该新工具能够“自动产生拓扑结构”,为硬件设计人员提供了“客制和优化拓扑和个别网络路由器”的机会。bYAEETC-电子工程专辑

另一项重大设计挑战来自于设计人员必须能够实际处理大型芯片的现实问题。bYAEETC-电子工程专辑

BigAIchipproblems.jpgbYAEETC-电子工程专辑

大型AI芯片可能成为时序收敛等问题的根源(来源:Arteris)bYAEETC-电子工程专辑

Shuler提到,他所见过的最大型AI芯片尺寸约20 x 20 mm。400 mm 2是一相当大的芯片了。他解释说,尺寸大小真的很重要,因为在AI芯片上跨越长距离时需要“较长的芯片路径,而这将导致时序收敛问题”。据Arteris指出,新工具提供的“来源同步通讯”和“虚通道链路”有助于解决这个问题。bYAEETC-电子工程专辑

第三项挑战是最经常被提到的问题:带宽。芯片上数据流以及存取至芯片外接内存都需要很大的带宽。bYAEETC-电子工程专辑

支援群播

最近几个月,AI芯片客户越来越关注于芯片是否能支持“群播”(multicast)。bYAEETC-电子工程专辑

为什么需要群播?因为它能以尽量接近网络目标的方式播送数据,从而使芯片上和芯片外内存带宽的利用优化。Shuler说:“这将更有效率地升级DNN权重、影像映像以及其他群播数据。”bYAEETC-电子工程专辑

Intelligentmulticast.jpgbYAEETC-电子工程专辑

AI芯片日益需要智能群播功能。例如上述的广播电台技术能使NoC带宽利用优化(来源:Arteris)bYAEETC-电子工程专辑

加一家新创公司Provino Technologies首席执行官Shailendra Desai曾经在接受《EE Times》采访时表示,由于该公司开发出NoC IP,目前正获得了好几家名列Fortune 500的公司关注。Desai表示,系统供应商如今都要求AI芯片“支持群播”,因为他们认为这将显著地降低AI芯片的功耗和延迟。bYAEETC-电子工程专辑

Shuler也认同“智能群播”是目前每一个AI SoC设计师都在追求的功能。bYAEETC-电子工程专辑

内存存取

众所周知,外接内存的数据经常需要移进移出,但由此带来的功耗,是在设计AI芯片时最头痛的问题。bYAEETC-电子工程专辑

一方面,新创公司Mythic期望将神经网络映像至NOR内存数组。据该公司介绍,这种新架构能以节省多达两个数量级的功耗计算和储存数据。bYAEETC-电子工程专辑

但是,对于等不及Mythic推出商用产品的人来说,目前并没什么选择。他们必须找到最节能的方法来建立存取至芯片外接内存的途径。bYAEETC-电子工程专辑

为此,Arteris提供第二代高带宽内存(HBM2)和多信道内存支持工具,让设计人员能整合HBM2多信道内存控制器以及“8或16通道交错”。bYAEETC-电子工程专辑

藉由Arteris的工具部署记录器缓冲区和“流量聚合和数据宽度转换”,即可透过8或16个目标网络接口单元,将各种不同的连接组合于HBM2前端,如下图所示:bYAEETC-电子工程专辑

HBM2support.jpgbYAEETC-电子工程专辑

HBM2和多信道内存支持(来源:Arteris)bYAEETC-电子工程专辑

未来:“一定有人阵亡…”

Arteris规划了一个远大的未来蓝图,毕竟,AI SoC设计移动并不只是“空谈”或幻影。从取得Arteris IP授权的业者即可证实,许多新创公司和传统SoC供货商都在设计AI芯片。有趣的是,Arteris发布的设计工具也显示许多公司都面临相同的设计问题。bYAEETC-电子工程专辑

但实际上,大多数产业观察家并不看好目前所有的AI芯片公司都能在五年后继续存在。bYAEETC-电子工程专辑

一位不愿透露姓名的AI新创公司主管表示,“最终必然会有公司阵亡。每一家新创公司都必须考虑如何退场,未来并不一定会一路顺风。”bYAEETC-电子工程专辑

他看到一个可能的重要变量是“云端解决方案供货商和OEM的需求”,他们希望在内部开发自家芯片。因此,他们很可能造成“一些新创公司的退场。”bYAEETC-电子工程专辑

而在边缘端,“仍然存在一些机会,但要和大型公司竞争也不容易。”这将促使一些希望求生存的竞争者采取“更高风险的路径”,例如AI在内存内计算(IMC)、模拟等方面。bYAEETC-电子工程专辑

历史背景

AI芯片新创公司正从创投业者(VC)手中获得了大把创投资金。然而,Linley Gwennap总裁Linley Gwennap说,“虽然VC通常都会审慎行事,但仅有1/5或1/10的投资案能带来巨大报酬即可接受。无论是VC或任何人应该都不会指望所有的新创公司都能繁荣兴盛。”bYAEETC-电子工程专辑

Linley认为,“VC大举投资AI新创公司,主要是因为这些解决方案的市场规模很大,在未来五年内,每年创造的芯片营收可能至少都有100亿美元。”bYAEETC-电子工程专辑

但是,“在新创公司开始出货产品之前,你很难对其进行评估。”他指出,这种循环就像回到了我们开始对话AI芯片之处。bYAEETC-电子工程专辑

Linley说:“即使是像Wave和Graphcore等似乎比多数公司发展更超前的公司,就算发布了一些性能基准,也不允许第三方公开评估其产品。许多新创公司已经远远落后于其最初所承诺的性能和时间表。等到这些产品能够公开供测试时,证据自然就会出现了;预计在一年后,我们将更能了解整个市场定位。”bYAEETC-电子工程专辑

编译:Susan Hong, EET TaiwanbYAEETC-电子工程专辑

qrcode_EETCwechat_120.jpgbYAEETC-电子工程专辑

关注最前沿的电子设计资讯,请关注“电子工程专辑微信公众号”bYAEETC-电子工程专辑

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
Junko Yoshida
ASPENCORE全球联席总编辑,首席国际特派记者。曾任把口记者(beat reporter)和EE Times主编的Junko Yoshida现在把更多时间用来报道全球电子行业,尤其关注中国。 她的关注重点一直是新兴技术和商业模式,新一代消费电子产品往往诞生于此。 她现在正在增加对中国半导体制造商的报道,撰写关于晶圆厂和无晶圆厂制造商的规划。 此外,她还为EE Times的Designlines栏目提供汽车、物联网和无线/网络服务相关内容。 自1990年以来,她一直在为EE Times提供内容。
  • 利用神经形态芯片仿真人脑 长期以来人们一直在研究生物细胞的电特性,以便了解细胞动力学。离子电流的动态特性和离子电导的非线性是由微观参数控制,由于测量微观参数具有相当的难度,阻碍了定量运算模型的建构…
  • 价值900亿美元的美国半导体连环并购案揭秘 2020年见证了非比寻常的半导体行业,一场旷日持久的疫情不但遮掩了全球半导体的持续下滑,也冲淡了中美科技冷战的硝烟。同时,另外一个被掩盖的现象下半年开始浮出水面,那就是半导体行业的一连串并购活动。并购金额之大令人咋舌,对整个半导体甚至高科技行业的影响也将会无法估量。本文将针对ADI/Maxim、Nvidia/Arm及AMD/Xilinx这三大并购案展开深入探讨,并简要提及对中国半导体的影响和启示。
  • 人工智能在自动驾驶车辆中的作用 自动驾驶车辆在农业、运输和军事等领域开始成为一种现实,普通消费者在日常生活中使用自动驾驶车的那一天也在迅速来临。自动驾驶车辆根据传感器信息和AI算法来执行必要的操作,它需要收集数据、规划并执行行驶路线。而这些不同的任务,尤其是规划和执行行驶路线需要非传统的编程方法,它依赖AI中的机器学习技术。
  • 探访Sensor China 2020:今年的传感器技术趋势如何? 今年的Sensor China,我们照例采访了五家具有代表性的企业,包括一家国际企业,和四家国内企业。一方面尝试理解如今传感器产品的发展趋势,另一方面也进一步探查,国产传感器制造商在国产自主化方面的发展程度如何。
  • 纳芯微携多款创新应用亮相SENSOR CHINA 2020,赋能美好 9月23日至25日,以“智能传感,赋能美好生活”为主题,纳芯微电子携多款产品应用亮相中国国际传感器技术与应用展览会(Sensor China 2020),覆盖可穿戴设备、医疗电子、智能家居等领域,从多方面展示了纳芯微在传感器领域的技术实力与创新理念,现场多位专家答疑解惑,一起探讨当下传感器发展新趋势。
  • AI芯片市场迎接爆炸性成长 MarketsandMarkets预测,全球AI芯片市场规模到2026年将达到578亿美元,随着越来越多机器至少成为半自动化,工业与汽车计算机视觉应用可望取得最高的年成长率。
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了