广告

初创公司用整块晶圆做出史上最大芯片

时间:2019-08-20 作者:Rick Merritt 阅读:
初创公司Cerebras将在Hot Chips上展出号称是“世界上最大”的半导体器件——一个16nm工艺、晶圆大小的处理器阵列,旨在取代英伟达(Nvidia) GPU在训练神经网络方面的主导地位。这颗面积达到46,225平方毫米的芯片功耗为15千瓦,封装了400,000个内核,并且仅支持在极少数系统中运行,至少已有一家客户采用……
广告

EETimes加利福尼亚州圣何塞报道,初创公司Cerebras将在Hot Chips上展出号称是“世界上最大”的半导体器件——一个16nm工艺、晶圆大小的处理器阵列,旨在取代英伟达(Nvidia) GPU在训练神经网络方面的主导地位。这颗面积达到46,225平方毫米的芯片功耗为15千瓦,封装了400,000个内核,并且仅支持在极少数系统中运行,至少已有一家客户采用。

此外,在本周末的活动中,华为、英特尔和初创公司Habana将详细介绍他们用于训练神经网络的芯片。他们都把Nvidia当作竞争对手,去年Nvidia销售了大约价值30亿美元的GPU,用于支持这些对硬件性能极端渴望的新兴应用。

英特尔的1.1 GHz Spring Crest旨在通过将64个28G系列服务器,整合成16条112Gbit /秒的通道,可以连接多达1,024个芯片。专有互连(proprietary interconnect)是一种直接的无协议链路,无需通过外部HBM2内存,从而能够以相对快速的方式在多个处理器和机箱之间传播大型神经网络。

通过在一个晶圆上放置所有内核、存储器和互连,Cerebras的方法将更快,并且可以整合到同一个框架中。

该初创公司从资深投资者那里筹集了超过2亿美元,成为第一个将晶圆级集成商业化、开创封装和晶圆处理新技术的公司。该公司押注人工智能培训市场,认为它将从七个超大规模数据中心供应商,扩展到数百家公司,覆盖从制药到金融科技等希望将搜集到的数据留给自己的行业。

这个芯片怎么运作?

Cerebras这颗器件在7x12阵列中包含84个块,每个包含大约4,800个内核,用于AI的稀疏线性代数(sparse linear algebra),每个都有48 KB的SRAM,这是它们唯一的内存源。

单级层次结构加快了处理速度,训练程序几乎不需要跨内核共享内存。与单个Nvidia GPU相比,芯片上总共18GB的SRAM是巨大的,但与Cerebras的目标竞争系统相比,这个数字很小。

该公司不愿对该器件的频率发表评论,该频率可能很低,无法帮助管理其功率和热量需求。Cerebras首席执行官兼创始人安德鲁.费尔德曼(Andrew Feldman)表示,这家初创公司的资深工程师“之前已经完成了2-3 GHz芯片,但这不是最终目标——超频带来的回报不如增加内核。”

Feldman不愿对Cerebras计划出售的机架系统成本、设计或路线图发表评论。但他表示,这个一个机架的性能,将相当于一个拥有1000台Nvidia GPU设备的工厂,同时只需要他2-3%的空间和功耗。而且组装1000台设备可能需要数月的时间。

CerebrasNvidiasmall.png
Cerebras器件比Nvidia GPU,以及用于AI培训的任何其他竞争对手芯片大得多。 (图片:Cerebras)

该公司的目标是在11月的超级计算机展上讲解该系统,并介绍其性能和benchmark数据。对于所有参会者来说这将是历史性的一刻,上一次达成类似成就是在1980年的超级计算机展上,当时Gene Amdahl创立的公司Trinity推出了3.5英寸晶圆,

Cerebras编译器将摄取TensorFlow或Pytorch模型,将其转换为机器语言,并使用微代码库将神经网络层映射到巨型芯片的各个区域。它在一定程度上通过在内核上编写编程指令,并配置链接块的网状网络来实现。

“我们将整个网络功能保留在芯片上。” Feldman说,“其他所有人都在压榨网络功能,以至于花费更多时间来回倒数据“,常见的做法是通过内存进行缓慢的外部互连。

Cerebras的174名工程师中,近三分之二是软件开发人员,这表明AI和编译器代码的复杂性。Feldman说,在第一批商业系统投入使用之前,他们将面临“一大堆问答(Q&A)”。

如何面对Nvidia、英特尔、华为和其他新创企业

Moor Insights&Strategy的人工智能和高端系统分析师卡尔•弗罗因德(Karl Freund)说:“如果他们能够让这个晶圆发挥作用,那将是开创性的。”

“他们正在解决的问题很难,但并不是不切实际的,所以我认为他们会在明年的某个时候完成这项任务,”他补充道。

Cerebras面临着Nvidia在人工智能加速器市场预计90%以上的垄断地位。它的16nm产品将与Nvidia的7nm Ampere GPU同时投向市场。

此外,在Hot Chips展上,英特尔将介绍其28核的Spring Crest平台,创业公司Habana将展示一款八核训练处理器,华为也将介绍其训练芯片,创业公司Graphcore的1,200核芯片更是已经拿到戴尔3亿美元的融资和支持。

“人们正在尝试各种各样的事情——核心有多大,决定了内存和带宽有多大,以及它们是如何连接的。正确的组合还有待观察”Linley集团的林利•格温纳普(Linley Gwennap)表示,他指出很少有人在现阶段引用benchmark数据。 (预计在10月底之前,MLPerf会提供Spring Crest和Habana的训练数据。)

Gwennap补充说,人工智能软件还存在许多漏洞,例如芯片能够支持多少TensorFlow的操作,并且能够在多种神经网络类型中表现良好。

开创性的晶圆级集成

就其本身而言,Cerebras提供这种晶圆尺寸级别的器件,在产量、功耗和发热量方面都遇到了挑战。它申请了约30项专利,迄今已发行约6项。

例如,台积电经典的300毫米晶圆可能包含“少量的100个缺陷,” Feldman说。 Cerebras为其Swarm互连提供冗余链路,以便绕过有缺陷的区块,并分配“超过(区块数)1%的链路量作为备用。”

迄今为止,该公司已经生产了100多块晶圆,所有晶圆都能在可接受的水平上运行。为了给它们供电和冷却,Cerebras设计了自己的电路板和冷却板,为每块芯片垂直提供电力和水冷。机架包括一个闭环系统,用于空气冷却水。

Cerebras还与合作伙伴合作设计了一台用于处理和对齐晶圆的机器。 “我们公司拥有流体、材料科学家和制造工程师,”Feldman说。

这家创业公司与台积电合作,发明了一种方法,将其互连放置在区块之间的划线中,这个区域通常被保留,作为芯片之间的隔离区。

Cerebrascrossection.png

一种特别设计的电路板和冷却板,垂直地将电力和冷却水输送到每块芯片上。

制造一台计算机的全新方法

该公司计划在超级计算机大会上推出其系统,这表明它认为晶圆级设备的市场远远超过目前七家超大规模数据中心。

至于人工智能训练,“最初,我们认为全球将有200个客户,但我们已将该估算修改为1,000个,” Feldman说。 “我们所到之处,大批拥有大型数据集的公司,不希望他们的数据保存在谷歌云中,在那里,单次训练的费用高达15万美元,”他补充道。

汽车制造商、制药公司、石油和天然气勘探公司以及金融公司将能够训练自己的神经网络。他说:“超大规模(云服务)公司是一个重要的细分市场,但它们甚至远不及市场的一半。”

Fred Weber是Cerebras的投资人,也是AMD Opteron CPU的前工程经理,他认为晶圆级集成(WSI)的潜力更大。他设想将其用于传统的高性能计算工作,如信号处理、天气预报、模拟/仿真甚至网络切换。

“科技行业中,经常出现一些有趣的良性循环,比如摩尔定律。你可以缩小硅片,而有人会为此付钱——每一代演进都很难,但你知道这是值得的,” Weber说。

“晶圆级集成可能也类似。它要解决的问题很难,但并非不可能。现在行业内有了训练这个需求,于是人们有了一个商业理由去做这件事,“他说,并补充说WSI”一直是我非常感兴趣的领域,因为我在肯德尔广场研究院(Kendall Square Research)工作时,就主要研究大型并行计算机。“

也就是说,“人工智能培训不是一个利基应用。我们正处于‘人工智能可以做什么’这个命题的最开始,因为它是一个通用平台。人工智能是一种计算范式而非应用程序,我对此非常看好,“韦伯说。

在这方面,“在我参与的众多初创公司项目中,Cerebras最有趣,因为它既是一种了不起的人工智能机器,又是一种构建计算机的全新方式,”他说。

编译:Luffy Liu

原文链接:Startup Spins Whole Wafer for AI,By Rick Merritt

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
Rick Merritt
EE Times硅谷采访中心主任。Rick的工作地点位于圣何塞,他为EE Times撰写有关电子行业和工程专业的新闻和分析。 他关注Android,物联网,无线/网络和医疗设计行业。 他于1992年加入EE Times,担任香港记者,并担任EE Times和OEM Magazine的主编。
  • 2020年中国本土封装测试代工十强榜单 芯思想研究院日前发布2020年中国本土封测代工公司前十强排名,该榜单是继2019年发布之后 的第二次发布,得到了更多公司的支持。2020年中国本土封测公司前十强入围门槛为5亿元。 2020年中国本土封测代工公司前十强合计营收为525亿元,较2019年成长17%。前十强中,除华润微由于策略原因出现下滑外,其他9家公司都有不同程度的增长。
  • 看泛铨如何利用高阶3D X-ray与PFIB解析最新手机应用处 本次泛铨科技分析的目标是iPhone 12 Pro内搭载A14仿生(Bionic)应用处理(Application process, AP)芯片的芯片系统(System on chip, SoC),A14仿生应用处理芯片是由台积电最新的5纳米工艺节点所代工制造的。分析的流程为,先用最新高阶的3D X-ray将芯片系统的结构作非破坏高解析的全空间断层扫描 (Full-space tomography),了解其内部结构,接着再针对特定结构,利用具有大面积切削能力的PFIB,搭配自我研发的特殊工法与拍摄条件,清楚呈现InFO-PoP的内部结构。
  • 2020年中国大陆本土晶圆代工公司营收排名榜 根据芯思想研究院发布的数据显示,2020年的榜单较2019年榜单加了三家公司,分别是绍兴中芯、粤芯半导体、宁波中芯。2020年中国大陆本土晶圆代工公司总体营收高达463亿元,较2019年397年增加66亿美元,扣除绍兴中芯、粤芯半导体和宁波中芯的营收18亿元,原有7大代工公司的营收增长了48亿元。
  • 8寸和12寸晶圆紧张,全球芯片短缺或在2022年下半年才开 关于这场波及全球半导体各行各业的芯片短缺危机,原因众说纷纭,发端于汽车领域,受限于代工厂,大部分归咎于晶圆的产能紧张,由此,国内外媒体及产业链预测至少要再过年,到2022年下半年才能开始缓解。
  • 2020年全球封测十强排名 芯思想研究院(ChipInsights)日前发布全球封测十强榜单。榜单显示,2020年封测整体营收较2019年增长12.36%,超过2100亿元,达到2137亿元;其中前十强的营收达到1794亿,较2019年1590亿增长12.87%。
  • 漫谈先进封装技术之2.5D封装 作为摩尔定律生命周期的重要延续,2.5D先进封装成为在半导体产品由二维向三维发展进程中的一大技术亮点,也成为超级电脑和人工智能等应用的必备武器。
  • 千亿级别的暴涨与暴跌的比特币为啥 比特币暴跌20%或有400亿美金资金爆仓,显卡行业也深受波及,而这背后一方面是政府的禁令频发,另一方面金融犯罪的案例被推到了台面上,再加持众多资本狂割韭菜使得整个市场乌烟瘴气。而纵观发展历史,速度快的CPU为何没有用武之地呢,本文来带你一探究竟。
  • EE快讯——华为2021第18届全球分析 2021年4月12日,华为在深圳举办了第18届华为全球分析师大会,会上华为徐文伟提出了未来10年九大技术挑战与研究方向;轮值董事长徐直军表示:6G比5G快50倍,将在2030年左右推出,同时表示要提升软件能力减少芯片依赖,对海思的态度是养得起,也会一直养着,对于业界一直猜测的麒麟9000芯片库存还有多少,徐直军表示:华为的库存可以支撑公司活得更长一点。另一方面,欧菲光的前途终于有了结果...
  • 紫光展锐:大破大立,做数字世界的生态 4月20日,以“构go”为主题的2021紫光展锐创见未来大会在线上举行。会上,展锐重磅发布了5G业务新品牌——唐古拉系列,推出了Cat.1bis新技术特性,并分享了创新业务AR领域的最新商用进展。此外,展锐重申了公司产业定位——数字世界的生态承载者,并公布了对消费电子业务和工业物联网领域的前瞻预见和战略规划。
  • 安谋中国发布全新“山海”S12解决 安谋中国今天发布面向 AIoT 系统的全栈安全解决方案“山海”S12,包含硬件加解密引擎、安全软件和安全服务三大部分,从芯片的安全 IP 层到云端安全应用和安全管理提供全链路的安全保护。“山海”S12可以广泛应用于智能手机、平板、智能电视及安防等行业,为多种安全解决方案如数字版权保护、AI 安全、身份认证等提供基础安全能力。
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了