初创公司Cerebras将在Hot Chips上展出号称是“世界上最大”的半导体器件——一个16nm工艺、晶圆大小的处理器阵列,旨在取代英伟达(Nvidia) GPU在训练神经网络方面的主导地位。这颗面积达到46,225平方毫米的芯片功耗为15千瓦,封装了400,000个内核,并且仅支持在极少数系统中运行,至少已有一家客户采用……

EETimes加利福尼亚州圣何塞报道,初创公司Cerebras将在Hot Chips上展出号称是“世界上最大”的半导体器件——一个16nm工艺、晶圆大小的处理器阵列,旨在取代英伟达(Nvidia) GPU在训练神经网络方面的主导地位。这颗面积达到46,225平方毫米的芯片功耗为15千瓦,封装了400,000个内核,并且仅支持在极少数系统中运行,至少已有一家客户采用。

此外,在本周末的活动中,华为、英特尔和初创公司Habana将详细介绍他们用于训练神经网络的芯片。他们都把Nvidia当作竞争对手,去年Nvidia销售了大约价值30亿美元的GPU,用于支持这些对硬件性能极端渴望的新兴应用。

英特尔的1.1 GHz Spring Crest旨在通过将64个28G系列服务器,整合成16条112Gbit /秒的通道,可以连接多达1,024个芯片。专有互连(proprietary interconnect)是一种直接的无协议链路,无需通过外部HBM2内存,从而能够以相对快速的方式在多个处理器和机箱之间传播大型神经网络。

通过在一个晶圆上放置所有内核、存储器和互连,Cerebras的方法将更快,并且可以整合到同一个框架中。

该初创公司从资深投资者那里筹集了超过2亿美元,成为第一个将晶圆级集成商业化、开创封装和晶圆处理新技术的公司。该公司押注人工智能培训市场,认为它将从七个超大规模数据中心供应商,扩展到数百家公司,覆盖从制药到金融科技等希望将搜集到的数据留给自己的行业。

这个芯片怎么运作?

Cerebras这颗器件在7x12阵列中包含84个块,每个包含大约4,800个内核,用于AI的稀疏线性代数(sparse linear algebra),每个都有48 KB的SRAM,这是它们唯一的内存源。

单级层次结构加快了处理速度,训练程序几乎不需要跨内核共享内存。与单个Nvidia GPU相比,芯片上总共18GB的SRAM是巨大的,但与Cerebras的目标竞争系统相比,这个数字很小。

该公司不愿对该器件的频率发表评论,该频率可能很低,无法帮助管理其功率和热量需求。Cerebras首席执行官兼创始人安德鲁.费尔德曼(Andrew Feldman)表示,这家初创公司的资深工程师“之前已经完成了2-3 GHz芯片,但这不是最终目标——超频带来的回报不如增加内核。”

Feldman不愿对Cerebras计划出售的机架系统成本、设计或路线图发表评论。但他表示,这个一个机架的性能,将相当于一个拥有1000台Nvidia GPU设备的工厂,同时只需要他2-3%的空间和功耗。而且组装1000台设备可能需要数月的时间。

CerebrasNvidiasmall.png
Cerebras器件比Nvidia GPU,以及用于AI培训的任何其他竞争对手芯片大得多。 (图片:Cerebras)

该公司的目标是在11月的超级计算机展上讲解该系统,并介绍其性能和benchmark数据。对于所有参会者来说这将是历史性的一刻,上一次达成类似成就是在1980年的超级计算机展上,当时Gene Amdahl创立的公司Trinity推出了3.5英寸晶圆,

Cerebras编译器将摄取TensorFlow或Pytorch模型,将其转换为机器语言,并使用微代码库将神经网络层映射到巨型芯片的各个区域。它在一定程度上通过在内核上编写编程指令,并配置链接块的网状网络来实现。

“我们将整个网络功能保留在芯片上。” Feldman说,“其他所有人都在压榨网络功能,以至于花费更多时间来回倒数据“,常见的做法是通过内存进行缓慢的外部互连。

Cerebras的174名工程师中,近三分之二是软件开发人员,这表明AI和编译器代码的复杂性。Feldman说,在第一批商业系统投入使用之前,他们将面临“一大堆问答(Q&A)”。

如何面对Nvidia、英特尔、华为和其他新创企业

Moor Insights&Strategy的人工智能和高端系统分析师卡尔•弗罗因德(Karl Freund)说:“如果他们能够让这个晶圆发挥作用,那将是开创性的。”

“他们正在解决的问题很难,但并不是不切实际的,所以我认为他们会在明年的某个时候完成这项任务,”他补充道。

Cerebras面临着Nvidia在人工智能加速器市场预计90%以上的垄断地位。它的16nm产品将与Nvidia的7nm Ampere GPU同时投向市场。

此外,在Hot Chips展上,英特尔将介绍其28核的Spring Crest平台,创业公司Habana将展示一款八核训练处理器,华为也将介绍其训练芯片,创业公司Graphcore的1,200核芯片更是已经拿到戴尔3亿美元的融资和支持。

“人们正在尝试各种各样的事情——核心有多大,决定了内存和带宽有多大,以及它们是如何连接的。正确的组合还有待观察”Linley集团的林利•格温纳普(Linley Gwennap)表示,他指出很少有人在现阶段引用benchmark数据。 (预计在10月底之前,MLPerf会提供Spring Crest和Habana的训练数据。)

Gwennap补充说,人工智能软件还存在许多漏洞,例如芯片能够支持多少TensorFlow的操作,并且能够在多种神经网络类型中表现良好。

开创性的晶圆级集成

就其本身而言,Cerebras提供这种晶圆尺寸级别的器件,在产量、功耗和发热量方面都遇到了挑战。它申请了约30项专利,迄今已发行约6项。

例如,台积电经典的300毫米晶圆可能包含“少量的100个缺陷,” Feldman说。 Cerebras为其Swarm互连提供冗余链路,以便绕过有缺陷的区块,并分配“超过(区块数)1%的链路量作为备用。”

迄今为止,该公司已经生产了100多块晶圆,所有晶圆都能在可接受的水平上运行。为了给它们供电和冷却,Cerebras设计了自己的电路板和冷却板,为每块芯片垂直提供电力和水冷。机架包括一个闭环系统,用于空气冷却水。

Cerebras还与合作伙伴合作设计了一台用于处理和对齐晶圆的机器。 “我们公司拥有流体、材料科学家和制造工程师,”Feldman说。

这家创业公司与台积电合作,发明了一种方法,将其互连放置在区块之间的划线中,这个区域通常被保留,作为芯片之间的隔离区。

Cerebrascrossection.png

一种特别设计的电路板和冷却板,垂直地将电力和冷却水输送到每块芯片上。

制造一台计算机的全新方法

该公司计划在超级计算机大会上推出其系统,这表明它认为晶圆级设备的市场远远超过目前七家超大规模数据中心。

至于人工智能训练,“最初,我们认为全球将有200个客户,但我们已将该估算修改为1,000个,” Feldman说。 “我们所到之处,大批拥有大型数据集的公司,不希望他们的数据保存在谷歌云中,在那里,单次训练的费用高达15万美元,”他补充道。

汽车制造商、制药公司、石油和天然气勘探公司以及金融公司将能够训练自己的神经网络。他说:“超大规模(云服务)公司是一个重要的细分市场,但它们甚至远不及市场的一半。”

Fred Weber是Cerebras的投资人,也是AMD Opteron CPU的前工程经理,他认为晶圆级集成(WSI)的潜力更大。他设想将其用于传统的高性能计算工作,如信号处理、天气预报、模拟/仿真甚至网络切换。

“科技行业中,经常出现一些有趣的良性循环,比如摩尔定律。你可以缩小硅片,而有人会为此付钱——每一代演进都很难,但你知道这是值得的,” Weber说。

“晶圆级集成可能也类似。它要解决的问题很难,但并非不可能。现在行业内有了训练这个需求,于是人们有了一个商业理由去做这件事,“他说,并补充说WSI”一直是我非常感兴趣的领域,因为我在肯德尔广场研究院(Kendall Square Research)工作时,就主要研究大型并行计算机。“

也就是说,“人工智能培训不是一个利基应用。我们正处于‘人工智能可以做什么’这个命题的最开始,因为它是一个通用平台。人工智能是一种计算范式而非应用程序,我对此非常看好,“韦伯说。

在这方面,“在我参与的众多初创公司项目中,Cerebras最有趣,因为它既是一种了不起的人工智能机器,又是一种构建计算机的全新方式,”他说。

编译:Luffy Liu

原文链接:Startup Spins Whole Wafer for AI,By Rick Merritt

本文为EET电子工程专辑原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
阅读全文,请先
您可能感兴趣
随着数字技术的普及,市场对高性能芯片的需求与日剧增;另一方面,半导体工艺已来到摩尔定律的临界,零缺陷制造也面临越来越大的挑战。如何提升良率、扩大产能、加快创新并降低成本?Athinia首席执行官Laura Matz分享了其观点:价值链上的相互协作和数据共享,能够有效促进零缺陷半导体制造!
半导体是一场技术的博弈,也是利益的博弈,需要切实把有利的短期产业环境因素,转变成为长期的发展驱动力,使自身在产业链重构中走得更远。对越南而言,尤其如此。
今年IEDM上,围绕摩尔定律延续的问题,又有几个比较重要的技术发布,包括CFET——也就是3D堆叠晶体管要用背面供电,背面供电技术本身则有了新的实现方案,GaN功率晶体管则和Si CMOS驱动放到了一起...
从营收排名来看,本次全球前十的晶圆代工厂分别是:台积电、三星、格芯、联电、中芯国际、华虹集团、高塔半导体、世界先进、英特尔IFS、力积电。相比今年Q2排名变化是,中国合肥“晶合集成”跌出前十,英特尔IFS则新进入榜单,排名第九位。
有专家认为,背后应有美国因素,基于地缘政治风险考虑,希望让日本成为具有3纳米芯片制造能力的经济体。不过,鉴于在美国亚利桑那州工厂的尴尬境地,台积电必然会深思熟虑一番。
在看到AI和自驾车芯片大单全由台积电吃下,与台积电的市占差距愈来愈大,三星也在竭尽全力开发先进封装技术,比如I-cube和X-cube。而三星此次又宣布将研发3D封装技术,将重点提高数据中心和具有设备端AI功能的移动AP的AI芯片的性能。
根据TrendForce集邦咨询最新OLED技术及市场发展分析报告统计,在近期发表的摺叠新机中,UTG的市场渗透率已逾九成,随着摺叠手机规模持续成长,预估2023年UTG产值将达3.6亿美元;2024年可望挑战6亿美元。
随着终端及IC客户库存陆续消化至较为健康的水位,及下半年iPhone、Android阵营推出新机等有利因素,带动第三季智能手机、笔电相关零部件急单涌现,但高通胀风险仍在,短期市况依旧不明朗,故此波备货仅以急单方式进行。此外,台积电(TSMC)、三星(Samsung)3nm高价制程贡献营收亦对产值带来正面效益,带动2023年第三季前十大晶圆代工业者产值为282.9亿美元,环比增长7.9%。
治精微推出具过压保护OVP、低功耗、高精度运放ZJA3018
无线技术每天都在拯救生命,有些非常方式是人们意想不到的。在美国加利福尼亚州Scotts Valley,一名路过的慢跑者发现一处住宅冒出火焰后,按响了门铃,试图通知屋主。屋主不在家中,但无线门铃连接到了智能家居中枢,提醒屋主慢跑者试图联系。屋主立即向他提供了安全密码,让他跑进房子,从火场中救出了宠物。
点击左上角“锂电联盟会长”,即可关注!锂离子电池是一种二次电池(充电电池),它主要依靠Li+ 在两个电极之间往返嵌入和脱嵌来工作。随着能源汽车等下游产业不断发展,锂离子电池的生产规模正在不断扩大。本文
英伟达(Nvidia)CEO黄仁勋11日表示,将扩大与越南高科技业者的伙伴关系,支持在当地训练研发人工智能(AI)与数字化基础建设领域的人才。黄仁勋还透露在越南设立芯片中心的构想。根据白宫今年9月提升
自从集成电路发明以后,人类的电子信息技术开始腾飞,60年多年来,在摩尔定律的指导下,半导体集成电路的高速发展彻底改变了电子产品。以计算机为例,1946年诞生的世界第一台数字计算机重30吨,占地约140
11月9日是主题为“预防为主,生命至上”的第32个全国消防安全日,当天,智能建筑电气技术杂志《IBE Talks》栏目第27期特邀请中国勘察设计协会电气分会副会长、清华大学建筑设计研究院有限公司电气总
有奖问卷调查:各位工程师朋友,作为全球知名的授权半导体和电子元器件代理商,贸泽电子 Mouser多年来一直倾心为中国工程师服务,助力本土创新! 时至年终,为了更好的服务工程师朋友,我们特别推出“贸泽电
一前言随着信息技术和半导体技术的快速发展,电子产品的类型和功能模块日益多样化,对此要求的传输速率也日益提高,在模块集成度多和传输速率提高的背景下,噪声的耦合问题不可避免的日益增多起来。二整改案例今天分
广告分割线12月11日,据台媒报道,群创(3481.TW)竹南T1厂员工向媒体爆料,群创竹南T1厂将裁员50%!据报道,群创竹南厂工程师预计将减少一半,在线作业员也预计砍一半。群创今天表示,已于第一时
本文来源:物联传媒本文作者:市大妈前几年,对大部分人来说,FWA是一个比较陌生的领域,尽管早在3G和4G时代就已经得到一定的发展。后来,随着5G的发展,FWA作为当前5G应用量级最大的场景之一,被更多
曹原 发自 副驾寺智能车参考 | 公众号 AI4Auto全球第一的 Tier 1,官宣裁员了。博世刚刚证实,准备裁员1500人,以适应汽车行业不断变化的技术和需求。博世发言人表示:我们面临了比年初预期
点击左上方蓝色“一口Linux”,选择“设为星标”第一时间看干货文章 ☞【干货】嵌入式驱动工程师学习路线☞【干货】一个可以写到简历的基于Linux物联网综合项目☞【干货】Linux嵌入式知识点-思维导