IBM的一款新型模拟内存芯片证明了AI运算可同时兼顾性能和能效。

去年8月,由30名IBM研究实验室科学家组成的团队推出了一款全新芯片,旨在大幅提高高能耗深度学习推理的能效,同时保持运算精度。这款名为Hermes的模拟内存芯片将数字电路与相变内存(PCM)结合在一起,这样神经网络的计算就可以在内存电路中进行。

这种处理器与内存的搭配无需像典型的人工智能加速器芯片那样,在内存和处理单元之间无休止地移动大量数据。重要的是,分析表明,该芯片在执行计算机视觉人工智能任务时与数字芯片一样出色,而功耗却低得多。

率先推出该芯片的IBM欧洲研究院团队负责人Abu Sebastian及其同事Manuel Le Gallo-Bourdeau和Vijay Narayanan在其博客中明确表示,他们现在已经展示了实现快速、低功耗模拟人工智能芯片架构愿景所需的许多构件。正如该团队的一位IBM科学家告诉笔者的那样,“我们仍处于芯片的研究阶段,但我们现在要尽可能多地构建硬件,以准确了解它的功能,并找出向前推进的最佳方法”。(编者注:这位科学家接受了我们的采访,但要求不公开身份。)

耗电的人工智能

人工智能的功耗问题源于一种被称为冯·诺依曼瓶颈的现象,这一瓶颈以现代计算机架构的先驱约翰·冯·诺依曼的名字命名。在这种情况下,CPU和内存是独立的实体,因此数据和计算必须在两者之间不断来回穿梭。这一过程会产生瓶颈,因为处理速度通常比检索数据或将数据写入内存的速度更快。

长期以来,设计人员一直在使用内存缓存、流水线和分层内存方案等变通方法来解决瓶颈问题。最近,芯片巨头们专门开发了加速器芯片来承担新兴的人工智能处理任务。例如,NVIDIA已经从其GPU技术中取得了长足的进步;谷歌开发了张量处理单元;英特尔提供了多种解决方案,包括可针对人工智能计算进行编程的FPGA;高通则为移动设备设计了人工智能加速器芯片。

尽管如此,人工智能的高能耗需求及其不断增加的运算量要求采用更节能的方法,而这正是模拟内存计算将发挥关键作用的地方。

模拟内存芯片可以直接在内存中执行计算,从而规避冯·诺依曼瓶颈。模拟计算方案只需要几个电阻器或电容器,因此可以将它们移到内存中,消除内存和处理器之间的分离,从而提高能效,远远超过数字芯片。

IBM在其最新的模拟人工智能芯片中采用了这种方法。该芯片采用14nm CMOS设计和制造,包含64个计算内核,每个内核都有自己的PCM阵列,以及一个轻型数字处理器,用于激活和累加等额外的神经网络运算(如所示)。片上通信网络将这些内核连接在一起,芯片中心的另一个数字处理单元可以处理要求更高的神经网络计算。

图:IBM模拟AI芯片的渲染图。(来源:IBM研究实验室)

尽管IBM使用PCM技术使其与众不同,但在模拟AI芯片领域,IBM并非孤军奋战。例如,英特尔实验室的研究人员一直在研究静态随机存取存储器和其他技术;美国初创公司Mythic专注于多级闪存;斯坦福大学、圣母大学、加州大学圣地亚哥分校和清华大学的研究人员开发了一种神经形态芯片,被称为NeuRRAM,它使用电阻式随机存取存储器。

对于IBM来说,PCM是一个合乎逻辑的选择,因为该公司已经花了至少十年的时间为存储应用开发这种材料,其中包括多电平PCM芯片。PCM本身是一种非易失性随机存取存储器,加热时会在低导电非晶相和高导电晶相之间切换。基于这些材料的器件可以利用相变,将电导的变化编码为突触权重,然后用于计算操作。重要的是,正如IBM的最新结果所示,记录这种连续值(而不仅仅是数字器件的1或0)对于深度神经网络运算非常有效。

在与其他基于类似技术的芯片(包括NeuRRAM以及Mythic和TSMC开发的芯片)进行基准测试时,IBM的技术可以在能效相当的情况下,将矩阵向量乘法(人工智能运算的基础)的执行速度至少提高15倍。值得注意的是,在使用人工智能训练用彩色图像数据库CIFAR-10进行测试时,该芯片在图像识别方面的准确度也高于其他芯片,这对模拟内存计算虽然节能但容易出现计算误差的观念提出了挑战。

“相变存储器的优势在于它足够稳定,可以进行一些相对准确的计算。”这位IBM科学家表示,“我们已经开发出准确编程的技术,并对误差进行了详细表征。我们的准确度足以满足神经网络的要求。”

英特尔实验室研究科学家Hechen Wang多年来也一直从事模拟内存计算的研究,他也认为这种方法可以实现卓越的能效。“研究人员大约在五年前开始研究模拟内存,现在我们有IBM、imec、GlobalFoundries、台积电和三星等公司和学术团体开始研究这项技术。”他表示,“如果我们想要进行非常高效的AI计算,就需要将处理单元置于内存阵列内部,甚至是内存单元内部。

“英特尔实验室正在寻求内存计算的多种途径,并探索一系列内存技术。至于哪种内存才是正确的方向,我们还没有得出结论。”

尽管如此,Wang仍然认为,IBM和其他公司最新的模拟内存开发成果正在对这一“热门”领域产生积极影响。“IBM的研究成果已经发表在Nature杂志上,说实话,我做梦也没想到会发生这样的事情。”他表示,“很多人会阅读这些刊物,我希望这些结果能够打开他们的思路,吸引更多的人关注这一领域。”

下一步

自从在Nature Electronics杂志上发表研究结果以来,IBM欧洲公司的研究人员已经明确表示,他们相信自己的工作证明了模拟AI可以提供必要的计算精度,与传统的数字加速器相媲美,而且能效更高。随着人工智能技术的兴起,节能又准确的推理硬件变得至关重要,研究人员的目标是创造出能够执行端到端推理运算的模拟内存芯片。

与此同时,IBM欧洲研究院告诉笔者,它打算利用PCM器件上可达到的高突触密度,制造出能够运行整个网络操作的大型芯片,以超越数字加速器竞品。

“一旦我们真正展示了这项技术的前景,并且有更多的人愿意在这一领域投资,那么我们就可以组建多支由数百名研究人员组成的团队来从事这项工作,从而使芯片投入生产模式。”这位IBM科学家表示,“所以现在,我们将继续努力。”

(原文刊登于EE Times欧洲版,参考链接:Could IBM's AI Chip Reinvent Deep Learning Inference?,由Franklin Zhao编译。)

本文为《电子工程专辑》2024年6月刊杂志文章,版权所有,禁止转载。免费杂志订阅申请点击这里

责编:Franklin
本文为EET电子工程专辑原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
阅读全文,请先
您可能感兴趣
它们的能效越高,数据中心的工作负载就越会把它们拉回到更遥远的起点。
NeuReality公司首席执行官Moshe Tanach表示,减少AI碳排放的关键在于简化运行和提高效率。
当前,AI技术发展势头依然很猛,也带动了AI巨头英伟达的整体营收业绩。英伟达发布了截至4月28日的2025财年第一财季财报,期内实现营收260.44亿美元,同比上涨262%,远高于市场预期的247亿美元。
AI市场还远未发展到成熟阶段,现在的市场交锋还相当早期,鹿死谁手也未为可知。其实在ChatGPT席卷全球以前,全球AI芯片初创企业就已经如雨后春笋般落地生根了。在英伟达持续占据制高点的AI时代下,如今驱动生成式AI向前的AI芯片市场又走到了哪儿?
此次测评首次引入人类学生熟悉的学科测试,让AI考生和三年级到高三学段的人类考生平均水平一较高下。“文强理弱”、简单题目反而错误率高等大模型普遍存在的短板集中展现在大众面前……
哈戈谷对于8英寸晶圆结构性需求逆风和12英寸扩张可能带来的折旧负担持谨慎态度。这种情况下,虽然部分产品有机会逐步转向12英寸厂生产,但短期内仍然面临挑战。
工程师对某个方案的选取,需要考虑系统性能,器件参数,成本等多个因素。HP1010 的测试数据证实,图腾柱拓扑在收获高效的同时, 可以安全可靠的运行;结合特有的控制算法,电流互感器方案简洁灵活,并且CBC保护性能出色。
2024年第一季度全球云基础设施服务支出同比增长21%,达到798亿美元,增加134亿美元。三大云提供商——AWS、微软Azure和谷歌云——合计增长了24%,占总支出的66%。
赛腾微电子震撼推出全新一代热管理系统九通阀方案
美国加利福尼亚州圣何塞,2024年5月21日讯 – 深耕于中高压逆变器应用门极驱动器技术领域的知名公司Power Integrations(纳斯达克股票代号:)今日宣布推出系列双通道即插即用型门极驱动器,适配单个LV100(三菱)、XHPTM 2(英飞凌)、HPnC(富士电机)以及耐压高达2300V的同等半导体功率模块,该模块适用于储能系统以及风电和光伏可再生能源应用。该款超紧凑单板驱动器可对逆变器模块进行主动温升管理,从而提高系统利用率,并简化物料清单(BOM)以提高逆变器系统的可靠性。
一、前言  这两个继电器,型号为 G6K-2F-Y,是从一个示波器套件中拆卸下来的。根据它的数据手册命名规则可知,它属于单边稳定的继电器。吸合与释放电压之间具有一定的滞回特性。下面对于该继电器的特性进
点击上面↑“电动知家”关注,记得加☆“星标”!电动知家消息,5月26日,恒大汽车在港交所公告称,31.45亿股潜在待售股份(占全部已发行股份的约29%)将即时被收购,及32.03亿股潜在待售股份(占全
砺算科技是一家专注于研发多层次(可扩展)图形渲染GPU的公司。该公司由GPU行业经验丰富的领军人物创立,集聚了具备大芯片研发和量产经验的完整研发团队,包括方法论、顶层设计、最优化调度、运算单元利用率等
近日,国家发改委等六部委联合发布了一项令人瞩目的计划:大规模实施影院LED显示屏放映系统更新计划。这一举措无疑将为LED电影屏在影院的普及注入一剂强心针,预示着电影放映技术的一次重大飞跃。然而,在这一
2024年5月25日,以“逐光二十载,创新照未来”为主题的鸿利智汇20周年活动在广州花都举行。从2004年5月创立至今,鸿利智汇坚持先进制造与科技创新双轮驱动,在追逐LED之光的道路上砥砺前行。接下来
--关注、星标「智驾最前沿」,回复“入群”--↓↓免费进入:「智驾最前沿」微信社群(技术&商务)↓↓通过对Model Y和Cybertruck的拆解,汽车基准测试和工程公司Caresoft Globa
点击上面↑“电动知家”关注,记得加☆“星标”!电动知家消息,近日,网上流出一段雷军带队参观蔚来,与蔚来创始人李斌沟通交流的内部视频,期间,李斌向雷军介绍蔚来在充换电服务领域的一些创想和思考。李斌还邀请
为更好的服务广大半导体业内人士,及时推送和共享专业知识,本公众号特开通视频号,现已有多个视频上传共享。欢迎各位看官关注视频号!视频号主要内容:1、半导体典型关键工艺介绍2、全球半导体设备厂商介绍3、半
点击上面↑“电动知家”关注,记得加☆“星标”!电动知家消息,近日,广东省对俄贸易促进会发布消息称,国外企业需求采购小米SU7电动汽车40辆,具体需求:外观颜色为湿沥青(橄榄绿);内饰颜色为银河灰、na