广告

利用传统存储器支撑日新月异的人工智能

时间:2021-12-17 09:00:09 作者:Gary Hilson 阅读:
人工智能带来的喧嚣正在消退,它已面临新的工程挑战,而存储器需求正在成为焦点:并非每个机器学习和推理任务都需要先进的存储器技术,而久经考验的传统存储器可以在边缘处理AI,而这类AI(分布式)可能正是5G所需。
广告

人工智能带来的喧嚣正在消退,它已面临新的工程挑战,而存储器需求正在成为焦点:并非每个机器学习和推理任务都需要先进的存储器技术,而久经考验的传统存储器可以在边缘处理AI,而这类AI(分布式)可能正是5G所需。

不过,基本的推理操作已经变得很复杂。但总体而言,存储器预期将在推理方面发挥更大的作用。

TECHnalysis Research总裁兼首席分析师Bob O’Donnell认为,人工智能是实现5G愿景不可或缺的部分,只有两者的结合才能实现新的应用。“具有讽刺意味的是,所有人都认为:5G是一回事,边缘是另一回事,而人工智能又是另外一回事。我们真的需要将这些东西结合起来,让它们任何一个都能真正发挥其潜力。”O’Donnell说。

随着边缘处理器的发展,以及LPDDR之类的存储器应邀在边缘处理普通的人工智能任务,分布式AI已经在一定程度上证明了自己。“房间里的摄像头可以进行非常简单的人工智能处理,检测房间内的人数,进而调节暖通空调(HVAC),”O’Donnell说。这看似简单,但这些任务可以在一组具有有限的计算和存储能力的建筑物中进行本地处理,而无需将数据发送至云端。

O’Donnell补充到,还有一种折中的方法,即边缘设备在本地处理数据,同时具备足够的智能,知道何时将文件发送到数据中心进行“深度处理”。其中一种结果就是改进发送回边缘的算法。

“这是一个良性循环,”该分析师说,“这也是事情开始变得非常有趣的地方。”

O’Donnell预测,专用于分布式AI应用的存储器将相对低端,这些存储器类型可用于多种应用,例如分布式边缘设备。“采用LPDDR存储器将会最合乎逻辑”,O’Donnell估计。

但即使是低功耗DDR也能获得提升,超越在智能手机、汽车和各种边缘端点中使用的典型设备类型。在最近一个关于将内存内处理(PIM)技术推向主流的讨论进展更新中,三星指出,该技术最终应可以用于其他类型的内存,以支持人工智能工作载荷。可能包括LPDDR5,用于将AI带到各种端点设备中的边缘,而无需连接数据中心。

三星展示了当LPDDR5-PIM用于语音识别、翻译和聊天机器人等应用时,其性能提高了一倍以上,而能耗则降低了60%以上。

AI5G

英伟达首席平台架构师Robert Ober指出,一些需要存储的分布式AI正在帮助运行5G基站。

边缘5G基础设施有时具有比它所连接的旧基础设施更宽的带宽,因此需要一些推理来管理网络事务。“使用显式编程太过复杂,”Ober说。

AI的许多边缘用例都非常普通,使用的嵌入式设备需要小体积与小功率的存储器。Ober认为,难点在于,即使是最基本的AI功能,如边缘图像识别和分类,其工作量也很大。高达4K的高分辨率图像,加上更多信息和上下文的需求,意味着这些神经网络变得愈加复杂。

“如果是视频,你还需要按时间从多个帧中提取含义,”Ober说,“此时存储器就显得非常重要。”

Ober表示,英伟达专注于在数据中心训练工作载荷,其存储容量和带宽至关重要,降低功耗也同样重要。因此,不同的存储技术可以在未来的AI部署中发挥重要作用,例如压控MRAM,它可以降低功耗、维持带宽并释放计算功率。“从长远来看,你会看到一些非常有趣的解决方案,”Ober认为。

Ober还补充,即使存储能力不断提高,满足了AI需求,预期值也会不断提高,因为AI的复杂性始终呈指数级增长。“可以编码的知识越多,可以做的事情就越多。”训练网络本质上就是编码信息,即便是检测到一只狗,边缘设备已远不能满足需求了。

“他们还想知道是哪种狗,它在做什么,它快乐还是难过。期望值继续呈指数级上升。”这位英伟达高管如此表示。

随着机器人图像检测和分类等功能的不断改进,数据中心的AI和ML工作载荷预计将发挥更多作用。他说,对高性能计算的需求会持续,并且总会有更复杂、需要更多时间和更多机器智能的新AI任务出现。

将AI任务关联的数据转移到合适的存储器中是数据中心AI面临的最大挑战之一。因此,需要减少将所有工作载荷都发送到中央云的需求,这也会对存储资源造成更大压力。Ober预计,对新型高带宽、低功耗大容量存储器的需求会增加,因为它本质上是非易失性的。现在已经有一些在嵌入式设备(例如工业端点)中处理AI工作载荷的举措,另一些任务被转移到5G连接的本地基站。

而更复杂的任务则被发送到云数据中心。“目前已经有一些工作以这种方式分层,因为坦率地说,他们没有足够的带宽连接到核心设备。”

联合学习

Ober介绍到,分布式AI的分层方法支持增量训练或“联合学习”,从而实现持续的改进。“神经网络不断被重新训练并更新,因此必须有一些非易失性存储器或其他存储器,可以将这些更新推送到所有这些设备中,无论其大小。”

图1:联想的ThinkEdge等边缘设备利用DDR DRAM和闪存SSD来处理和存储数据,实现本地AI和安全的云管理。(来源:联想集团

例如图1所示的联想的ThinkEdge,它包括一个支持AI的边缘设备。它采用高性能DDR4 DRAM和大容量SSD来支持AI和机器学习模型,例如用于跟踪仓储和物流操作或自动化制造过程的计算机视觉。

对于工业机器人以及自动驾驶汽车等汽车用例来说,可能需要更多的存储带宽和容量,但它不一定是最重要的。

Macronix技术营销总监JimYastic表示,人工智能的喧嚣周期类似于目前在汽车、工业和安全设置中正发挥重要作用的物联网。据IDC预测,到2023年,70%的物联网部署都将包括AI,用于实现自主或边缘决策,其中计算机视觉是增长最快的边缘AI应用之一。

Yastic指出,人工智能的分布式策略是有道理的,因为在数据中心做所有事情都成本高昂。正如物联网设备也在本地承担更多处理任务一样,更多AI操作正在移出数据中心,与此同时,需要确定哪些内容需要发回中央云。

在工业和汽车领域,边缘AI的存储要求由各式各样的传感器决定,这些传感器都执行某种级别的过滤,并将选定的数据发送回中央位置以优化ML模型,然后,再下载新的模型。

Yastic认为这种方法是必要的,因为汽车等行业根本无法在很短时间内处理TB级的数据。即使有5G,本地系统也必须快速做出一些合理的决策,而不用来回传输大量数据。在自动驾驶汽车中,5G支持自动驾驶辅助(ADAS)功能和AI功能。

Yastic表示,不同设备需要做出决策的速度决定了AI系统的架构,也决定了以性能和密度来衡量的存储需求。“根据应用的不同,它可能只是一个”嵌入式多媒体卡。

存储器考虑要素

用于汽车和工业AI的一些存储器件可能包括通用闪存、NAND闪存SSD、DRAM甚至SRAM。

在众多生态系统中,尤其是汽车领域,可靠性、安全性和数据安全都是永恒的主题。这就是为什么现有存储器仍然是首选,对人工智能任务来说也是如此。就好比如今的汽车就是轮子上的服务器一样,它们也是多个嵌入式端点的集合,其中包含许多配置板载存储的传感器和摄像头,故这些存储器需要和车辆一样长久运行。

据Yastic预测,NOR闪存将长期为汽车AI贡献力量,因为它具有高可靠性和长寿命,可以在严苛环境中运行十年甚至更长时间。而且,它还因具备快速启动能力而受到汽车制造商的青睐。例如,Macronix的OctaFlash SPI NOR闪存提供快速启动和快速接口,可以用于自动驾驶汽车中的绝大多数端点。

这还实现了成本节约,Yastic指出,NOR闪存已经存在了很长时间,其价格已经下调。

所有存储技术都自然而然地在提高密度和性能,同时保证成本低、尺寸小,功耗也低。数据中心仍然需要高性能存储器来处理AI和ML工作载荷,但商用存储器也有机会满足分布式系统中的许多AI需求。

根据Rambus研究员Steve Woo的说法,从长远来看,从计算的历史就可以预测AI系统中存储器的未来。“今天的超级计算机就是明天的智能手机。”他指出。

一些需要高端硬件的早期AI模型现在已经可以用较主流的存储器来处理。“现在用存储器更容易实现,部分原因是已经实现了小型化,且硬件成本也降低了。”

今天的HBM2可能很快成为少数通过Compute Express Link(CXL)连接的DDR DIMM和其他内存。“将能够达到今天看来似乎是遥不可及的性能水平,”Woo说道。

Woo将人工智能的主流化比作智能手机长达十年的演变。“各种开发人员不断想出使用该技术的新颖方法,”他指出。随着规模的不断扩大,数量的不断增加,服务于低功耗市场的专用存储器逐渐出现。Woo期望AI存储也能产生一样的协同效应。“成本将继续下降。专用器件此时出现将是合理的,因为已经可以实现投资回报。”

这些进步也与互联网进行的架构更新保持一致。“数据传输正在成为瓶颈,”Woo补充道,将数据传送到云端进行处理会消耗过多的能量,而在本地处理能够降低成本并提高性能,同时功耗更低。

Woo还预测:推理和计算任务以及端点类型,将决定哪些种类的存储器最适用于AI的未来所需。但无论如何,热特性和功率制约都将是影响因素。“这中间需要权衡,”他说,如果只是完成推理,那片上SRAM可能就足够了。

Woo认为,随着AI变得无处不在并分布在不同的平台上,最终对存储器产生影响的是神经网络的简化,例如,使其成为主流AI平台。

在可预见的未来,AI应用将需要超级计算能力,但摩尔定律的扩展和其他存储技术的进步将有助于让数据靠近计算资源。无论是哪一种新型的存储器,所面临的挑战都在于如何证明用其替换一些已经尝试过且正确的东西的好处。“行业真正需要的存储器数量将是有限的。在许多情况下,很多现任者似乎已经足够好了。”Woo说。

Gary Hilson-自由作家和编辑。

(参考原文:Ubiquitous AI WillRely on Conventional Memory

本文为《电子工程专辑》2021年12月刊杂志文章,版权所有,禁止转载。点击申请免费杂志订阅 

责编:Amy Wu

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
Gary Hilson
EE Times特约编辑。Gary Hilson是一位自由撰稿人和编辑,曾为北美地区的印刷和电子出版物撰写过大量稿件。 他感兴趣的领域包括软件、企业级和网络技术、基础研究和教育市场,以及可持续交通系统和社会新闻。 他的文章发表于Network Computing,InformationWeek,Computing Canada,Computer Dealer News,Toronto Business Times,Strategy Magazine和Ottawa Citizen。
  • 神经形态新秀连手催生结合处理器IP的图像感测单芯片 瑞士新创公司SynSense和法国厂商Prophesee正在合作开发一款事件导向图像传感器单芯片,结合Prophesee的Metavision 图像传感器和Synsense的DYNAP-CNN 神经形态处理器。
  • Future Horizon预测今年第4季度芯片行业衰退期即将到 “现在就为不可避免的衰退做好准备吧。”分析公司Future Horizon首席执行官、知名分析师Malcolm Penn在近日线上会议预测,芯片市场正处于一个转折点,可能在2022年第4季度崩溃,或将被季节性低迷所掩盖。去年全球都面临芯片短缺问题,根据不少大厂预估,芯片短缺问题最快可能要下半年才会舒缓。
  • 云端竞速:MLPref最新AI训练跑分结果出炉 微软Azure利用大规模的Nvidia驱动实例,在最新一回合的MLPref人工智能训练性能测试基准跑分展现了世界速度最快的AI云端系统...
  • Counterpoint整理出2022年CES十大汽车行业新闻 在今年的CES 上,汽车生态系统的参与者主要集中在电动汽车 (EV)、联网汽车、自动驾驶、数字驾驶舱、信息娱乐、机器人技术和共享出行。这一趋势符合行业向 CASE(互联、自动化、共享/服务和电气化)的转变。
  • IDC发布工业数据智能市场分析报告 工业数据分析应用兴起于工业大数据,得益于工业物联快速发展和AI技术用于海量数据处理,发展再次加速,大数据和AI也在加速向数据智能融合。
  • 【ICCAD 2021】国内外EDA厂商谈AI用于芯片设计、EDA上 国内外EDA厂商们,对于在设计验证中采用AI技术,抱什么样的态度,又是如何行动的呢?在日前举办的中国集成电路产业设计年会(ICCAD 2021)上,新思科技、Cadence、国微思尔芯和鸿芯微纳等EDA企业高层接受了《电子工程专辑》等媒体的采访,除了AI的应用,大家还就EDA上云、3D IC等热点话题进行了探讨。(首图来源:4 Key Considerations When Evaluating EDA in the Cloud,Synopsys Blog)
  • 新款iPad Pro 2021成最受欢迎的 由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
  • 三星折叠屏手机Galaxy Z Fold 3 目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。

  • 5G基站数破百万,高通助力手机品牌成 1月20日,5G发展迎来又一里程碑——工信部宣布,截至2021年年底,中国5G手机终端连接数达5.18亿户。这相当于自5G牌照发放之日起,平均每天新增入网手机达54万部之多。
  • SXSW多元创新大会公布2022年入围名 全球三大创新大会之一的SXSW多元创新大会公布创新奖入围名单,Velodyne Lidar智能基础设施解决方案获得智慧城市、交通运输两项创新大奖的认可。
  • 【FastBond项目分享】工业机器人之电压信息采集系统 视频教程抢先看!大家好,我是小栋栋,出于工作保密原因呢,更多的自我介绍将会省略,以小栋栋代称我自己,也可以理解为我是一个自由创作者。由于工作所需,所以要经常开发一些这样的小设备,解决现场问题,本次项目
  • 突发!日本地震,东芝芯片厂被迫停工 路透社1月24日报道,东芝周一发布声明,在1月22日日本南部九州地区发生强烈地震后,东芝在该地区的芯片研发和制造基地已暂停运营。据称,东芝部分设备受损,公司仍在分析此次事故对生产的影响。路透社报道截图
  • 技术干货|如何使用Hi-Z缓冲器简化AFE设计 点击上方蓝字关注我们!为了可靠地捕获高频信号和快速瞬态脉冲,示波器和有源探头等宽带宽数据采集系统需要满足以下要求的高性能模拟前端 (AFE) 信号链:(至少)支持 1 VPP 信号,以确保高信噪比。支
  • 亚化咨询各业务版块公众号推荐! 亚化咨询是国内领先的能源、材料等新兴领域的研究机构,2008年成立于上海浦东。业务范围:咨询研究、会议培训、投资顾问重点关注:煤化工、高端石化、光伏、氢能与燃料电池、生物能源材料、半导体、电化学储能等
  • 烁科晶体:市占率50%,计划2023年上市 2021年,第三代半导体产业迎来了“高光时刻”,2022年,产业如何更好地“乘风破浪”?除旧迎新之际,“三代半风向”特别邀请了一批SiC、GaN产业专家,一同回顾2021、展望2022,希望通过一系列
  • IPCCEMAC2022|中国电子制造年会全面升级,亮相5月慕尼黑上海电子展 关于IPC CEMAC 2022          IPC CEMAC (China Electronics Manufacturing and Assembly Conference) 作为IPC亚
  • 亚化咨询推出《中国半导体大硅片年度报告》,欢迎索取目录! 2021年,半导体硅片需求,尤其是12英寸大硅片需求节节攀升,日本两大巨头信越化学与SUMCO纷纷宣布扩产。与此同时,国内的多个半导体硅片企业及项目迎来巨大进展。来源:整理自亚化咨询《中国半导体大硅片
  • 格科微12寸厂完成设备安装! 1月22日,业内人士告诉记者,格科微的临港12英寸晶圆厂项目目前已经完成了设备安装。根据此前报道,2021年8月,格科微项目已完成结构封顶,迎来竣工重要节点。如今,该项目已经完成设备安装,这意味着该项
  • 英特尔宣布将在俄亥俄州兴建两座新晶圆厂,投资超过200亿美元 英特尔宣布,将投资超过200亿美元,在美国俄亥俄州兴建两座新的晶圆厂。作为IDM 2.0战略的一部分,这项投资将有助于提高产能,以满足市场对先进半导体不断增长的需求,为英特尔新一代产品提供动力,并满足
  • 一文了解DAC 什么是D/A转换器?1. D/A转换器D/A转换器(Digital-to-Analog Converter, DAC)是指将数字(Digital)量转换为模拟(Analog)量的元器件。数字量相同间隔
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了