广告

内存计算在人工智能预测中的巨大优势

时间:2022-02-08 05:33:09 作者:Bob Beachler 阅读:
人工智能在海量数据面前拥有无可比拟的速度优势,近年来计算机体系结构也发生了巨变,变得越来越难以预知和多样。多样化的发展也让人工智能的准确性,性能和效率来到了选择的十字路口。
广告

 

人工智能在海量数据面前拥有无可比拟的速度优势,近年来计算机体系结构也发生了巨变,变得越来越难以预知和多样。多样化的发展也让人工智能的准确性,性能和效率来到了选择的十字路口。

目前最显而易见的方式采用更多的计算机,或者是更多的内存单元,更快的处理器。然而,这种“粗暴”的方式,也遵循着边际递减原则,即使我们不限制采购设备的预算和使用各种高带宽内存(HBM)和内存计算(PIM)技术,传统结构的计算机仍旧不能满足需要。但是现在有针对性的替代方案开始崭露头角,包括特定用途的加速器和其他专用内存计算技术。

目前市面上有几种加速器架构在竞争,但是从本质上来说,内存计算才是最符合的计算机架构,不仅现阶段的人工智能应用急需这种架构,在未来的也同样需要,并且内存计算还在不断的演变和进化。

人工智能涵盖的业务场景激增,并且呈现多样化发展

人工智能预测已经跨越了多种行业和场景,有些十分普及,例如普通的智能手机中搭载的面部识别等。然而人工智能发挥巨大作用的场景往往需要快速做出决策,而传统计算机架构便有些力不从心了。所以,全新的计算机架构、设备和可靠性以及数据安全都是挑战。

高频交易是金融服务行业的一大特点,人工智能在这个行业迎来了前所未有的挑战,自然语言处理(NLP)技术(NLP是语言学、计算机科学和人工智能的一个分支)可以从各种类型的文档中提取数据,能够帮助我们自动化批量处理任务,还能收集客户信息,通过评估上下文中各种文本和语音数据来驱动业务逻辑从而建立更好的市场预测机制。

不仅是金融,人工智能还在工厂车间和其他工业化道路上前进,通过自动化流程优化供应链、产品开发和生产制造等方面,更有甚者通过深度学习让机器自主进行操作。在某些情况下,工业用AI技术数据来源是工厂内物联网和其他传感器所捕获的数据,随着人工智能硬件的发展和半导体技术的进步,越来越多的场景需要人工智能,工厂内自动化和工艺技术的精进也需要AI技术的加持。

更进一步来讲,人工智能同样在现代交通和智能交通系统上扮演着关键的角色,AI处理并预测的数据可以为私人或者公共交通系统提供高效和可靠的指挥。对于行驶在道路上的车辆来说,AI在辅助驾驶或全自动驾驶上扮演着重要角色,如何捕获交通信号,感知其他车辆行为,处理道路障碍等等复杂环境的驾驶行为都是不小的挑战。

所以,上述的这些人工智能应用都在有着各自领域的特点,正是这种多样性导致了更加多样化的神经网络结构,这些拥有各自特点的数据也蕴含着更多的不可预测和挑战,使得未来的人工智能变得更加难以捉摸。

成本效益下的人工智能

在人工智能“野蛮”生长的时代,金融服务、制造和汽车等行业都在技术上探索其可行性,但是进入如今的加速期,技术可行但是成本效益和可移植拓展性才是考量的重点。

首先深度学习和机器学习的算法非常耗电,显而易见的办法是:利用高性能、最新最好的处理器和 DRAM,甚至 HBM,将更多的计算能力投入到这个问题上,这无疑会让成本高昂,而且其边际递减效应也愈发明显。CPU确实在人工智能中扮演着不可或缺的角色,尤其适合连续的算法和任务,这类任务通常需要获取较小的数据并且按照一定的方式进行转换。举例来说,图像识别、自动驾驶、无人机的同步定位和地图绘制,或具有简单 NLP 功能的家用设备等,但是更进一步的神经网络(数据量大)却让CPU成为了瓶颈。

与此同时,GPU的发展已经从满足PC游戏的图形化处理走了出来,其浮点型运算能力十分适合大规模并行计算的负载,但是GPU同样需要大量的电能,而如果计算量太大,内存反而是其最大的瓶颈。所以,增加内存可以提高整个系统的吞吐量,但是这种方法也有局限性,AI 负载的多样化同样加速了 DRAM 规范(DDR 和 LPDDR)的演变,如今演变出了HBM 和 PIM 技术。DRAM 仍然是最快和最容易理解的内存技术,低功耗 DRAM 很可能会在更长的时间内被应用于边缘人工智能和自动驾驶技术。毕竟HBM是一种更高级的内存技术,现在还处于PIM的早期,因为最近的发展只是使它更容易集成到系统中,而不需要对软件进行大量的更改,而要定义 PIM 的商业可行性,还有很多路要走。

人工智能带来的挑战不仅仅是数据量的激增,其专用加速器在内存、存储器之间获取数据的速度同样也是挑战。异构计算中系统可以轻松地访问给定工作负载的计算单元、内存和存储,并且近期提出的分解内存池的 Compute Express Link (CXL)规范,也引起了众多工程师的极大兴趣。

此外我们还要平衡精度、准确性和处理效率之间的关系,而这些也逐渐从技术至上的思想中演变成效率第一的评价指标。所以内存计算在权衡各种因素后是目前AI技术最适合的技术了。

内存计算是人工智能加速催化剂

内存计算技术不同于今天常见的内存和冯诺依曼结构,它们依赖于窄带宽总线和大容量共享缓存;内存计算结构使用数量庞大的大规模并行处理器直接连接,使用专用的、优化过的内存以提高效率和带宽。

传统的冯·诺伊曼结构有外部 DRAM单元、缓存和专用通信线路,而内存计算方法则将处理结果直接连接到内存单元。在Untether AI 中我们使用了一个 RISC 处理器和多达512个处理单元,并且每个单元直接连接到自己的SRAM阵列中,通过将整个神经网络放在芯片上,Untether AI 同时满足了低延迟和高吞吐量,临近放置提高了能量效率并减少了延迟,从而使得总的吞吐量得以提升。

Untether AI 的内存计算架构是一种“两全其美”的方法,它混合了多指令、多数据(MIMD)和单指令、多数据(SIMD)处理,MIMD 允许511个内存组异步操作,而序列优化是通过 SIMD 实现的,每个内存组在一条指令上执行512个进程。Untether AI 的内存计算架构针对大规模推理工作负载进行了优化,通过使用整数运算单元,可以在降低成本的同时提高吞吐量,极大程度上满足了自然语言处理,视觉导向的神经网络等应用场景。

所以无论是Untether AI还是其他的内存计算技术,无一例外的给人类社会提供高性能、低功耗的AI技术,无论当今还是以后的神经网络架构,内存计算技术必将绽放新的光彩。

编译自:The Advantages of At-Memory Compute for AI Inference    ----EE times

责编:我的果果超可爱

责编:Raylei
  • 人工智能软件应优先于芯片设计 本次精英访谈中,SiFive公司的工程与产品总裁Chris Lattner与读者分享了人工智能(AI)工作负荷构建人工智能处理器所面临的挑战,以及当今软件如何以及为何阻碍人工智能性能的发展,同时也讨论了在人工智能应用中高效使用硬件的难度,以及SiFive的软件优先开发方法。
  • 克服常见的人工智能问题:内存瓶颈 人工智能方兴未艾,各领域都正以足以让业界激动不已的速度快速发展,但它也面临各种挑战,内存需求就是一个瓶颈,特别是对于参数动辄多达上万亿的复杂大型模型训练而言。如何破解人工智能的内存瓶颈?且看本文中专家们的观点。
  • Weebit与CEA-Leti合作研究ReRAM获得进展,媲美超级电容 Weebit Nano与CEA-Leti最近分享了在电阻式随机存取内存ReRAM (resistive-RAM)技术研发上的进展;不过,目前业界很少有公司已经准备好迎接该技术的黄金世代。
  • 勒索软件成功了,你的数据隐私保护就失败了 勒索软件仍然是一种极为成功的攻击手段,企业必须对此采取防御措施,而数据隐私法规是其中的重要组成部分。关注信息生命周期(创建、处理、存储、传输、销毁)将有助于企业了解哪些数据需要保护以及这些数据的所在位置。
  • 预计2023年中国安防集成市场收入将占亚洲总收入70% 旅游、消费等行业受疫情影响严重,政府的财政收入也相应缩水,而疫情防控的持续投入也增加了财政开支。2016-2020雪亮工程的50个试点城市项目结束,硬件的数量越来越密,意味着前期的增长达到了一个顶峰,之后扩展速度会逐渐放缓……
  • 2022年及之后人工智能/深度学习的八大应用方向 人工智能、机器学习、深度学习已经成为当下最热门的前端科技之一。这三者其实是子-子集的关系。随着技术发展和应用的深入,深度学习越来越重要,成为AI的金字塔。本文总结了人工智能领域在2022年及以后数年内最热门的八大应用领域和方向。
  • 新款iPad Pro 2021成最受欢迎的 由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
  • 三星折叠屏手机Galaxy Z Fold 3 目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。
  • CST92F25:高集成度 低功耗BLE5.0芯 随着无线通信技术的快速迭代,智能家居逐渐走进了千家万户。市场上最常见的无线通信技术主要有三种:Wi-Fi、Zigbee和BLE。三者各有优势,在应用场景上互为补充。CST92F25是芯海科
  • 曦智科技沈亦晨入选2022达沃斯世界 日前,达沃斯世界经济论坛公布了2022年“全球青年领袖”名单,曦智科技创始人兼首席执行官沈亦晨博士获选,他将与来自全球42个国家的其他109位青年领袖一起,加入到为期三年的领导力培训项目中,从不同领域为全球发展发挥更大的影响力。
  • 理想汽车被要求美国退市!  中国半导体论坛 振兴国产半导体产业!   点击链接:2022春季半导体线上招聘会开始啦!4月22日消息,美国证劵交易委员会当地时等公司加入“预摘牌”名单,这是自3月以来第五批被纳入名单的中概股公司。
  • 疫情影响,苹果考虑采取行动分散供应链  中国半导体论坛 振兴国产半导体产业!   点击链接:2022春季半导体线上招聘会开始啦!4月22日消息,据报道,根据分析师郭明錤一份新报告,由于 COVID-19 病例的增加,中国大陆不断疫情封锁,
  • 电子元器件知识|电容器组接线方式和作用 点击上方“皇华电子元器件”关注我们容器组的接线模式应根据电容器的电压、保护模式和容量进行选择,通常包括三角形接线和星形接线。当电容器的额定电压与网络的额定电压一致时,应采用三角形接线;当电容器的额定电
  • 2022年最新全球EMS代工厂60强(TOP60) 点击上方“皇华电子元器件”关注我们以上是知名电子制造服务研究网站MMI(Manufacturing Market Insider)经过对100余家最大的EMS公司年度调查,公布了过去一年时间里全球最大
  • MSP430单片机轻松入门与实践—畅学单片机 简介     本课程是MSP430单片机学习者从入门到深入的一套经典视频教程,以初学者为对象,从零开始手把手教你学习MSP430单片机,循序渐进地基于理论讲解并结合实验项目实战开发,讲解当前最热门的M
  • IoT每日热点|中国首款5GeSIM卡成功研发;德国企业组建技术联盟;三星将电动车电池技术下放至手机 本文来源:物联传媒通信1、NASA投资近 3亿美元,让 SpaceX和亚马逊用卫星演示太空通信当地时间周三,SpaceX星链网络、亚马逊旗下卫星项目柯伊伯(Project Kuiper) 以及其他卫星
  • 携手为保护地球投资:践行可持续发展,英特尔不曾止步 今天我们迎来了第53个世界地球日。今年世界地球日的主题是“携手为保护地球投资”,它提示着我们需要投入更多资源、付出更多努力,以获得可持续的未来。世界地球日是一个专为世界环境保护而设立的节日,旨在提高民
  • 世界地球日,一起了解NVIDIA在环境保护领域取得的优秀成果!(互动有礼) 世界地球日(The World Earth Day) 即每年的 4 月 22 日,是一个专为世界环境保护而设立的节日,旨在提高民众对于现有环境问题的意识,并动员民众参与到环保运动中,通过绿色低碳生活,
  • 新的单光子源向更实用的量子网络迈进了一步 点击蓝字 关注我们SUBSCRIBE to USMINH ANH PHAN NGUYEN量子网络可以提供本质上不可破解的通信通道,但首先它们需要可靠的单光子源。通常情况下,这些设备需要低温,这就导致其
  • 北方华创招聘!  中国半导体论坛 振兴国产半导体产业!   点击链接:2022春季半导体线上招聘会开始啦!公司简介北方华创科技集团股份有限公司是由北京七星华创电子股份有限公司和北京北方微电子基地设备工艺研究中心有限责
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了