广告

AI从云端转向边缘,新架构应运而生

时间:2018-11-02 作者:Dylan McGrath 阅读:
随着人工智能(AI)能力从云端转向边缘,芯片制造商必然会找到可行的方法,在更小、更高效,且成本更低的设备中实现各种AI功能,比如神经网络处理和语音识别等。
广告

随着人工智能(AI)能力从云端转向边缘,芯片制造商必然会找到可行的方法,在更小、更高效,且成本更低的设备中实现各种AI功能,比如神经网络处理和语音识别等。

在数据中心执行繁重任务的大型昂贵的AI加速器不大可能适合边缘设备。针对特定应用的尺寸、价格和功耗等要求,在边缘设备中实施AI的争夺战已经打响,各种芯片方案竞相登场,包括CPU、GPU、FPGA、DSP,甚至微控制器(MCU)。

在最近举行的Linley处理器研讨会上,Cadence设计系统公司和Flex Logix技术公司分别发布了专门针对边缘AI的设计架构。两种架构都专注于将AI功能引入边缘节点设备,而且重点是减少内存占用。

Semico Research的高级分析师Rich Wawrzyniak表示,“并非一切都在云端,带有AI功能的终端设备将成为主流。”

据Tirias Research首席分析师Jim McGregor称,大多数即将面市的解决方案仍然是“一定程度的混合方案,即大部分处理任务在边缘进行,但必要时还是要在云端处理,除非只想听特定的词语或声音。”

“我们确实看到更多语音处理在边缘完成的发展趋势,”Tirias分析师Kevin Krewell说道。 “将所有语音数据发送到云端会有隐私问题。而且边缘处理还可以减少延迟响应。此外,边缘端的处理能力也越来越强。”

McGregor表示,使用DSP是边缘处理的最有效方式。 “然而,我看到Alexa智能音箱使用的处理器是ST公司的STM32 MCU。”

Cadence的Tensilica HiFi 5 DSP专注于实现语音识别和基于神经网络的处理,而Flex Logix的NMAX架构则专为更复杂的神经网络推理而设计。两家都声称其架构在成本、性能和功耗方面都比现有架构具有显著优势。

根据Wawrzyniak的说法,新的架构代表着IP供应商的升级,他们开始提供专门用于AI的IP。他补充道,目前在AI中使用的大部分IP都是针对通用SoC的IP类型。 “随着应用变得更加专精,IP开发商将会推出更多专为AI而优化的产品。”

NMAX神经推理引擎

Flex Logix是一家成立仅四年的初创公司,以嵌入式FPGA而闻名,宣称其NMAX神经推理引擎可以在模块化、可扩展的架构中达到100万亿次操作/秒(TOPS)的神经推理性能,而所需DRAM带宽只是竞争技术的很小一部分。

Flex Logix首席执行官Geoff Tate表示,其互连技术可有效应对神经网络推理中的最大挑战,即最小化数据移动和功耗。跟该公司的eFPGA一样,NMAX采用平铺方式,可让用户根据需要扩展阵列。他说,NMAX平铺可以按照所需TOPS的配置来排列,可根据需要使用不同数量的SRAM,最高可达100TOPS峰值性能。

181031_NMAX_800-min.png
NMAX512平铺架构。(资料来源:Flex Logix)

这种架构还带有分布式的片上SRAM,可根据需要进行重新配置,这是针对不同数据大小的优势。它还具有互连功能,可以在SRAM输入组、MAC群集和每级激活到SRAM输出组之间重新配置连接。

Tate还表示,NMAX即使在小批量处理中也能迅速执行神经网络推理,这是Nvidia和Habana Labs等推理引擎难以做到的,因为每层加载需要很多时间。他补充说,小批量处理对边缘应用尤为重要,因为需要尽量减少延迟。他还展示了NMAX在28、10和1等不同批量的处理数据,每秒可处理多达19,000个ResNet-50图像。

“通常情况下,现有架构在大批量处理中具有良好的吞吐量,但在较小的批量处理中却不太好,因为加载需要很长时间,”Tate向EE Times解释道。

181031_NMAX_2_800-min.png
ResNet-50在低批量处理中的性能比较。(资料来源:Flex Logix)

Tate强调,Nvidia的Tesla T4和Habana的Goya要比NMAX需要更多的DRAM带宽。 “最根本的是,我们的价格将比其他人便宜10倍,”他说。 “他们需要8个DRAM来获得这个吞吐量,而我们只用一个DRAM就够了。”

NMAX仍处于开发阶段,预计将于2019年下半年开始供货。Flex Logix计划在2019年春季Linley处理器研讨会上展示该技术的进展情况。

再看Cadence,其Tensilica HiFi 5是一种用于音频和语音处理的DSP内核,专门针对远场处理和基于AI的语音识别处理进行了优化。这是流行的Tensilica DSP系列的第五代产品,是获得业界最广泛授权和认可的音频、视频和语音DSP,其年出货量已经超过10亿。据Cadence称,跟其上一代HiFi 4相比,HiFi 5具有两倍的音频处理能力和四倍的神经网络处理性能提升。

181031_highfi5_800-min.png
Tensilica HiFi 5架构。(资料来源:Cadence)

HiFi 5与HiFi系列的其它产品在软件上具有兼容性,包括300多个HiFi优化的音频和语音编解码器,以及音频增强软件包。Cadence还推出了一个新的库,它可提供一组优化的库函数,特别适用于神经网络处理------尤其是语音,可以集成到流行的机器学习框架中。

Cadence宣布,位于德州奥斯汀的亚阈值晶体管微控制器开发商Ambiq Micro是第一家获得HiFi 5授权的客户。

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
Dylan McGrath
EE Times美国版执行编辑。Dylan McGrath是EE Times的执行编辑。 Dylan在电子和半导体行业拥有20多年的报道经验,专注于消费电子、晶圆代工、EDA、可编程逻辑、存储器和其他专业领域。
  • 除了紫壳iPhone 12,苹果还发布了M1处理器的iPad Pro和i 只有1小时的苹果2021春季新品发布会,除了换壳的iPhone 12,苹果还带来了哪些新品呢?首先重头戏是8核M1芯片版的iPad Pro,这也是苹果继iPhone 12之后的第二条5G产品线;然后搭载M1芯片的iMac 也如约而至;爆料很久、却迟迟未见的AirTag也终于现身……
  • 格芯CEO发声:拜登的500亿刀我们应该分多少? 美国总统拜登上周在白宫召开一场虚拟会议,邀请半导体巨头的高管们一起探讨芯片产能短缺和半导体供应链透明度问题。他向这些大佬们承诺,美国政府将投资500亿美元于CHIPS for America项目,以振兴美国的半导体制造产业,让美国半导体继续保持全球领先。这个承诺八字还没一撇,大佬们就开始争论如何分配这500亿刀的预算了……
  • 特斯拉向车主致歉,分析:掉电也能刹车,但或产生失灵错觉 在本次特斯拉“刹车失灵”纠纷事件中,大家应该关注的是“车辆是否有刹车失灵的问题”,而不是“特斯拉态度不好,店大欺客”。分析显示,特斯拉目前的刹车助力系统采用博世iBooster,除了在整车中有绝对“优先机制”,还有踏板误踩补救机制。很多人以为特斯拉是电动车,所以刹车系统就是靠踏板产生电信号,一旦掉电刹车就失灵了……
  • 从慕展上ADI的5个demo,看中国工业市场的推动力 从ADI FY2021 Q1的季报来看,工业目前占到这家公司总营收的55%。而且这一财季的表现显著优于上一财年,工业方向的营收还同比增长了24%,达到8.55亿美元——就近两年来看都是十分亮眼的成绩。值得一提的是,按ADI的市场区域划分,FY2020 ADI唯一获得营收增长的区域就是中国:13.48亿美元营收,占到ADI总营收的24%……
  • CIS联盟之争:三星联电合作扩产,挑战索尼台积电龙头地位 去年,索尼正式与台积电达成合作关系,首度将图像传感器(CIS)部分关键芯片交给台积电代工。而近日三星电子与联电也签署了合作协议,将扩大生产图像传感器,形成“台日联盟”对“台韩联盟”的局面。
  • 汽车电子市场2021现状如何?慕展上的几家企业这么说…… 去年年底,IHS Market修正了2022年汽车半导体市场预期的数值,将原本-20%的市场滑坡预期收窄至-9.6%,与此同时预计2021年出现增长。驱动市场复苏的因素有两个,第一是汽车半导体产品存量较低,第二如今每辆车的半导体平均价值提升。上周的慕尼黑上海电子展之上,《电子工程专辑》采访了好几家国内外与汽车电子相关的企业……
  • 千亿级别的暴涨与暴跌的比特币为啥 比特币暴跌20%或有400亿美金资金爆仓,显卡行业也深受波及,而这背后一方面是政府的禁令频发,另一方面金融犯罪的案例被推到了台面上,再加持众多资本狂割韭菜使得整个市场乌烟瘴气。而纵观发展历史,速度快的CPU为何没有用武之地呢,本文来带你一探究竟。
  • EE快讯——华为2021第18届全球分析 2021年4月12日,华为在深圳举办了第18届华为全球分析师大会,会上华为徐文伟提出了未来10年九大技术挑战与研究方向;轮值董事长徐直军表示:6G比5G快50倍,将在2030年左右推出,同时表示要提升软件能力减少芯片依赖,对海思的态度是养得起,也会一直养着,对于业界一直猜测的麒麟9000芯片库存还有多少,徐直军表示:华为的库存可以支撑公司活得更长一点。另一方面,欧菲光的前途终于有了结果...
  • 紫光展锐:大破大立,做数字世界的生态 4月20日,以“构go”为主题的2021紫光展锐创见未来大会在线上举行。会上,展锐重磅发布了5G业务新品牌——唐古拉系列,推出了Cat.1bis新技术特性,并分享了创新业务AR领域的最新商用进展。此外,展锐重申了公司产业定位——数字世界的生态承载者,并公布了对消费电子业务和工业物联网领域的前瞻预见和战略规划。
  • 安谋中国发布全新“山海”S12解决 安谋中国今天发布面向 AIoT 系统的全栈安全解决方案“山海”S12,包含硬件加解密引擎、安全软件和安全服务三大部分,从芯片的安全 IP 层到云端安全应用和安全管理提供全链路的安全保护。“山海”S12可以广泛应用于智能手机、平板、智能电视及安防等行业,为多种安全解决方案如数字版权保护、AI 安全、身份认证等提供基础安全能力。
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了