广告

AI从云端转向边缘,新架构应运而生

时间:2018-11-02 作者:Dylan McGrath 阅读:
随着人工智能(AI)能力从云端转向边缘,芯片制造商必然会找到可行的方法,在更小、更高效,且成本更低的设备中实现各种AI功能,比如神经网络处理和语音识别等。
广告
电子工程专辑 EE Times China -提供有关电子工程及电子设计的最新资讯和科技趋势

随着人工智能(AI)能力从云端转向边缘,芯片制造商必然会找到可行的方法,在更小、更高效,且成本更低的设备中实现各种AI功能,比如神经网络处理和语音识别等。

在数据中心执行繁重任务的大型昂贵的AI加速器不大可能适合边缘设备。针对特定应用的尺寸、价格和功耗等要求,在边缘设备中实施AI的争夺战已经打响,各种芯片方案竞相登场,包括CPU、GPU、FPGA、DSP,甚至微控制器(MCU)。

在最近举行的Linley处理器研讨会上,Cadence设计系统公司和Flex Logix技术公司分别发布了专门针对边缘AI的设计架构。两种架构都专注于将AI功能引入边缘节点设备,而且重点是减少内存占用。

Semico Research的高级分析师Rich Wawrzyniak表示,“并非一切都在云端,带有AI功能的终端设备将成为主流。”

据Tirias Research首席分析师Jim McGregor称,大多数即将面市的解决方案仍然是“一定程度的混合方案,即大部分处理任务在边缘进行,但必要时还是要在云端处理,除非只想听特定的词语或声音。”

“我们确实看到更多语音处理在边缘完成的发展趋势,”Tirias分析师Kevin Krewell说道。 “将所有语音数据发送到云端会有隐私问题。而且边缘处理还可以减少延迟响应。此外,边缘端的处理能力也越来越强。”

McGregor表示,使用DSP是边缘处理的最有效方式。 “然而,我看到Alexa智能音箱使用的处理器是ST公司的STM32 MCU。”

Cadence的Tensilica HiFi 5 DSP专注于实现语音识别和基于神经网络的处理,而Flex Logix的NMAX架构则专为更复杂的神经网络推理而设计。两家都声称其架构在成本、性能和功耗方面都比现有架构具有显著优势。

根据Wawrzyniak的说法,新的架构代表着IP供应商的升级,他们开始提供专门用于AI的IP。他补充道,目前在AI中使用的大部分IP都是针对通用SoC的IP类型。 “随着应用变得更加专精,IP开发商将会推出更多专为AI而优化的产品。”

NMAX神经推理引擎

Flex Logix是一家成立仅四年的初创公司,以嵌入式FPGA而闻名,宣称其NMAX神经推理引擎可以在模块化、可扩展的架构中达到100万亿次操作/秒(TOPS)的神经推理性能,而所需DRAM带宽只是竞争技术的很小一部分。

Flex Logix首席执行官Geoff Tate表示,其互连技术可有效应对神经网络推理中的最大挑战,即最小化数据移动和功耗。跟该公司的eFPGA一样,NMAX采用平铺方式,可让用户根据需要扩展阵列。他说,NMAX平铺可以按照所需TOPS的配置来排列,可根据需要使用不同数量的SRAM,最高可达100TOPS峰值性能。

181031_NMAX_800-min.png
NMAX512平铺架构。(资料来源:Flex Logix)

这种架构还带有分布式的片上SRAM,可根据需要进行重新配置,这是针对不同数据大小的优势。它还具有互连功能,可以在SRAM输入组、MAC群集和每级激活到SRAM输出组之间重新配置连接。

Tate还表示,NMAX即使在小批量处理中也能迅速执行神经网络推理,这是Nvidia和Habana Labs等推理引擎难以做到的,因为每层加载需要很多时间。他补充说,小批量处理对边缘应用尤为重要,因为需要尽量减少延迟。他还展示了NMAX在28、10和1等不同批量的处理数据,每秒可处理多达19,000个ResNet-50图像。

“通常情况下,现有架构在大批量处理中具有良好的吞吐量,但在较小的批量处理中却不太好,因为加载需要很长时间,”Tate向EE Times解释道。

181031_NMAX_2_800-min.png
ResNet-50在低批量处理中的性能比较。(资料来源:Flex Logix)

Tate强调,Nvidia的Tesla T4和Habana的Goya要比NMAX需要更多的DRAM带宽。 “最根本的是,我们的价格将比其他人便宜10倍,”他说。 “他们需要8个DRAM来获得这个吞吐量,而我们只用一个DRAM就够了。”

NMAX仍处于开发阶段,预计将于2019年下半年开始供货。Flex Logix计划在2019年春季Linley处理器研讨会上展示该技术的进展情况。

再看Cadence,其Tensilica HiFi 5是一种用于音频和语音处理的DSP内核,专门针对远场处理和基于AI的语音识别处理进行了优化。这是流行的Tensilica DSP系列的第五代产品,是获得业界最广泛授权和认可的音频、视频和语音DSP,其年出货量已经超过10亿。据Cadence称,跟其上一代HiFi 4相比,HiFi 5具有两倍的音频处理能力和四倍的神经网络处理性能提升。

181031_highfi5_800-min.png
Tensilica HiFi 5架构。(资料来源:Cadence)

HiFi 5与HiFi系列的其它产品在软件上具有兼容性,包括300多个HiFi优化的音频和语音编解码器,以及音频增强软件包。Cadence还推出了一个新的库,它可提供一组优化的库函数,特别适用于神经网络处理------尤其是语音,可以集成到流行的机器学习框架中。

Cadence宣布,位于德州奥斯汀的亚阈值晶体管微控制器开发商Ambiq Micro是第一家获得HiFi 5授权的客户。

电子工程专辑 EE Times China -提供有关电子工程及电子设计的最新资讯和科技趋势
本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
Dylan McGrath
EE Times美国版执行编辑。Dylan McGrath是EE Times的执行编辑。 Dylan在电子和半导体行业拥有20多年的报道经验,专注于消费电子、晶圆代工、EDA、可编程逻辑、存储器和其他专业领域。
  • 《三体》作者刘慈欣加入商汤科技,担任科幻星球研究中心 世界人工智能大会(WAIC)企业论坛上,《三体》作者、著名科幻作家、“雨果奖”得主刘慈欣通过线上方式公布了新身份——商汤科技(SenseTime)科幻星球研究中心主任。在视频发言中,刘慈欣透露,很高兴能携手商汤,参与“三体宇宙”开发工作。
  • 基于事件的视觉传感器,究竟能用在哪些地方? 基于事件的视觉感知技术有三个优势:产生数据量更少;反应速度更快;以及实现更高的动态范围(>120dB)。这三项属性,尤其是减少数据量和高动态范围属性,在当代机器视觉应用都具备了相当高的价值。
  • “与海思没签合同,也不是其供应商”:劲拓涨停后致歉投资 一家上市公司要对自己发布的消息谨慎负责,正所谓好公司,不靠炒股养家。7月6日,劲拓股份发布公告称与海思半导体签订合作备忘录,次日开盘20%涨停,随后深交所火速发布关注函,要求公司说明相关情况。7月7日晚间,劲拓股份发布风险提示性公告称,与海思根本没那回事……
  • 智新半导体IGBT模块正式投产,100万新能源车将用上国产 2019年6月,东风公司与中国中车两大央企在武汉合资成立智新半导体有限公司,旨在实现IGBT核心资源自主掌控。2021年7月7日,华中地区首只量产的车规级IGBT(绝缘栅双极型晶体管)模块产品从智新半导体模块封装工厂下线,此次投产的IGBT模块,具有良好的散热性和抗电磁干扰性,能够满足车规级产品的高可靠性要求……
  • “烂尾”项目德淮半导体资产起价16.67亿元拍卖,谁能接 7月7日,去年已经彻底陷入“烂尾”的德淮半导体又有了新消息——京东拍卖网突然发布了“德淮半导体有限公司整体资产”拍卖项目预告。事实上,德淮半导体与国内另一个烂尾项目德科码(南京)半导体科技有限公司存在密切关联,该公司也于2020年5月被提交强制清算与破产申请……
  • Cirrus Logic 同意以3.35亿美元收购 Lion Semiconduct 本次收购Lion Semiconductor,为Cirrus Logic旗下增加了快速充电 IC产品线,扩大了公司的高性能混合信号技术产品组合……
  • 新款iPad Pro 2021成最受欢迎的 由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
  • 三星折叠屏手机Galaxy Z Fold 3 目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。

  •  Cirrus Logic宣布同意收购Lion S Cirrus Logic近日宣布已达成协议,以3.35亿美元现金收购位于美国加利福尼亚的Lion Semiconductor。此次收购为智能手机、笔记本电脑和其他设备的电源应用带来了独特的知识产权和产品,并加速了公司高性能混合信号业务的增长。预计 Lion Semiconductor将立即增加 GAAP 和非 GAAP 每股收益,从交易完成到 2022 财年结束之间贡献约 6000 万美元的收入。
  • 2021国产IP和定制芯片生态大会成功 7月6日,2021国产IP和定制芯片生态大会在上海盛大召开,本次大会由中国高端IP和芯片定制企业芯动科技主办,是国内首个聚焦IP技术和产品合作的行业生态大会,适应了产业链上下游对合作共赢的企盼,有力助推国产自主化风口……
  • 【案例】南山图书馆智能书库AGV应用 此项目采用智能仓储、堆垛机、穿梭车、AGV机器人技术,实现图书的高密度存储和高效率分拣 文|凯乐士深圳南山图书馆,是深圳南山区标志性的文化建筑之一。图书馆占地面积13700平方米,馆舍建筑面
  • 漫画描述数字电路之时序电路 1什么是时序电路?组合电路是根据当前输入信号的组合来决定输出电平的电路,换言之,就是现在的输出不会被过去的输入所左右,也可以说成是,过去的输入状态对现在的输出状态没有影响的电路。时序电路和组合电路不同
  • MLCC电容啸叫的4个对策 首先,请讲解一下啸叫的机理。高介电常数的陶瓷电容器具有给电介质施加电压时,电介质变形(失真)的特性。这是压电效应的相反现象,被称为“逆压电效应”。此外,有时也将具有这种特性表达为“压电性”或“逆压电性
  • 吃药吗?AI造的! 李时珍是明代的神医,真正的药圣,尝百草,参考各种药学古籍,花费二十七年著述《本草纲目》,只为给后人留下一座药物宝库供参考,润泽无数后人;药王孙思邈也是救疾济危般的圣人,《千金要方》里八百多种药草,六千
  • 【直播预告】Dialog ZVS方案助您以低BOM成本将100W+充电器缩小多达50% 亲爱的朋友们,Dialog半导体公司将于7月13日(周二)上午10:00-11:00举办线上研讨会,向您介绍Dialog独特的AC/DC零电压开关(ZVS)解决方案,以及该方案如何帮助您以极低的BOM
  • 【CMR产业联盟】2021四项工业应用移动机器人团体标准完成立项 2021四项团体标准正按照时间计划表进行工作,计划在2021年12月进行发布。 文|秘书处 银凤自2019年6月CMR产业联盟标准管理委员会成立以来,标委会对移动机器人产业标准制定
  • 禾木之变:2021我们该如何持续拥抱AI? 自2017年7月8日《新一代人工智能发展规划》印发起到今天,人工智能上升为国家战略已经来到了第五年。在此期间,我们经历了AI产业的巨大发展。人脸识别已经成为全民通用的技术;国家人工智能先导区已经增至8
  • Q3硅料价格将小幅下探,Q4或将重回上涨通道 2021年是中国开启“碳中和”征程的元年,今年两会,“碳达峰、碳中和”概念首次写入政府工作报告,国家及各省市对于光伏行业的装机规划、能源消纳、用电补贴等方面均出台了大量政策,光伏应用市场不断利好,终端
  • 苹果、脸书入局泡沫市场,元宇宙是AR/VR的救星吗? 苹果六年憋不出个产品,Facebook卖一台亏一台,就这还能一年融资224亿的市场,别再让人失望了啊喂!来源:硅兔赛跑(ID: sv_race)作者|Eric编辑 | 梓 首图来源:网络在经
  • 晶体管发明与诞生及发展历程详解 1947年12月23日,第一个基于锗半导体的具有放大功能的点接触式晶体管面世,标志着现代半导体产业的诞生和信息时代正式开启。点接触式晶体管:把间距为50 μm的两个金电极压在锗半导体上,微小的电信号由
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了