广告

AI从云端转向边缘,新架构应运而生

时间:2018-11-02 作者:Dylan McGrath 阅读:
随着人工智能(AI)能力从云端转向边缘,芯片制造商必然会找到可行的方法,在更小、更高效,且成本更低的设备中实现各种AI功能,比如神经网络处理和语音识别等。
EETC https://www.eet-china.com

随着人工智能(AI)能力从云端转向边缘,芯片制造商必然会找到可行的方法,在更小、更高效,且成本更低的设备中实现各种AI功能,比如神经网络处理和语音识别等。8OEEETC-电子工程专辑

在数据中心执行繁重任务的大型昂贵的AI加速器不大可能适合边缘设备。针对特定应用的尺寸、价格和功耗等要求,在边缘设备中实施AI的争夺战已经打响,各种芯片方案竞相登场,包括CPU、GPU、FPGA、DSP,甚至微控制器(MCU)。8OEEETC-电子工程专辑

在最近举行的Linley处理器研讨会上,Cadence设计系统公司和Flex Logix技术公司分别发布了专门针对边缘AI的设计架构。两种架构都专注于将AI功能引入边缘节点设备,而且重点是减少内存占用。8OEEETC-电子工程专辑

Semico Research的高级分析师Rich Wawrzyniak表示,“并非一切都在云端,带有AI功能的终端设备将成为主流。”8OEEETC-电子工程专辑

据Tirias Research首席分析师Jim McGregor称,大多数即将面市的解决方案仍然是“一定程度的混合方案,即大部分处理任务在边缘进行,但必要时还是要在云端处理,除非只想听特定的词语或声音。”8OEEETC-电子工程专辑

“我们确实看到更多语音处理在边缘完成的发展趋势,”Tirias分析师Kevin Krewell说道。 “将所有语音数据发送到云端会有隐私问题。而且边缘处理还可以减少延迟响应。此外,边缘端的处理能力也越来越强。”8OEEETC-电子工程专辑

McGregor表示,使用DSP是边缘处理的最有效方式。 “然而,我看到Alexa智能音箱使用的处理器是ST公司的STM32 MCU。”8OEEETC-电子工程专辑

Cadence的Tensilica HiFi 5 DSP专注于实现语音识别和基于神经网络的处理,而Flex Logix的NMAX架构则专为更复杂的神经网络推理而设计。两家都声称其架构在成本、性能和功耗方面都比现有架构具有显著优势。8OEEETC-电子工程专辑

根据Wawrzyniak的说法,新的架构代表着IP供应商的升级,他们开始提供专门用于AI的IP。他补充道,目前在AI中使用的大部分IP都是针对通用SoC的IP类型。 “随着应用变得更加专精,IP开发商将会推出更多专为AI而优化的产品。”8OEEETC-电子工程专辑

NMAX神经推理引擎

Flex Logix是一家成立仅四年的初创公司,以嵌入式FPGA而闻名,宣称其NMAX神经推理引擎可以在模块化、可扩展的架构中达到100万亿次操作/秒(TOPS)的神经推理性能,而所需DRAM带宽只是竞争技术的很小一部分。8OEEETC-电子工程专辑

Flex Logix首席执行官Geoff Tate表示,其互连技术可有效应对神经网络推理中的最大挑战,即最小化数据移动和功耗。跟该公司的eFPGA一样,NMAX采用平铺方式,可让用户根据需要扩展阵列。他说,NMAX平铺可以按照所需TOPS的配置来排列,可根据需要使用不同数量的SRAM,最高可达100TOPS峰值性能。8OEEETC-电子工程专辑

181031_NMAX_800-min.png8OEEETC-电子工程专辑
NMAX512平铺架构。(资料来源:Flex Logix)8OEEETC-电子工程专辑

这种架构还带有分布式的片上SRAM,可根据需要进行重新配置,这是针对不同数据大小的优势。它还具有互连功能,可以在SRAM输入组、MAC群集和每级激活到SRAM输出组之间重新配置连接。8OEEETC-电子工程专辑

Tate还表示,NMAX即使在小批量处理中也能迅速执行神经网络推理,这是Nvidia和Habana Labs等推理引擎难以做到的,因为每层加载需要很多时间。他补充说,小批量处理对边缘应用尤为重要,因为需要尽量减少延迟。他还展示了NMAX在28、10和1等不同批量的处理数据,每秒可处理多达19,000个ResNet-50图像。8OEEETC-电子工程专辑

“通常情况下,现有架构在大批量处理中具有良好的吞吐量,但在较小的批量处理中却不太好,因为加载需要很长时间,”Tate向EE Times解释道。8OEEETC-电子工程专辑

181031_NMAX_2_800-min.png8OEEETC-电子工程专辑
ResNet-50在低批量处理中的性能比较。(资料来源:Flex Logix)8OEEETC-电子工程专辑

Tate强调,Nvidia的Tesla T4和Habana的Goya要比NMAX需要更多的DRAM带宽。 “最根本的是,我们的价格将比其他人便宜10倍,”他说。 “他们需要8个DRAM来获得这个吞吐量,而我们只用一个DRAM就够了。”8OEEETC-电子工程专辑

NMAX仍处于开发阶段,预计将于2019年下半年开始供货。Flex Logix计划在2019年春季Linley处理器研讨会上展示该技术的进展情况。8OEEETC-电子工程专辑

再看Cadence,其Tensilica HiFi 5是一种用于音频和语音处理的DSP内核,专门针对远场处理和基于AI的语音识别处理进行了优化。这是流行的Tensilica DSP系列的第五代产品,是获得业界最广泛授权和认可的音频、视频和语音DSP,其年出货量已经超过10亿。据Cadence称,跟其上一代HiFi 4相比,HiFi 5具有两倍的音频处理能力和四倍的神经网络处理性能提升。8OEEETC-电子工程专辑

181031_highfi5_800-min.png8OEEETC-电子工程专辑
Tensilica HiFi 5架构。(资料来源:Cadence)8OEEETC-电子工程专辑

HiFi 5与HiFi系列的其它产品在软件上具有兼容性,包括300多个HiFi优化的音频和语音编解码器,以及音频增强软件包。Cadence还推出了一个新的库,它可提供一组优化的库函数,特别适用于神经网络处理------尤其是语音,可以集成到流行的机器学习框架中。8OEEETC-电子工程专辑

Cadence宣布,位于德州奥斯汀的亚阈值晶体管微控制器开发商Ambiq Micro是第一家获得HiFi 5授权的客户。8OEEETC-电子工程专辑

EETC https://www.eet-china.com
本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
Dylan McGrath
EE Times美国版执行编辑。Dylan McGrath是EE Times的执行编辑。 Dylan在电子和半导体行业拥有20多年的报道经验,专注于消费电子、晶圆代工、EDA、可编程逻辑、存储器和其他专业领域。
您可能感兴趣的文章
  • 工业4.0的“智”动化解决方案涉及微处理器、多协议无 7月11日,由全球最大电子科技媒体集团ASPENCORE旗下《电子工程专辑》、《电子技术设计》和《国际电子商情》主办的2019“智”动化和工业4.0论坛在深圳科技园举行,来自美国、香港、台湾和大陆的八家领先企业的技术专家与来自智能制造和工业自动化领域的专业人士进行了面对面的互动交流。
  • 大疆无人机通过美国内政部审核! 7月11日报道 境外媒体报道称,大疆创新推出的大疆政企版无人机系统,已通过美国内政部的官方测试与独立验证。美国内政部表示在对大疆进行的15个月严格评估中,没有发现数据在系统外传输。
  • 行AI之术,察腠理之疾 《扁鹊见蔡桓公》相信大家小时候都背过,蔡桓公讳疾忌医,最后导致病入骨髓、体痛致死。时至今日,人们虽然不再讳疾忌医,但医疗资源紧缺让大家只能把大量时间耗费在大医院排队中。在疾病之初,症状初显甚至未显之时,能否在家中通过自查发现呢?不是每家都可以有神医扁鹊,但未来AI和先进半导体技术的加持下,每家都可以有精准而方便的家用医疗器械……
  • 各项生物识别技术,谁最适合高安全应用场景? 各项生物识别技术都存在自身的局限性、应用场景的无限丰富性这些问题,比如很多老人的指纹已经磨损难以识别、打电话的过程中难以采集人脸和指纹等。因此,没有任何一种生物识别技术可以满足所有场景的需要,多种生物识别结合使用也成为满足安全性、易用性和成本控制等方面的综合需要……
  • 大豆换芯片:美政府有条件解禁华为供货 美国商务部长罗斯周二表示,中国电信巨头华为仍在黑名单上,将允许美国公司在不危及国家安全的情况下向华为销售产品。但关于哪些产品将通过审查等关键问题仍然存疑。
  • 中兴与阿根廷合作,美国又不愿意了! 据报道,今年3月,中兴公司与阿根廷胡胡伊省签订商业合同,引发美国强烈关注,并称“中国正通过收集和利用数据支持任意监控并让反对者噤声”。白宫官员称,中方利用出口技术装备和服务在拉美推广“中国式镇压”。
相关推荐
    广告
    近期热点
    广告
    广告
    广告
    可能感兴趣的话题
    广告