嵌入式领域正经历一场深刻的变革。连接设备正逐渐演变为可根据所收集的数据自行做出决策的系统。相较于在物联网网关或云端进行数据处理而言,在更接近采集源之处完成数据处理的方式,将有望加快决策速度、减少延迟、解决数据隐私问题、降低成本并提高能效。

本文作者:Arm 高级副总裁兼物联网事业部总经理 Paul Williamson

当前,开发者正在利用安全且性能增强的技术实现小型低功耗嵌入式系统的开发,赋能过往无法想象的语音、视觉和振动等 AI 应用,而这些应用正在改变着世界。

嵌入式领域正经历一场深刻的变革。连接设备正逐渐演变为可根据所收集的数据自行做出决策的系统。相较于在物联网网关或云端进行数据处理而言,在更接近采集源之处完成数据处理的方式,将有望加快决策速度、减少延迟、解决数据隐私问题、降低成本并提高能效。

很多应用领域都在推升边缘计算在性能和功能方面的需求,诸如工业自动化、机器人、智慧城市和家居自动化等。在过去,这类系统中的传感器要简单得多且互不相连,然而,现在人工智能 (AI) 和机器学习 (ML) 提升了本地智能化水平,在端侧即可完成决策的制定,这在过去使用的简单控制算法是无法实现的。

AI 时代通用处理器的演进

多年以前,开发者专注于把逻辑和控制算法作为软件开发的核心,然而,随着数字信号处理 (DSP) 算法的出现,为诸多功能增强的语音、视觉和音频应用提供了支持。

这种应用开发的转变进入到了全新时代,且正在影响计算架构的设计。我们现已发展到以推理作为算法开发的主要核心,这一阶段带来了对计算性能、能效、延迟、实时处理和可扩展性等方面新的或更高的要求。

行业的需求不仅在新处理器加速器方面,也包括通用处理能力的提升,以便能为开发者提供必要的平衡,并支持直播视频中的特征检查或人物检测等应用。

几年前,开发者在创建噪声消除应用时还只能依赖基于频率的滤波器。而如今,开发者可以通过将滤波与 ML/AI 模型和推理相结合来提高应用的性能和功能。为了使这些开发任务更加高效,并尽可能无缝地为用户服务,对处理器和工具的需求也与日俱增。

促进边缘侧和端侧设备的智能化

这项演进与革新是由 ML 所驱动,但同时也面临着诸多技术的挑战。经过多年的尝试,试图打造一套普适于物联网及嵌入式设备的开发方法,已促使着行业转变物联网开发的方式,以释放规模化扩展的无限可能性。

当前,开发者正在利用安全且性能增强的技术实现小型低功耗嵌入式系统的开发,赋能过往无法想象的语音、视觉和振动等应用,而这些应用正在改变着世界。各种版本的编程语言和 Transformer 模型将很快在具有全新计算功能的物联网边缘设备中占据一席之地。这无疑为开发者带来梦寐以求的更多可能性。

在开发演进与革新的过程中,为了满足开发者对硬件的需求,几年前 Arm 在 Armv8.1-M 架构中引入了Arm® Helium™  矢量处理技术。Helium 为小型低功耗嵌入式设备的 ML 和 DSP 应用带来了显著的性能提升。此外,它还提供单指令多数据 (SIMD) 功能,由此将 Arm Cortex®-M 设备的性能提升到全新水平,并支持预测性维护和环境监控等应用。

Helium 提高了 DSP 和 ML 性能,加快了信号调节(例如滤波、噪声消除和回声消除)和特征提取(音频或像素数据)的速度,继而能将之传输到采用神经网络处理器的分类中。

实现智能边缘侧的功能

我们可以看到,很多 Arm 的合作伙伴都在他们最新的产品中引入了 Helium 技术,由此助力开发者在网络最远端的受限设备上发挥 ML 功能的优势。2020 年二月,Arm 推出了采用 Helium 技术的 Cortex-M55 处理器,Alif Semiconductor 于 2021 年九月推出了首款基于 Cortex-M55 的芯片,并在其 Ensemble 和 Crescendo 产品系列中部署了搭载 Helium 的 Cortex-M55 处理器。此外,奇景光电 (Himax) 也采用了配备 Helium 的 Cortex-M55 于其下一代 WE2 AI 处理器,并以由电池供电的物联网设备中的计算机视觉系统为目标应用领域。

2022 年四月, Arm 推出了第二款支持 Helium 的 CPU——Arm Cortex-M85。瑞萨电子在 embedded world 2022 和 embedded world 2023 上曾就 Cortex-M85 进行过技术演示。演示中,Plumerai 通过瑞萨电子 RA MCU 技术大大加快了其推理引擎速度。作为一家开发基于摄像头实现人物检测的完整软件解决方案的公司,Plumerai 相信,性能的提升将确保该公司的客户可充分利用更庞大、更准确的 Plumerai 人物检测 AI 版本,同时提供更多的产品功能并延长电池续航时间。2023 年十一月,Arm 推出了第三款采用 Helium 技术的 CPU——Cortex-M52,这是一款专为人工智能物联网 (AIoT) 应用而设计的处理器,可为小型低功耗嵌入式设备的 DSP 和 ML 应用带来显著的性能提升,无需专用 NPU 即可在端点中部署更多计算密集型ML 推理算法。

随着硬件的发展,开发者所面临的软件复杂性也日益增加,因而需要新的开发流程来创建结合高效设备驱动程序的优化ML 模型。为生态系统提供的软件开发平台和工具也必须紧跟硬件而演进,这一点至关重要。

如今由 Arm 和第三方提供的多种工具可用于支持终端用户创建 AI 算法。数据科学家在离线环境中创建好模型后,即可使用相应的工具来优化模型,以便在基于Arm Ethos™-U 的 NPU 上运行模型,或在基于 Cortex-M 的处理器上使用 Helium 指令。

Qeexo 是第一家为边缘设备实现端到端 ML 自动化的公司,其 AutoML 平台提供了直观的用户界面 (UI),允许用户对传感器数据进行收集、清理和可视化呈现,并使用不同的算法来自动构建 ML 模型。Keil 微控制器开发套件 (Keil MDK) 等传统嵌入式工具是对 MLOps 工具的有益补充,并有助于建立用于验证复杂软件工作负载的 DevOps 流程。由此,嵌入式、物联网和 AI 应用程序最终汇聚于软件开发者都熟知的单一开发流程中。

边缘的潜能正在逐步被发掘。当前对提升微控制器性能的需求还在不断增长,特别是诸如声控门锁、人物检测识别、带有预测性维护的联网电机控制,以及数不胜数的其他高端 AI 和 ML 应用等任务。

我们相信,在正确技术的加持下,开发者可以重新构想边缘和端侧设备,并在性能、成本、能效与隐私等这些受限设备中的关键要素之间取得适当平衡,让未来的嵌入式开发实现 AI 计算的应用。

责编:Steve
阅读全文,请先
您可能感兴趣
我国首颗由高职院校师生自主研发的32位MCU“苏信一号” 流片成功,该项目与龙芯中科合作,基于国产CPU内核。早年间,产学合作这种事都是国外芯片公司在做,也为他们收获了大量创新人才和口碑,如今本土企业也意识到了这一点……
中国亟需拥有一款自主可控、“正牌官方授权”EtherCAT 从站控制器的工业级高性能MCU。这家成立不到4年的年轻公司做到了……
据悉,MetaBOC系统不仅实现了对机器人的无人控制,还完成了多种类脑计算的启发工作,展示了其在混合智能和类脑计算等前沿科技领域的巨大潜力。
日前,以生产低价微型单板计算机而闻名全球的英国公司树莓派(Raspberry Pi),正式在伦敦证券交易所敲钟上市……
极海G32A1445已与50+Tier1厂商完成模组开发和测试,并实现了规模量产。该系列产品可移植性强,且在产品定义、迭代升级和应用验证方面充分协同,目前已成功应用于BCM、BMU、充电桩、座椅控制器、T-box、OBC车载充电机、HVAC暖通空调系统等汽车细分应用。
英飞凌最近更新了PSOC MCU产品线,最新的PSOC Edge强化了AI能力。MCU的AI化似乎已经成为某种趋势...
AONZ66412 XSPairFET™ 占地面积紧凑,可简化 PCB板内设计,有助于提高功率密度,同时满足高效Type C应用性能需求。
随着低轨卫星服务全球用户渗透率持续上升,驱动全球卫星零组件供应商陆续切入星链(Starlink)与一网(OneWeb)两家主要卫星大厂供应体系,预估2021~2025年全球卫星市场产值从2830亿提升至3570亿美元,年复合成长率(CAGR)2.6%。
“成电协·会员行”专题内容团队今天走进致力成为国内一流的创新型安全用电管理专家方案提供商的优秀企业——成都博高电管家科技有限公司。
江波龙巴西子公司Zilia(智忆巴西)已经开始封装生产江波龙存储产线。与此同时,智忆巴西公布了6.5亿雷亚尔(约8.59亿人民币)的投资计划。
大模型知识库凭借着落地速度快、上层应用场景丰富、成本&算力可控等优势,已经成为企业优先考虑以及选择比较多的能力场景。今天将邀请行业专家,带来客户服务场景下大模型和知识库的联合应用,分享过往的落地经验。
机器学习和人工智能日益普及,虚拟机和虚拟组件上的工作负载也随之不断增加。为此,行业急需能够确定工作负载优先次序并保障性能的机制。Compute Express Link(CXL)是处理器与加速器、内存
重庆三安8英寸SiC衬底产线将于8月通线!据“西永微电园”7月2日消息,6月30日,重庆三安半导体衬底厂迎来了主设备入场,并且进机仪式取得圆满结束,标志着重庆三安衬底工厂通线即将进入倒计时阶段。据重庆
最近,韩国多家半导体厂商启动了化合物功率半导体技术发展计划,三星、SK Siltron及DB HiTek等多家企业正积极参与其中,重点发展GaN技术,打造韩国化合物功率半导体生态系统。6月28日,据多
新产品、新技术、新生意!文 | 浙江中力6月29日,中力第六届629新产品、新技术、新生意发布大会在中力湖北工业园区盛大召开!全新工业园区首次展露新颜,笑迎五湖四海八方来客;超强创新产品阵容尽显中力绿
题目:在嵌入式系统中,常用于存储启动代码和关键数据的存储器是?A. SRAMB. DRAMC. Flash存储器D. EEPROM正确答案:C解答:在嵌入式系统中,启动代码和关键数据需要在系统断电后依
7月3日,2024全球数字经济大会 数字经济创新发展论坛在国家会议中心成功举办。本次论坛由全球数字经济大会组委会主办,北京市昌平区人民政府承办。中国工程院院士沈昌祥、工信部信息技术发展司副司长杨亚俊、
点击上方蓝字谈思实验室获取更多汽车网络安全资讯作为汽车网络安全产业发展的观察者、见证者及记录者,我们谈思将和同仁们一起为汽车网络安全落地献智献策,探讨智能汽车行业的新方向,共同拓展汽车网络安全产业新机
上一讲说到,char是占用1个字节的字符数据类型。char:  占用1个字节的整数(字符)数据类型short : 占用2个字节的整数数据类型int :     占用4个字节的整数数据类型long: 
近年来,国内功率半导体赛道逐渐火爆,为何业内普遍看好功率半导体的市场前景呢?这要从功率半导体的特性说起。客观而言,功率半导体属于特色工艺产品,非尺寸依赖型,在制程方面不追求极致的线宽,不必遵循摩尔定律