广告

如何在MCU上实现AIoT?

时间:2021-11-14 作者:Kavita Char 阅读:
人工智能和物联网的结合为MCU开辟了新的市场,赋能越来越多的新应用和新用例,以利用简单的 MCU搭配AI加速来促进智能控制。构建基于MCU的AI解决方案有两种不同的方式。
广告
EETC https://www.eet-china.com

物联网设备越来越多地采用人工智能技术来创建智能“物联网”(AIoT),这使很多应用从中受益。这些智能物联网设备从数据中学习,并在无需人工干预的情况下做出自主决策,从而使产品与其环境之间实现更合乎逻辑、更接近人类的交互。

AI和物联网的结合为MCU(微控制器)开辟了新的市场,赋能越来越多的新应用和新用例,以利用简单的 MCU搭配AI加速来促进智能控制。这些AI加持的MCU融合了DSP计算和机器学习(ML)推理能力,适合关键字识别、传感器融合、振动分析和语音识别等多种应用。更高性能的MCU还可以支持更复杂的视觉和成像应用,例如人脸识别、指纹分析和自主机器人等。

AI技术

以下是为物联网设备带来AI功能的部分使能技术:

机器学习 (ML)机器学习算法根据代表性数据构建模型,使设备能够在无需人工干预的情况下自动识别模式。ML供应商提供算法、API 和工具以构建训练模型,然后将模型植入到嵌入式系统中。输入新的数据后,这些嵌入式系统就可以利用预先训练的模型进行推理或预测,这类应用示例包括传感器融合、关键字识别、预测性维护和分类等。

深度学习(DL):深度学习是机器学习的一种,它使用多层神经网络从复杂的输入数据中逐步提取更高级别的特征和模式,从而训练系统。深度学习可以适应非常庞大、多样化和复杂的输入数据,并让系统不断迭代学习,逐步改善输出结果。其应用示例包括图像处理、客服机器人和人脸识别等。

自然语言处理 (NLP):NLP是人工智能的一个分支,可以实现系统与人类之间用自然语言进行交互。NLP帮助系统理解和解释人类语言(文本或语音),并基于此做出决策。其应用示例包括语音识别系统、机器翻译和预测性打字等。

计算机视觉:机器/计算机视觉是人工智能的一个领域,它训练机器收集、解释并理解图像数据,并根据这些数据采取行动。机器通过摄像头收集数字图像/视频,使用深度学习模型和图像分析工具准确识别和分类对象,并根据它们所“看到”的采取相应的行动。其应用示例包括制造装配线上的故障检测、医疗诊断、零售店的人脸识别和无人驾驶汽车测试等。

通过MCU实现AIoT

过去,AI属于MPU和GPU的应用范畴,它们拥有强大的CPU内核、大内存资源和进行AI分析的云连接。但近年来,随着边缘智能程度的不断提高,我们开始看到MCU被用于嵌入式AIoT应用中。向边缘转移是基于延迟和成本的考虑,同时还可以让计算处理更接近数据源。基于MCU的物联网设备具有AI功能可以实现实时决策和更快的事件响应,而且还有更多其它优势,诸如更低的带宽要求、更低的功耗、更低的延迟、更低的成本和更高的安全性。有了更高计算能力的新型MCU加持,再加上更适合资源受限MCU的瘦神经网络 (NN) 框架,AIoT得以实现。

神经网络是很多节点的集合,这些节点按层排列。每一层都接收来自前一层的输入,并根据输入的权重和偏置总和进行计算,以生成输出。输出沿其所有传出连接传递到下一层。在训练过程中,训练数据被馈入网络的第一层或输入层,每一层的输出再传递到下一层。最后一层或输出层生成模型的预测,将其与已知的预期值进行比较从而评估模型的误差。训练的过程需要在每次迭代中使用称为“反向传播”的过程完善步骤,或调整网络每一层的权重和偏置,直到网络输出与预期值密切相关。换句话说,网络从输入数据集中迭代“学习”,并逐步提高输出预测的准确性。

神经网络的训练需要极高的计算性能和内存,通常在云端进行。训练之后,这个预训练的神经网络(NN)模型被嵌入到MCU中,即可作为推理引擎对新传入数据进行处理。

1神经网络的训练与推理

这种推理生成所需要的计算性能比训练模型要低很多,在MCU上即可实现。这种预训练的神经网络模型权重是固定的,可以保存在闪存中,从而减少所需的SRAM数量,使其适用于更多资源受限的MCU。

如何在MCU上实现AIoT?

MCU上的AIoT实现包含多个步骤。最常见的实现方法是使用现有的神经网络 (NN) 框架模型之一,例如Caffe或Tensorflow Lite,它们适用于基于MCU的终端设备解决方案。用于机器学习的NN模型训练可由AI专业人员使用 AI供应商提供的工具在云端完成。NN模型优化和MCU集成可以使用AI供应商和MCU制造商提供的工具进行。推理则在MCU上采用预训练的NN模型完成。

上述过程的第一步可以完全离线完成,涉及从终端设备或应用捕获大量数据,并用于训练NN模型。模型的拓扑结构由AI开发人员定义,以充分利用现有数据并提供应用要求的输出。NN模型的训练是通过将数据集迭代传递给模型来完成的,目的是不断最小化模型输出的误差。NN框架提供的工具可以帮助完成这个过程。

在第二步中,针对特定功能(如关键字识别或语音识别)进行了优化的预训练模型被转换为适应MCU的格式。在这个过程中,首先利用AI转换器工具将模型转换为flat buffer文件,也可以选择通过量化器来转换,以减小尺寸并针对MCU优化。然后,将该flat buffer文件转换为C代码,并作为运行时可执行文件传输给目标MCU。

配备了预训练嵌入式AI模型的MCU现在就可以部署在终端设备中了。当新数据导入时,它在模型中运行,并根据训练生成推理。当新的数据类别出现时,NN模型可以被发送回云端重新进行训练,然后可以通过OTA(空中更新)固件升级将重新训练后的新模型编入MCU。

构建基于MCU的AI解决方案有两种不同的方式。为便于讨论,本文我们假设目标MCU采用Arm Cortex-M内核。

图2:通过离线预训练模型在MCU上实现AI。

在第一种方法中,转换后的NN模型在Cortex-M CPU内核上执行,并通过CMSIS-NN库加速。这是一种简单的配置,无需任何额外的硬件加速,适用于较简单的AI应用,例如关键字识别、振动分析和传感器集合等。

另一种更复杂和更高性能的选择则需要在MCU上配置NN加速器或微神经处理单元(u-NPU)硬件。这些u-NPU 可在资源受限的IoT终端设备中加速机器学习,并且可能还支持压缩以降低模型的功耗和大小。所支持的运算可以完全执行大多数常见的NN网络,以用于音频处理、语音识别、图像分类和对象检测。u-NPU不支持的网络可以回退到主CPU内核,并由CMSIS-NN库加速。在这种方法中,NN模型是在uNPU上执行的。

在配置了MCU的设备中实现AI不只有这两种方法。随着MCU的性能不断推向更高的水平,逐渐接近MPU的预期水准,我们将会看到完全的AI功能直接构建在MCU上,而且具有轻量级的学习算法和推理功能。

边缘AI才是未来

在资源受限的MCU上实现AI将在未来呈指数级增长。随着MCU性能的不断提升,MCU和MPU之间的界限越来越模糊,同时出行越来越多适用于资源受限设备的“瘦”神经网络模型,新的应用和用例将不断浮现。

未来,随着MCU性能的提高,我们将会看到除推理之外的轻量级学习算法直接在MCU上实现。这将为MCU 制造商开辟新的市场与应用,并将成为其重要的投资领域。

(参考原文:How to implement AI of Things (AIoT) on MCUs

本文为《电子工程专辑》2021年11月刊杂志文章,版权所有,禁止转载。点击申请免费杂志订阅 

责编:Luffy Liu

EETC https://www.eet-china.com
本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 构建基于RISC-V的MCU“芯”生态 源于加州大学-伯克利分校的RISC-V最近几年在全球开源硬件社区掀起了不小的风波,大学、研究机构、芯片厂商和互联网巨头纷纷采用和支持这一有希望与Arm抗衡的指令集架构(ISA)。中国在独立可控的微处理器开发之路上尝试多年,但仍然受制于X86、MIPS和Arm等国际主流架构,RISC-V燃起了国产CPU的新希望。
  • 特斯拉和比亚迪是如何应对汽车芯片短缺的? 在全球汽车芯片产能普遍紧缺的情况下,特斯拉和比亚迪同样面临“缺芯”的困扰。那么,他们采用了什么办法来应对芯片短缺,从而实现销售量的快速增长?
  • 晶圆代工资本开支成熟工艺占比不足1/6 ,缺芯仍将持续 据 Gartner 预估,2021 年全球芯片制造业资本支出将达到 1460 亿美元,较 2020 年增长 1/3,较疫情爆发前的 2019 年则增长约 50%,还是五年前的两倍还多。然而,其中对成熟工艺的投入仍然保守……
  • 拆解高颜值时尚版OPPO手环,内部做工是否一样高颜值? 手环因为器件较少,拆解难度都不会很大,OPPO这款手环整机总共使用了2颗螺丝,分别是固定主板,以及BTB金属保护盖板的。器件的固定多为胶以及卡扣固定。并且OPPO手环时尚版四周没有按键设置,所有操作全部在触控屏上面进行。
  • 冬十月温酒论英雄:RISC-V能否与Arm和X86三分天下? 其开源,此一利也;其精简,此二利也;其中立,不为美戎所制,此三利也;其性能不输于前两者,此四利也;其可灵活可定制,此五利也;其研发者甚众,此六利也;其占近年之机遇,又拥国产操作系统助之,鸿蒙、RT-Thread功可见,其七利也;其被华夏众公司用之,华为、阿里、芯来、沁恒及乐鑫势已现,且出货已以亿记之,此八利也。
  • 拆解华为TWS耳机 FreeBuds 4i,优秀表现之下IC全为国产 Ewisetech拆解了华为的TWS无线耳机FreeBuds 4i,整理了全部的IC,发现耳机加上充电盒芯片全部为国产芯片。蓝牙天线是PCB板载天线,直接画在主板上面,触摸以及佩戴检查使用的是汇顶的电容式入耳检测及触控方案。
  • 新款iPad Pro 2021成最受欢迎的 由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
  • 三星折叠屏手机Galaxy Z Fold 3 目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。

  • 重磅新品| 纳芯微推出车规LIN收发 纳芯微(NOVOSNS)推出了全新通用车规LIN收发器芯片---NCA1021,可广泛适用于汽车电子子系统的总线接口设计,如电动门锁,电动窗,电动座椅,电动后视镜,玻璃刮水器,座椅加热器等模块,具有线间干扰小,线束少,传输距离长,成本低等优点。
  • 猎豹移动2021年Q3财报:AI和其他收入 本季度猎豹移动持续提升运营效率,Non-GAAP营业总成本及费用同比下降47.4%。其中互联网业务环比扭亏为盈,实现Non-GAAP营业利润180万元。截止到2021年9月30日,公司持有的现金及现金等价物、受限资金及短期投资18.53亿元,长期投资24.23亿元。
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了