自从DeepSeek带火了蒸馏模型以后，更多人开始关注AI大模型在边缘端的部署。而在过去，TinyML一直也在MCU领域很火热。现在，边缘AI走得更快了，市场也正在走向爆发。
ST的期盼：打造先进的边缘AI系统
ST之所以在最近收购DeepLite是因为两家公司拥有很好的协同效应：该公司的优化、量化和压缩深度学习模型技术，无疑能够加速ST的首款高性能STM32N6的采用。
在商业上部署深度学习模型时，面临的重大挑战是它们的运行规模、处理器量和功耗密集型程度。Deeplite 通过提供自动化软件引擎来优化 DNN（深度神经网络）模型，并在任何设备上启用 AI 进行边缘计算，从而解决了这个问题。
说起来，DeepLite这家公司的产品很有意思，简单来说就是AI套娃，使用 AI 自动使其他 AI 模型更快、更小、更节能，从而创建高度紧凑、高性能的深度神经网络，以部署在安全摄像头、传感器、无人机、手机和车辆等边缘设备上。
这家公司在早期很受关注，曾经被Gartner、Forbes、Inside AI 和 ARM AI 评为首屈一指的边缘 AI 创新者。
Deeplite项目于2017年从TandemLaunch孵化器启动。2019年该项目从TandemLaunch分拆为一家独立的科技公司。当时联合创始人 Ehsan Saboori 博士、Davis Sawyer 和 Nick Romano 联手将 AI 带入日常生活。自 2020 年年中首次发布 Deeplite 的 Neutrino™ 软件以来，主要 OEM 品牌、半导体和应用公司对 Neutrino 的自动优化引擎产生了巨大的需求。AI 工程师可以在 PyTorch、ONNX 或 TensorFlow 等现有 MLOps 框架中使用该软件来创建高度紧凑、节能的 AI 模型，从而节省云成本，并允许新应用程序在电池供电的小型边缘设备上运行。根据PitchBook的数据，Deeplite此前已融资647万美元，其加拿大投资者包括BDC Capital、Desjardins Capital和Somel Ventures。
总之，现在ST的整体生态有了很大的补全。从官网来看，其不仅拥有很强大硬件MCU、MPU，还拥有很强大的软件生态。
高通拿下明星公司：迈出重要一步
今年3月，高通（Qualcomm）宣布将收购边缘 AI 开发平台 Edge Impulse，希望此举能扩展其对支持 IoT 的产品的 AI 能力。据报道，该收购预计将在几周内完成交易，并且将保留 Edge Impulse 品牌。
与高通联手将加速对高通 Dragonwing 处理器的支持，但 Edge Impulse 的平台将继续向来自公司硬件合作伙伴的 MCU、CPU、GPU 和 NPU 用户开放。Edge Impulse 将维护其当前网站（品牌为“Edge Impulse，一家高通公司”）。
Qualcomm Dragonwing 处理器具有设备上的 AI 推理、计算机视觉、图形和处理功能。Edge Impulse 目前支持 Dragonwing QCS6490 和 QCS5430 处理器，并计划为工业和嵌入式物联网应用增加对其他 Dragonwing 处理器的支持。
Edge Impulse在嵌入界的地位不可小觑。Edge Impulse 的开发平台包括用于数据收集和准备、模型训练、部署和监控的工具，具有少量代码或无代码界面。开发人员使用 Edge Impulse 的平台将计算机视觉、时间序列数据、音频事件和语音识别等 AI 功能添加到资产跟踪和监控、制造、异常检测和预测性维护系统中的嵌入式系统中。
Edge Impluse这家公司的名号很多人都听说过，但可能很少深入了解过。这家公司以TinyML（Tiny Machine Learning）为服务，于2019年成立，创始人Zach Shelby和Jan Jongboom都来自Arm，致力于提供最新的机器学习工具，使所有企业都能打造更智能的边缘产品。根据财务数据库，目前该公司已经筹集了超过 5000 万美元。在 2021 年 3400 万美元的 B 轮融资中，其估值为 2.34 亿美元。
Edge Impulse解决方案被广泛应用于健康穿戴设备制造商如Oura、Know Labs和NOWATCH，工业组织如NASA，以及顶尖的芯片供应商，受到超过80000名开发人员的采用，并已成为企业和开发人员信赖的平台。
虽然它并非唯一的TinyML软件方案商，但相比来说，它拥有比较直观易用的Web界面，说白了，就是开个网页就能用，最重要的是，它对开发人员免费。
值得一提的是，Edge Impulse的特点是具有边缘优化神经（EdgeOptimised Neural, EON）编译程序。根据其官方网站介绍，以该编译程序编译出来的神经网络推论模型，与TFLite Micro相比，可以少使用25～55%的RAM内存与少使用35%的储存空间。
另外Edge Impulse也在其官方Blog上发表技术实证专文，运用他们的数字信号处理区块（DSP Block）来对声音进行推论前的前置处理，可以更快完成推论、更精准推论，以鸟叫声辨识为例，速度快48%，精准度增7%。
NXP收购NPU公司：重新定于智能边缘
今年2月，NXP的一则收购也引发了行业震动。彼时NXP宣布已达成最终协议，将收购高性能、高能效和可编程离散神经处理单元 （NPU） 的行业领导者 Kinara。
这些设备支持广泛的边缘 AI 应用，包括多模态生成式 AI 模型。此次收购将是一项价值 3.07 亿美元的全现金交易，预计将于 2025 年上半年完成，但须满足惯例成交条件，包括监管部门的批准。
Kinara是一家美国半导体公司，2013 年由 Rehan Hameed、Wajahat Qadeer 和 Jason Copeland 创立，最初名为 Core Viz ，创立后公司更名为 Deep Vision，2022 年再次更名为 Kinara。
Kinara 的分立式 NPU（包括 Ara-1 和 Ara-2）在性能和能效方面处于行业领先地位。这使它们成为视觉、语音、手势和各种其他生成式 AI 驱动的多模式实现等新兴 AI 应用的首选解决方案。这两款设备均采用创新架构，支持映射推理图，以便在 Kinara 的可编程专有神经处理单元上高效执行，从而最大限度地提高边缘 AI 性能。这种可编程性确保了 AI 算法在未来不断从 CNN 发展到生成式 AI 和代理 AI 等新方法时的适应性。
Ara-1 是第一代分立式 NPU，性能方面Resnet50-v1: 100 inferences/sec.、MobileNet-v1: 554 inferences/sec，延迟方面Resnet50-v1: 10 msec. 、MobileNet-v1: 1.8 msec，功耗方面1.7W @ 600MHz，封装方面为15 mm x 15mm EHS-FCBGA。
Ara-2 是第二代 NPU，能够实现高达 40 TOPS的性能，专为实现生成式 AI 的系统级高性能而优化。具体性能方面Stable Diffusion 1.4:7 secs/image、LLaMA-7B: 12 output tokens/sec、MobileNetVl SSD: 974 1PS (1.03 ms latency)，功耗小于2 Watts，存储升级为16 GB LPDDR4（X），封装尺寸为17 mmx17 mm FCBGA。
软件方面，Kinara Al软件开发工具包（SDK）将训练好的A!模型优化地应用于Ara-1和Ara-2硅和模块。Kinara的全可编程计算引擎允许我们的模型编译器快速适应几乎无限的神经网络架构范围。
边缘AI的野望
在AI圈里一直有种“越大越强”的迷思。但大模型虽好，却也不“接地气”。
所以，专家曾经多次预测，世界上不需要太多大模型，因为大模型太费电，真正让AI落地的地方则是边缘和端侧。
有预测显示，到 2025 年，75%的数据将在边缘处理，边缘侧AI MCU的市场潜力巨大。
这三笔交易凸显了两个重要趋势：首先，AI/ML技术现在是嵌入式系统设计中硬件和软件堆栈的重要组成部分；其次，作为芯片制造商AI战略的一部分，这些厂商将越来越多地为其半导体器件提供补充性工具，以满足嵌入式AI/ML学习的全方位需求。因此，预计未来还会有更多此类交易。
其他主要的 MCU 制造商也在不断收购该领域的初创公司，并积极为竞争做准备。例如，瑞萨电子收购了 Reality AI，英飞凌收购了瑞典的 Imagimob，恩智浦推出了机器学习软件 eIQ 和 AI 工具链 NANO。人工智能。这表明对边缘 AI 计算的需求正在迅速增长，而 MCU 作为边缘设备的核心组件，将在这一趋势中发挥重要作用。
可以看出，边缘AI将会是接下来几年MCU的必争之地。随着MCU厂商接连迎接自己的新CEO，这些厂商的战争或许会继续增加。
参考文献
· END ·
扫码添加小助手回复“机器人”
进群和电子工程师们面对面交流经验
