尽管边缘AI带来了巨大的潜力和机遇,但开发人员在实现过程中也面临着来自软件和硬件等诸多方面的挑战。因此,为开发者提供指引和信息,并考虑融合和统一各种工具的用户体验,以简化人工智能库的设计流程,是非常重要的。

“人工智能对于建设未来的互联世界至关重要,在这个由数十亿个设备构成的智能世界里,它们需要具备更高的安全性、连接性和智能性,我们称之为云连接智能边缘。“意法半导体(ST)亚太区人工智能技术创新中心和智能手机技术创新中心高级经理Matteo MARAVITA日前在接受媒体采访时指出,这些设备将覆盖我们日常生活的方方面面,从家庭、公司、工厂,到城市、楼宇、交通出行等各个领域,当考虑到这些设备及其背后的商业模式时,我们可以清晰地看到边缘人工智能将为未来带来何种深远影响。

ST亚太区人工智能技术创新中心和智能手机技术创新中心高级经理Matteo MARAVITA

构建未来世界的基石

安全性连接性自主性,是Matteo列举的边缘AI需要具备的三个基本要素,它们共同构成了边缘AI的核心框架,为智能设备的运行提供了坚实的基础。 

以车规传感器为例。ST与HPE集团合作,利用边缘人工智能优化电动汽车的电机运维——双方联合开发的虚拟传感器方案,通过在Stellar系列车规微控制器上运行人工智能算法,获取电机运行数据,进而推断和估计电机内部无法测量到的温度。该方案不仅可以运行人工智能、驱动电机,还为电动汽车的预测性维护提供了新的可能,以识别减震、机械和电气系统中可能存在的异常状态。

在PC领域,ST利用六轴IMU MEMS智能传感器,与惠普共同优化了笔记本电脑的电源监控。这些传感器能够收集机器在不同条件下的运行数据,双方工程师以此为基础合作开发和训练了基于设备和用户动作的AI模型。这种模型能够识别特定的使用场景,例如在关闭笔记本电脑前避免过热和电池耗尽,从而延长笔记本电脑的待机时间并提高使用寿命。

在家电领域,通过在洗衣机电机控制的STM32微控制器上运行人工智能算法,ST能够估算待洗衣物的重量。根据计算,一个洗涤周期节省15%-40%的能源和水。同时,人工智能算法还能够检测滚筒在旋转时可能发生的碰撞情况,提高了洗衣机的稳定性和耐用性。 

Matteo认为,边缘人工智能给相关应用带来的优势可以分为三类:第一类是性能提升。不言而喻,得益于AI技术,终端产品的性能将变得越来越好;第二类是提高产品在极端情况下耐变性或鲁棒性。也就是说,当我们遇到一些极端情况导致标准算法的效果不尽人意时,AI可以帮助算法提高检测准确度;第三类是在终端产品中增加以前没有的新特性和新功能,帮助客户提高终端产品的创新性和吸引力。

边缘AI的挑战

“尽管边缘AI带来了巨大的潜力和机遇,但开发人员在实现过程中也面临着诸多挑战。在硬件方面,他们需要在确保应用整体性能的同时,考虑安全性、功耗等因素。而在软件方面,他们需要在设备中实现机器学习模型的创建、训练、部署和维护。”Matteo说。

ST的人工智能研发计划开始于十年前,从机器学习技术的基础研究开始,逐步发展到专门针对硬件资源受限的边缘设备进行AI优化:

  • 2018年,ST发布了首个STM32 AI库(Cube AI)
  • 2019年,推出内置MLC机器学习核心MEMS传感器,并加入TinyML联盟;
  • 2020年,ST将人工智能的布局和支持范围扩展到汽车、Linux等领域。
  • 2021年,发布NanoEdge AI生态系统。
  • 2022年,发布了集成更先进硬件加速器的MEMS传感器ISPU,能够在同一传感器内运行较小的深度学习网络;
  • 2023年,发布STM32开发者云模型库,并更新了Stellar系列车规MCU工具。

数据显示,目前在MLPerfTiny5基准测试提交项目数量排名中,STM32位列第一,有73%的提交项目基于STM32开发。

集成自研NPU的STM32N6是ST比较有代表性的硬件方案。其与合作伙伴Lacroix合作开发的机器学习模型进行多对象识别跟踪AI算法结果显示,每秒18帧的行人、自行车和汽车检测和跟踪算法全部在NPU上执行,基于Cortex内核的负荷不到5%。而在安全性方面,产品不仅在内部集成了可信区域,还增加了安全功能外设,例如防篡改等功能,有了这些新功能,客户和开发者不仅可以保护存储器内的数据,还能保护机器学习模型的安全。

Matteo表示,相比硬件,软件给开发者带来的挑战更多。为此,“提供强大的开发工具和支持,帮助开发人员更轻松地创建、训练和部署模型”成为了ST的核心目标。作为ST集大成的AI开发平台,ST Edge AI整合了边缘人工智能开发所需的全部工具和模块,从用模型库创建用例开始,到收集数据集,再到把模型部署到特定的硬件上,涵盖了整个开发过程,适用于包括嵌入式硬件工程师,软件工程师以及机器学习工程师在内的所有开发者。

ST Edge AI套件支持广泛的深度学习框架,包括TensorFlow Lite、Keras、PyTorch等训练的机器学习模型。与NVIDIA工具包兼容,并提供了连接到亚马逊云科技(AWS)和微软Azure等云服务,兼容MATLAB等仿真工具。

“目前边缘人工智能并没有一个统一通用的开发方法,但在开发边缘人工智能解决方案的过程中,为开发者提供指引和信息是非常重要的。因此,ST Edge AI套件考虑到了这个因素,可以帮助用户根据自己的知识和资源找到最佳的方法和工具。我们还考虑融合和统一各种工具的用户体验,以简化人工智能库的设计流程。“Matteo表示,ST Edge AI和Nano AI Studio均免费提供给STM32的客户,同时根据特殊许可协议,其他ARM Cortex-M的微控制器也可以免费使用。

大模型边缘AI

AI大模型无疑是目前全球最为热门的研究领域。但在Matteo看来,至少在目前,大型语言模型(LLM)仍无法在边缘AI设备上运行。“我们认为,在不久的将来,市场上会出现性能类似但数据量较小的模型、Transformer或LLM,可能会给边缘AI带来更新鲜的体验。“他说。

从目前的实际使用情况来看,绝大多数的人工智能模型,包括基于机器学习的模型(例如决策树、随机森林、SVM)和深度学习模型(基于全连接的架构、CNN卷积神经网络等)RNN循环神经网络都能运行在ST的产品上,唯一的限制来自模型的复杂性和参数量。因此,对LLM大模型,以及LLM基本架构Transformer的发展变化保持密切关注,会是ST接下来的重要方向之一。 

Matteo还提到了存内计算以及存算一体技术,并将其视作边缘AI发展的一个重要趋势。ST方面认为“此类产品将会改变市场的游戏规则”,因为其性能将提升到现有水平的十倍,而功耗仅有十分之一。

当然,创新不仅仅体现在硬件产品或平台上,与NPU和存内计算相关的软件工具和编译器也有很多创新,需要大量的微调和优化。

他强调称,AI开发人员需要彻底转变思维,从基于“如果-则-否则”(“if-then-else”)的传统算法转向专注于数据集的人工智能算法。尤其是在验证整体解决方案时需要转变思维,需要更多地关注用例的定义、数据集的创建及其验证。

同时,在芯片设计和制造方面,设计终端产品的重要性超过了芯片设计本身,因为客户需要在数据集创建、产品测试和制造过程中嵌入新的流程,人工智能功能也需要经过专门得测试才能投放市场。

责编:Lefeng.shao
本文为EET电子工程专辑原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
阅读全文,请先
您可能感兴趣
存储的市场规模在经历了两年的下滑后,有望在2024年重回正轨……
SK海力士将投入120多万亿韩元(超900亿美元),在龙仁新建4座晶圆厂。到2030年,该地区预计将达到每月770万片晶圆的生产能力。
在美国看来,华为就是中国减少对西方技术依赖、实现关键技术突围的核心中国企业。特别是在数年制裁之后,华为以及其供应商还能研发出7纳米先进处理器,使Mate 60 Pro的下载速度超过了顶级5G手机,更进一步刺激了美国政府的神经。
要实现这一目标,三星还面临着一些挑战。首先,全球芯片市场的竞争日益激烈。尽管三星在DRAM和NAND闪存市场一直保持着领先地位,但在AI芯片这一新兴市场上,却遭遇了来自英伟达、台积电等强劲对手的激烈竞争。特别是在与SK海力士的较量中,三星在HBM内存芯片市场的份额受到了严重挤压。其次,全球供应链的不稳定性也可能对三星的芯片生产和供应造成影响。
过去一年多来,以ChatGPT、谷歌Gemini、百度文心大模型、阿里通义大模型为代表的大语言模型已经取得突破性技术进步,正吸引越来越多的科技巨头加入到AGI技术的研发与布局中来。当前,三星也加大了AI芯片业务的布局,以期在AI芯片代工上追赶竞争对手。
英伟达在GTC上发布了最新的Blackwell GPU,据说AI推理性能比Hopper提升了30倍?这符合摩尔定律吗?是什么黑魔法和黑科技?
存储市场规模在经历连续两年的下滑后,2024将回归正轨,今年存储价格呈平稳上升的趋势。得益于先进技术以及新兴市场的应用,存储行业正在从“价格"走入“价值"周期。
在首日的TrendForce集邦咨询新型显示研讨会上,LED与显示领域专家分享了丰富内容,从面板显示和Mini LED背光显示技术趋势、车载显示应用前景,到电视、笔电、监视器终端市场情况等,由上至下深入解析面板显示与Mini LED背光与显示产业链的最新发展状况。进入到第二天会议中,主题转向Micro/Mini LED直显技术,15位LED显示行业专家共论Micro/Mini LED最新技术解决方案与应用市场的开拓,为加速Micro/Mini LED商业化出谋划策。
赛昉科技与超聚变达成战略合作,RISC-V在数据中心迎来历史性跨越
3月21日,由东莞滨海湾新区管委会主办,东莞市发展和改革局、东莞市投资促进局与芯谋研究协办的2024东莞滨海湾新区智能移动终端产业供需交流会在上海圆满举行,超50位智能终端与半导体产业领袖、企业代表与有关部门领导莅临。此次交流活动聚焦东莞滨海湾新区产业优势、政策支持、投资环境等方面,吸引优质企业和投资机构参与,共同探讨合作机会,推动产业发展。
 智能汽车安全新媒体 数据来源:国信证券目前自动驾驶行业网络基础架构普遍为 Input -> backbone -> neck -> head -> output。纯视觉方案的特斯拉自主构建 Hydr
导语:冲击400亿,还差最后一块超高端拼图。不错的开局名酒培育一个白酒品牌,需要3年-5年;但布局超高端价格带并形成竞争壁垒,至少10年以上。手工班推出的第八年,迎来一次“升维”。3月17日,中国白酒
瑞萨RA8超高算力MCU巡回技术研讨会即将迎来收官之站——西安站!3月27日 本周三瑞萨、Arm、LVGL、RT-Thread专家齐聚,深度解析RA8技术与应用!现场两场动手实践,更有RA8开发板、A
芯片超人现有1600平米芯片智能仓储基地,现货库存型号1000+,品牌高达100种,5000万颗现货库存芯片,总重量10吨,库存价值高达1亿+。同时,芯片超人在深圳设有独立实验室,每颗物料均安排QC质
 智能汽车安全新媒体 (谈思汽车讯)据相关渠道获悉,汽车智能化产业企业“博泰车联网”(以下简称“博泰”)近日再获15亿元融资。据悉,本次融资资金将主要用于研发打造新一代汽车智能化融合域控产品,包括下一
导语:进入2024年,小鹏汽车1月份销量8250辆,环比大跌59%,是造车新势力中环比跌幅最大的。2月份,销量继续下滑,交付新车仅4545辆。3月19日,小鹏汽车(NYSE:XPEV/09868.HK
 --芯图新势-- 作者&制图 I 芯潮ICID I xinchaoIC时间是一列公平的列车,在分秒之间精准地行走。回顾2023年的中国芯片半导体行业投资市场,无数的前行者怀揣英雄主义,心存理想,想要
一周大事件1、荷兰首相本周访华,ASML在华售后服务或成重点2、三星韩国一工厂失火,三星半导体回应:与半导体业务无关3、部分晶圆代工厂成熟制程报价持续下调,幅度约4%至6%4、消息称SK海力士正在重组
据英国《金融时报》报道,中国推出采购需求标准,或意味着中国将禁止政府电脑使用英特尔和超微半导体(AMD)CPU芯片。同时,中国政府还寻求减少采购微软(Microsoft)的Windows作业系统与外国
KIMI与海内外主流模型对比及应用方向Q:KIMI模型是使用MOE模型吗?现在的算力是否已经很缺,如果用户量增加,会不会更加缺乏算力?以及这对公司的财务状况有何影响?A:是的,KIMI模型使用的是MO