瑞萨最近发布了全球首款基于Cortex-M85的MCU,全面提升了MCU的AI能力。现在的MCU为什么需要AI性能?

今年提“端侧AI”的半导体企业特别多——这个词出现的频率比去年高了不少。不光是PC、手机端侧的生成式AI推理,还包括IoT、嵌入式应用的TinyML、各种机器学习新技术。仿佛AI真的在改变一切。但说白了,这不就是AIoT吗?

不过进博会期间,瑞萨电子正式发布RA8系列芯片,这是行业内首款基于Arm® Cortex®-M85的MCU;借助Arm Helium技术,大幅提升了MCU的DSP、AI/ML性能。我们和瑞萨电子嵌入式处理器事业部高级经理吴频吉聊了聊,发现今年这种进阶版的AIoT,在端侧AI资源的挖掘上也变得更加激进了。

不仅是RA8,借助这颗芯片的发布,我们可以从AI的角度,来看看瑞萨的产品布局和战略。这对于我们理解工业、物联网、基础设施领域,芯片层面的AI技术发展也会有价值。

 

高性能+AI的MCU

先来谈谈RA8系列芯片本身。Arm官方目前对于Cortex-M85的宣传是“采用Arm Helium技术,最高性能的Cortex-M处理器”,是“高性能微控制器的新里程碑”,以及“最高的标量、DSP与ML性能”。Arm预设的M85应用场景是IIoT、智能家居、汽车等。

那么很显然,基于Cortex-M85的RA8系列MCU,一定在性能上是比较彪悍的。瑞萨给出了M85和M7之间的比较——Cortex-M7实际上也是过去几个月,我们从很多MCU企业那里看到的高性能架构选择。

这张表基本给出了Cortex-M85的一些关键属性。包括升级到Armv8.1-M,安全性方面加入了TrustZone,而且还特别配了“M型矢量扩展单元”Helium。Helium本身是Armv8.1-M架构的扩展,用于大幅提升ML与DSP性能。

在Helium之前更有名的Neon——今年3月我们在全国大学生电子设计竞赛颁奖礼上看到过瑞萨为比赛准备的RZ/G2L,其中的AI推理就基于Cortex-A55的Neon扩展——当然那就不是MCU范畴了。Helium和Neon在方向上是类似的,只不过前者规模会更小,着力于低功耗;另外Helium也有一些循环预测、复杂数学计算、scatter-gather内存访问之类的新特性。

加上M85本身的设计变化,RA8的性能相比基于Cortex-M7的MCU就会有个相对显著的提升,包括基于CoreMark测试的每时钟周期单线程性能达到6.39 CoreMarks/MHz;以及4倍DSP/ML性能提升、标量性能提升30%——这就完全符合Arm此前设计Helium预设的2倍数据通路宽度提升,以及4倍DSP/ML性能提升。

从更高层级来看,具体到RA8M1的构成与配置如上图:包括最多2MB Flash,总共1MB SRAM——“客户做控制类应用不需要挂任何东西”;通信接口涵盖以太网、USB、CAN-FD等主流组成,“还集成了一个八线SPI(Octal SPI),这个一般在MPU上才用的比较多,可以拿来接Octal Flash或者HyperRAM”;

以及功能安全之外,还有信息安全相关构成,包括RSA4K,ECC——“这里面我们还支持Ed25519,在MCU里面也不多见”,SHA-2等。“对于信息安全需求而言,RA8支持目前几乎所有主流产品。”吴频吉谈到。

另外就是作为MCU,相比于MPU和SoC,“它也很容易做开发”,“各种接口也能够让客户快速上手”。此前我们也看到,基于市场对算力需求的提升,不少厂商多有基于Cortex-M7的高性能MCU推出。但其中的大部分还是“以MPU的方式来做MCU”,吴频吉说,“里面没有存储器,电源设计也比较复杂。就相当于SoC设计,只是把核改成了实时核。”

吴频吉强调说,瑞萨面向的客户群体对于可靠性、安全性要求都很高,“我们还是以MCU的方式,提供更高的算力给客户”,包括仍以内置flash的方式,确保可靠性与安全性;加上Cortex-M85在能效表现上也优于M7,“很多客户还是希望MCU的功耗控制在一定范围,至少不需要散热片和风扇”,但仍然需要满足性能需求——“M7要做到相同的性能需要六七百MHz的频率,AI就更不用说了”。“在这样的情况下,我们定义了RA8这个产品,并且做出来了。”

“客户其实一直在找这类型的产品,因为市场上以前没有选择。以前他们也只能选那种外置flash的方案。”“RA8相当于填补了市场需求的空白。这个需求一直都有,尤其AI近一年火了以后,大家在终端AI这块的需求越来越强烈。”“以前有些开发者为了用上AI,因为没得选,硬是上了一套Linux系统,遇到各种各样的问题。我们提供这样一个选项,在开发者不需要太大改变的情况下,实现很多原本无法实现的功能。”

△ 瑞萨在进博会展位上展示的人物识别AI套件,基于RA8D1——这个demo具体是检测摄像头拍到的人物,即便部分被遮挡也能正常检测;检测距离可以达到20米。模型训练超过3200万张图片,支持180°全视角摄像头;

瑞萨列举的目标应用方向包括智能人物检测传感器;安全摄像头和视频分析;视频会议与网络摄像头;可视门铃和智能家居摄像头等...几年前应该没人想过,只是一颗MCU就能干这些吧...

 

应用开发理念的转变

吴频吉列举了RA8系列的一些应用方向,涵盖工业、消费电子、智能家居/智能楼宇、办公自动化、医疗等。

“这款芯片仍是个通用品,可以用在任何地方”——当然基于对RA8的介绍,不难发现这是个更适用于强调端侧AI或者要求一定性能,以及包括对信息安全有要求的应用上。

值得一提的是,RA8系列介绍中提到“用户界面”部分包含CEU摄像头接口——吴频吉特别谈到了指纹扫描仪的应用示例,对应的基于CEU摄像头接口,也就能在系统中接指纹光学传感器。这个应用应该是相对典型,可代表RA8芯片诸多特性的。

其一在于算力足够支持指纹识别。第二,可以做AI相关的进一步处理:“比如说某些情况下,存在用指纹贴片、非本人代打指纹的可能,借助AI就能进一步识别是否是本人。比如一般我们摁指纹,不同时间点,力度会有变化,AI很容易做出这方面的判断。”

第三,生物特征识别必然意味着安全性需求,“芯片也支持RSIP Cryptographic Engine加密引擎,对指纹特征数据做加密和传输”,RSIP应该是瑞萨特有的一个安全IP;加上TrustZone区隔专门的安全区域做处理,“做到符合当前安全需求的系统”。 这个例子也就囊括了算力、AI、安全功能、通信功能的不同需求。

尤为值得一提的还是端侧AI的某些功能实现。对此,吴频吉表示,随着端侧AI的出现,“开发理念已经完全不一样了”,“可能开发者思考的不再是用什么样的算法来实现功能,而是有多少实用的数据来实现对应的算法”,数据在其中是关键,“数据会在未来的开发流程中占据很重要的位置”。

“以前的想法大概是我要怎么做,判断这个东西是0还是1;而现在的想法是,在知道有0和1的情况下,(给AI模型)喂100万个数据,然后(由AI模型)判断哪个是0,哪个是1。我们不需要关心AI是怎么判断的。”AIoT“开发的理念更多要转换到以数据为中心,而非以算法为中心。数据变得越来越重要,数据量会越来越大。”吴频吉多番提及数据的重要性,“理念上我们瑞萨也往前赶,更多地将数据作为我们的发展重心。”

“我们认为AI一定是大势所趋,包括边缘和端侧设备。”“就端侧AI这一块,我们希望做一些事情,也希望帮助国内的客户,更快地实现产品构想。” “现在的开发流程,和原来嵌入式开发可以说有了翻天覆地的变化,我们的很多客户也已经看到了。一旦适应了变化,流程就会变得完全不同。”RA8显然就是这一时代背景下的产物。

△ 这是个马达异常检测AI套件的展示,用到了Reality AI的工具——进行电机运行的数据分析采集,生成AI模型,进行电极异常检测。介绍中提到AI模型仅占用20K Flash和9K RAM,推理时间约3.5ms,准确度>90%,而且不需要额外的传感器...

在开发上,PC端用简单的Python脚本来采集数据,基于网页端的工具组件,导入数据、统计分析、抓去特征值,就能生成所需的AI模型库。

 

瑞萨的AI芯片与生态布局

从RA8扩展开去,我们尝试观察一下目前瑞萨的AI芯片与生态布局。熟悉瑞萨MCU产品线的读者应该知道,“RA”是瑞萨的Arm内核MCU系列产品。而RA系列内,又有RA2, RA4, RA6和目前新推出的RA8几个系列。从性能定位来看,RA8是其中的旗舰产品。

如前所述,RA系列更多是定位于端侧设备的。若基于算力来看瑞萨MCU/MPU的产品布局,则瑞萨的芯片除了云端以外,在边缘和端侧都有覆盖。这里的“边缘”主要是指网络网关、边缘服务器。具体分布如下:

瑞萨称其为“可扩展的算力提供”,包括高端定位、达到34k CoreMarks的RZ/G系列,往下到RZ/V, RZ/N, RZ/T, RX700, RX600...及端侧设备中更追求低功耗的RA2, RL78。

这次发布的RA8,从CoreMarks算力来看是介于RZ/T到RX700中间附近的定位(基于RA8M1的480MHz主频,及6.39 CoreMarks/MHz每周期性能),是端侧设备中偏强性能的应用方向了。

这张图基本也可某种程度看做瑞萨的数字芯片方向,“AI”产品分布。实际上,在瑞萨定义的网关这个算力需求区间内,诸如RZ/V这样的芯片还提供专门的DRP-AI加速器,能够达到TOPS级别算力水平。这和RA8的Arm Helium级别的DSP/ML算力加速就又不同了。

从“软件合作伙伴生态系统”的角度来看,瑞萨的AI相关产品及开发生态大致如上图所示。“每个瑞萨的MCU、MPU产品线,我们都有对应的partner ecosystem。”吴频吉解释说。对应的AI/ML“应用公园”,开发工具及各类中间件、转译工具也在图中做了展示。“针对AI,我们有这样一套完整的开发流程和知识体系。”

其中比较值得一提的是,此前瑞萨收购的Reality AI在开发工具方面显然是扮演重要角色的,在非视觉类的应用方面提供AI开发工具。吴频吉提到,Reality AI甚至能为客户提供一些定制的AI模型。而且目前瑞萨已经将Reality AI提供的部分功能集成到了瑞萨的e² studio开发工具中——“这块我们差不多已经做完了,用户可以直接在一个开发环境里,完成从数据输入到上传云端的整个过程,对开发者而言会很方便”。

另外,如果不是只看数字芯片,那么在云端AI市场——即便AI训练芯片基本已经被英伟达牢牢掌控,瑞萨在这其中依然有不少市场机会。前不久SemiAnalysis曾发文详谈过数据中心大算力AI加速卡市场上,电源类芯片大战——瑞萨是其中很重要的一名参与者。吴频吉也提到在“核心AI”市场上,瑞萨提供的时钟产品、电源、存储接口产品也很有市场竞争力。

总的来说,AI于瑞萨而言的市场机会,瑞萨能够提供的技术,与可惠及的垂直应用市场如下图。其实这张图所提及的关键技术和可触达的市场,多少也能表现瑞萨这两年不断做企业与技术并购的成果——换句话说,若非这几年积极的收购,瑞萨大概也很难做到目前这番于AI市场机会的筹划:

达成这样的AI生态另外也需要不少合作伙伴的加入。“现在我们有200多个合作伙伴,提供300多个解决方案。”“某些需求,即便客户在瑞萨这里找不到解决方案,也可以在合作伙伴那里找到。”

对于擅长端侧与边缘市场的瑞萨电子而言,边缘AI显然是必须抓住的市场机会。基于AI在边缘本地实现“预测性”的新特性未来也的确会改变以往的开发理念。RA8系列MCU作为瑞萨这一发展思路的代表,是具备了典型性的。

从瑞萨的介绍来看,RA8M1也已经开始融入到瑞萨传统的winning combo成功产品组合中,配套电源、传感相关的方案,具体到智能扫地机器人、智能眼镜等。边缘与端侧AI,或者说AIoT的推进速度,在此类芯片的推动下,的确比我们预想的还要快。

△ 麦轮小车解决方案,“以麦轮小车为载体实现语音控制、图传、运动控制等多功能于一体的解决方案”。具体包括支持离线语音控制;直接接入了摄像头和WiFi模块,可实现无线局域网内的摄像头图传;小车上配有IMU传感器,可实现小车的实时姿态控制,并通过LCD屏实时显示摄像头画面和小车状态参数;另外因为RA8还集成了电机驱动的模拟功能,包括ADC, PWM等,还能做机械手臂的物体抓取...

责编:Illumi
本文为EET电子工程专辑原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
阅读全文,请先
您可能感兴趣
据深科技2022年年度报告披露,51岁的周剑,其董事长一职的任期应于今年初,即2023年1月7日终止,但显示“已延期换届”。直到今年6月19日,深科技才披露了周剑的任职动态。
MCU在智能家居、工业自动化、物联网、汽车电子、消费电子等市场都有着广泛的应用。近日,在深圳“2023年度小华半导体产品&技术交流会”上,小华半导体副总经理曾光明认为,MCU技术发展的未来趋势是高性能、高集成度、高可靠性、高安全性,其中CPU内核将呈现高端化的发展态势。同时,MCU国产化大势不可逆转。有预计到2030年左右,国产MCU在汽车领域将占据70%份额,在家电领域将占据85%的份额。目前在大家电领域,国产MCU占比仅约15%,这也意味着国产MCU的成长空间巨大。
ST已经在汽车、智慧工业和物联网等应用领域大力部署边缘AI。STM32系列的32位Arm Cortex微控制器已将适合边缘计算的低功耗版本涵盖其中。为了让不熟悉AI的人更容易上手,NanoEdge AI Studio整合了机器学习函数库,可以为任何指定的应用自动搜索和配置最适合的解决方案。
品英在测试和测量方面有着悠久的历史,在自动开关和仿真解决方案方面具有着深厚的核心竞争力,其用户基础十分广泛,涉及航空航天,国防,自动化,半导体以及其它通用应用的客户,业务比例和行业分布比较均匀。其55年以上的继电器设计经验和35年以上的自动测试设备产品和解决方案经验为业界提供最广泛的开关和传感器仿真,并且是唯一拥有内部舌簧继电器和电缆生产的开关制造商。
近年来,随着存储控制芯片成本投入逐年攀升,加上市场竞争激烈,不仅原厂通过自行开发或委外设计量产的模式强攻这块市场,独立第三方主控厂商的竞争也日趋激烈。近日业界传出,Marvell因NAND Flash控制芯片业务受到冲击,其将会裁撤台湾省的相关团队……
哪些新兴技术将成为未来半导体行业的关键驱动力?哪些市场会带来新的应用机会?芯片公司和上游的EDA/IP厂商将面临什么样的新挑战,又将如何应对?……整个产业界迫切想要得到的答案,或许可以在这里找到。
本文介绍了标准电路保护器件的局限性,以及如何利用电子保险丝改进设计。
TrendForce集邦咨询表示,第三季NAND Flash市场变化主要转折点为三星(Samsung)积极减产的决策。此前买方认为终端需求能见度仍低,担忧市场旺季不旺,因此保持低库存、缓提货的采购策略。
英飞凌正在朝着2030年实现碳中和的目标(范围1和2的碳排放)稳步前进,并且进展顺利。尽管业务增长了约一倍,但公司迄今为止的碳排放量与2019年的基准相比减少了 56.8%。
治精微推出极高静电保护性能的40V多路复用器系列产品ZJG4428/9
孙东旭被罢免公司执行董事职务,董宇辉从“带货主播”变为“高级合伙人”,并将单独负责文旅相关的新账号,东方甄选这场由小作文引发的“内讧”最终以此收场。这是一个难得的多赢局面:董宇辉和他的粉丝证明了自身的
 12月18日,中国第一汽车集团有限公司(下文简称“中国一汽”)大湾区研发院揭牌仪式在深圳国资国企产业创新中心举行。source:中国一汽据悉,本次揭牌的中国一汽大湾区研发院将聚焦新能源和智能汽车领域
天眼查资料显示,12月12日,株洲中车时代电气股份有限公司(以下简称时代电气)公开一项“一种高压SiC电机控制器及包含其的电动汽车”专利,申请公布号CN117220562A,申请日期为2023年8月3
近日,由钛媒体集团主办的2023 T-EDGE全球创新大会暨EDGE AWARDS创新评选在北京隆重举办。会上,钛媒体重磅发布了2023 EDGE AWARDS全球创新评选榜单。百望云凭借对数字化财税
点击蓝字 关注我们SUBSCRIBE to USImage: CRF拯救世界珊瑚礁的时间不多了,因此环保主义者正在努力寻找他们所能使用的一切工具来保护正在消失的珊瑚礁,包括人工智能。在佛罗里达州,通过
近日,合肥世纪金芯半导体有限公司(以下简称“世纪金芯”)与湖南S公司正式签订战略合作协议。根据协议,双方将围绕碳化硅(SiC)单晶衬底在业务和技术方面推行战略合作,年合作不低于5万片,交易金额超过2亿
来源:红星新闻,谢谢 编辑:感知芯视界 Link红星资本局12月20日消息,日本东芝公司(以下简称“东芝”)将于今日正式退市,结束自1949年以来74年的上市企业历史。据央视新闻援引《朝日新闻》报道,
                                              编辑:感知芯视界 Link获取最新力传感器深度报告,可在感知芯视界首页对话框回复“28”免费下载。力传感器是
12 月 20 日消息,上市已经有74 年历史的日本科技巨头东芝将于当地时间周三从日本东京证券交易所退市。为了摆脱长期的管理混乱,该公司接受了日本国内投资基金Japan IndustrialPartn
近日,多个电驱相关产业化项目实现开工、落地,总投资超过30亿元,达产之后年产值预计将达到100亿元。航盛新能源:投资20亿元,历时100天,航盛新能源总部基地项目在江苏常熟开工奠基;舜泰汽车:投资12