广告

低功耗FPGA加速下一代智能PC实现边缘AI应用

时间:2021-11-29 10:11:36 作者:邵乐峰 阅读:
莱迪思最新发布的sensAI解决方案集合4.1版本支持CertusPro-NX FPGA,提供了即用的AI/ML工具、IP核、硬件平台、参考设计和演示以及定制化设计服务。与使用CPU来驱动AI应用的设备相比,采用sensAI开发,并在莱迪思FPGA上运行的AI计算设备的电池使用时间延长了28%。
广告

莱迪思(Lattice)半导体公司日前宣布其低功耗、AI/ML解决方案的最新路线图。它们采用Lattice sensAI解决方案集合构建,在Lattice Nexus FPGA上运行,可以帮助OEM厂商开发智能、实时在线、具有低功耗和硬件加速AI功能的设备,这些设备还能现场进行升级,支持未来更多的AI算法。

网络边缘计算快速兴起

莱迪思半导体亚太区资深市场开发经理林国松表示,智能手机和各类物联网设备的指数级增长推动了网络边缘计算的发展,这些设备无处不在,但如果将其产生的全部数据都向云端发送,毫无疑问将为云端处理带来极大的负担。因此,基于网络边缘的处理十分必要,不仅可以降低云端的网络通信成本和云存储成本,还能避免云端数据通道过载。

目前,网络边缘产品和应用的开发人员越来越多地采用人工智能和机器学习(AI/ML)算法来匹配和识别复杂的模式,以帮助分析数据并据此做出决策。事实上,AI/ML技术的使用增长极其迅猛,ABI Research的数据显示,截止2024年,设备端AI推理功能预计将覆盖60%的设备。

许多可以利用AI/ML功能的网络边缘应用需要在极具严苛的功耗限制下运行。这些广泛分布的设备通常依靠电池供电。此类应用在各种网络边缘环境中比比皆是,包括工厂、农场、办公楼、零售店、医院、仓库、街道和住宅。随着它们数量的增加,这些设备需要在仅充一次电或者仅依靠收集和存储能量的情况下运行较长时间,甚至可能是几个月或几年。

另一方面,近十年来AI模型快速发展,从下图中可以看到从2012年到2021年AI分类模型创新的数量在逐年递增。由于AI技术的不断创新,导致不断有新的实现方式产生。而新的实现方式的产生需要有更快的硬件来实现,这就需要硬件和算法上的优化。

对低运行功耗和AI/ML算法实现的需求似乎与低功耗网络边缘设备设计的要求相互冲突。然而,这两种复杂的设计要求其实并不矛盾。莱迪思最新的FPGA——低功耗、小尺寸、高性能的CertusPro-NX系列器件——专为满足低功耗网络边缘设备的诸多设计要求而定制。这些FPGA可以支持多个传感器、显示器,支持高分辨率视频、网络连接和网络边缘AI/ML处理。

sensAI 4.1

莱迪思最新发布的sensAI解决方案集合4.1版本支持CertusPro-NX FPGA,提供了即用的AI/ML工具、IP核、硬件平台、参考设计和演示以及定制化设计服务,有助于设计团队开发新的网络边缘设备,并将其快速推向市场。与使用CPU来驱动AI应用的设备相比,采用sensAI开发,并在莱迪思FPGA上运行的AI计算设备的电池使用时间延长了28%。

莱迪思sensAI 4.1解决方案集合可开发基于莱迪思FPGA的AI/ML设备

得益于对CertusPro-NX FPGA产品的支持,sensAI的性能也有了较大提升,除了已有的对象检测和追踪应用之外,还新增了对多个对象实时分类等应用。sensAI 4.1解决方案集合包括更新的神经网络编译器,还兼容其他广泛使用的机器学习平台,包括最新版本的Caffe、Keras、TensorFlow和TensorFlow Lite。

莱迪思sensAI 4.1解决方案集合中的IP核包括三种类型的卷积神经网络(CNN)加速器——CNN、CNN Plus和CNN Compact——以及一个CNN协处理器引擎。CNN IP核能让开发人员使用其他人发布的广泛使用的各类CNN,例如Mobilenet v1/v2、Resent、SSD和VGG,或者根据需要自定义CNN模型。sensAI 4.1 CNN加速器利用莱迪思FPGA的并行处理能力、分布式存储器和DSP资源,极大简化了超低功耗AI设计的实现。加速器核利用FPGA的可编程逻辑来实现低功耗神经网络,包括极其高效的二值神经网络(BNN),能够以毫瓦级超低功耗实现CNN。

软件工具层面,新增加的sensAI Studio设计环境是亮点之一。这是一种基于图形用户界面(GUI)的工具,拥有AI模型库,经过配置和训练可适用于各类主流应用场景,可帮助开发人员快速构建机器学习应用。在使用莱迪思sensAI 4.1中的工具设置网络边缘计算设计,并且采用莱迪思iCE40 UltraPlus、CrossLink-NX、ECP5和CertusPro-NX FPGA时,可以在超低功耗下实现实时的AI/ML功能——功耗低至1mW到1W。

sensAI Studio现支持AutoML功能,能根据应用和数据集目标来创建机器学习模块。一些基于Mobilenet机器学习推理训练平台的模型专为CertusPro-NX进行了优化。

莱迪思sensAI Studio设计环境加速端到端的AI/ML模型训练、验证和编译

sensAI 4.1参考设计

之所以要把sensAI 4.1参考设计单独提出,是因为sensAI 4.1版本在性能和准确度方面有了不小的提升,有助于拓展其目标应用,包括自动化工业系统中使用的高精度目标检测和瑕疵检测等应用。该解决方案集合拥有全新硬件平台,包括板载图像传感器、两个I2S麦克风和用于添加更多传感器的扩展连接器,助力基于语音和视觉的机器学习应用的开发。

同时,莱迪思FPGA提供可编程I/O,经配置可支持传感器接口常用的多种电气接口标准,公司还提供许多硬核和软核IP模块以支持不同的传感器通信协议。由于FPGA长期以来在传感器融合方面具有显著优势,因此莱迪思sensAI 4.1解决方案集合包括许多参考设计示例,演示了多种智能传感器融合的应用案例,它们可以同时运行,实现深入的情景感知,例如:

  • 人员侦测

该参考设计使用CMOS图像传感器持续检测人员的存在。基于此设计的AI系统可以使用深度学习框架(例如Caffe或Tensorflow)更新所提供的训练模型来检测和定位任何感兴趣的目标。该参考设计包括一个神经网络模型、一个训练数据集和可使用常用训练工具训练的脚本。

  • 目标检测、分类、追踪和计数

该参考设计提供了目标检测、分类、追踪和计数的示例,拥有完整的设计,包括用于莱迪思开发板的FPGA RTL、神经网络模型、示例训练数据集以及用于重新创建和更新设计的脚本。

  • 手势检测

该参考设计使用IR图像传感器,实现了一个基于AI的低功耗手势检测系统。该参考设计提供了一个训练数据集、可使用常用神经网络训练工具训练的脚本以及一个神经网络模型,方便用户进行修改。

  • 关键词检测

该参考设计使用数字MEMS麦克风持续检测关键词话语。设计人员可以使用深度学习框架(例如Caffe、Tensorflow或Keras)更新提供的训练数据集,为系统添加唤醒词功能。参考设计包括一个训练数据集、可使用常用神经网络训练工具训练的脚本以及一个神经网络模型,方便用户进行修改。

  • 人脸检测

该参考设计使用图像传感器实现基于CNN的人脸识别,并且可以通过修改训练数据库来识别其他类型的目标。

助力下一代智能PC体验

莱迪思正与合作伙伴和客户合作,利用多模式、智能传感器融合和AI/ML技术,不断提升PC/笔记本电脑用户的体验,并显著降低笔记本电脑的运行功耗,在某些应用中,电池使用时间最多提高了28%。

PC和笔记本电脑在24小时内的使用情况差异很大,一般在白天工作时间集中使用。然而,即使是在工作时间,它们也会有休息状态。人们会偶尔休息,中午也会用餐,这些时间他们通常会让计算机保持运行状态,确保他们打开的各种应用不被关闭。

将AI/ML分析和决策与计算机现有的传感器(摄像头和麦克风)相结合,实现智能传感器融合,能让PC或笔记本电脑感知周围环境,从而决定何时关闭显示器和CPU,以及何时应该给它们重新供电。

存在检测最简单的用途是在周围无人时关闭计算机。当用户长时间远离屏幕时,注意力追踪功能可以调暗计算机屏幕并激活低功耗模式。充当智能传感器中心的低功耗、小尺寸FPGA可以接收来自计算机传感器的输入,然后根据情况决定为哪些组件供电。

同样,这些功能也可以增强计算机的隐私和安全性。计算机的内置会议摄像头可用于监控用户身后的背景,检测是否有人从用户的肩膀后面窥视。如果计算机被配置为保护隐私,当授权用户背后有人疑似在偷窥计算机屏幕时,它可以弹出警告提醒用户甚至自动调暗屏幕。需要注意的是,使用这些解决方案,所有推理数据都保存在FPGA本地。仅将元数据传递给SoC,这进一步增强了隐私并提高了安全性。

AI/ML功能还可以增强计算机用户的总体体验。例如,基于AI/ML的面部取景功能可以利用内置视频会议摄像头的较高分辨率来裁剪和居中用户的头像,为视频会议提供较好的画面。与会者还可以在会议期间移动的同时,他们的图像依然保持居中。同样,手势识别可以为笔记本电脑或PC或任何其他支持视频的物联网设备添加非接触式操作功能。

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
邵乐峰
ASPENCORE 中国区首席分析师。
  • 把控JESD204B接口功能的关键问题 JESD204B标准提供一种将一个或多个数据转换器与数字信号处理器件接口的方法(通常是ADC或DAC与FPGA接口),相比于通常的并行数据传输,这是一种更高速度的串行接口。该接口速度高达12.5 Gbps/通道,使用帧串行数据链路及嵌入式时钟和对齐字符。
  • GDDR6给FPGA带来的大带宽存储优势以及性能测试 2016年,GDDR5X正式发布,它引入了具有16n预取的四倍数据速率模式,但代价是访问粒度从GDDR5的32Byte提高到了64Byte。2018年,GDDR6发布,数据速率达到了16Gbps,带宽几乎是GDDR5X的两倍,同时采用了双通道设计,访问粒度和GDDR5一样是32Byte。
  • 连接SPI接口器件 - 第二部分 描述了使用CrossLink-NX FPGA连接基于SPI的外部组件。
  • 连接SPI接口器件 - 第一部分 第一篇博文介绍了使用两个时钟域实现连接DAC(亚德诺半导体公司的AD7303 DAC)的SPI接口。
  • 安路科技登陆科创板,成中国FPGA第一股 安路科技是一家主营业务为FPGA芯片和专用EDA软件的研发、设计和销售的高新技术企业。公司产品广泛应用于工业控制、网络通信、数据中心、消费电子等产业。同时安路科技也是国内营收排名第一的FPGA供应商,2019年公司FPGA芯片出货量在中国市场国产品牌中排名第一,2020年出货量突破两千万颗。
  • 耐辐射FPGA具备高可靠性和可重构性,助力解决航天器设计 在挑选现场可编程门阵列(FPGA)半导体产品时,卫星和航天器系统设计人员有几种不同的选择。一种是选择商用现货(COTS)组件,这种做法可降低组件单位成本,缩短交付时间,但可靠性通常不足……
  • 新款iPad Pro 2021成最受欢迎的 由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
  • 三星折叠屏手机Galaxy Z Fold 3 目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。

  • Qorvo® 推出首款单个模块即可支 Qorvo今日推出首款覆盖5.1GHz至7.1GHz频段的宽带前端模块 (FEM),不仅能最大限度地提高容量,而且还能简化设计,缩短产品上市时间,并将前端电路板空间减少50%,适用于Wi-Fi 6E企业级架构。
  • 5G 基础设施的驱动 根据全球移动通信系统协会 GSMA 提供的数据,5G 目前正在顺利推广中,预计将在 2025 年覆盖全球三分之一的人口。另外根据全球领先综合数据库Statista 的调查,主要手机制造商皆已推出 5G 手机,这将使那些希望以理论上高达 50Gb/s 的最大速度传输数据流和视频的人感到满意,预计到 2023 年全球 5G 订阅量将达到 13 亿 。
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了