广告

简化AI部署流程:百度边缘部署适配与加速解决方案

时间:2021-07-30 作者:Challey 阅读:
2021年7月27日,全球领先的专业电子机构媒体Aspencore与深圳市新一代信息通信产业集群联合主办“2021国际AIoT生态发展大会”。在智慧能源分论坛上,百度ACG AI产品研发部高级研发工程师傅雨东先生介绍了智慧能源中的边缘部署适配与加速解决方案。
广告

2021年7月27日,全球领先的专业电子机构媒体Aspencore与深圳市新一代信息通信产业集群联合主办“2021国际AIoT生态发展大会”。在智慧能源分论坛上,百度ACG AI产品研发部高级研发工程师傅雨东先生介绍了智慧能源中的边缘部署适配与加速解决方案。

根据百度过往合作的经验来看,目前定制化AI的需求其实不止在能源方面,从科研机构、工业,一直到农业等各个方面都有定制化AI模型的需求,下面是几个例子:

1、生产安全行为识别:检测生产车间内的安全作业情况,比如在机器运转过程当中是否有工作人员误入机器的运转范围,或者是工作人员操作搅盘时,他和搅盘之间的是否为安全距离。

2、加油站风险识别:针对加油站中的危险行为,比如玩手机、打电话、吸烟等不安全行为进行检测。

3、能源相关案例:佛山供电局输电管理所针对电网附近大型机车做检测,如果发现电网附近有机车就会通过微信自动推送警告的通知。目前识别率是达到80%,目前还在以2-3周的更新频率不断的迭代优化识别率。

上面几个案例总结边缘计算的三个特点:

1首先是网络方面之所以要把服务部署在边端而不是放在云服务器上,是因为用户对隐私有一定的要求,无需把数据传到云端,而是在边端处理,再进行结果返回。

2对时延有较高要求把图片或数据传到云端,网络开销很大。通常很多场景下,需要毫秒级的响应时延。

3边缘计算实际运行的设备、系统架构、硬件形态是多样的也正是因为这样,比如针对某一个设备做了适配,当把它移植到另一种硬件上时,往往是比较难移植的。因此,在边缘计算的过程当中,有一个巨大的挑战就是针对精度、性能和成本进行平衡。

总结起来就是下图:

为了方便用户在精度、性能、成本三个方面取得平衡,我们有两大平台来给用户提供全套的解决方案。用户经过平台就能方便构建出自己的应用。整个平台可以分为数据准备、模型构建、模型优化和模型部署四大模块,本文主要针对模型优化和模型部署进行详细的介绍。

EasyEdge平台

首先介绍一下EasyEdge平台,它帮助用户屏蔽模型转换、面向设备的兼容和加速、封装,最终直接转换为各种端与边缘计算供用户实际部署。

EasyEdge平台支持20余种芯片与硬件平台,4大主流操作系统,除了CPU和GPU两款主流的芯片之外,还有很多芯片,比如百度自研的昆仑芯片、华为的服务器等。

EasyEdge网络的支持如上图展示,上半部分是对于框架的支持。百度在框架上除支持飞桨,也支持其他框架。下半部分是EasyEdge支持的网络,可以看到涵盖了分类、检测、人脸等各方面,这里列出具体的网络是挑选了比较具有代表性,或者是具有实用价值的网络,但并不代表平台仅支持这些网络。因为对于网络的支持是从网络结构的各个OP来为角度支持的,有一些不在这个表上,但只要OP支持,整个网络都是可以支持的。

那么EasyEdge是怎么做到的呢?

EasyEdge技术架构

这幅图展现了EasyEdge平台的技术架构。EasyEdge平台分为面向图的优化、面向芯片的优化、编译打包和评估。面向图的优化主要是模型中的算子融合、裁剪等;面向芯片的优化主要包括针对特定的优化,比如最终想把服务部署在英伟达的GPU上,就把模型预处理工作放到GPU上;如果有一些在GPU上框架没有实现的算子,也会自定义算子,最后完成端到端的过程。模型压缩主要是包括量化、裁剪、蒸馏等,主要是把模型的体积降下来。当通过这几个优化得到模型之后,就会通过编译和打包模型来生成用户得到的开发套件。对于集成商,他们往往对于模型的安全性是有一定考量的。所以,这个平台集成了模型安全加固操作。除此之外,全自动评估模块是在实际模型打包的同时,把它下发到评估集群,然后可以得到这个模型实际的运行效率,以及消耗各项资源的指标。

推理计算图的优化

这是几个图优化的案例首先是OP融合,把几个算子融合为一个算子,它可以减少中间的存储和内存占用。OP替换与裁剪,之所以要对OP进行替换和裁剪就是优秀算子只在某一些芯片上有,但是在另外一些芯片上没有。当我们支持各个不同芯片时,就要做算子的替换。比如说有的芯片不支持一些算子,就要用其他的方式做替换。

这是模型压缩的方案内部是提供了包括训练后量化、量化训练、裁剪、蒸馏等多套智能的压缩方案。当然,用户在实际使用过程当中并不需要关心内部是基于哪套压缩方案来实现的,只需要关心加速是需要精度无损的加速,或者是精度微损的加速。但希望这个精度损失较少,或者是精度损失比较大也能接受,但它要尽可能快,用户就会选择不同的压缩方案,内部就会用具体的压缩方案来实现。

这是软硬一体的方案。百度和一些硬件厂商或者是自研的硬件做更深入的适配工作,目前软硬一体方案大致可以分为超高性能、高性能、低成本/小功耗大类,总共是6款硬件产品。

首先是自研的EdgeBoard计算盒,可以支持8路的视频流,通用性也是比较强的,它能支持主流的深度框架。

这是EdgeBoard开发套件算力好,定制化能力更高,可支持定制化的设计。

这是Jetson开发套件有三款,但算力不一样。下面的表格是列举三款硬件的推理性能。

这是输入尺寸224×224的模型为例,列举各个芯片上的实际推理速度,右边是一个硬件适配表进入的流程。大家也可以在平台具体的硬件适配表上看到不同的模型,在不同硬件上大致推理速度,可以帮助大家在训练前就能对训练出来的模型性能有一个大致的了解。

是自动化评估系统自动化评估系统输入是包括评测的数据级、评测的配置。比如说希望这个模型在哪个设备上评测,输出主要是这个模型在对应的硬件上的推理结果。另外是推理结果计算出来的精度的指标,以及一些性能的指标。比如说在这个硬件上,这个模型耗时多少等。还包括资源的指标,比如说这个模型在这款硬件上运行推理100张图,它需要消耗多少内存、多少显存。

这是平台上最后产出的性能报告主要展示在不同的应用平台和实际的测试应用上,针对用户选择不同模型加速的方案实际的模型精确度和推理性能,内存、显存消耗的展示对比,可以供用户在实际部署前,有一个大致的概念。用户可以看到在预算范围内,或者是在他可以接受的硬件上,哪一种方案更适合他。

端云协同部署方案

端云协同部署方案主要是解决设备管理和服务管理的痛点。在这种方案下,用户可以在云端管理边端设备以及可以在边端设备上管理要部署的服务,但实际的服务还是运行在端和边缘的设备上的。这样,用户就不需要手动每一台机器登录、启动服务、操作服务,上述动作都可在云端完成。通过这种服务部署方案,也可以极大的提升用户部署AI服务的效率。

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
Challey
暂无简介...
  • 中国科大成功研发出新型量子机器学习技术,实现数据特征 机器学习是指使用计算机从大量历史数据中挖掘隐含规律,并用于后续预测或者分类的过程。机器学习是人工智能的核心,是计算机具有智能的根本途径,其理论和方法已被广泛应用于解决日常应用和科学领域的复杂问题。为了成功完成特定任务,人工智能往往需要大量数据用于总结与分类……
  • 人工智能正在改变物流自动化的方式,将为劳动密集型产业 将人工智能引入物流自动化将大大增强人工智能的影响力。人工智能可以减少常见的半技能任务(如对产品进行分类和分拣)中的错误。利用自主移动机器人AMR可以提升包裹投递的效率,包括最昂贵的最后一公里的投递。人工智能帮助自主移动机器人AMR进行路线的规划和特征的识别,比如人、障碍物、交付门户和门口等。
  • 创意电子发布业界带宽最大、功耗最低的晶粒对晶粒 (GL GLink 2.0 IP 采用台积电 5 纳米制程与 2.5D 先进封装技术,并成功完成硅验证
  • 探讨最新处理器技术, 共话MCU生态 2021年8月26日,由ASPENCORE举办的一场“全球MCU生态发展大会”汇聚了微控制器领域的技术和应用专家,共同探讨最新处理器技术、边缘AI、新兴应用和生态发展等热门议题。此次大会的主题为“把握'芯'基建,共绘MCU生态”。
  • Intel GPU的野望:从游戏到数据中心 今年的Intel Architecture Day上,更多有关Intel GPU的产品信息揭开面纱。这次Intel主要谈到了面向游戏玩家的Xe-HPG架构Alchemist GPU;以及面向数据中心的Xe-HPC架构GPU芯片Ponte Vecchio。后者被Intel形容为技术难度“堪比登月”的芯片,这也是我们第一次见到MCM(Multi-chip Module)/chiplet形态的GPU芯片……
  • 与工程师携手构建更美好的未来数字世界 随着物联网(IoT)、人工智能(AI)等新兴技术的崛起,加速了各行各业的数字转型(DX);以及风力、太阳能等可再生能源的扩大使用推动了能源转型(EX)。 这些历史性的变革让各种电子元件与装置的重要性更胜以往,TDK也致力于以专长的磁性技术,不断创造能实现DX与EX、改变未来的解决方案。
  • 新款iPad Pro 2021成最受欢迎的 由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
  • 三星折叠屏手机Galaxy Z Fold 3 目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。

  • EMC对策产品: TDK推出用于移动设备 TDK株式会社(TSE:6762)推出用于移动设备的TCM0403M系列小型薄膜共模滤波器
  • 比科奇ORANIC板卡获行业大奖,5G小基 比科奇(Picocom)日前宣布:该公司荣获全球小基站论坛(SCF)一项大奖,其全新的ORANIC板卡赢得了全球小基站论坛(SCF)2021年度“小基站芯片及组件杰出创新金奖”。
  • 【求职必备干货】电子工程师面试笔试题汇总 ▲ 更多精彩内容 请点击上方蓝字关注我们吧!金九银十,又到一年毕业求职季,面对人生的第一份工作,既兴奋又担心。每位学子都希望能进入大厂历练,为自己的职业生涯打下坚实基础。每年这个时
  • 建厂难、验证烦,Foundry和Fabless的同一个“困惑”  问题到底出在哪里?作者:亚亚君引言——几年前,上海的一位领导向芯谋研究首席分析师顾文军问了一个问题:“作为国内领先的代工厂,中芯国际能给高通流片28纳米工艺,为什么不能给展锐流片?而展锐作
  • 国产替代之痛,这款超高性价比的MCU堪称“翘楚”! MCU涨价缺货是埋在工程师心头的一根刺,从晶圆产能告急再到疫情天灾不断,MCU市场命途多舛。而究其市场国外产品占据超过70%,加之地缘政治摩擦加剧,国产化和国产替代成为当代电子必谈之需。记者获悉,从去
  • Q2晶圆代工排名公布:台积电第一、中芯国际第五 8月31日,集邦资讯公布了Q2季度全球晶圆代工市场最新排名,总产值达到了244.07亿美元,环比增长6.2%,创下了2019年Q3季度以来连续8个季度增长的新高。在TOP10厂商中,台积电一家独大,Q
  • 如何将Flash模拟成EEPROM ↑点击上方蓝色字体,关注“嵌入式软件实战派”获得更多精彩内容。温馨提示:本文参考《EEPROM Emulation with Qorivva MPC55xx, MPC56xx, and MPC57xx
  • 【世说芯品】芯讯通5G模组赋能智能重卡 推动车联网建设 全球5G行业正蓬勃发展,5G商用已成为“兵家必争之地”。5G就如同一把“黄金钥匙”,能以超高可靠性、超低时延和万物互联的特性,实现工业环境中海量数据接入与关键数据实时传输的多种应用需求,实现人、机、物
  • 破亿近在眼前!华为鸿蒙OS 2用户数突破 9000万 6月2日,华为正式发布HarmonyOS 2系统,同时官方还开启了规模浩大的百机升级计划。根据最新消息,华为HarmonyOS 2升级用户目前已突破9000万。这距离华为HarmonyOS 2升级用户
  • 一代国民神车落寞,宝马中国收购华晨中华工厂 点击蓝字关注我们据财经汽车报道,8月31日,华晨集团等12家企业实质合并重整案召开第二次债权人大会,会上共有三项议案,包括财产管理及变价方案、成立债权人委员会两项议案,以及核心议案宝马中国收购华晨中华
  • Wi-Fi 6“智能避扰”黑科技,真的很“黑” 阿中与小兴是同在城市里打拼的室友,共同拼搏相互扶持的他们,最近因为Wi-Fi问题,差点打翻了友谊的小船——阿中!你怎么又掉线了?团战开黑总掉线,你是对面派来的卧底吗?!你还好意思说我?技能未放身先死,
  • 相见恨晚的Altium Designer使用技巧 首先声明下,写这个专题的目的不是为了做教程,所以前提都是建立在大家对于AD比较熟悉的基础上,旨在为大家减少一些画板过程中的繁琐机械的劳动~本文转载自Altium官方公众号。废话不多说,正文开始!场景一
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了