广告

清微智能王博谈智能安防硬核技术之智能感知、图像/视频处理和边缘AI计算

时间:2021-08-12 阅读:
《电子工程专辑》8月刊封面专题的主题是智能安防三大硬核技术,我们从智能感知、图像/视频处理,以及AI计算这三个方面分别采访了多名业界技术专家。本文是清微智能CEO王博就智能感知、图像/视频处理和边缘AI计算方面的问答访谈。
广告

点击报名参加直播

《电子工程专辑》8月刊封面专题的主题是智能安防三大硬核技术,我们从智能感知、图像/视频处理,以及AI计算这三个方面分别采访了多名业界技术专家。本文是清微智能CEO王博就智能感知、图像/视频处理和边缘AI计算方面的问答访谈。

王博,清微智能创始人兼CEO

王博获得北京邮电大学计算机通信专业硕士。2018年,带领清华大学可重构计算团队创办北京清微智能科技有限公司。在不到3年的时间内,实现两款超低功耗智能语音芯片和一款多模态智能计算芯片量产,目前已广泛应用于智能安防、金融支付、智能穿戴,航空航天等领域。

在王博的带领下,清微智能先后获得两届“中国芯”集成电路优秀技术产品奖、2019年世界互联网大会“领先科技成果”、中关村论坛创新大奖第一名、2020年科学技术奖技术发明一等奖、2021“silicon 100”等诸多荣誉。

AI为安防监控行业带来了哪些挑战和机遇?

随着技术的发展,对视频监控的图像处理能力提出了更高的要求,高清晰度、更逼真、昏暗场景下的图像显示等,而新的算法可以为其提供有效支撑,例如、图像去躁、双光融合等。清微智能主要从这些方向做优化,打造更加多样化的安防产品,解决之前同质化严重的问题。

智能安防的“智能”主要表现在哪些方面?

“智能”主要体现在对图像的甄别和数据的分析上,随着技术,特别是技术的发展,安防系统从传统的监测功能开始慢慢具有甄别的功能。现在比较常见的闯红灯识别、通缉犯识别、危险情况报警等,而再往后,安防系统会具有分析能力,应用前景也将变得更为广阔,例如养老、智慧社区等。

未来3-5年,智能安防有哪些值得关注的新兴技术及应用?

除了传统的交通、公安、社区等领域,视频监控未来在一些新兴领域会有更大发挥。例如,工业中的产品缺陷监测、安规测试;农业中的农作物病害检测、农产品无损检测等;线下零售行业的柜台监控等。

边缘AI如何与传感器结合让摄像头更智能?

边缘技术让数据采集之后被及时处理,这带来很多好处:第一、减少延时;第二、减少数据的传输带宽;第三、数据隐私和安全得以更好地保证;第四,摆脱对网络和云端计算的依赖;第五、让摄像头具有感知决策能力。

“数据就地处理”的边缘计算对图像处理器和视频处理器芯片提出了哪些新的技术和性能要求?

算力要求更高,功耗要求更低、处理速度更快;尺寸更小。

由清华大学可重构计算研究团队创办的北京清微智能开发的可重构计算芯片TX510,可以依据应用和算法重构执行计算的硬件资源,具有按需即时重构、高能效、低功耗等特点。TX510是一款面向IoT设备的超低功耗视觉处理芯片。 该芯片基于可重构神经网络引擎RNE,支持AlexNet、GoogleNet、ResNet、VGG、Faster RCNN、Yolo、SSD、FCN和SegNet等主流神经网络,可实现人脸识别、物体识别、手势识别、目标跟踪等功能。

TX510内置3D引擎,定制低功耗 ISP 引擎,支持MIPI、RGB、USB、LPDDR2等接口,可以广泛应用在智能安防监控、智能家居、新零售等领域 。

TX510产品结构图。(来源:清微智能)

基于TX510的人脸识别系统产品流程。(来源:清微智能)

清微智能的可重构计算芯片因为可以依据应用和算法重构执行计算的硬件资源,所以具有按需即时重构、高能效、低功耗、可适用于多种场景的通用性特点。可重构芯片应用于图像信号处理的优势主要表现在:

  • 快速在芯片上实现最新的图像算法
  • 更加强大的图像处理性能
  • 更高的能量效率
  • 更低的成本,更低的NRE
  • 延长产品的生命周期
  • 给客户提供了自己定制ISP算法的可能

哪些数据可以在边缘端本地处理?哪些数据需要传输到服务器或云端进行集中处理和计算?

需要融合的数据(多台摄像头采集的数据需要融合处理)、必须需要结合云端数据库的数据、一些超大规模的模型的算法、需要做训练的数据等这些必须放到服务器和云端来处理,而除了这些数据其它的就可以放在边缘端来处理。

在为安防监控应用选择AI训练和推理芯片时,应考虑哪些因素?

价格、功耗、算力、尺寸,对多种算法的支持。

AI芯片和加速卡在智能安防领域的商用落地现状如何?未来发展趋势又是怎样的?

从国家战略层面看,人工智能是基本策略,从政策的制定到对市场的干预都在推动视频监控行业朝着智能化方向发展。

目前来看,在视频监控领域只能算是刚刚起步,特别是在一些的市场,但从传统到智能化一定是方向,一些算法公司也开始加入,而一些传统的芯片企业如果不转型,其产品的单一性,同质化,会导致其陷入价格竞争的尴尬境地,被一些新的厂商所替代。

责编:Steve

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 2021年全球智能视频监控市场规模将达242亿美金 据Omdia最新研究数据显示,全球智能视频监控及相关基础设施市场规模将在2021年达到242亿美金。随着因2020年新冠疫情影响的需求回升,智能视频监控市场将在2021年快速恢复。
  • 思特威欧阳坚谈智能安防硬核技术之智能感知 《电子工程专辑》8月刊封面专题的主题是智能安防三大硬核技术,我们从智能感知、图像/视频处理,以及AI计算这三个方面分别采访了多名业界技术专家。本文是思特威副总经理欧阳坚就智能安防硬核技术的智能感知进行的问答访谈。
  • 亿智电子魏唯谈智能安防硬核技术之图像/视频处理和AI 《电子工程专辑》8月刊封面专题的主题是智能安防三大硬核技术,我们从智能感知、图像/视频处理,以及AI计算这三个方面分别采访了多名业界技术专家。本文是亿智电子安防产品部VP魏唯就图像/视频处理、CMOS图像传感器,以及AI计算方面进行的问答访谈。
  • 智能安防三大硬核技术:智能感知、图像/视频处理、AI计 随着近几年人工智能的快速发展,人脸识别、视频结构化和大数据分析等技术不断完善,原本用途单一的安防产品功能逐步走向多元化。同时,安防产业开始与交通、社区、港务等多领域进行融合,安防的边界越来越模糊,安防产业已经进入一个全新的泛安防时代。
  • 鲲云科技王少军博士谈智能安防硬核技术之图像/视频处 《电子工程专辑》8月刊封面专题的主题是智能安防三大硬核技术,我们从智能感知、图像/视频处理,以及AI计算这三个方面分别采访了多名业界技术专家。本文是鲲云科技COO王少军博士就图像/视频处理和AI计算方面的问题进行的问答访谈。
  • 边缘计算的巅峰是自主学习,而我们还只在山脚下 展望未来的边缘计算和人工智能物联网(AIoT),一定会有自主的发展出现。系统会自主化决定应该选择模型、策略、算法,自动收集数据训练模型,把训练结果用于实际系统,open Pose 技术将在业界普及。我们认为这是边缘人工智能发展的第三个阶段,也是最高阶段。
  • 新款iPad Pro 2021成最受欢迎的 由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
  • 三星折叠屏手机Galaxy Z Fold 3 目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。

  • EMC对策产品: TDK推出用于移动设备 TDK株式会社(TSE:6762)推出用于移动设备的TCM0403M系列小型薄膜共模滤波器
  • 比科奇ORANIC板卡获行业大奖,5G小基 比科奇(Picocom)日前宣布:该公司荣获全球小基站论坛(SCF)一项大奖,其全新的ORANIC板卡赢得了全球小基站论坛(SCF)2021年度“小基站芯片及组件杰出创新金奖”。
  • MOS工作过程 if (!window.__second_open__) { document.getElementById('js_image_desc').inne
  • 为什么DDR电源设计时需要VTT电源 往期精彩1、超全超详细Mos管元件特性及工作原理介绍;2、超详细开关电源芯片内部电路解析;3、70G硬件设计资料汇总分享;【友情推荐】4、分享一份老工程师(某为工作15年)经常使用的pcb企业封装库包
  • 小米汽车来了! 点击蓝字关注我们9月1日,小米集团董事长雷军在微博上表示,小米汽车正式注册,公司名为小米汽车有限公司,注册资金100亿,小米董事长兼CEO雷军担任法人代表。小米汽车公司的正式注册成立,被视为小米集团进
  • 基站中的无源交调(PIM)----挑战和解决方案 电子万花筒平台核心服务 中国最活跃的射频微波天线雷达微信技术群电子猎头:帮助电子工程师实现人生价值! 电子元器件:价格比您现有供应商最少降低10%射频微波天线新产品新技术发布平台:
  • 【世说芯品】芯讯通5G模组赋能智能重卡 推动车联网建设 全球5G行业正蓬勃发展,5G商用已成为“兵家必争之地”。5G就如同一把“黄金钥匙”,能以超高可靠性、超低时延和万物互联的特性,实现工业环境中海量数据接入与关键数据实时传输的多种应用需求,实现人、机、物
  • 增速最快!中芯国际Q2晶圆代工表现抢眼 快科技消息,8月31日,集邦资讯公布Q2季度全球晶圆代工市场最新排名,总产值达到了244.07亿美元,环比增长6.2%,创下了2019年Q3季度以来连续8个季度增长的新高。在TOP10厂商中,台积电一
  • 如何将Flash模拟成EEPROM ↑点击上方蓝色字体,关注“嵌入式软件实战派”获得更多精彩内容。温馨提示:本文参考《EEPROM Emulation with Qorivva MPC55xx, MPC56xx, and MPC57xx
  • 半导体产业之污染控制(一) 这几节小编将为大家解释污染对器件工艺、器件性能和器件可靠性的影响,以及芯片生产区域存在的污染类型和主要的污染源。同时,也将对净化间规划、主要的污染控制方法和晶片表面的清洗工艺进行讨论。首先来看看什么是
  • Wi-Fi 6“智能避扰”黑科技,真的很“黑” 阿中与小兴是同在城市里打拼的室友,共同拼搏相互扶持的他们,最近因为Wi-Fi问题,差点打翻了友谊的小船——阿中!你怎么又掉线了?团战开黑总掉线,你是对面派来的卧底吗?!你还好意思说我?技能未放身先死,
  • 采样电阻选型详析 电流检测电阻的基本原理根据欧姆定律,当被测电流流过电阻时,电阻两端的电压与电流成正比.当1W的电阻通过的电流为几百毫安时,这种设计是没有问题的.然而如果电流达到10-20A,情况就完全不同,因为在电阻
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了