广告

亿智电子魏唯谈智能安防硬核技术之图像/视频处理和AI计算

时间:2021-08-11 作者:顾正书 阅读:
《电子工程专辑》8月刊封面专题的主题是智能安防三大硬核技术,我们从智能感知、图像/视频处理,以及AI计算这三个方面分别采访了多名业界技术专家。本文是亿智电子安防产品部VP魏唯就图像/视频处理、CMOS图像传感器,以及AI计算方面进行的问答访谈。
广告

点击报名参加

《电子工程专辑》8月刊封面专题的主题是智能安防三大硬核技术,我们从智能感知、图像/视频处理,以及AI计算这三个方面分别采访了多名业界技术专家。本文是亿智电子安防产品部VP魏唯就图像/视频处理、CMOS图像传感器,以及AI计算方面进行的问答访谈。

魏唯,亿智电子安防产品部VP

安防领域产品专家,十余年来持续深耕视像安防领域的产品解决方案,拥有丰富的行业经验。近6年来,专注AI在视像安防产品的落地,用AI SoC为安防视像终端赋能,尤其在基于视频的AI应用场景,有着专业的产品化经验。

AI为安防监控行业带来了哪些挑战和机遇?

据IDC Global DataSphere预测,2020全球视频监控产生的数据约18.1PB,占同期物联网数据量83.1%,构成物联网数据的主体。然而在实际应用中,出于各种人力和技术条件的限制,尤其如果单凭人眼监控,这些数据的利用效率会很低。但是,如果将AI直接部署到监控摄像机,人工智能可以对视频数据进行结构化处理和分析,提取对我们有用的信息,从而激活数据,提高安防效率。

然而,在落地的过程中,存在诸多挑战。一方面是应用场景碎片化,各行各业的AI需求不同,很难对算法进行标准化。另一方面,将AI部署到前端摄像机,需要具备端侧算力的芯片,行业内可以提供这类芯片的厂商很少。

智能安防的“智能”主要表现在哪些方面?

传统的安防是解决"看得见"、"看得清"的问题,而智能安防要解决"看得懂"的问题。以往靠人工方式去查看视频,现在智能安防会把"车水马龙"类的有用信息记录下来,而把"风吹草动"类的无用信息过滤掉。例如,针对在电梯里的火情识别、社区的高空抛物监控,依靠人力监控难免有疏忽或延时,但是AI"关注车水马龙,忽略风吹草动"的能力,可以马上识别并预警公共安全风险,提高安全管理效率。

未来3-5年,智能安防有哪些值得关注的新兴技术及应用?

我个人认为,智能化的前端IPC摄像机,在未来3-5年的时间内将替代现有的IPC,那时将不存在不具备AI功能的摄像机,这需要带端侧算力的AI SoC芯片去推动实现。

目前,搭载亿智电子AI芯片的摄像机已经可以实现人脸人形识别,越界检测与预警(如翻墙识别)、人员闯入检测与预警(如人员进入配电箱等危险区域的检测与预警)、客流识别等智能应用。已经安装了IPC摄像机的位置,都有监控需求,未来可以深挖更多的应用场景。

在技术方面,随着NPU等AI加速器技术和传感器技术的发展,以红外热成像技术的应用为例,这类不可见光同样蕴含着很多对人类有用的信息,同时也需要NPU来支持相关算法的计算处理,才能真正解决实际问题,服务人类生活。热成像设备收集到平面的温度数据,而利用算法,可以计算得到三维立体的数据。这样一来,我们不使用可见光形成的图像,仅利用处理过的数据信息,来做老人和小孩看护,既能解决用户隐私问题,又能达到更有效的监护效果。在未来,对端侧算力的需求会越来越大。

安防监控行业对CMOS图像传感器有什么特殊的技术和性能要求?

智能安防场景下,摄像机对CMOS的宽动态和低照度有更高的要求,以做人脸识别为例,无论是逆光场景还是低光照场景下,都要求CMOS能够输出清晰的图像给到NPU(神经网络处理单元),NPU才能进行相应的运算。因此,现在的AI芯片都要求具备宽动态技术的CMOS,而传统的并无这一需求。

“数据就地处理”的边缘计算对图像处理器和视频处理器芯片提出了哪些新的技术和性能要求?

图像处理器和视频处理器芯片要实现“数据就地处理”,需要各模块之间的协同运行,有效数据首先要经过ISP,ISP能获得清晰的图像数据,再给NPU对数据进行实时性的计算。端侧算力1.5T 可以满足同时运行3-5种算法的需求,例如同时进行人脸检测、识别、跟踪。要在端侧部署AI算力,在性能上需要SoC有很强的集成能力,集成包括ISP、NPU、视频编解码等模块。

亿智SV826 / SV823是高性能的安防芯片,主要面向视频编解码摄像机产品。其性能如下:

  • SV826 / SV823采用智能H.265+编码技术,支持最高4K超高清视频录像;
  • 集成专业安防级别的ISP,支持2~3帧宽动态融合和自适应降噪,在逆光和低照度环境下表现出色;
  • 搭载亿智第二代自研NPU,提供1.5T/0.8T智能算力,可高效支持人脸识别/检测、人形识别、车牌识别、车型识别、视频结构化,以及智能行为分析等智能应用场景。

这些芯片主要面向前端智能IPC相机,可结合多种第三方算法应用,“机非人”检测识别、高空抛物、电动车识别、安全帽/头盔识别等物体识别类算法,助力智能安防应用落地。

人工智能视觉芯片(Vision Chip)相比传统图像/视频处理器芯片有什么优势?

相较传统,AI 视觉SoC芯片集成了NPU(神经网络处理器),是SoC中的AI计算单元。由于是专门为AI加速而设计的处理单元,在计算的速度和准确率都会有大幅的提升。

边缘AI芯片如何与软件和算法结合以满足特定安防应用场景的需求?

为了适配不同的算法和硬件,亿智电子从芯片原厂的角度出发,考虑多种策略去支持下游合作伙伴的应用,例如面向特定场景,我们的合作伙伴可能要在同一台设备上同时实现不同厂家的算法,这就需要我们在设计芯片的时候提前考虑,从底层技术上去做适配。

哪些数据可以在边缘端本地处理?哪些数据需要传输到服务器或云端进行集中处理和计算?

以人脸识别为例,人脸检测和抓拍是在本地通过设备端实时进行的;对抓拍到的人脸进行识别的工作,可能涉及十万级或以上的数据库的比对,则可交给云端,通过更大的算力去快速完成运算。

芯片和加速卡在智能安防领域的商用落地现状如何?未来发展趋势又是怎样的?

以IPC(网络摄像机)设备来说,目前AI IPC只有不到1%的市场渗透率,我相信3-5年内会趋于100%的渗透率,对传统不具备AI功能的摄像机实现全面替代。

责编:Steve

  • 腻害
  • 魏总介绍的很详细
  • 牛叉人物了 加油骚年
本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
顾正书
电子工程专辑(EETimes China)主分析师。以深圳为坐标原点,扫描全球电子和半导体行业。专注于China Fabless和SoC设计细分市场的分析和学习,欢迎交流。
  • 2021年全球智能视频监控市场规模将达242亿美金 据Omdia最新研究数据显示,全球智能视频监控及相关基础设施市场规模将在2021年达到242亿美金。随着因2020年新冠疫情影响的需求回升,智能视频监控市场将在2021年快速恢复。
  • 清微智能王博谈智能安防硬核技术之智能感知、图像/视 《电子工程专辑》8月刊封面专题的主题是智能安防三大硬核技术,我们从智能感知、图像/视频处理,以及AI计算这三个方面分别采访了多名业界技术专家。本文是清微智能CEO王博就智能感知、图像/视频处理和边缘AI计算方面的问答访谈。
  • 思特威欧阳坚谈智能安防硬核技术之智能感知 《电子工程专辑》8月刊封面专题的主题是智能安防三大硬核技术,我们从智能感知、图像/视频处理,以及AI计算这三个方面分别采访了多名业界技术专家。本文是思特威副总经理欧阳坚就智能安防硬核技术的智能感知进行的问答访谈。
  • 智能安防三大硬核技术:智能感知、图像/视频处理、AI计 随着近几年人工智能的快速发展,人脸识别、视频结构化和大数据分析等技术不断完善,原本用途单一的安防产品功能逐步走向多元化。同时,安防产业开始与交通、社区、港务等多领域进行融合,安防的边界越来越模糊,安防产业已经进入一个全新的泛安防时代。
  • 鲲云科技王少军博士谈智能安防硬核技术之图像/视频处 《电子工程专辑》8月刊封面专题的主题是智能安防三大硬核技术,我们从智能感知、图像/视频处理,以及AI计算这三个方面分别采访了多名业界技术专家。本文是鲲云科技COO王少军博士就图像/视频处理和AI计算方面的问题进行的问答访谈。
  • 边缘计算的巅峰是自主学习,而我们还只在山脚下 展望未来的边缘计算和人工智能物联网(AIoT),一定会有自主的发展出现。系统会自主化决定应该选择模型、策略、算法,自动收集数据训练模型,把训练结果用于实际系统,open Pose 技术将在业界普及。我们认为这是边缘人工智能发展的第三个阶段,也是最高阶段。
  • 新款iPad Pro 2021成最受欢迎的 由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
  • 三星折叠屏手机Galaxy Z Fold 3 目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。

  • EMC对策产品: TDK推出用于移动设备 TDK株式会社(TSE:6762)推出用于移动设备的TCM0403M系列小型薄膜共模滤波器
  • 比科奇ORANIC板卡获行业大奖,5G小基 比科奇(Picocom)日前宣布:该公司荣获全球小基站论坛(SCF)一项大奖,其全新的ORANIC板卡赢得了全球小基站论坛(SCF)2021年度“小基站芯片及组件杰出创新金奖”。
  • 小米汽车来了! 点击蓝字关注我们9月1日,小米集团董事长雷军在微博上表示,小米汽车正式注册,公司名为小米汽车有限公司,注册资金100亿,小米董事长兼CEO雷军担任法人代表。小米汽车公司的正式注册成立,被视为小米集团进
  • MOS工作过程 if (!window.__second_open__) { document.getElementById('js_image_desc').inne
  • 国产半导体传来好消息,集成电路设备产量大涨,中芯国际也在加速! 我国不断提高芯片产业的竞争力,对很多国产半导体企业都采取较大的扶持力度,还计划不断提升芯片产能。但是提升芯片产能的前提是加大半导体设备产量。好消息是,我国集成电路设备产量大涨,国产芯片制造商中芯国际也
  • 基站中的无源交调(PIM)----挑战和解决方案 电子万花筒平台核心服务 中国最活跃的射频微波天线雷达微信技术群电子猎头:帮助电子工程师实现人生价值! 电子元器件:价格比您现有供应商最少降低10%射频微波天线新产品新技术发布平台:
  • 【求职必备干货】电子工程师面试笔试题汇总 ▲ 更多精彩内容 请点击上方蓝字关注我们吧!金九银十,又到一年毕业求职季,面对人生的第一份工作,既兴奋又担心。每位学子都希望能进入大厂历练,为自己的职业生涯打下坚实基础。每年这个时
  • 破亿近在眼前!华为鸿蒙OS 2用户数突破 9000万 6月2日,华为正式发布HarmonyOS 2系统,同时官方还开启了规模浩大的百机升级计划。根据最新消息,华为HarmonyOS 2升级用户目前已突破9000万。这距离华为HarmonyOS 2升级用户
  • 采样电阻选型详析 电流检测电阻的基本原理根据欧姆定律,当被测电流流过电阻时,电阻两端的电压与电流成正比.当1W的电阻通过的电流为几百毫安时,这种设计是没有问题的.然而如果电流达到10-20A,情况就完全不同,因为在电阻
  • Q2晶圆代工排名公布:台积电第一、中芯国际第五 8月31日,集邦资讯公布了Q2季度全球晶圆代工市场最新排名,总产值达到了244.07亿美元,环比增长6.2%,创下了2019年Q3季度以来连续8个季度增长的新高。在TOP10厂商中,台积电一家独大,Q
  • 增速最快!中芯国际Q2晶圆代工表现抢眼 快科技消息,8月31日,集邦资讯公布Q2季度全球晶圆代工市场最新排名,总产值达到了244.07亿美元,环比增长6.2%,创下了2019年Q3季度以来连续8个季度增长的新高。在TOP10厂商中,台积电一
  • 【世说芯品】芯讯通5G模组赋能智能重卡 推动车联网建设 全球5G行业正蓬勃发展,5G商用已成为“兵家必争之地”。5G就如同一把“黄金钥匙”,能以超高可靠性、超低时延和万物互联的特性,实现工业环境中海量数据接入与关键数据实时传输的多种应用需求,实现人、机、物
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了