广告

鲲云科技王少军博士谈智能安防硬核技术之图像/视频处理和AI计算

时间:2021-08-10 作者:顾正书 阅读:
《电子工程专辑》8月刊封面专题的主题是智能安防三大硬核技术,我们从智能感知、图像/视频处理,以及AI计算这三个方面分别采访了多名业界技术专家。本文是鲲云科技COO王少军博士就图像/视频处理和AI计算方面的问题进行的问答访谈。
广告

《电子工程专辑》8月刊封面专题的主题是智能安防三大硬核技术,我们从智能感知、图像/视频处理,以及AI计算这三个方面分别采访了多名业界技术专家。本文是鲲云科技COO王少军博士就图像/视频处理和AI计算方面的问题进行的问答访谈。

王少军博士是鲲云科技合伙人兼COO,鲲云人工智能应用创新研究院副院长,负责整体商务运营和产品化落地。伦敦帝国理工学院计算系访问学者,FPT2016国际会议程序委员会联合主席,PHM2017国际会议出版主席,IEEE ACCESS期刊副主编,ACM TRETS期刊客座副主编,多个国际期刊及国际会议的审稿人。

王博士曾任哈工大讲师,其研究领域包括嵌入式高性能计算,机器学习与人工智能,自动化测试等。发表期刊及会议学术论文40余篇,拥有24项授权发明专利。主持多个国家重大项目累计40余项。

一、AI为安防监控行业带来了哪些挑战和机遇?

安防领域视频摄像头的分辨率越来越高,部署场景也越发广泛,从而导致数据规模高速增长给传输带宽及存储带来更高的要求。另外,由于视频数据是非结构化数据,在缺乏以为代表的结构化手段时,结构化的视频数据利用率非常低。基于的智慧安防系统能够实现获取、存储和分析大量的监控视频数据,并通过复杂的深度学习算法来执行视频分析,给应用方带来经济效益和业务增长。

一方面,人工智能视频分析技术可以充分利旧,将现有的安防监控系统充分利用起来,实现智能化升级,解放部分人力,也让安防监控系统充分发挥其作用,拓展了其业务宽度和广度,引领了安防行业的进一步发展。另一方面,数据安全和隐私安全成为了社会关注的问题,尤其是人脸识别技术带来的隐私顾虑,也催生了可信和法律监管等的社会需求。

二、智能安防的“智能”主要表现在哪些方面?

“智能”主要体现在将原有的依靠人来分析、查看的数据通过算法实现自动识别分析,将海量数据转化为有分析结果的有效信息。以视频分析为例,智能安防系统通过对视频图像的自动分析和处理,可以识别不同的人、物体、环境状态,发现监控画面中的异常情况,实时警报和反馈信息,对目前的视频监控系统实现了智能化升级,实现对数据的有效利用,这是其智能化的最大价值。从更广的层面上来说,智能安防盘活了已有的视频监控数据,发挥了数据的潜力,并且一定程度上替代和减少了人力作业,对于提高人效发挥了重要作用。

三、未来3-5年,智能安防有哪些值得关注的新兴技术及应用?

安防作为一个大的领域,除了人脸识别外,在针对人、车、物及行为的识别领域也涌现出了很多的应用需求。智能安防在向垂直领域不断拓展,基于视频图像应用的智慧能源、智慧工地、智慧园区、智慧港口等将迎来高速发展的时期。

随着智能安防应用的拓展,算法方案将不断迭代和推陈出新,软硬件一体化的整体方案将会成为行业的刚需。

四、“数据就地处理”的边缘计算对图像处理器和视频处理器芯片提出了哪些新的技术和性能要求?

“数据就地处理”的需求让边缘计算成为增长最为迅速的市场,除了云端和前端AI芯片市场,边缘端成为了很多AI芯片创企的突破点。目前市场上的边缘计算多面向的是4-16路的视频分析处理,车路协同、加油站等为典型应用场景,或支持200路左右的小型数据中心,采油厂、变电站等为典型应用场景。在这些场景中,用户的需求明确,市场对低延迟、数据隐私以及低成本和超节能的可用性日益关注,特别对于工业、车路协同这些有大量数据并要求低延时响应的应用场景,芯片的算力性价比成为了核心的考量因素。

鲲云AI视频分析结构图。(来源:鲲云科技)

提升芯片利用率是提供高算力性价比最根本的方式,在这个方面鲲云科技基于自主研发的定制数据流架构,打破传统底层架构下的算力瓶颈,在芯片利用率上实现十倍以上的提升。

在产品形态上,边缘计算的载体包括智能安防摄像头、智能网关、盒子、微型数据中心等,对于多种连接和数据移动性、实时决策、本地化计算能力、高效存储这些功能和技术指标有比较高的要求。

五、人工智能视觉芯片(Vision Chip)相比传统图像/视频处理器芯片有什么优势?

人工智能视觉芯片做的是领域专用计算,相比于通用计算芯片如,定制化运行领域的视觉分析应用,从而提供更高的计算效率,用更低的成本、更低的功耗提供更高的计算性能。优势在于:在恒定的算力需求下,例如数据中心场景下的台服务器,可以以更低成本、更优的计算性能、更低功耗满足算力需求,所需的芯片数量越少或者芯片成本更低,从而大幅降低人工智能应用落地所需的总成本。以一个具体场景为例,在一个使用了台服务器来处理路视频分析的数据中心场景中,如果采用了专用且更高算力性价比的数据流芯片(如鲲云芯片),能在实测算力上高出倍的性能,那么对应地每台服务器的处理能力也提升了倍,也就是说处理的视频路数更多了。同样一个应用达到同样的性能,从原来需要台服务器减少到只需要台服务器,这个倍的性能提升意味着对于数据中心这个场景有以上的成本降低,这是人工智能视觉芯片带来的价值。

鲲云针对安防应用的方案和流程框图。(来源:鲲云科技)

六、边缘AI芯片如何与软件和算法结合以满足特定安防应用场景的需求?

边缘AI芯片从产品到应用场景及商业化,需要配备良好的工具链、对大规模商用部署的丰富软件库的支持,与主流机器学习框架的无缝衔接。另外,随着场景的细分化、专业化,市场上出现了很多场景定义的专用芯片,硬件更需要深耕垂直场景,在落地应用阶段,用户更关注硬件是否具备良好的可移植性、可开发性及可部署性能;同时,基于高精度场景算法提供定制化软件方案,更能体现边缘AI芯片在特定安防应用场景核心价值。

七、哪些数据可以在边缘端本地处理?哪些数据需要传输到服务器或云端进行集中处理和计算?

从一个视觉AI 分析的过程来看,对于需要实时/近实时处理,或者涉及数据隐私的场景往往在智能边缘平台进行推理、识别;需要传输至云端或服务器进行集中处理和计算的数据一般是两类:1、监管或者其他制度要求,2、需要利用数据进行重复训练,模型迭代。

八、在为安防监控应用选择AI训练和推理芯片时,应考虑哪些因素?

  1. 计算精度:AI训练基本都是FP32的模型,在推理阶段,客户越来越愿意使用低精度如INT8,应考虑特别在深度学习模型中精度损失和算力、内存带宽使用、模型参数存储之间的平衡;
  2. 实测性能:理论峰值算力需要结合芯片利用率来判断,实测算力才是算力真正发挥到应用上的性能。比如以指令集芯片和数据流芯片的对比来看,数据流芯片采用计算流和数据流重叠运行方式消除空闲计算单元,突破指令集技术对于芯片算力的限制,在芯片利用率上提升了10倍;
  3. 视频解码和图像解码能力:解码能力的强弱也是决定分析视频路数、图像张数的吞吐能力的重要决定因素;
  4. 算力和工具链的软件易用性:需要关注AI芯片是否可以完整支持Caffe,Tensorflow,PyTorch等AI框架,如典型CNN模型中的常见算子,甚至是自研算子,需要芯片配套的端到端编译工具链;
  5. 算力算法一体化:在落地应用的过程中,所有的深度学习算法最终都需要附着在芯片上,完成最后部署。AI芯片除了自身性能,更需要适配场景。针对安防领域不同的应用场景,算力算法一体化的端到端解决方案才真正实现了软硬件的深度融合。

九、AI芯片和加速卡在智能安防领域的商用落地现状如何?未来发展趋势又是怎样的?

传统安防企业和“安防”的新兴企业近些年都在加快安防产品在城市建设上的应用,尤其在视频结构化、生物识别、物体特征识别几大领域。未来,安防产业持续智能化升级和加快场景覆盖是必然趋势,场景将更加细分,朝着专业化方向发展,这期间需要经历数据、算法、业务场景理解等方面的挑战。

责编:Steve

  • 学习一下
本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
顾正书
电子工程专辑(EETimes China)主分析师。以深圳为坐标原点,扫描全球电子和半导体行业。专注于China Fabless和SoC设计细分市场的分析和学习,欢迎交流。
  • 2021年全球智能视频监控市场规模将达242亿美金 据Omdia最新研究数据显示,全球智能视频监控及相关基础设施市场规模将在2021年达到242亿美金。随着因2020年新冠疫情影响的需求回升,智能视频监控市场将在2021年快速恢复。
  • 清微智能王博谈智能安防硬核技术之智能感知、图像/视 《电子工程专辑》8月刊封面专题的主题是智能安防三大硬核技术,我们从智能感知、图像/视频处理,以及AI计算这三个方面分别采访了多名业界技术专家。本文是清微智能CEO王博就智能感知、图像/视频处理和边缘AI计算方面的问答访谈。
  • 思特威欧阳坚谈智能安防硬核技术之智能感知 《电子工程专辑》8月刊封面专题的主题是智能安防三大硬核技术,我们从智能感知、图像/视频处理,以及AI计算这三个方面分别采访了多名业界技术专家。本文是思特威副总经理欧阳坚就智能安防硬核技术的智能感知进行的问答访谈。
  • 亿智电子魏唯谈智能安防硬核技术之图像/视频处理和AI 《电子工程专辑》8月刊封面专题的主题是智能安防三大硬核技术,我们从智能感知、图像/视频处理,以及AI计算这三个方面分别采访了多名业界技术专家。本文是亿智电子安防产品部VP魏唯就图像/视频处理、CMOS图像传感器,以及AI计算方面进行的问答访谈。
  • 智能安防三大硬核技术:智能感知、图像/视频处理、AI计 随着近几年人工智能的快速发展,人脸识别、视频结构化和大数据分析等技术不断完善,原本用途单一的安防产品功能逐步走向多元化。同时,安防产业开始与交通、社区、港务等多领域进行融合,安防的边界越来越模糊,安防产业已经进入一个全新的泛安防时代。
  • 边缘计算的巅峰是自主学习,而我们还只在山脚下 展望未来的边缘计算和人工智能物联网(AIoT),一定会有自主的发展出现。系统会自主化决定应该选择模型、策略、算法,自动收集数据训练模型,把训练结果用于实际系统,open Pose 技术将在业界普及。我们认为这是边缘人工智能发展的第三个阶段,也是最高阶段。
  • 新款iPad Pro 2021成最受欢迎的 由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
  • 三星折叠屏手机Galaxy Z Fold 3 目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。

  • EMC对策产品: TDK推出用于移动设备 TDK株式会社(TSE:6762)推出用于移动设备的TCM0403M系列小型薄膜共模滤波器
  • 比科奇ORANIC板卡获行业大奖,5G小基 比科奇(Picocom)日前宣布:该公司荣获全球小基站论坛(SCF)一项大奖,其全新的ORANIC板卡赢得了全球小基站论坛(SCF)2021年度“小基站芯片及组件杰出创新金奖”。
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了