广告

鲲云科技王少军博士谈智能安防硬核技术之图像/视频处理和AI计算

时间:2021-08-10 10:13:48 作者:顾正书 阅读:
《电子工程专辑》8月刊封面专题的主题是智能安防三大硬核技术,我们从智能感知、图像/视频处理,以及AI计算这三个方面分别采访了多名业界技术专家。本文是鲲云科技COO王少军博士就图像/视频处理和AI计算方面的问题进行的问答访谈。
广告

《电子工程专辑》8月刊封面专题的主题是智能安防三大硬核技术,我们从智能感知、图像/视频处理,以及AI计算这三个方面分别采访了多名业界技术专家。本文是鲲云科技COO王少军博士就图像/视频处理和AI计算方面的问题进行的问答访谈。

王少军博士是鲲云科技合伙人兼COO,鲲云人工智能应用创新研究院副院长,负责整体商务运营和产品化落地。伦敦帝国理工学院计算系访问学者,FPT2016国际会议程序委员会联合主席,PHM2017国际会议出版主席,IEEE ACCESS期刊副主编,ACM TRETS期刊客座副主编,多个国际期刊及国际会议的审稿人。

王博士曾任哈工大讲师,其研究领域包括嵌入式高性能计算,机器学习与人工智能,自动化测试等。发表期刊及会议学术论文40余篇,拥有24项授权发明专利。主持多个国家重大项目累计40余项。

一、AI为安防监控行业带来了哪些挑战和机遇?

安防领域视频摄像头的分辨率越来越高,部署场景也越发广泛,从而导致数据规模高速增长给传输带宽及存储带来更高的要求。另外,由于视频数据是非结构化数据,在缺乏以为代表的结构化手段时,结构化的视频数据利用率非常低。基于的智慧安防系统能够实现获取、存储和分析大量的监控视频数据,并通过复杂的深度学习算法来执行视频分析,给应用方带来经济效益和业务增长。

一方面,人工智能视频分析技术可以充分利旧,将现有的安防监控系统充分利用起来,实现智能化升级,解放部分人力,也让安防监控系统充分发挥其作用,拓展了其业务宽度和广度,引领了安防行业的进一步发展。另一方面,数据安全和隐私安全成为了社会关注的问题,尤其是人脸识别技术带来的隐私顾虑,也催生了可信和法律监管等的社会需求。

二、智能安防的“智能”主要表现在哪些方面?

“智能”主要体现在将原有的依靠人来分析、查看的数据通过算法实现自动识别分析,将海量数据转化为有分析结果的有效信息。以视频分析为例,智能安防系统通过对视频图像的自动分析和处理,可以识别不同的人、物体、环境状态,发现监控画面中的异常情况,实时警报和反馈信息,对目前的视频监控系统实现了智能化升级,实现对数据的有效利用,这是其智能化的最大价值。从更广的层面上来说,智能安防盘活了已有的视频监控数据,发挥了数据的潜力,并且一定程度上替代和减少了人力作业,对于提高人效发挥了重要作用。

三、未来3-5年,智能安防有哪些值得关注的新兴技术及应用?

安防作为一个大的领域,除了人脸识别外,在针对人、车、物及行为的识别领域也涌现出了很多的应用需求。智能安防在向垂直领域不断拓展,基于视频图像应用的智慧能源、智慧工地、智慧园区、智慧港口等将迎来高速发展的时期。

随着智能安防应用的拓展,算法方案将不断迭代和推陈出新,软硬件一体化的整体方案将会成为行业的刚需。

四、“数据就地处理”的边缘计算对图像处理器和视频处理器芯片提出了哪些新的技术和性能要求?

“数据就地处理”的需求让边缘计算成为增长最为迅速的市场,除了云端和前端AI芯片市场,边缘端成为了很多AI芯片创企的突破点。目前市场上的边缘计算多面向的是4-16路的视频分析处理,车路协同、加油站等为典型应用场景,或支持200路左右的小型数据中心,采油厂、变电站等为典型应用场景。在这些场景中,用户的需求明确,市场对低延迟、数据隐私以及低成本和超节能的可用性日益关注,特别对于工业、车路协同这些有大量数据并要求低延时响应的应用场景,芯片的算力性价比成为了核心的考量因素。

鲲云AI视频分析结构图。(来源:鲲云科技)

提升芯片利用率是提供高算力性价比最根本的方式,在这个方面鲲云科技基于自主研发的定制数据流架构,打破传统底层架构下的算力瓶颈,在芯片利用率上实现十倍以上的提升。

在产品形态上,边缘计算的载体包括智能安防摄像头、智能网关、盒子、微型数据中心等,对于多种连接和数据移动性、实时决策、本地化计算能力、高效存储这些功能和技术指标有比较高的要求。

五、人工智能视觉芯片(Vision Chip)相比传统图像/视频处理器芯片有什么优势?

人工智能视觉芯片做的是领域专用计算,相比于通用计算芯片如,定制化运行领域的视觉分析应用,从而提供更高的计算效率,用更低的成本、更低的功耗提供更高的计算性能。优势在于:在恒定的算力需求下,例如数据中心场景下的台服务器,可以以更低成本、更优的计算性能、更低功耗满足算力需求,所需的芯片数量越少或者芯片成本更低,从而大幅降低人工智能应用落地所需的总成本。以一个具体场景为例,在一个使用了台服务器来处理路视频分析的数据中心场景中,如果采用了专用且更高算力性价比的数据流芯片(如鲲云芯片),能在实测算力上高出倍的性能,那么对应地每台服务器的处理能力也提升了倍,也就是说处理的视频路数更多了。同样一个应用达到同样的性能,从原来需要台服务器减少到只需要台服务器,这个倍的性能提升意味着对于数据中心这个场景有以上的成本降低,这是人工智能视觉芯片带来的价值。

鲲云针对安防应用的方案和流程框图。(来源:鲲云科技)

六、边缘AI芯片如何与软件和算法结合以满足特定安防应用场景的需求?

边缘AI芯片从产品到应用场景及商业化,需要配备良好的工具链、对大规模商用部署的丰富软件库的支持,与主流机器学习框架的无缝衔接。另外,随着场景的细分化、专业化,市场上出现了很多场景定义的专用芯片,硬件更需要深耕垂直场景,在落地应用阶段,用户更关注硬件是否具备良好的可移植性、可开发性及可部署性能;同时,基于高精度场景算法提供定制化软件方案,更能体现边缘AI芯片在特定安防应用场景核心价值。

七、哪些数据可以在边缘端本地处理?哪些数据需要传输到服务器或云端进行集中处理和计算?

从一个视觉AI 分析的过程来看,对于需要实时/近实时处理,或者涉及数据隐私的场景往往在智能边缘平台进行推理、识别;需要传输至云端或服务器进行集中处理和计算的数据一般是两类:1、监管或者其他制度要求,2、需要利用数据进行重复训练,模型迭代。

八、在为安防监控应用选择AI训练和推理芯片时,应考虑哪些因素?

  1. 计算精度:AI训练基本都是FP32的模型,在推理阶段,客户越来越愿意使用低精度如INT8,应考虑特别在深度学习模型中精度损失和算力、内存带宽使用、模型参数存储之间的平衡;
  2. 实测性能:理论峰值算力需要结合芯片利用率来判断,实测算力才是算力真正发挥到应用上的性能。比如以指令集芯片和数据流芯片的对比来看,数据流芯片采用计算流和数据流重叠运行方式消除空闲计算单元,突破指令集技术对于芯片算力的限制,在芯片利用率上提升了10倍;
  3. 视频解码和图像解码能力:解码能力的强弱也是决定分析视频路数、图像张数的吞吐能力的重要决定因素;
  4. 算力和工具链的软件易用性:需要关注AI芯片是否可以完整支持Caffe,Tensorflow,PyTorch等AI框架,如典型CNN模型中的常见算子,甚至是自研算子,需要芯片配套的端到端编译工具链;
  5. 算力算法一体化:在落地应用的过程中,所有的深度学习算法最终都需要附着在芯片上,完成最后部署。AI芯片除了自身性能,更需要适配场景。针对安防领域不同的应用场景,算力算法一体化的端到端解决方案才真正实现了软硬件的深度融合。

九、AI芯片和加速卡在智能安防领域的商用落地现状如何?未来发展趋势又是怎样的?

传统安防企业和“安防”的新兴企业近些年都在加快安防产品在城市建设上的应用,尤其在视频结构化、生物识别、物体特征识别几大领域。未来,安防产业持续智能化升级和加快场景覆盖是必然趋势,场景将更加细分,朝着专业化方向发展,这期间需要经历数据、算法、业务场景理解等方面的挑战。

责编:Steve

  • 学习一下
本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
顾正书
ASPENCORE资深产业分析师。以深圳为坐标原点,扫描全球电子和半导体行业。专注于China Fabless和SoC设计细分市场的分析和学习,欢迎交流。
  • 拆解海雀智能摄像头Pro,采用海思 Wi-Fi SoC 海雀智能摄像头Pro的整体拆解还是比较简单的,智能摄像头在原理上都使用两个电机,海雀也是如此,两个电机分别控制X轴和Y轴的转动。并且X轴使用了一个独立的限位开关。Y轴的限位开关上安装在了主板上。而相较于其他同类产品,海雀仅用了直接固定在内支撑上的一个轴承结构,并且没有使用齿轮器件,节约了很多空间。海雀内使用了两颗海思芯片……
  • 思特威2021 CPSE同期发布多款新品,成立汽车芯片部及工 思特威(SmartSens)在第18届国际社会公共安全博览会(CPSE)现场举行了2021新品发布会,思宣布新晋成立汽车芯片部及工业和新兴传感器部,意在进一步拓展车载、工业及专业级机器视觉市场。而后,安防、车载、工业和新兴传感器三大芯片部负责人也分别发布新品,为安防、车载电子以及工业&机器视觉客户量身打造智视解决方案……
  • 商汤科技成港股AI第一股,美国打压后坚持上市意义非凡 12月30日,商汤科技正式在香港证券交易所挂牌上市。此次上市之路并不顺利,今年8月底,商汤正式在港提交招股书,并在12月进入招股。然而就在结束之际,美国财政部海外资产管控办公室(OFAC)12月10日宣布将商汤列入所谓“非SDN中国军事综合体清单”……
  • 海康威视稳居“2021年全球安防50强”第一,摩托罗拉初次 今年全球安防50强前十位分别为:海康威视、大华股份、亚萨合莱、博世、安讯士、宇视科技、天地伟业、安朗杰、韩华Techwin、TKH Group。除了FLIR Systems从去年第6位下降到13位外,其他排名与去年的榜单相比,并没有太大的变化。据统计,全球安防50强榜单企业的2021年总收入为258.4亿美元,比2021年平均增长9.3%。
  • 监听法国芯片卡企业窃取数据, “美国陷阱”升级为“芯 今年,又一位法国企业家选择不再沉默。金普斯公司创始人马克·拉叙斯的新书《芯片陷阱》先后在法国和中国出版,他在书中揭示了美国安全部门对他进行迫害并强行将金普斯控制权据为己有,而后利用该公司技术大搞监听的暗黑历史。
  • 2021年全球智能视频监控市场规模将达242亿美金 据Omdia最新研究数据显示,全球智能视频监控及相关基础设施市场规模将在2021年达到242亿美金。随着因2020年新冠疫情影响的需求回升,智能视频监控市场将在2021年快速恢复。
  • 新款iPad Pro 2021成最受欢迎的 由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
  • 三星折叠屏手机Galaxy Z Fold 3 目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。

  • Qorvo® 推出首款单个模块即可支 Qorvo今日推出首款覆盖5.1GHz至7.1GHz频段的宽带前端模块 (FEM),不仅能最大限度地提高容量,而且还能简化设计,缩短产品上市时间,并将前端电路板空间减少50%,适用于Wi-Fi 6E企业级架构。
  • 5G 基础设施的驱动 根据全球移动通信系统协会 GSMA 提供的数据,5G 目前正在顺利推广中,预计将在 2025 年覆盖全球三分之一的人口。另外根据全球领先综合数据库Statista 的调查,主要手机制造商皆已推出 5G 手机,这将使那些希望以理论上高达 50Gb/s 的最大速度传输数据流和视频的人感到满意,预计到 2023 年全球 5G 订阅量将达到 13 亿 。
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了