广告

从Arm Mali-C55三大特性读懂智能视觉未来趋势

时间:2022-06-14 15:48:00 作者:邵乐峰 阅读:
瞄准智能摄像头和边缘人工智能(AI)视觉市场,Arm日前宣布推出全新Arm Mali-C55图像信号处理器(ISP),这是Arm迄今为止面积最小且可配置性最高的ISP产品,瑞萨电子成为了首家公开授权许可客户。
广告

Arm物联网兼嵌入式事业部业务拓展副总裁马健在接受《电子工程专辑》采访时表示,从支持高清商务视频会议、安防/智能监控、智慧城市到电池供电的可视门铃和智能猫眼,智能摄像头市场潜力巨大。她援引Strategy Analytics的数据称,商用和消费类智能摄像头市场规模有望从2021年的250亿美元增长至2025年的450亿美元,年复合增长率达到13%。

挑战图像质量的上限

在上一代Mali-C52 ISP基础之上,Mali-C55仅用前几代产品近一半的芯片面积,就实现了高达1.2Gpix/sec的吞吐量,并具备八个独立输入的多摄像头功能,可支持8K图像分辨率和4800万像素的最大图像尺寸。

同时,Mali-C55还改进了色调映射和空间降噪,增强了对高动态范围(HDR)传感器的支持,以及与机器学习(ML)加速器的无缝集成。如此一来,ISP的输出将被直接发送至ML加速器中,便于利用神经网络实现各种去噪技术。当然,也减少了从设备发送到云端的数据量,可在不影响推理能力的情况下,降低成本,缩短处理时间。

众所周知,可配置性是服务多样化市场的关键,对成像技术来说更是如此。举例而言,低成本的家用摄像头系统可能仅需一组简单且有限的功能,而商用摄像头则需要高分辨率、降噪、更强的安全性等更为复杂的功能,芯片设计和OEM厂商需要能够根据其应用需求自行添加或删除功能的弹性。

因此,在Mali-C55的设计过程中,Arm将其打造成为了可配置性最高的ISP——除了多摄像头支持和与ML加速器集成之外,Mali-C55还配备了行业标准的AXI和AHB接口,以便与基于Cortex-A或Cortex-M的SoC轻松进行集成。

之所以选择这样的“模块化设计”理念,马健解释说,一般的ISP系统采用流水线式处理结构,从传感器中得到原始数据会经过一系列的处理,包括时间降噪、空间降噪、色调映射等。此前ISP在设计上的流水线比较固定,客户很难去配置或去掉某个步骤,而Mali-C55可以通过启用或禁用各种功能块来实现灵活配置,以满足对吞吐量和延迟等级要求不同的计算机视觉应用中。另一个显著优势是在图像处理的流水线过程中,可以加入ML加速、调用NPU功能,并运用大数据对数据进行分析来增强ISP的功能,比如前文提及的降噪效果。

Arm同时也为开发者提供可用于控制ISP的完整软件包以及一整套调整和校准工具,以帮助合作伙伴为其应用实现所需的图像质量。此外,在Arm最新的物联网全面解决方案(Arm Total Solutions for IoT)未来产品路线图中所包含的视觉全面解决方案也将集成Mali-C55。

马健指出,多个市场将从Mali-C55所具备的先进技术中受益。

以半导体制造为例,这是一套包括清洁、薄膜沉淀、蚀刻、曝光、注入、抗蚀剂涂层、杂质注入和热处理在内的一系列复杂流程,当部署基于深度学习算法的视觉检测系统后,可以在每个工艺节点完成后通过优质产品图像进行训练,继而让系统学会缺陷识别。这种情况下,良好的图像处理设备就至关重要,否则很难识别极其微小的缺陷。

而在其它领域,在Mali-C55的加持下,监控和安防摄像头将可准确识别以时速高达120.7公里行驶的汽车的车牌信息;家用摄像头和安防系统将可采集更高分辨率的室内外图像;而智能家居中心则可有效添加安全视觉解锁等高级功能。

“其实,不光是视觉市场,每个高速发展的市场都会经过一段百花齐放的阶段,随着市场渐趋成熟,会变得愈发整合。”马健认为,当前智能视觉市场的差异化竞争,主要来自于不同的算法和针对不同使用场景进行的优化,这也是Arm 推出物联网全面解决方案 的初衷所在——给芯片和系统合作伙伴提供没有差异的子系统,他们可以更聚焦差异化领域的创新,比如一些比较特殊的算法适配,或是针对一些特殊用例做出优化,共同将整个智能视觉系统更快地推向市场。

在谈及智能摄像头这样的边缘计算市场是否有希望率先使用基于Armv9架构的产品时,马健回应称, 今后在低端市场中,可能还会沿用原有架构的CPU产品,但专用处理器IP(例如NPU和ISP)会被逐渐推到边缘侧,一些低能耗的应用里也会开始使用专用处理器大幅提升算力;而在高端、对性能要求极高的领域,包括图像处理,Armv9已经开始应用于比较先进的客户和高性能用例中,Arm方面会及时分享相关案例。

她同时指出,摄像头在智能化、分辨率、帧率等方面的要求越来越高,Arm注意到了这一趋势。未来,智能摄像头除了包含基本的CPU之外,更多地使用ISP和ML加速器将成为常态,NPU、通用型GPU、ISP等IP会逐渐地在现有或下一代芯片中得到应用,用于从图像中提取更多有用的信息。所以,对于实现高效的系统设计而言,拥有可针对此类活动所需要的数据类型和处理进行匹配的ISP是非常重要的。

责编:Lefeng.shao
邵乐峰
ASPENCORE 中国区首席分析师。
  • 一文带你了解摄像头中最重要的涂层--抗反射层(Antiref 本文介绍了摄像头中抗反射涂层,有助于摄像头减少炫光和鬼影形成。你能拍出美丽景色和漂亮小姐姐全靠它……
  • 2022年手机相机模组出货量达50.2亿颗,三镜头仍为主流 由于整机性价比是消费者购买的主要依据,相较五镜头设计、上亿像素的主镜头等高规格方案,成本最终仍会转嫁到厂商端,销售表现难获提升,故今年三镜头依旧为主流设计,预估将占整体出货量超过四成比重,仅部分机种则会采用四镜头设计来做为规格差异化。
  • 手机摄像头凸起之谜:是行业摆烂,还是... 手机摄像头近几年变得越来越大了。不信对比下10年前的iPhone 4s和现在的iPhone 13,都不需要拆机,单某一颗摄像头镜头孔径的量级,就已经大不相同了。手机摄像头模组变大,追本溯源应该是图像传感器变得越来越大……
  • OPPO Reno8系列用上自研NPU,2499元起体验芯片级影像 OPPO正式发布全新一代 Reno8系列智能手机,提供OPPO Reno8、OPPO Reno8 Pro、OPPO Reno8 Pro+ 三个版本,分别搭载联发科技(MediaTek)天玑1300、全球首发的高通(Qualcomm)骁龙新平台7 Gen1和天玑8100-MAX。同时Reno系列将首次搭载MariSilicon X自研影像芯片,打通高通、联发科两大移动平台……
  • 厚积薄发,汇顶科技IoT新产品线成果首次向大众展示 智能手机热度的消去,让一大批供应商开始寻找新的增长点,在这个过程中,唯有笃定技术原创,才能激发成长动能。汇顶科技立志成为一家国际化的多元型半导体公司,2015-2021年研发投入复合增长率达到53.11%,如今,他们的安全、连接和传感新产品线迎来了检阅时刻……
  • 利用超低功耗机器学习技术实现更有效的嵌入式视觉系统 带有高性能深度学习推理加速器芯片或与云数据中心宽带连接的高清摄像头,可以显著增强和改进传统的安全和监控方法。事实上,这样的深度学习系统已经展示了非凡的能力:面部识别、手势解释——例如检测入店行窃,甚至情绪估计——检测入店行窃的企图。或许这些能力已经变得令人刮目相看了。
  • 新款iPad Pro 2021成最受欢迎的 由于采用性能相对强大的M1处理器和mini-LED屏幕以及更多的创新,新款iPad Pro 2021已经成为消费者心目中最受欢迎。然而,iPad 2却已经在全球范围内被列入“复古和过时”的名单中。
  • 三星折叠屏手机Galaxy Z Fold 3 目前来看,折叠屏新机作为一种新的生产力工具,逐渐成为高端/平板的一种趋势,有报料称三星的Galaxy Z Fold 3发布时间或为7月,并且会引入新手势操控。
  • 龙蜥社区:Anolis OS 23正式版将于 近日,龙蜥社区对外公布了下一代龙蜥操作系统(Anolis OS 23)研发路线图,PoC版已在社区官网上线,正式版本将于2023年发布,它支持X86、ARM-v9、RISC-V等多种芯片架构,并集成更多核心自研组件。
  • Matter标准:助力智能家居实现更高水 智能家居行业领先的供应商和潜在供应商已携起手来,为智能家居产品的互通性采取进一步行动,制定新的标准,即基于互联网协议(IP)的Matter标准。
  • 珠海普生医疗招聘FPGA工程师 大侠好,欢迎来到FPGA技术江湖,江湖偌大,相见即是缘分。大侠可以关注FPGA技术江湖,在“闯荡江湖”、"行侠仗义"栏里获取其他感兴趣的资源,或者一起煮酒言欢。“煮酒言欢”进入IC技术圈,这里有近50
  • 整车控制器VCU简介 整车控制器VCU(Vehicle control unit)作为新能源车中央控制单元,是整个控制系统的核心。VCU采集电机及电池状态,采集加速踏板信号、制动踏板信号、执行器及传感器信号,根据驾驶员的意
  • 【世说芯品】精准防疫有“利器”|芯讯通助力数字哨兵护航复市 随着新一轮疫情形势趋于平缓,社会正常生活秩序正在逐步恢复,一些基本的疫情防控措施也将转入全面常态化运行。在人流量大,通行效率要求高的公共场所,对以数字哨兵为代表的成熟智能防疫设备市场需求将进一步得到释
  • 【爆料】OPPO首款竖向折叠屏旗舰曝光 关注国产手机最新消息:目前竖向折叠屏手机中的代表机型有华为P50 Pocket、三星Galaxy Z Flip3和摩托罗拉刀锋5G折叠屏手机等,现在OPPO即将加入竖向折叠屏手机阵营。今天,博主@数码
  • 揭秘苹果M2SoC:将用于2022款Mac电脑! 点击蓝字关注我们虽然苹果的全球开发者大会主要关注软件,但它也经常会发布一两个有趣的硬件产品,今年苹果也没有让人失望。在今年最大的Mac相关主题演讲中,苹果发布了M2,这是他们针对Mac(和iPad)平
  • 超高压碳化硅N沟道IGBT器件的设计与制造 1 引言碳化硅(SiC)材料作为第三代半导体材料的代表之一,其禁带宽度达到 3.26 eV,是硅(Si)材料的 3 倍,临界击穿电场强度是 Si 材料的 10 倍,热导率接近 Si材料的 3 倍,被认
  • 直播预告|从系统调试调优角度拆解arm特性 01讲师简介十四年IT基础设施研发经验,其中包括六年Linux kernel一线研发经验,在suse,华为,星际比特(技术合伙人)等公司工作。作为团队核心成员参与了大陆第一个Cortex-A8 SOC
  • C语言的注释要注意几点 关注+星标公众号,不错过精彩内容编排 | strongerHuang微信公众号 | strongerHuang如果领导给你一个项目的源码让你阅读,并理解重构代码,但里面一句注释都没有,我想这肯定是之前
  • 何为直流电?
  • 如何看待龙芯发布仿真SPEC35分       设计CPU,当然需要有在流片之前就能评估性能的本领。  龙芯有几项专利就是关于性能(仿真)评估的。  龙芯的性能评估结果这几年越来越准确,但公开宣传的性能却越来越保守。龙芯CPU的官方实测
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了