瞄准智能摄像头和边缘人工智能(AI)视觉市场,Arm日前宣布推出全新Arm Mali-C55图像信号处理器(ISP),这是Arm迄今为止面积最小且可配置性最高的ISP产品,瑞萨电子成为了首家公开授权许可客户。

Arm物联网兼嵌入式事业部业务拓展副总裁马健在接受《电子工程专辑》采访时表示,从支持高清商务视频会议、安防/智能监控、智慧城市到电池供电的可视门铃和智能猫眼,智能摄像头市场潜力巨大。她援引Strategy Analytics的数据称,商用和消费类智能摄像头市场规模有望从2021年的250亿美元增长至2025年的450亿美元,年复合增长率达到13%。

挑战图像质量的上限

在上一代Mali-C52 ISP基础之上,Mali-C55仅用前几代产品近一半的芯片面积,就实现了高达1.2Gpix/sec的吞吐量,并具备八个独立输入的多摄像头功能,可支持8K图像分辨率和4800万像素的最大图像尺寸。

同时,Mali-C55还改进了色调映射和空间降噪,增强了对高动态范围(HDR)传感器的支持,以及与机器学习(ML)加速器的无缝集成。如此一来,ISP的输出将被直接发送至ML加速器中,便于利用神经网络实现各种去噪技术。当然,也减少了从设备发送到云端的数据量,可在不影响推理能力的情况下,降低成本,缩短处理时间。

众所周知,可配置性是服务多样化市场的关键,对成像技术来说更是如此。举例而言,低成本的家用摄像头系统可能仅需一组简单且有限的功能,而商用摄像头则需要高分辨率、降噪、更强的安全性等更为复杂的功能,芯片设计和OEM厂商需要能够根据其应用需求自行添加或删除功能的弹性。

因此,在Mali-C55的设计过程中,Arm将其打造成为了可配置性最高的ISP——除了多摄像头支持和与ML加速器集成之外,Mali-C55还配备了行业标准的AXI和AHB接口,以便与基于Cortex-A或Cortex-M的SoC轻松进行集成。

之所以选择这样的“模块化设计”理念,马健解释说,一般的ISP系统采用流水线式处理结构,从传感器中得到原始数据会经过一系列的处理,包括时间降噪、空间降噪、色调映射等。此前ISP在设计上的流水线比较固定,客户很难去配置或去掉某个步骤,而Mali-C55可以通过启用或禁用各种功能块来实现灵活配置,以满足对吞吐量和延迟等级要求不同的计算机视觉应用中。另一个显著优势是在图像处理的流水线过程中,可以加入ML加速、调用NPU功能,并运用大数据对数据进行分析来增强ISP的功能,比如前文提及的降噪效果。

Arm同时也为开发者提供可用于控制ISP的完整软件包以及一整套调整和校准工具,以帮助合作伙伴为其应用实现所需的图像质量。此外,在Arm最新的物联网全面解决方案(Arm Total Solutions for IoT)未来产品路线图中所包含的视觉全面解决方案也将集成Mali-C55。

马健指出,多个市场将从Mali-C55所具备的先进技术中受益。

以半导体制造为例,这是一套包括清洁、薄膜沉淀、蚀刻、曝光、注入、抗蚀剂涂层、杂质注入和热处理在内的一系列复杂流程,当部署基于深度学习算法的视觉检测系统后,可以在每个工艺节点完成后通过优质产品图像进行训练,继而让系统学会缺陷识别。这种情况下,良好的图像处理设备就至关重要,否则很难识别极其微小的缺陷。

而在其它领域,在Mali-C55的加持下,监控和安防摄像头将可准确识别以时速高达120.7公里行驶的汽车的车牌信息;家用摄像头和安防系统将可采集更高分辨率的室内外图像;而智能家居中心则可有效添加安全视觉解锁等高级功能。

“其实,不光是视觉市场,每个高速发展的市场都会经过一段百花齐放的阶段,随着市场渐趋成熟,会变得愈发整合。”马健认为,当前智能视觉市场的差异化竞争,主要来自于不同的算法和针对不同使用场景进行的优化,这也是Arm 推出物联网全面解决方案 的初衷所在——给芯片和系统合作伙伴提供没有差异的子系统,他们可以更聚焦差异化领域的创新,比如一些比较特殊的算法适配,或是针对一些特殊用例做出优化,共同将整个智能视觉系统更快地推向市场。

在谈及智能摄像头这样的边缘计算市场是否有希望率先使用基于Armv9架构的产品时,马健回应称, 今后在低端市场中,可能还会沿用原有架构的CPU产品,但专用处理器IP(例如NPU和ISP)会被逐渐推到边缘侧,一些低能耗的应用里也会开始使用专用处理器大幅提升算力;而在高端、对性能要求极高的领域,包括图像处理,Armv9已经开始应用于比较先进的客户和高性能用例中,Arm方面会及时分享相关案例。

她同时指出,摄像头在智能化、分辨率、帧率等方面的要求越来越高,Arm注意到了这一趋势。未来,智能摄像头除了包含基本的CPU之外,更多地使用ISP和ML加速器将成为常态,NPU、通用型GPU、ISP等IP会逐渐地在现有或下一代芯片中得到应用,用于从图像中提取更多有用的信息。所以,对于实现高效的系统设计而言,拥有可针对此类活动所需要的数据类型和处理进行匹配的ISP是非常重要的。

责编:Lefeng.shao
阅读全文,请先
您可能感兴趣
值得注意的是,尽管韦尔股份官方名称沿用多年,但“豪威”品牌早已深入资本市场。公司微信公众号自2022年起便以“豪威集团”名义运营……
人类通过眼睛获取 80% 的环境信息,机器人也需要一对‘敏锐的电子眼’。思特威的使命,就是为机器人提供更精准的视觉感知,让它们‘看得清、判得准、动得稳’……
针对分拆传闻,索尼半导体部门发言人表示 “对市场猜测不予置评”,并强调集团将在 5 月 14 日发布 2024 财年年报时披露更多业务细节。
相较于传统方案,AI ISP 的核心价值在于突破物理限制,实现 “算法定义画质”。 好的模型结构设计能够通过训练将参数融合得更好,即使在较小的算法结构和有限的算力下,也能实现最大化去噪效果……
两款机型均深度整合 vivo 自研技术与行业顶尖供应链:X200s 通过天玑 9400 + 与 V2 影像芯片,在中端机实现旗舰级影像算法;X200 Ultra 则以骁龙 8 至尊版 + 蓝图影像双芯(VS1+V3+),将移动视频拍摄推向专业级水准,支持全焦段 Log 视频录制与后期调色。
从产品形态看,当前的AI 眼镜主要分为四类,四类产品基于不同场景需求分化发展,其中实时翻译、会议记录、智能导航等场景已展现刚性需求。
在本文中,我们将探讨SiC半导体产品如何实现高质量和高可靠性,以及SiC制造商为确保其解决方案能够投放市场所付出的巨大努力,这些努力不仅提升了产品性能,还确保了卓越的可靠性。
随着诸如无人机、智能驾驶汽车、无人农机、各种专用和消费机器人等智能无人设备广泛进入我们的工作和生活,这些设备的功能安全问题成为了一个值得关注的重要话题。
在台北国际电脑展期间,英特尔携手亦心科技及亿道集团旗下亿境虚拟与亿道数码,推出全球首款AI眼镜与AI PC协同解决方案,首次实现AI眼镜与AI PC的深度算力融合,标志着AI眼镜正式进化成为智能终端,智能沉浸交互新纪元已然来临。
5月20日,iQOO Neo10 Pro+新品发布,以“超配双芯战神”的性能旗舰定位,在游戏性能、屏幕显示、续航充电等维度实现全面突破,带来了骁龙8至尊版、自研电竞芯片Q2、2K Q10珠峰屏、6800mAh超大蓝海电池、120W超级闪充等旗舰配置……
在先进制程的赛道上,3nm制程的热度还未完全消退,2nm制程的角逐已正式开启,在苹果、高通、联发科这三大巨头里,联发科的动作相对更快。据媒体报道,联发科首席执行官蔡力行今天在COMPUTEX上发表主题
扫描关注一起学嵌入式,一起学习,一起成长5月21日消息,小米自研3nm玄戒O1芯片已经正式公布,即将发布的小米15S Pro将首发搭载。自从这款芯片公布之后,很多人怀疑小米以后会全面转向自研芯片,放弃
2025年汽车行业报告汇总(点击进入)近日,据国际汽车资讯平台Carscoops的报道,捷豹路虎集团正酝酿一项针对中国市场的重大战略调整。据悉,从2026年开始,该集团将不再在中国境内生产自有品牌车型
Silicon Labs(芯科科技)Tech Talks技术讲座系列发布六月份最新演讲主题,并同步上线五月份场次的随选回放内容!欢迎点击文末的阅读原文按钮或通过链接前往2025 Tech Talks技
5月21日,商务部新闻发言人就美国企图全球禁用中国先进计算芯片发表谈话。原文内容如下:中方注意到,美国商务部近日发布指南,以所谓推定违反美出口管制为由,企图在全球禁用中国先进计算芯片,包括特定的华为昇
  国内先进净化工程领域的企业竞争激烈,排名会因评估维度(如技术实力、项目经验、市场份额、创新能力等)不同而有所差异。以下是根据行业影响力、技术实力及代表性项目综合分析得出的部分领
点击蓝字 关注我们ENTERPRISE关注公众号,点击公众号主页右上角“ ··· ”,设置星标,实时关注智能汽车电子与软件最新资讯20世纪90年代中期开始,巴西被视为世界上最有潜力的汽车市场之一,德国
点击蓝字 关注我们ENTERPRISE关注公众号,点击公众号主页右上角“ ··· ”,设置星标,实时关注智能汽车电子与软件最新资讯5月21日消息,QuestMobile数据显示,目前中国新能源汽车市场
5月20日,本田宣布,将调整纯电动汽车(EV)战略,原计划到 2030 年度投资 10 万亿日元(现汇率约合 4975.5 亿元人民币),用于纯电动汽车和软件开发,将减少 3 成至 7 万亿日元。本田
2025年5月20日,全球瞩目的科技盛会COMPUTEX 2025台北国际电脑展盛大开幕。本届展会围绕“AI NEXT”主题,对AI驱动下的终端创新展开深入探索。作为中国显示领域的领军企业,天马微电子