AITOPS和NPU性能指标指南

原创 Qualcomm中国 2024-06-12 20:03

在当今快速发展的技术环境中,AI正在变革各行各业并推动创新,理解AI性能指标的复杂性至关重要。过去许多AI模型需要在云端运行。当我们走向由终端侧生成式AI处理定义的未来时,我们必须能够评估计算平台可运行AI模型的性能、准确性和效率。如今,TOPS(每秒万亿次运算)是衡量处理器AI性能的主要方式之一。TOPS是基于处理器所需的架构和频率,衡量处理器潜在AI推理峰值性能的方法,比如神经网络处理器(NPU)。下面我们将深入探讨。


NPU是什么?

在深入探讨TOPS的具体内容之前,让我们先看看NPU的重要性。对于终端侧AI处理,NPU在提高效率、为个人用户和企业提供创新的应用体验方面发挥着关键作用。评估这些专用处理器的性能需要全面了解其能力背后的关键指标。


NPU的演进改变了人们处理计算的方式。传统上,CPU负责执行AI算法。随着对处理性能的需求飙升,专用NPU应运而生,成为处理AI相关软件应用的专用解决方案。NPU旨在高效处理AI任务所需的复杂数学计算,提供出色的效率、性能和能效。

 
 
AI TOPS是什么?

TOPS作为展示处理器计算能力的指标,是衡量NPU性能的核心。

TOPS通过以万亿单位测量一秒钟内执行的运算(加法、乘法等)次数来量化NPU处理能力

这种标准化测量方式非常明确地显示了NPU的性能,可作为比较不同处理器和架构AI性能的关键指标。因为TOPS是针对NPU的基础性能指标,探索TOPS的计算参数以及它们如何决定性能至关重要,这有助于更深入地了解NPU的能力。

乘法累加(MAC)运算执行AI工作负载中的核心数学公式。矩阵乘法由两类基础运算组成:累加器的乘法和加法。例如,一个MAC单元可在每个时钟周期内运行两类基础运算各一次,意味着它在每个时钟周期内执行两个运算。一个给定的NPU有一定数量的MAC单元,能够在不同精度级别进行运算,这取决于NPU架构。

频率决定NPU及其MAC单元(以及CPU或GPU)运算的时钟速度(或每秒周期数),直接影响整体性能。更高的频率允许在单位时间内执行更多运算,从而提高处理速度。但是,提高频率也会导致更高功耗和发热,影响电池续航和用户体验。处理器TOPS计算通常使用峰值运行频率。

精度指计算的颗粒度,通常精度越高模型准确性就越高,需要的计算强度也越高。最常见的高精度AI模型为32位和16位浮点精度,而速度更快的低精度低功耗模型通常使用8位和4位整数精度。当前行业标准为以INT8精度评估AI推理性能TOPS。

计算TOPS要从计算OPS开始,OPS等于MAC单元数乘以运行频率的两倍。TOPS数量是OPS除以一万亿的值,将公式更简单地列出,即TOPS = 2×MAC单元数×频率/1万亿



  
TOPS和实际性能

尽管TOPS提供了探索NPU能力的重要信息,我们仍必须将理论指标和实际应用联系起来。毕竟,仅仅有高TOPS值并不能保证最佳的AI性能;各种因素协同作用的结果才能真正决定NPU实力

因此评估NPU性能时要考虑内存带宽、软件优化和系统集成等方面的因素。基准测试可以帮助我们超越数字,了解NPU在实际场景中的表现,其中时延、吞吐量和能效尤为重要。

Procyon AI基准测试使用真实工作负载来帮助将理论性的TOPS评估转化为用户在使用AI推理的真实应用中对响应和处理能力的预期。它以多个精度运行六个模型,提供NPU不同性能表现的详细洞察。类似模型在生产力、媒体、创作者和其他应用中越来越常见。在Procyon AI和其他基准测试中有更快的性能表现,与实现更快推理和更好用户体验息息相关。


为此,分析实际性能可以为NPU的能力和局限性提供宝贵洞察。必须从可行性和实用性角度检验性能指标。




未来NPU性能指标

随着技术不断快速发展,数字化转型需求持续影响各行各业,NPU性能指标格局将进一步演进。尽管新兴趋势正在更广泛地定义和评估NPU性能与计算的方式,TOPS仍是很好的性能指标,将在很长一段时间内继续作为重要参考。


随着各种AI新技术在未来几年受到关注并重新定义无数行业,对能够反应不同技术独特特征的可靠性能指标的需求将不断凸显。适应性、可扩展性和实际应用相关性将定义未来的NPU性能指标。


根据用户需求评估NPU性能

应对快速变化的NPU性能评估领域或许会让人望而生畏,但随着数字化转型(尤其是在AI领域)持续快速发展,深入了解TOPS对行业和个人来说都很重要。

最终,选择合适的系统级芯片(SoC)取决于用户、客户或组织的工作负载和优先级,而这一决策很可能需要取决于SoC中的NPU。


无论用户是优先考虑原始算力、能效还是模型准确度,骁龙X系列平台面向笔记本电脑,配备高达45TOPS的NPU,能够强力赋能PC,并将实际可用的AI体验引入用户的工作流程。

欲了解更多面向计算的骁龙AI,请点击【阅读原文】下载高通NPU AI白皮书


*本文内容来自高通技术公司技术市场高级总监Peter Burns的博客文章。


Qualcomm中国 Qualcomm中国官方微信账号,作为移动通信行业的前沿资讯窗口,我们将定期为您推送移动行业的独家资讯、行业观察和前沿趋势,还有丰富的移动终端精选推荐!欢迎您关注并分享给好友,期待与您的进一步交流!
评论 (0)
  •     PCB表面绝缘电阻(SIR, Surface Insulative Resistance)有IPC和Bellcore GR78-CORE两个主要标准。    IPC-TM-650 方法2.6.3.7 是针对SIR的。这个标准的英文版本可以免费从IPC官网下载获得。IPC(国际电子工业联接协会)是PCB标准化主要组织。    这个测试方法针对PCB裸板(即安装元器件之前的PCB),而且是使用IPC推荐的测试板/图案(Vehicle
    电子知识打边炉 2024-07-14 22:07 79浏览
  •     这篇分享对PCB电化学迁移(ECM, Electrochemical Migration)的学习。     ECM发生在导体之间,是一种需要PCB通电才能持续的电化学反应,和电镀的原理相同。反应条件是:     1. 有电场。存在电位差/电压降,一般来说电位差/电压降越大,电化学反应的速度越快。     2. 有可溶性电解质和溶剂,这个和化学腐蚀机理相同。     3. 有迁移通道。即电荷
    电子知识打边炉 2024-07-14 17:40 65浏览
  •     这篇分享对化学腐蚀/离子迁移的学习。    化学腐蚀的本质是氧化还原反应,即原电池。反应条件是:     1. 有可溶性电解质。电解质可能来自PCB的电镀或清洗工序,也可能来自残留的助焊剂(flux)。常见的有氯离子(有卤flux、汗液、盐雾)、酸(flux的酸);     2. 有溶剂。常见的是水(湿气),也可以是有机溶剂。树脂材料内部会吸附湿气,PCB加工过程有湿气,质量差的孔内壁会吸附湿气,V-cut分
    电子知识打边炉 2024-07-14 17:07 64浏览
  •     PCB上不同电气网络的连线之间,要有绝缘间隙(Clearance)和爬电距离(Creepage Distance)。画过PCB的朋友都知道,原理图上的电气连线(Wire)对应PCB Layout上的电气连线,PCB Layout上的电气连线对应铜导线。铜导线是在PCB覆铜层上,利用掩模(mask)和化学蚀刻(Etching)的方法,把PCB Layout上的铜导线部分留下,并去除非导线部分而做出来的。不同电气网络的连线中间要足够绝缘,足够干净,否则轻则漏电,重则短路。
    电子知识打边炉 2024-07-14 16:06 51浏览
  • 概述 SiPM测试系统的信号处理板使用了ADI的单片4通道的高速差分ADC信号,所以FPGA需要通过LVDS接口来收取差分高速ADC送出的差分串行数据。 本文讨论FPGA如何例化LVDS模块,以及几种用来收取外部ADC采样后送来的高速差分串行数据。10代器件LVDS实例化界面 在Intel的10代器件中有Arria、Cyclone、MAX以及Stratix几种,我们使用的是Cyclone系列10代GX产品。图1:LVDS模块例化界面 如图1所示为LVDS例化界面,具体使用方法可以参考1“LVDS
    coyoo 2024-07-14 12:25 139浏览
  •         MOS,是MOSFET的缩写。全称为金属-氧化物-半导体场效应晶体管(Metal-Oxide-Semiconductor Field-Effect Transistor, MOSFET)。MOS管最基本且常用的功能是通过对G级施加电压以控制S与D之间的开启与关闭,常用作电子开关。MOS管基本结构MOS主要有以下几个特点        1、栅压输入阻抗高,MOS管栅极有绝缘膜氧化物,但栅极容易被静电、高
    广电计量 2024-07-15 15:57 77浏览
  • ADB(Android Debug Bridge)是Google提供的命令行工具,用于帮助开发者与安卓设备进行通信。它在安卓应用开发和设备管理中非常重要,因为它可以帮助开发者安装、调试和卸载应用,访问设备文件系统,以及获取设备日志等。通过ADB,开发者能够在多种测试场景中模拟用户操作,优化应用性能和用户体验。 要使用ADB,首先需要确保电脑已安装ADB驱动,并且手机已开启USB调试模式。在Windows系统中,通常不需要手动下载ADB驱动,因为Windows 8/10/11已经自带了相应的驱动
    丙丁先生 2024-07-15 07:27 75浏览
  •   读报见文《中国的AI价格战和“不知道怎么用AI”的日本人 - FT中文网》  如题,好奇,中日两国对AI表现怎么是这样呢?  我人在中国,看新闻与现实,“中国的AI价格战”不足为奇。  没去过日本,只有看新闻,好奇的是日本人“不知道怎么用AI”?  第一想到的是日本不是很早就搞机器人了吗?  百度看看,日本什么时候开始使用机器人?  日本在20世纪80年代开始在各个领域推广使用机器人。日本将1980年称之为“机器人普及元年”。到了1985年以后,日本进入了被称为“智能机器人的时代”。  智能
    自做自受 2024-07-13 22:40 233浏览
  • “颠覆与涅槃,颠覆自我与重新涅槃,让企业在变革中更完美的蜕变。”这是小鹏汽车董事长兼CEO何小鹏,在2024年开年时候说的话。如今2024年已经过去了一半,小鹏汽车的处境,似乎并没有变得更好,反而是状况不断。据不完全统计,近一年来,从小鹏汽车离职的高管团队,并不在少数。从此前宣布加入英伟达的智驾负责人吴新宙,到后面的AI负责人刘兰个川(Patrick)、软件负责人Parixit Aghera,再到此次离职的矫青春,小鹏汽车近一年都处于内部动荡之中。而在这种动荡之外,小鹏汽车也正在经历一场“冰与火
    刘旷 2024-07-15 09:56 96浏览
  • UAVDT数据集是一个专为无人机图像检测而设计的数据集,其特点包括丰富的标注和多样化的场景,对无人机图像处理领域的研究具有重要的价值。 UAVDT(Unmanned Aerial Vehicle for Detection and Tracking)数据集是为了在无人机图像中进行目标检测和跟踪研究而创建的。这个数据集主要由从无人机捕获的高清视频序列组成,涵盖了各种环境和场景,如城市、乡村、森林和海边等。 在UAVDT数据集中,图像主要包括小型车辆、行人和自行车等类别的目标,这些目标在图像中被
    丙丁先生 2024-07-15 07:33 79浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦