三到五年内，端侧设备将能够支持大模型

随着人工智能技术的飞速发展，整个科技行业正经历着前所未有的变革，特别是在智能物联网（IoT）领域，Arm架构作为一种精简指令集计算机（RISC）架构，凭借其低功耗、高性能和广泛的适用性，已成为支持AI技术在边缘计算、移动设备和物联网领域发展的首选计算平台之一。

7月25日，在由AspenCore主办的2024（第五届）国际 AIoT 生态发展大会上，安谋科技智能物联业务线业务发展与方案总监商德明发表了题为《生成式AI重塑智能物联“芯”应用》的演讲，他表示，从智能家居设备到企业级应用，AI技术的增强让各种设备实现了更高效的数据处理和智能决策。

据统计，基于Arm架构的芯片出货量已超过2800亿枚，这表明Arm架构已成为从边缘设备到云端服务器的核心生态组成部分。目前，超过1500万名开发者正积极利用Arm架构进行创新，通过软件和应用的不断进化，推动生态系统的蓬勃发展。

虽然芯片开发成本高昂，但芯片一旦被集成到诸如汽车或服务器等设备中，其带来的附加价值也会显著增加，这也意味着芯片在安全性和功能性方面承担着极其重要的责任。因此，确保芯片具备高稳定性、可扩展性和技术先进性成为关键。

商德明表示，借助大量的数据与实际应用案例，Arm可以更全面地识别各种使用场景中的问题和特殊情形，从而不断完善测试流程。他表示：“我们高度重视用户的反馈，并以此作为持续改善产品质量的基础，这对于整个行业来说具有极大的价值。“

众所周知，Arm的产品远不止CPU这么简单，还包括了总线接口、计算单元（例如EPU和GPU）以及安全机制等全方位的设计考量。商德明表示，Arm正在积极发挥其在智能汽车、智能物联网、基础设施和移动终端等领域的核心竞争力。

在智能汽车方面，Arm在全球范围内与15家一线汽车电子芯片开发商紧密合作，超过85%的车载信息娱乐系统基于Arm架构设计。此外，Arm解决方案覆盖整个汽车系统，并且Arm打造了高性能异构计算芯片平台，相关产品已大规模量产上车。

对于智能物联网市场，Arm技术生态为数十亿设备提供强大的技术支持，保障安全并护航发展。众多物联网厂商广泛采用Arm CPU、GPU等通用计算单元以及NPU、SPU、VPU等Arm自研业务产品。

在基础设施领域，所有主流云厂商均推出了基于Arm架构的云实例，而Arm Neoverse计算系统则为新型数据中心和网络基础设施提供了定制芯片设计支持。

最后，在移动终端方面，基于Arm Cortex-A处理器的芯片出货量超过350亿，从Arm全面计算解决方案到终端CSS，都将赋能下一代旗舰智能终端。同时，Arm CPU在PC市场的表现强劲，结合Arm异构计算平台，满足多元化计算需求。

生成式AI+物联网：正成为推动社会发展的关键力量

商德明表示，无论是端侧设备还是智慧家庭，都已经开始广泛部署人工智能技术，并且随着生成式AI的兴起，它们的应用将进一步扩展。

例如，作为元宇宙概念的一部分，增强现实（AR）/虚拟现实（VR）技术已经发展了大约四到五年的时间。随着苹果Vision Pro的推出，展示了出了出色的视觉体验，然而，为了支持AI所需的计算能力，还需要进一步提升算力。在有限的空间内实现高效的AI计算能力，这对行业提出了更高的要求，同时也需要在诸如人脸识别等领域强化AI的能力。

另一个重要的发展方向是机器人，尤其是人形机器人。全球范围内有多家公司对此投入了大量资源。在生成式AI的背景下，机器人领域尤为重要，因为它融合了多种技术，并使之协同工作，以实现更为智能化的解决方案。此外，无人机领域同样炙手可热，探索如何更好地利用AI来支持智能化具有深远的意义。

商德明认为，这是因为大模型的价值可能催生出新的终端需求。通过理解用户、私有化部署，以及对语义和客户需求的深入分析，大模型能够整合所有相关应用，为用户提供更加贴心的服务，成为他们的智能助手。

这是AI所带来的变革之一。随着生成式AI的持续进步，无论是在模型能力的提升、模型的轻量化，还是新模型产生较少参数但拥有更高智慧方面，都将持续推动AIoT设备的发展。

商德明认为，我们也可能见证新的产品形态的出现。比如，在监控领域，大约四五年前，如果仅有10%的设备能够支持AI并实现人脸识别，就已经相当先进了。但现在，任何不具备AI功能的摄像头都显得过时。

可以预见，在未来三到五年内，这些端侧设备将能够支持大模型，具备优秀的语义理解和智能助手功能。无论是智慧家庭、家庭中心还是特定的企业垂直领域，这都是一个清晰的发展趋势。

在此背景下，人工智能大模型的出现具有重要意义，它带来了显著的影响。

值得注意的是，传感技术现在是多模态的。无论是自动驾驶汽车还是机器人，都会使用包括800万像素和4K摄像头在内的多种传感器，以及雷达、激光和声音传感器等。

因此，多模态输入增加了系统的复杂性。在这种情况下，如何设计合理的架构，以实现对大量数据的快速实时处理，并据此做出准确的判断，成为了一项挑战。

商德明表示，通过大模型和生成式AI的辅助，可以即时作出反馈，进而触发相应的动作，这一过程不仅适用于自动驾驶，也同样适用于各种观测设备。

AI技术的发展和应用促使对软硬件协同优化的需求增加

人工智能的发展历程已历经数十年，期间涌现了诸多关键技术，其中包括大模型等前沿技术。尽管发展历程中不乏波折，但计算能力的持续提升一直是推动人工智能前进的关键因素。

早期，我们通过改进CPU架构和优化算法来提高计算效率。传统的CPU架构能够处理相对有限的任务，但随着GPU和张量处理器等新型计算架构的出现，计算能力实现了质的飞跃，支持成千上万乃至数百万的并行计算任务。这种架构革新极大地提升了计算效率，使处理器能够同时处理多个指令和数据流。

另一方面，半导体技术的进步使得我们能够在更小的芯片面积上集成更多的电路单元。这意味着我们要在尽可能小的空间内放置尽可能多的功能模块，并确保软件能够高效利用这些硬件资源。不论是Arm架构、还是其他处理器设计公司，我们都致力于快速迭代产品，以确保芯片上的每一部分都能够高效运行，满足计算和数据处理的需求。

随着人工智能技术的出现和发展，一系列热门概念也随之诞生。那么，在众多概念中，哪一个最为核心呢？

商德明认为，在可见的未来框架下，“混合人工智能”(Hybrid AI)被视为关键的解决方案和趋势，通过云端与终端设备的有效结合，混合人工智能能够实现最佳的实际应用效果。

商德明举例表示，尽管微软等公司在云端服务领域建立了强大的基础，但它们仍然推出了边缘计算解决方案，比如Azure IoT Edge。这是否意味着会削弱其云端业务呢？实际上并非如此。原因在于，云端虽然能够提供强大的计算能力和丰富的模型资源，但对于某些应用场景而言，直接在终端设备上执行推理任务更具优势。云端计算虽然强大，但由于涉及大量模型计算和数据传输，其电力成本高昂。因此，在终端设备上进行推理不仅可以降低成本，还能提高效率。

除此之外，隐私保护和数据安全也是终端侧AI的关键考虑因素。终端设备处理个人数据时，需要特别注意数据的安全性和隐私保护，特别是在处理敏感的金融信息时。此外，实时性也是许多应用场景的核心要求，尤其是在自动驾驶、机器人控制等任务中，终端侧AI能够提供更快的响应速度。

能源效率同样是终端侧AI关注的重点。未来的电力需求可能会因云端计算而大幅增加，因此降低终端设备的能耗至关重要。

商德明表示，从应用角度来看，我们需要将人工智能技术更好地融入终端设备，并通过持续的技术研发和迭代来提升终端AI的能力。因此，可以预见的是，无论是个人电脑还是已经部署的更智能的终端模型，都需要进行量化、压缩或小型化处理，以便在终端设备上部署。

终端侧设备的渗透率和用户习惯也在不断变化。随着设备变得越来越易于使用，其普及率也会随之增长。终端侧与云端的互动是混合人工智能的核心，确保云端和终端之间的一致性和平滑迁移是至关重要的。因此，我们需要探索解决方案来构建这样一个综合性的方案。

人工智能硬件挑战与解决方案

据商德明介绍，Arm的智能平台高效地整合了所有知识产权(IP)组件，并以现场可编程门阵列(FPGA)的形式提供给客户。这一平台被研发中心和赋能中心广泛采用，用于产品验证、定义及规划，是一个极其有用的工具。它不仅提供开源软件和全面的供应链支持，还显著缩短了开发周期。鉴于当前形势下减少研发投入的重要性，该平台通过提供灵活的CPU组合选项来满足不同设备的具体需求。

例如，高性能处理器适合于机器人应用，而摄像头和其他设备则可根据其特定性能指标(KPIs)进行定制化配置。Arm与第三方伙伴合作，共同优化整体解决方案，并预先处理好底层技术如电源管理和系统控制，从而让客户能够专注于实现产品差异化——这也是神经处理单元(NPU)的核心价值所在。

提及软件生态系统的重要性时，我们也强调了在相同的指令集架构下提升微控制器(MCU)计算能力的需求。安全方面，Arm提供国际认证（如Global Interrupt Controller, GIC）以确保数据的安全性。

此外，Arm还推出了订阅服务模式，使客户能够在产品开发早期阶段快速获取所需的IP支持，并基于评估结果确定最终需要哪些IP。这种模式不同于传统的授权方式，它允许用户先试用IP，待产品开发完成后再进入生产阶段。

商德明：“总而言之，我们需要在人工智能(AI)的大潮中不断创新前行，推动更多的技术突破和发展。”