谈AIPC生态发展阶段：端侧模型与摩尔定律的交会时刻

虽然最近在成都举办的“2024英特尔新质生产力技术生态大会”据说是Intel在中国举办的有史以来规模最大的生态大会——王稚聪（英特尔市场营销集团副总裁兼中国区总经理）在开篇致辞中提到，以往Intel的生态大会，基于数据中心/云、边缘计算、PC、软件等分开举办，而“今年我们将数个重要的生态大会融合到了一起”；

但不得不说，AI PC仍然是本次技术生态大会的绝对宠儿。不仅体现在主题演讲给到AI PC的篇幅最多，而且AI PC在本次一万平米的展馆内所占面积相当大，及展台特装看起来也都是最用心的。

最近TechInsights发文提到，Intel今年Q2已经获得了43%的AI处理器市场份额，与此前长期保持领先的苹果持平；AI PC处理器营收相比2023年Q4则增长6倍。这绝对称得上是颓废大环境与业绩现状下的一抹亮色了。

借着这个机会，也基于电子工程专辑对AI PC的长期关注，本文再度尝试谈谈2024收官之际，AI PC的生态大致走到了哪里。

处理器和工具链：普及工作进行中...

高宇（英特尔中国区技术部总经理）在下午的“AI PC软件生态产品发布分论坛”的开场演讲中说，AI PC要获得成功必须要解决三个问题：（1）PC的AI算力问题；（2）开发工具链问题；（3）应用/软件生态链的问题。

要做权责划分的话，以当代芯片企业“管得宽”的竞争特质，前两个一定是芯片厂需要花大力气去完成的，后一个则是芯片厂需要深度参与、辅助应用开发者共同达成的。

以往探讨AI PC的文章里，我们已经对前两个问题做过非常明确的阐释。对于Intel而言，面向PC提供AI算力的自然是酷睿Ultra处理器，基于XPU（CPU+iGPU+NPU）策略做AI加速；开发工具链则是在XPU基础之上，面向开发者的配套工具，典型的像是OpenVINO推理引擎，IPEX-LLM加速库，乃至AI模型适配等...

针对AI PC这两方面的构建，宗晔（英特尔中国区渠道与合作伙伴业务部总经理）也在主题演讲中给出了明确信息。AI算力方面，初代酷睿Ultra——也就是Meteor Lake“让AI PC扬帆起航”；刚发布不久的酷睿Ultra 200V——即Lunar Lake则“以超高能效比和旗舰AI性能为用户带来全新体验”；

“上个月发布的Arrow Lake处理器（酷睿Ultra 200S）将AI能力引入台式机，并将在明年扩展至高性能笔记本，加速了AI PC的普及”；“紧随其后，基于Intel 18A工艺的Panther Lake则将”实现AI PC体验的再升级...

这几代酷睿Ultra处理器每代都实现了AI性能的数倍提升，至Lunar Lake已经达成120TOPS的AI总算力；据说明年的Panther Lake还会带来AI算力的进一步跨越。所以高宇的总结是，“两年内PC的AI性能已经达到相当的高度，算力问题基本解决”。

而在开发工具链的问题上，宗晔提到“基于Intel OpenVINO深度优化硬件平台；与微软合作，完美支持Windows ML生态；通过IPEX与IPEX-LLM工具链快速适配开源生态”。高宇此前就已经自信地提过，Intel的工具链已经适配“目前能够跑在端侧的几乎所有模型”，所以工具链也并不成为AI PC普及的瓶颈。

第三个问题，最上层的软件与应用生态。“终端用户接触的不是工具链，也不是模型，而是好用的软件。”高宇谈到，“所以Intel过去一年花了很多时间”，一方面让“PC行业的软件厂商”加入AI能力，“让软件更有意思”；另一方面“以前不是PC行业的合作伙伴也能进入到PC行业”。

活动现场八角笼设计的AI PC专区高耸的AI PC柱子

照例提到的成果数据是，Intel和全球150+家ISV与国内40+家ISV“展开广泛合作”，也相继推出ISV加速计划与AI PC软件大赛，促进AI PC生态发展。目标是在5大场景实现落地，包括知识助手、办公助手、娱乐助手、创作助手，及更多垂类助手，并期望从中发现潜在的“杀手级应用”。

不过这些数据和成果汇报，看起来还是太泛了。实际上，下午场的“AI PC软件生态产品发布分论坛”就属于“Intel搭台，软件合作伙伴唱戏”，谈的就是更具体的AI应用与生态了。即便其中的好些应用，我们已经在前两个月见到过；但更具体的内容分享，还是有助于我们理解AI PC生态发展的实际成果...

端侧AI模型：和摩尔定律的交会

在谈具体的应用之前，先谈谈AI大模型。将大模型搬到边缘和端侧，可能是过去这大半年的热议话题。这本身就能代表端侧AI、端侧生成式AI的发展成熟度。或许这一议题的关键还在于，即便是面向AI HPC的大模型，是否就是堆更多的参数就更好？

面壁智能副总裁缪钧玮在演讲中提到所谓“模型知识密度”的概念，即模型能力÷模型参数。下面这张表中的红色曲线，反映的是在模型参数量级不变的情况下，每8个月模型能力就会提升1倍。所以“现在一个差不多20亿参数的模型，就已经能够达到当年1700亿参数GPT-3的水平”。

如果将其与相关晶体管尺寸微缩的摩尔定律放到一起——即摩尔定律还在持续令单位面积内的晶体管数量增加，“当这两条曲线相交时，我们就能在给定更为有限的算力下，去完成非常复杂的功能；也就将端侧的智能很好地做到了激活。”缪钧玮说。

虽然我们不知道这两条曲线的y轴是怎么算的，但这的确是个绝妙的、描绘大模型走向趋势的方式。在面壁智能看来，大模型走向端侧，走向更优的效率，“来自大模型科学化的不懈追求”。

“过去这段时间，我们和Intel协作，将轻量化的MiniCPM端侧模型，跑在了PC上。”缪钧玮展示的成果是，面包小钢炮端侧模型跑在Lunar Lake芯片上，经过“深入硬件底层计算加速与调度优化”，包括基于OpenVINO，实现了AI推理加速提升167%，以及首token延迟降低17%。

所以面壁将9月份发布的MiniCPM 3.0称作“端侧ChatGPT时刻到来”，提及它以4b参数规模，在性能上超越GPT-3.5，且多模态OCR的某些能力接近GPT-4V水准，是为大模型的“科学化”。“只需要2GB内存占用，对端侧非常友好；甚至不需要Intel最新的硬件平台，就可以流畅地把模型跑起来。”

包括“无限长文本”支持，“性能超Kimi”；“GPT-4o级function calling”；“RAG外挂三件套”“中文检索第一”“生成超Llama3-8b”；另外还有演讲中介绍的MiniCPM-V系列的多模态大模型，“对标GPT-4V”，2.6版的微表情捕捉分析据说只需要2b参数规模，就能识别人类超过20种情绪等等...都体现了端侧AI模型过去这1年时间的快速发展。

当然，分论坛发表演讲的AI模型企业不单是面壁智能一家。智谱也在与Intel持续数月的合作后，发布了GLM-Edge端侧大模型，包括大语言模型（GLM-Edge-4B-Chat, GLM-Edge-1.5B-Chat)和多模态模型（GLM-Edge-V-5B, GLM-Edge-V-2B)...

智谱智能终端行业负责人何国帅甚至给出了几个模型跑在Lunar Lake处理器上的具体成绩，包括首响时间、推理速度、内存占用峰值，“不需要依赖非常顶尖的高性能芯片”，“能够实现模型的普适”。

另外智谱也基于GLM-Edge端侧大模型，打造了端侧的智谱清言应用——“最近几周就会发布”，届时可直接下载使用——这本身就是大模型应用落地。据说支持长文本问答（20万字、30M文档支持）、本地知识库问答（应当是基于RAG，支持一次性学习50个文档）。这和半年前的端侧大模型应用，至少就参数看来就已经是天壤之别了。

模型部分最后值得一提的是，智谱也在会上特别介绍了CodeGeeX，一款IDE插件形式的AI编程助手。实际上AI编程工具现在已经相当火了，有统计显示35%的开发者每天都会用代码生成工具；AI编程工具作为IDE插件和本地部署的使用占比据说超过了60%。

所以智谱在CodeGeeX产品上，也选择和Intel一起打造了一个专门的AI PC版，能够实现端侧的代码处理，轻量级的部分功能——如代码补全、代码注释与翻译——据说也是程序员现在最高频的功能需求，以及智能问答相关的代码解释、函数重构、单元测试等工作交给端侧完成；

结合云侧更强大的功能，包括代码解释器、检索增强，乃至项目级能力；整体以端云协同的方式实现；据说未来随着处理器AI性能的进一步加强，智谱还考虑让端侧覆盖更多样化的AI编程功能...

无论如何上面这些都体现了当代AI大模型效率的显著提升。

具体到应用：实用性在加强

下午场的“AI PC软件生态产品发布分论坛”，谈具体应用的包括腾讯应用宝、印象笔记、同花顺、北科瑞声、新智慧心等（是否也体现了存量应用，与新增应用并行发展的思路？）。比较有趣的是，这些应用层级的开发者，多少也都谈到了端侧模型部署的“最佳实践”：即便他们本身可能并不做基础模型，也在强调要在端侧使用AI大模型的能力，就要求进行各种各样的优化。

比如印象笔记谈到的KV分层缓存，缓解端侧内存压力，以及如何降低首token延迟、解码延迟等；同花顺则强调了“模型蒸馏”、“投机解码”达成端侧推理的优化，大幅提升QPS与首token时间。即便不看他们究竟用AI模型干什么，这些也都能体现了AI应用以及整个生态的进步。

虽说AI PC领域引发轰动的“杀手级应用”可能还没有真正出现。但相比在半年前，我们对于生成式AI的诸多质疑，好些都已经烟消云散。比如说为什么要在端侧搞生成式AI：好比CodeGeeX在端侧的AI代码补全与生成，于码农要的就是实时性。

又好比新智慧心推出的“GameSkills”游戏技巧产品，作为《无畏契约》《英雄联盟》游戏的“AI教练”式存在，于竞技类游戏做游戏训练，实时要求就可能高到云上AI很难搞定的程度了。新智慧心创始人陈迪介绍与《无畏契约》官方+Intel合作的游戏技巧，现阶段主要做技能投掷点位教学。

感觉还挺出乎意料的是：这类AI助手主要是通过录屏、检测画面，藉由AI CV——包括识别小地图、人物坐标、英雄、line-up点位等，最终以画面中浮窗的形式给出玩家指导与辅助。这个流程在我们看来还是挺暴力的，现在的AI PC却都已经能够完全实时完成、在竞技类游戏中给出玩家指导了。

《无畏契约》GameSkills当前已经在职业选手中进行测试，后续也会面向普通玩家发布

陈迪说这个过程也是藉由XPU，即三个不同的处理器单元协作完成的。这其中又有个我们提过的有趣逻辑：即以前我们疑惑，当游戏需求高性能独显时，为什么不直接用性能更好的独显来做AI推理，而要用CPU+NPU+iGPU；陈迪的解释是，独显需专注于图形渲染——如果还要用它做AI推理，则画面可能会掉帧。

“对于对抗性很高的游戏而言，哪怕掉个10fps，玩家都可能无法接受。”加上某些游戏还借助独显的AI加速单元做超分和帧生成，则其面临的负载更重，此时“更需要XPU架构去跑端侧AI”。

而要说AI达成的实用功能，北科瑞声的AI PC会议大师能够进行基于本地算力做会议转写、说话人分离，乃至不同语言的实时翻译；以及腾讯应用宝PC版，借助生成式AI，更多的能够发现用户需求，达成行之有效的应用分发、提升商业转化能力；还有印象笔记的AI标签生成与分类、笔记内容对话并生成新笔记等...这些都称得上实用。

不过我们认为，这其中看起来更突破想象的，还是同花顺——炒股或接触金融的读者对同花顺应该非常熟悉了。同花顺做了AI PC版，核心是“同花顺金融指标代码大模型”，同花顺AI PC 1.0版也是同花顺多个团队与Intel协作的结果。

我们理解AI PC版同花顺的能力核心在于，对于某些有投资逻辑的专业技术面投资者而言，如果他不具备写金融指标代码的能力，那么在同花顺软件里，就可以自然语言对话的方式，让AI直接进行对应的操作。同花顺人工智能创新产品负责人郭云三说，投资逻辑公开的话，会影响盈利——所以这也是做端侧AI更具被隐私安全特性的典型案例。

现场演示提出需求“根据各股股价、振幅、资金流向，衡量个股是否处于超涨或超跌状态”，AI生成代码并直接画图

“用户通过自然语言，就能对话式地实现智能画线、指标设置、指令控制、数据可视化等功能。”而且是依托本地AI算力，“用户不需要花大量时间学习编程，也不必在社区求助其他人。”实用性之外，这也算得上Intel定义的垂类AI助手应用落地了。

看起来更高的AI算力底座、更高效的模型，和更具实用性的应用，的确让端侧生成式AI变得更有说服力了。

集行业万千宠爱的AI PC

高宇说AI PC概念被提出，至今也不过短短1年，这么短的时间里“AI PC就获得了行业万千宠爱”，是PC行业激发“增量市场”全村的希望。所以之前才有人说，AI PC概念的出现与发展，是全产业链都在参与推动的“阳谋”。

回过头来看宗晔提到的目前Intel客户端三大战略：（1）打造高能效端侧XPU AI算力底座；（2）构建高质量软件生态，推进AI应用普及；（3）本土应用新需求，拓展客户端新机。

除了最后一个，前两者基本就是本文内容涵盖的范围；且显然第2个，是Intel要实现AI PC普及，与生态全面扩展关键中的关键。也就不难理解，AI PC作为“全村希望”的内核了：它势必要走向生态健全与应用的成熟，以及更广泛的用户覆盖。AI PC的盛宴才刚刚开始。

至于第3点，我们从生态大会现场看到的，关键点在于更广泛的客户端设备形态，及新需求的开拓。比如说会上腾讯/IEG/新互动产品总经理吴丹发布的，基于Lunar Lake处理器的裸眼3D游戏掌机（3D One，如下图）、AI NAS设备，展场中展示的绿色PC、迷你PC、PC Farm等。毕竟这些也都符合推动Intel客户端发展的“五大引擎”：AI、商用、娱乐、计算、低碳。