刚才的CES主题演讲中,黄仁勋发布一款与众不同的“AI PC”,但它似乎又不是个PC...

感觉现在NVIDIA在各类顶会、展会之上的产品和技术发布越来越放飞自我了:在SIGGRAPH这种图形技术顶会上谈AI;在CES消费电子展上,发布企业级技术与产品——汽车、机器人、Omniverse都来。

我们今年把CES上针对NVIDIA的重点放在AI PC和机器人技术上。本篇作为先导,谈几个媒体会上公布的有关消费电子、AI PC的有趣产品。可能大部分人聚焦今年的CES展会,核心关注点都在GeForce RTX 50系显卡上——作为重头戏,这部分我们放到后面的报道里去聊(参见《GeForce RTX 50系显卡发布:三倍于40系GPU算力》)。

实际上,在游戏显卡之外,NVIDIA这次还发布了把数据中心Grace-Blackwell超级芯片下放到桌面设备的“Project DIGITS”——虽然黄仁勋(NVIDIA CEO)主题演讲给到这个小设备的时间不多,但我们认为这是个相当有趣的产品;

以及针对RTX AI PC,面向开发者发布一系列以NIM微服务方式提供的AI基础模型(foundation model),以及Blueprints参考流程——也是数据中心及企业技术产品的下放,对未来的AI PC生态建设还是相当有价值的。

 

用GB10超级芯片的台式机?

这个名为“Project DIGITS”的新产品,其实也很难被定义为消费电子——用着Grace CPU和Blackwell GPU构成的GB10超级芯片,Linux操作系统(具体是NVIDIA自己的DGX OS),预装DGX用户熟悉的NVIDIA AI软件栈,面向AI开发者、研究人员、数据科学家和学生。

但它也有一些属于PC台式机的属性,比如GB10芯片中的Blackwell GPU带图形单元(暂不清楚具体给了多少图形单元)——搞不好装一些图形中间件也能用来玩游戏;128GB的统一系统内存是LPDDR5X;其整机尺寸非常小——黄仁勋在发布会上直接把它拿在手里,就像一台miniPC,普通家用墙插供电即可;公布的产品图还配了键盘鼠标...

是不是突然感觉就平易近人了许多?不像去年GTC上发布的GB200及NVL72系统...

但再细看:FP4数据精度1 PetaFLOP AI算力;竟然还配了ConnectX NIC(目前暂无哪一代ConnectX的信息),借助高速networking可以连接两台Project DIGITS,就能将原本单台支持至多2000亿参数模型提升到4050亿;这也不像是普通台式机该有的样子了...

显示器左下角那个是Project DIGITS

只不过新闻稿中提到Project DIGITS今年5月可以从NVIDIA及合作伙伴处买到,价格3000美元起——看起来也还是普通用户买得起的程度。NVIDIA在媒体会上说这款设备面向的用户群时,多少也提到了“爱好者(enthusiasts)”——虽然指的应该是AI技术爱好者。

目前有关GB10芯片和Project DIGITS整机的信息仍然不多。GB10芯片所用Grace CPU为20个Arm核心——还是比应用于HPC的Grace规模小了不少的——不过既然叫Grace,那么推测也应当是Neoverse V2核心;Blackwell GPU部分包括有CUDA核心、第5代Tensor核心,还带RT光追核心,目前仅知其FP4 AI算力1 PFLOP。

GB10的Grace-Blackwell之间也是用NVLink C2C连接:带宽未公布。新闻稿中提到联发科也参与了GB10的设计——是不是又让这颗芯片及设备带上一抹消费品的味道?

GB10芯片

此外系统层面包含有128GB LPDDR5X系统内存,4TB NVMe SSD存储空间,外部扩展连接支持Wi-Fi、蓝牙、USB,还有就是前文提到的带ConnectX芯片基于NCCL支持RDMA和GPUDirect,可达成两台Project DIGITS扩展,能跑至多4050亿参数规模AI模型。

NVIDIA AI软件栈,包括框架、工具、API皆有提供。所以其应用方向还是了然的,包括AI模型实验与原型设计,AI模型的fine-tune、推理,测试与评估,也可用于Chatbot或者代码生成的本地AI推理部署;数据科学家令其搭配NVIDIA RAPIDS也就能“在桌面加速大型数据科学工作流”;利用Isaac, Metropolis等工具则可以做机器人、CV之类的边缘应用开发。

Project DIGITS在我们看来也像是NVIDIA硬件与软件生态端侧设备的某种尝试。NVIDIA总结这是个“桌面上的AI超级计算机”,不知道将来会不会有人拿它爆改成跑Windows的PC,并试跑游戏...或许传言中NVIDIA要做自己的PC CPU(或与联发科配合)已经在此初见雏形了。

 

AI PC生态扩展:基础模型和开发工具

即便Project DIGITS算不上“正经”AI PC,但AI PC必然是这两年CES展会的热门话题:产品方面,除了后续我们会另行撰文详述的GeForce RTX 50系显卡,NVIDIA也在CES上针对RTX AI PC,面向开发者发布了新的工具。如文首所述,这些工具是继承了NVIDIA在AI领域的生态优势与积累的。

在NVIDIA看来,在生成式AI的急速发展时代,现在的Hugging Face已经有多大120万模型、多模态输入成为常态出现新的API、乃至在不需要掌握编程能力的情况下每个人都能成为开发者。

只不过要将这些潜在能力带到PC上还是存在不少挑战的:开发者需要管理、适配、优化跑在PC上的模型;将模型连接到新的API;还需要将其带入AI工具生态中。

所以NVIDIA面向RTX AI PC,发布了一系列的AI基础模型——包括语言、语音、动画、计算机视觉、图片、视频、RAG相关的模型——有来自社区和合作伙伴的,也有NVIDIA自己开发的。

比如在NVIDIA这次推出的Llama Nemotron大语言模型(针对开源Llama模型做过特别优化和CUDA加速的版本)家族中,有个特别针对PC与边缘设备的Llama Nemotron Nano,一款4b参数规模的模型——就是个典型例子。

为便于开发者入手,也为了维系自家AI生态发展,不出意料的这些AI模型都以NIM(NVIDIA Inference Microservice)微服务的形式向开发者提供。电子工程专辑不止一次撰文介绍过NIM:除了AI模型之外,这个名为NIM的“盒子”里还包括运行所需的依赖包、软件栈及相关优化构成,并对外提供标准API接口。

所以说NIM是面向开发者简易部署AI模型的一套解决方案。具体到RTX AI PC,NIM微服务中就包含了让AI跑在Windows PC之上的关键组件和效率优化:“把相同的技术特别针对RTX做适配”,“AI基础模型和NIM微服务会帮助PC开发者与爱好者快速启用AI,快速迭代,用RTX GPU为AI工作负载加速”。

相对的,NVIDIA也在此基础上发布了面向RTX AI PC的AI Blueprints。所谓的Blueprints,简单来说就是针对标准生成式AI用例的参考工作流;或者说是开发者可参考的定制化参考应用;着眼于进一步加速生成式AI的应用开发。比如说将多个打包了基础模型的NIM连接起来,建立起参考实施方案。

本次NVIDIA发布了两个面向RTX AI PC的Blueprints,分别是(1)PDF to Podcast的参考流程。也就是把PDF文档转为podcast播客的方案,基于PDF中的文字、图片、表格构建播客脚本,再生成完整的音频。

用户可以和播客进行实时交互,就特定话题对话。据说将白皮书、财报之类的复杂文档转为可交互的podcast,就能更方便地辅助研究。全流程用到了语言、文字转语音及自动语音识别等NIM微服务。

以及(2)3D引导的生成式AI Blueprint。去年SIGGRAPH大会上,我们就见过类似的“让AI更可控”的工作流。借助简单的3D对象——而且是手绘生成的3D资产,将其置于场景中,引导实现更契合3D场景、更可控的AI图像生成。

前几个月的NVIDIA媒体会上,也有艺术家做过相似的工作流创作尝试;现在NVIDIA即面向开发者提供来自官方的参考流程,可见内容创作者对于此类应用是有迫切需求的;AI也是真正提升了生产力的。

上述NIM微服务及Blueprints参考工作流预计会在下个月推向市场。从Project DIGITS及更多面向RTX AI PC开发工具与AI基础模型的发布,都能看出NVIDIA期望把一直以来的AI生态优势,带到PC端侧,并真正从严肃生产的角度普惠AI PC;即便Project DIGITS不能算是PC,其形态某种程度也称得上端侧AI设备尝试,虽然它是个完全面向AI开发者及技术爱好者、且完全基于NVIDIA软硬件生态的产品。

而且RTX AI PC也的确是我们所见目前在行业市场创造了较大价值的技术。这一生态的持续完善,也是让AI PC全面迈入高速发展期的基础。

后续几天,电子工程专辑还将继续关注NVIDIA在CES 2025展上的更多产品与技术发布。

责编:Illumi
本文为EET电子工程专辑原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
阅读全文,请先
您可能感兴趣
此次被列入实体清单的中国企业涵盖了多个高科技领域,包括但不限于人工智能、半导体以及量子技术等。值得注意的是,这是美国首次将中国的大模型公司(智谱AI)列入实体清单。
很多人以为,今年CES上老黄演讲的主角是GeForce显卡,但其实是他手里握有的机器人相关的“时间宝石”...
英特尔前首席架构师赛莱什·科塔帕利在英特尔担任过多款 Xeon 服务器处理器的首席工程师以及数据中心流程架构的平台工程组总监,近年来高通也一直在寻求进军服务器市场,这预示着高通有望在服务器市场上的进一步发展......
OpenAI认为,芯片、数据、能源和人才是赢得人工智能的关键,且建议美国政府大幅增加对这些领域的投资。
该举措标志着美国政府对先进计算集成电路和封闭式两用AI模型权重的出口控制力度进一步加大,并引入了全新的强制性全球许可制度。
Arm公司可能会改变其业务模式,从仅仅提供芯片设计蓝图转向更加深入的设计工作,甚至可能自己完成整个芯片的设计。这个消息是根据上个月一场审判中揭露的计划而得知的......
• 2024欧洲电动汽车销售遭遇增长瓶颈,多家车企将面临因无法满足欧七排放标准而带来的巨额罚款风险。 • 汽车厂商将电动汽车销售贡献作为降低旗下所有车辆平均排放量的关键。 • 汽车制造商需要解决消费者对电动汽车价格高、相关保险费和充电体验差的看法,以提高电动汽车的销量。
• 2024 年第三季度,全球智能手机市场同比增长 2%,出货量达到 3.07 亿部。 • 全球智能手机收入同比增长 10%,平均售价增长 7%。收入和平均售价均创下历史新高。 • 三星在出货量方面继续领跑市场,占据 19% 的销量份额。 • 苹果在营收方面领先,并创下了其历年第三季度出货量、收入和平均售价的最高记录。 • 小米位居第三,收入增长超过出货量增长比例,而 OPPO 则位居第四。vivo 在前五大手机品牌厂商 中同比增长最快。
芯联集成发布2024年全年业绩预告,多项关键指标继续保持高速增长,均呈现出积极向好态势。
廿载峥嵘追芯路,求实鼎新启新程。2025 年 1 月 10 日,轻寒料峭难掩勃勃生机,以 “新时代,大有可为” 为主题,大普技术二十周年庆典暨乔迁仪式于东莞市松山湖圆满举行。
1月15日,据媒体报道,英伟达创始人兼CEO黄仁勋已经抵达深圳,参加深圳分公司年会活动,并将访问中国多个城市。此前的1月13日,便已有外媒报道,黄仁勋在本周将开启中国之行。值得注意的是,黄仁勋此次访华
点击蓝字 关注我们SUBSCRIBE to USImage: Cath Virginia / The Verge, Getty Images随着野火继续肆虐洛杉矶县的部分地区,在公用事业工作人员努力恢
  中宇联云计算服务(上海)有限公司掌门人康俊燕,深耕通信领域多年,是“云边端”领域绝对的资深专家。不过,他所在意的,不是用新技术去替代旧技术,而是如何让新技术与旧技术更好地融合,
1月14日,OPPO、小米分别与松下控股就手机使用的蜂窝通信标准必要专利签署了一项全球专利交叉许可协议。与此同时,松下控股撤回了 2023 年对 OPPO 和小米在中国和欧洲提起的诉讼。松下控股表示,
1月16日,市场分析机构Canalys发布了2024年第四季度及全年中国大陆智能手机市场的出货情况。           数据显示,2024年第四季度,国内智能手机市场的出货量为7740万台,同比增长
1月15日晚,“为中国经济点赞——企业家之夜”在北京举行。地平线创始人、CEO余凯出席并发表演讲,余凯表示,地平线是中国现在最大规模的智能汽车、智能驾驶芯片跟软件方案的供应商。简而言之,汽车未来是四个
本文来源:智能通信定位圈1月15日晚,乐鑫科技(688018.SH)发布了2024年年度业绩预增公告,预计实现营收19.85亿元至20.15亿元,同比增长39%至41%;归母净利润预计在3亿元至3.4
 △广告 与正文无关 1月14日,一博科技接受机构调研,就最近公布的收购事宜,介绍了珠海邑升顺未来的定位及规划。一博科技表示,公司最近收购了珠海市邑升顺电子有限公司(简称“珠海邑升顺”)少数股东的股权
 智能汽车网络与数据安全新媒体 转眼间,2024年已经落下帷幕,它终于过去了,这或许是很多汽车网安从业者失眠最多的一年。在降本增效已成为行业常态的大背景下,经济下行、市场内卷、技术革新、强标发布等多重
点击蓝字 关注我们SUBSCRIBE to USPrem Kumar几十年来,研究人员一直试图将量子信号与经典信号一起挤入光纤电缆。然而,量子比特基于单个粒子的微妙量子态,这些量子态可能会被热噪声和其