11月23日,“2023 中国临港国际半导体大会” 在上海临港新片区成功举办,同期举办的“AI芯片与高性能计算论坛”邀请到来自芯片原厂、上游IP厂商、终端应用厂商以及研究机构的嘉宾,聚焦人工智能、云计算、物联网等领域的发展趋势,探讨如何利用先进的芯片技术来推动高性能计算的创新。

自2022年底 ChatGPT发布以来,引发了全球范围内对于生成式人工智能技术(AIGC)的关注。ChatGPT的“火出圈”也给大语言模型(LLM)领域带来了更多的玩家,模型数量和参数量在过去一年均不断激增。据不完全统计,仅中国目前的大模型数量就已超过110个,这同时也带来了对于AI算力需求的剧增。

据英伟达数据显示,在没有以Transformer模型为基础架构的大模型之前,算力需求大致是每两年提升8倍;而自利用Transformer模型后,算力需求大致是每两年提升275倍。基于此,530B参数量的Megatron-Turing NLG模型,将要吞噬超10亿FLOPS的算力。

随着大模型参数量增长,ASIC芯片的弱通用性难以应对下游层出不穷的应用,GPGPU受制于高功耗与低算力利用率。如今很多大模型的参数量已经超过了万亿规模,这意味着需要更大规模的算力平台才能进行如此规模大模型的训练。在这样的背景下,存算一体将有望成为继CPU、GPU架构之后的第三种算力架构,背后还涉及了HBM(高带宽存储)、Chiplet等新兴技术。

更大规模的平台还会带来另外一个问题,即卡与卡之间、不同的节点之间的更多通信,大模型的训练需要融合多种并行策略,对卡间P2P互连带宽以及跨节点互联带宽提出了更高的要求。随着模型参数量进一步增加以及GPU算力的成倍增加,未来需要更高的互连带宽才能满足更大规模模型的训练需求。

只有解决上述问题,才能充分挖掘大模型时代的红利,让所有人感受到AI时代的便利。11月23日,“2023 中国临港国际半导体大会” 在上海临港新片区成功举办,同期举办的“AI芯片与高性能计算论坛”邀请到来自芯片原厂、上游IP厂商、终端应用厂商以及研究机构的嘉宾,聚焦人工智能、云计算、物联网等领域的发展趋势,探讨如何利用先进的芯片技术来推动高性能计算的创新。

回归AI计算的第一性原理

随着大模型时代的到来,数据搬运量大幅增加,导致计算能耗急速增长,计算效率大大降低,运营和建设成本极高。同时,AI应用进入2.0时代,模型参数量呈现出更快的增长速度,数据搬运速度的剪刀差也越来越大,然而每一次推理计算都需要搬运整个模型参数,存储墙成为最大痛点。

亿铸科技创始人、董事长兼CEO 熊大鹏博士

亿铸科技创始人、董事长兼CEO 熊大鹏博士在主题为《回归AI计算第一性原理,存算一体迎大模型时代》的演讲中表示,回归AI计算的第一性原理,也就要回到硬件加速设计的基本定律——阿姆达尔定律(Amdahl Law),而存算一体架构,可以从根本上解决存储墙带来的能耗和算力瓶颈的问题。

据介绍,亿铸在今年首次提出了基于忆阻器的超异构芯片,以存算一体AI加速计算单元为核心,同时将不同的计算单元如GPGPU,CPU进行3D异构集成,即实现更大的AI算力以及更高的能效比,同时提供更为通用的软件生态,使得CIM AI大算力芯片真正满足AI算力增长第二曲线的需求。目前公司原型技术验证芯片(POC)首次流片已回片并点亮,这也是首颗面向数据中心、云计算、自动驾驶等场景的存算一体AI大算力芯片。

Transformer面临参数规模过大问题

现在以Transformer为代表的各种AI大模型火爆全球,因为在精度跟并行度上的优势,很多领域现在都能看到它的身影。但这类大模型目前面临参数规模太大的难题,且还在呈指数增长,现有内存发展跟不上就会频繁遭遇“存储墙”。

视海芯图创始人、董事长 许达文博士

视海芯图创始人、董事长 许达文博士 在主题为《多模态AI终端芯片》的演讲中表示,由于精度高、具备全局特征和多模态、迁移性强等特点,当前很多AI模型的主干网络正从CNN转变为Transformer,并以机器人视觉、机器人主控和机器人大算力的路径,兼顾其他行业应用来开展具体业务,包括代码生成、AI对话、虚拟教室等应用场景也纷纷落地。

“但Transformer在终端芯片上遇到了因为参数规模太大,NPU利用率低的问题,为此视海芯图推出了SH1580 Transformer加速SoC芯片,采用自研NPU,配备高性能主核及图像处理,12nm工艺制造。”据许达文介绍,这款芯片的核心技术是自研PTPU架构,也称为多态张量处理器(polymorphic tensor processing unit),“由它打造的神经网络处理器可以对Transformer、Bert这些大模型做针对性加速,同时也能继续支持传统的CNN、RNN模型。” 

高端IP对算力芯片极为重要

随着全球产业信息化向智能化跨越,半导体行业迎来算力等SoC芯片的需求爆发,芯动科技IP研发副总裁 高专 在主题为《高性能计算IP“三件套”:HBM/DDRn、Chiplet、SerDes》的演讲中表示,先进工艺大芯片是未来芯片产业的“主战场”,而这类芯片是IP堆积整合的结晶,既比拼高端工艺,更比拼高端IP。“没有IP,95%以上SOC公司做不出芯片。先进工艺大芯片,特别是Chiplet技术对成熟可靠的IP依赖更加严重。”

芯动科技IP研发副总裁 高

芯动科技已在一站式高端IP和芯片定制领域耕耘17年,获得全球主流代工厂百万片晶圆授权,覆盖从55nm到3nm工艺全套高速IP核和ASIC定制解决方案,“尤其是12/10/8/7/6/5/3nm等先进FinFET工艺均已流片验证,全球知名客户过50亿颗SOC芯片背后有芯动技术。”高专说到。

为适应国内上下游企业和芯片产品的迫切需要,芯动推出了国产算力芯片IP“三件套”,包括高端HBM/DDRn系列、兼容UCIe标准的Innolink™ Chiplet系列、SerDes(PCIe6/5)系列,如今高端IP如GDDR6/6X、HBM2E/3、DDR5/LPDDR5/5X、SERDES、Chiplet都已实现量产验证。”

存算一体架构实现片上DNN训练

在PC通用性计算时代,CPU因为契合通用基础算力的需求获得了长足发展。在移动互联网/大数据时代,GPU则因为契合数据量激增后并行处理的需求,被众星捧月。然而,CPU不擅长大规模并行计算,GPU追求高算力的同时忽视了能耗,在智能化时代要满足海量数据的分析与处理需求,需要进行突破冯诺依曼架构的底层创新——存算一体,也称存内计算。

苹芯科技产品市场总监 王

苹芯科技产品市场总监 王菁 在主题为《存内计算在智能计算领域的应用与展望》的演讲中表示,存内计算结构可以通过降低数据的移动,大幅提高DNN的计算效率。但是过去的存算结构专注于DNN推理,而并没有对于DNN训练有足够的研究。“相较于DNN推理,DNN训练对于计算精度有更高的要求,为了实现片上的DNN训练,浮点计算是一个必须的功能,同时对于张量操作也有更多要求,这对于存内计算的设计也提出了新的要求。”

鉴于此,苹芯科技提出了基于哈德玛积形式的BF16浮点存内计算结构,实现浮点的DNN训练,将存内计算技术更好的应用于DNN的片上训练,实现应用场景的可定制化,为存内计算技术支撑下一代可穿戴设备、AIoT等更为广泛的AI应用场景奠定了基础。“苹芯的PIMCHIP-S系列端侧AI推理芯片系列,搭载SRAM存算一体计算加速单元,能够高能效、低功耗、低成本地完成多种数据密集型任务。其中PiMCHIP-S300能够提供1T算力,待机功耗小于100uW,支持多模态,通用性强,工具链支持高级语言。”王菁说到。

大模型已经并将持续影响半导体行业

人工智能(AI)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。从1956年达特茅斯会议上首次提出“像人一样思考的计算机”,到2022年OpenAI发布ChatGPT,人工智能已经在计算机视觉(CV)、自然语言处理(NLP)、音频信号处理(ASP)等领域广泛使用。随着GPT系列模型的火出圈,全球科技企业从不同角度快速跟进,其中就包括华为在今年开发者大会(HDC)上发布的盘古大模型。

华为制造与大企业军团 行业解决方案总监 孙磊

华为制造与大企业军团 行业解决方案总监 孙磊 在主题为《智能世界展望:从高性能计算到大模型》中表示,GPT-4已初步具备自主学习和思考能力,在文本/图像/音频/视频/代码等脑力劳动场景中已达到人类80%的水平。“预计未来AI的发展将跨越拐点,从‘预测推断’ 走向‘内容生成’,从替代低端重复性工作的专用领域,走向替代较高端脑力劳作的通用领域。”

如今人工智能进入大模型时代,使用门槛大幅降低,边际成本逐渐接于零,而Transformer架构则成为大模型中的主流,占比从2019年的26%增长到2022年的49%。“如今,大模型已经并将持续影响半导体行业。” 孙磊说到,华为也在盘古大模型上持续战略投入,推动大模型在计算机视觉、自然语言处理、多模态、智能检测和科学智能等行业的规模应用,“对于想要开发自己大模型的客户,昇腾大模型解决方案可以使能全流程开发与应用创新,鲲鹏HPC解决方案则可以使能软硬件全栈,实现端到端方案。”

AI能否驱动芯片产业链变革?

人工智能如今已经对芯片产业链中的设计、制造、封测和应用环节产生了一定影响。AI+芯片设计已经成为可能,尤其是在多层、3D 堆叠和异构集成等需要密集计算设计的任务中胜过人类,而生成式 AI 也为当今和未来 PCB 日益复杂的布局布线(P&R)问题提供了极具吸引力的解决方案。

AI4C应用研究院院长 管

“几个月前,有一个用大语言模型成功设计出芯片的案例。”AI4C应用研究院院长 管震 在主题为《AI是否能驱动芯片产业链变革?》的演讲中表示,其实在EDA行业已经有很多成熟方案,可以利用AI来帮助芯片设计,例如Synopsys.AI的Copilot。“在软件行业大模型的应用就更多了,在帮助开发人员理解复杂代码并编写文档、评审代码、提出改进意见并自动生成大量单元测试等方面,大大提升了效率。”

管震强调,大模型应用的潜力应该在“具身智能”上,当整个应用群体都拥有具身智能后,AI就能在社会学、自动驾驶以及群体连接等方面发挥巨大作用。“芯片行业在这波浪潮中的爆发点可能是AI基座,也就是各种大芯片。但在具体应用落地上,可不仅仅是跟ChatGPT聊天这么简单,你首先需要明确需求,准备好供机器学习的数据,对各种大模型进行选择和微调,随后是架构设计、部署优化和用户培训。”可能企业不清楚哪款大模型更适合自己,或是具体怎样用来优化自家流程,这方面AI4C研究院可以提供帮助。

圆桌讨论:AIGC给AI芯片带来的机会和挑战

最后,在主题为《生成式AI应用的爆发,对AI芯片带来哪些机会和挑战?》的圆桌论坛上,主持人AspenCore资深产业分析师黄烨锋,与亿铸科技创始人、董事长兼CEO 熊大鹏博士、芯动科技IP研发副总裁 高专、苹芯科技产品市场总监 王菁 以及 AI4C应用研究院院长 管震,就生成式AI的商机、端侧和云侧生成式AI的区别、盈利模式、本土数据中心大芯片等热点话题展开了深度对话。

责编:Luffy
本文为EET电子工程专辑原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
阅读全文,请先
您可能感兴趣
Imagination作为手机GPU市场声名显赫的企业,在被凯桥资本收购以后,就进入到了发展的第二篇章。现在的Imagination已经不是过去那个只关注手机GPU的IP供应商了——电子工程专辑和Imagination首席产品官James Chapman聊了聊现在的Imagination...
最近大家都在谈AI PC;明年AI PC也可能会很火;那么AI PC究竟能做什么呢?
在半导体设计中,优化是量子计算最有前途的一项应用。量子计算机擅长解决复杂的优化问题,这在半导体设计阶段极为重要。由于芯片设计涉及大量的变量和约束因素,而传统计算机难以对芯片布局、功耗和性能实现优化,量子计算机则可以同时研究多种潜在的解决方案,从而实现更快、更高效的芯片设计。
虽然人工智能和机器学习的应用越来越广泛,但在繁杂的电子设计中,能够帮助工程师实现什么类型的决策呢?工程师又将如何看待在设计中让人工智能进行这些决策呢?本文所揭示的一个设计趋势是,绝大多数的工程师们都信任人工智能,认为它们会在建模设计、元器件选型、加快新产品上市方面发挥越来越大的作用。
对于普通消费者,人工智能、机器学习、数字孪生、元宇宙这类科技名词简直让人目不暇给,其实这些都预示数字化大潮的来临。然而,如果没有好的大芯片,恐怕一切都是空谈。本文提出大芯片的设计之路,就是从架构到FPGA,再移植到ASIC。但这并非是平坦路,转换过程中存在各式各样的挑战。各团队必须清晰理解意图,牢记设计初衷。
ST已经在汽车、智慧工业和物联网等应用领域大力部署边缘AI。STM32系列的32位Arm Cortex微控制器已将适合边缘计算的低功耗版本涵盖其中。为了让不熟悉AI的人更容易上手,NanoEdge AI Studio整合了机器学习函数库,可以为任何指定的应用自动搜索和配置最适合的解决方案。
本文介绍了标准电路保护器件的局限性,以及如何利用电子保险丝改进设计。
TrendForce集邦咨询表示,第三季NAND Flash市场变化主要转折点为三星(Samsung)积极减产的决策。此前买方认为终端需求能见度仍低,担忧市场旺季不旺,因此保持低库存、缓提货的采购策略。
英飞凌正在朝着2030年实现碳中和的目标(范围1和2的碳排放)稳步前进,并且进展顺利。尽管业务增长了约一倍,但公司迄今为止的碳排放量与2019年的基准相比减少了 56.8%。
治精微推出极高静电保护性能的40V多路复用器系列产品ZJG4428/9
点击蓝字 关注我们IGBT是由4个交替层 (P-N-P-N) 组成的功率半导体晶体管,通过施加于金属氧化物半导体 (MOS) 栅极的电压进行控制。虽然第三代宽禁带技术碳化硅正获得越来越多的关注,但许多
来源:激光雷达老炮儿,谢谢 编辑:感知芯视界 Link美国当地时间12月18日,激光雷达上市公司AEye向美国证券交易委员会称,继Continental AG(“大陆集团”)于2023年12月4日宣布
网络是企业背后的基础,这些网络可帮助企业将信息保存在一个集中位置,需要并限制所有其他入站请求的人都可以访问。那么,如何提供持续的一流最终用户体验并维护快速发展的网络呢?只有借助可靠的实时网络监控工具,
点击上方蓝字谈思实验室获取更多汽车网络安全资讯据《朝日新闻》当地时间20日报道,针对丰田汽车全资子公司大发汽车株式会社此前被曝光部分车型在碰撞测试中,违反法规规定的测试程序和方法进行数据造假一事,经第
来源:红星新闻,谢谢 编辑:感知芯视界 Link红星资本局12月20日消息,日本东芝公司(以下简称“东芝”)将于今日正式退市,结束自1949年以来74年的上市企业历史。据央视新闻援引《朝日新闻》报道,
12 月 20 日消息,上市已经有74 年历史的日本科技巨头东芝将于当地时间周三从日本东京证券交易所退市。为了摆脱长期的管理混乱,该公司接受了日本国内投资基金Japan IndustrialPartn
编辑:感知芯视界  近期,中国传感器与物联网产业联盟(下文简称“联盟”)联合感知芯视界启动策划业内首份涵盖电化学储能产业发展、电化学储能传感器技术应用和全行业图谱的《2023中国储能产业传感器发展蓝皮
前段时间,杰平方宣布在香港建24万片/年的8寸SiC晶圆线(.点这里.),昨天香港政府又宣布一个SiC相关动作,总投资约22.5亿元人民币。12月19日,香港政府网站发布了“香港微电子研发院”成立的相
达·芬奇,是一位代表了人类创造力巅峰的天才。他被大多数人所熟知的身份是画家,但是从人体解剖到建筑、天文,达·芬奇都有着广泛的成就。在一份《大西洋抄本》的达·芬奇手稿中,这位天才发现桥梁构造,如同织物的
来源:华安机械  分析师张帆,谢谢 编辑:感知芯视界 万仞获取最新IMU行业研究报告,可在感知芯视界首页对话框,回复“IMU”免费下载。【摘要】○ 预计高性能MEMS IMU市场规模最高达100亿元。