加速基础设施战略也不例外。也许更重要的是,Marvell正在充实生态系统中的一个领域,这个领域往往被处理技术的闪亮进步所掩盖,但对实现生成式人工智能的下一阶段同样至关重要。如今的挑战是,如何随着人工智能模型的规模、用例以及最终的应用激增,还能持续保持在创新浪潮的前沿。

最近在加州圣克拉拉公司总部举行的分析师大会上,Marvell高管明确表示,“人工智能”不仅仅意味着人工智能,还意味着必须加快基础设施建设。

人工智能通常又分为传统人工智能和生成式人工智能。虽然已证明现有数据中心基础设施至少足以满足前者的目前需求,但后者正在推动数据中心基础设施设计的根本转变,以解决计算、内存和电源的爆炸式增长需求。

Marvell的高管们认为其战略已经前瞻地考虑到了生成式人工智能的这些最新发展。因此,首席运营官Chris Koopmans重申公司之前发布的战略,即专注于开发“移动、存储、处理和数据保护” 半导体技术。他说,公司战略已经在为数据处理的爆炸式增长做准备,而生成式人工智能恰好是目前推动需求的数据密集型应用,正在推动进入加速基础设施新时代。

什么是加速基础设施?

Marvell产品和技术总裁Raghib Hussain,将高水平的加速基础设施描述为高度复杂的计算资源与高速、低延迟连接的结合。然而,从更深入的角度来看,这不仅仅事关器件的功能,还包括用于构建数据中心的拓扑结构。

通常设计传统数据中心用于处理多个工作负载,这些工作负载由大小已知且结构良好的数据组成。大多数数据中心通信通常具有“南北”性质,即通信基本上都是在数据中心与类似于另一个数据中心的一些外部设备(即访问数据中心里的应用程序或数据的客户端)之间进行。

图1:传统的通用数据中心。(本文图片来源:Marvell)

另一方面,加速基础设施数据中心(主要设计用于人工智能工作负载)必须支持大数据量,这些数据量可以是结构化的,也可以是非结构化的,通常不适合单台服务器。因此,在同一数据中心内,加速基础设施在需要强大的“南北”通信的同时,也需要进行更多的“东西”通信,即服务器到服务器的通信。

这对服务器到服务器的带宽和延迟要求带来影响,而这最终会推动交换机和互连功能的发展。它还推动了数据中心的拓扑结构,人工智能加速的基础设施需要更平坦,每台交换机所需的服务器更少,服务器之间的网络带宽更高,服务器与数据中心互连(DCI)之间的交换层更少。DCI将一个数据中心连接到其他数据中心。

图2:人工智能数据中心。

是的,计算是至关重要的,但……忽视交换和互连会带来危险

围绕生成式人工智能的大部分对话,主要都集中在模型训练、推理以及支持工作负载的核心组件上,而像处理资源这类组件也会消耗一些,这类组件包括中央处理单元(CPU)、图形处理单元(GPU)和神经处理单元(NPU),内存资源以及管理这些资源的所有组件。虽然这些组件在加速的基础设施中至关重要,但同样重要的是(即便不是更重要的话)确保使所有其他组件都能正常运行的互连和交换设计。

如果这些组件设计不足,就可能会导致性能瓶颈,从而浪费处理器和内存的高级功能。为了帮助理解这一点,这里以一个数据中心为例:该中心设计了价值10亿美元的服务器,由最新和最棒的CPU、GPU和NPU提供动力,但在网络和交换解决方案方面有所欠缺。这一欠缺导致拥塞和带宽限制,禁止数据中心充分利用可用的计算资源,从而导致计算资源低效率。即便保守计算,该性能降低也有10%,如果有效地转化为价值的话,这也意味着带来1亿美元的损失。而IT经理很难证明这种浪费是合理的。

在这种背景下,Marvell认为对面向人工智能工作负载的加速基础设施尤为重要的两项技术为:光网络和以太网交换。

就给定的部署来说,选择哪种网络连接解决方案最适合,取决于距离、速度、可靠性和上市时间等因素。铜线的成本最低,但最适合用于较短的距离和较慢的速度。为了支持更高的速度,铜线的直径需要更大,这带来了物理挑战和限制。其中一些可以通过加入DSP而构成所谓的有源电缆来缓解,从而有助于提高速度和距离,同时也支持使用更细的电缆。然而,这只能在一定程度上有所帮助。另一方面,光缆更昂贵,但可以实现更快的速度和更长的距离。在带宽和规模至关重要的加速基础设施中,Marvell认为光缆最终是唯一能够满足数据中心人工智能工作负载需求的解决方案。

同样,Marvell建议将具有高带宽和低延迟功能的以太网交换作为加速基础设施的基础。它不仅是对现有云基础设施的补充,而且是一种广泛采用的开放标准,可在各种硬件的完整生态系统中支持互操作。然而,以太网确实需要继续增强,不仅要提供更高的带宽和更低的延迟,还要提高拥塞适应性。

考虑到巨大的数据量需要移动,以及人工智能用例的延迟依赖性,拥塞适应性对于加速基础设施扩展到支持未来人工智能工作负载所需的程度极为重要,虽然现在有一定程度的拥塞适应性,但其消极性很强,远远不能达到实时响应,Marvell网络交换高级副总裁兼总经理Nick Kucharewski强调道。

以太网交换中的拥塞管理,需要具有高度的适应性,这不仅是因为网络负载条件的动态变化,还因为每个超规模/云运营商都有自己的优化方式,解决方案需要支持这些技术的轻松实施。此外,以太网交换将需要具有实时和自动响应能力。这将需要将以太网交换提升到纯粹的高速度和馈送之上,包括为其引入智能。

加速进入人工智能时代

虽然人工智能似乎在一夜之间取得了成功,但那些正在收获生成式人工智能时代早期回报的人们会认为,这绝非易事。因为实际上,目前利用人工智能所开发解决方案的各种策略,都是在ChatGPT出现之前好几年就已经设计好并实施的。

所以,加速基础设施战略也不例外。也许更重要的是,Marvell正在充实生态系统中的一个领域,这个领域往往被处理技术的闪亮进步所掩盖,但对实现生成式人工智能的下一阶段同样至关重要。如今的挑战是,如何随着人工智能模型的规模、用例以及最终的应用激增,还能持续保持在创新浪潮的前沿。

(参考原文:how-to-manage-uncertainty-when-creating-iot-solutions-for-enterprises

本文为《电子工程专辑》2024年3月刊杂志文章,版权所有,禁止转载。点击申请免费杂志订阅

责编:Jimmy.zhang
本文为EET电子工程专辑原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
阅读全文,请先
您可能感兴趣
尽管边缘AI带来了巨大的潜力和机遇,但开发人员在实现过程中也面临着来自软件和硬件等诸多方面的挑战。因此,为开发者提供指引和信息,并考虑融合和统一各种工具的用户体验,以简化人工智能库的设计流程,是非常重要的。
最近AI标志性人物奥特曼和英特尔CEO基辛格做了一场炉边对谈,聊了聊AI发展究竟需要投入多少芯片、多少钱的问题。7万亿美刀?
从这一系列有关2纳米芯片工艺的最新动态可以看出,在AI技术不断演进与发展的推动下,2纳米先进芯片工艺的竞争正愈演愈烈。未来,随着良品率、成本以及确保生产的可持续性等问题不断得到解决,2纳米芯片的时代正在加速到来。
在巴塞罗那的MWC24 上,华为基于三十余年积累的行业知识和经验,发布了通信行业首个大模型。华为董事、ICT产品与解决方案总裁杨超斌表示,“华为通信大模型充分发挥智能化技术优势,提供基于角色的Copilots和基于场景的Agents的两类应用能力,帮助运营商赋能员工的同时,提升用户满意度,最终将全面提升网络生产力。” 
AI-RAN指“人工智能(AI)-无线接入网(RAN)”,是一个旨在重振人工智能与蜂窝无线通信技术融合,以进一步推进无线接入网络(RAN)技术和移动网络的发展、引领技术创新的行业协会组织。
近日,谷歌公司推出的人工智能(AI)模型Gemini在生成人物图像时出现疑似“反白人”的问题,在社交媒体上,Gemini生成的图片与历史不符这些图像大多以有色人种代替白人。这一失误表明,人工智能在处理种族概念时仍有困难。例如,OpenAI 的 Dall-E 图像生成器就因大规模延续有害的种族和民族刻板印象而备受指责。然而,谷歌试图克服这一问题的努力似乎适得其反。
2023年纯电动车(BEV)排名仍由Tesla(特斯拉)夺冠,市占率19.9%,比亚迪位居第二,紧追在后,比亚迪与特斯拉的全年销量落差已缩小至24.8万辆。
2023年第四季度,华为超过Apple成为中国平板电脑市场出货量第一,这是自2010年以来中国平板电脑季度出货量首次出现TOP1 品牌的更替。
先楫新一代的仪表显示产品具有高画质、低功耗等特点
2024年3月4日,上海 - 国产高性能微控制器厂商上海先楫半导体科技有限公司(先楫半导体,HPMicro)在其丰富的高性能微处理器产品组合的基础上,推出新一代数字仪表显示及人机界面系统应用平台——HPM6800系列。
一、 桥式整流电路1、二极管的单向导电性:伏安特性曲线:理想开关模型和恒压降模型:2、桥式整流电流流向过程:输入输出波形:3、计算:Vo, Io,二极管反向电压。二、 电源滤波器1、电源滤波的过程分析
按照华为迭代策略,华为Mate 60系列后的下一款顶级旗舰,便将是全新的华为P70系列,不出意外的话将至少同时推出P70、P70 Pro和P70 Art三款机型,将有望在3月与大家见面,截至目前已经有
★欢迎星标 果壳硬科技★二维范德华材料具有众多有趣的光学特性,如高非线性光学响应、宽带光谱响应、带间激子效应等。平面内各向异性的二维范德华瓦尔斯材料具有面内低对称结构,从而具有面内各向异性的物理性质。
锂电与液流之外,固态电池储能路线再添加新的产能,位于山西。10GWh固态电池及PACK生产2月29日,孝义经济开发区、鹏飞集团、福建巨电举行了10GWh固态电池及PACK生产项目的签约仪式。据悉,项目
业内消息,近日新加坡 RF GaN(射频氮化镓)芯片供应商 Gallium Semiconductor(加联赛半导体)突然终止业务并解雇所有员工,包括位于荷兰奈梅亨的研发中心。加联赛半导体发言人表示:
为了更好的展现当前行业交付及时、影响力大、客户价值凸显的经典案例和标杆项目,推崇行业好口碑项目、保护行业发展路径,2023年,移动机器人(AGV/AMR)产业联盟特别征集和发布《2022-2023中国
点击上面↑“电动知家”关注,记得加☆“星标”!中国新能源汽车发展史!电动知家消息,3月4日,在新车发布后的首个交易日,理想汽车跌幅一度超过13%。截至收盘,理想汽车港股股价暴跌10.71%,报收160
新的一年开始,茶饮圈率先不淡定的是奈雪的茶。在2月结束之前,奈雪的茶突然宣布降低加盟标准,单店投资由原来的98万下调到58万,还包括设备、道具、装修、首次配货费用。奈雪不是第一次向加盟商低头,在去年7
3月3日消息,继美国变现裁员之后,博通旗下VMWare又传出上海大裁员。消息人士向ICTIME透露,博通旗下VMWare上海已裁员15%,赔偿N+2。此前,一名自称VMWare员工的“Outrageo