·聚焦:人工智能、芯片等行业
欢迎各位客官关注、转发
①HBM的3D堆叠技术成本高昂，主要依赖于昂贵的硅中介层和TSV（硅通孔）。
例如，英伟达的H100加速卡物料成本为3000美元，而SK海力士提供的HBM芯片成本高达2000美元。
高成本是HBM普及的主要障碍，尤其是对于中小型厂商。尽管HBM在性能上具有明显优势，但其高昂的价格使得许多企业望而却步。
②HBM的高带宽特性使其产生的热量较高，需要有效的散热解决方案。
其2.5D封装结构会集聚热量，靠近CPU和GPU的布局又会加剧这种情况。
散热问题不仅影响HBM的性能，还可能导致芯片过热和性能下降。解决这一问题需要复杂的散热设计和材料选择。
③HBM的高带宽特性可能使得数据在传输过程中容易受到攻击和窃取，需要采取加密技术和访问控制等措施来保护数据安全。
数据安全性是HBM应用中不可忽视的因素。尽管有加密技术，但如何确保数据在传输和存储过程中的安全性仍然是一个挑战。
④HBM通过3D堆叠及TSV技术实现高带宽和低功耗，但这也带来了堆叠精度、TSV制作、热管理、电源和信号完整性等技术难点。
这些技术难点需要高精度的制造工艺和复杂的设计，以确保HBM的稳定性和可靠性。
AI芯片在寻求其他存储方案时的权衡
一方面，生产 HBM 需要先进的生产设备和工艺，而这些资源在短期内是有限的。
例如，台积电的 CoWoS 封装技术在满足HBM生产需求方面存在一定的产能瓶颈。
另一方面，随着AI芯片需求的快速增长，HBM的需求也急剧上升。
但HBM的生产周期较长，从设计到量产需要数月的时间，这使得其产能的提升速度难以跟上市场需求的增长速度。
AI芯片制造商在选择存储方案时，需要综合考虑性能、成本、功耗、产能等多方面的因素。
然而，HBM（高带宽内存）并非普通DRAM所能比拟，其价格已攀升至令人咋舌的水平。
在相同存储密度下，HBM的价格约为DDR5的五倍。
据最新数据显示，HBM在AI服务器成本中的占比高居第三，约占整体成本的9%，导致单机平均售价激增至18000美元。
以英伟达H100加速卡为例，其整体物料成本高达3000美元，其中HBM芯片的成本占比即达三分之二，达到2000美元之巨。
对于财力雄厚的行业巨头而言，他们或许能够继续加大投入，采购更大容量的HBM以满足需求。
然而，对于中小型厂商而言，高昂的HBM成本却成为了他们进军大模型领域的重大障碍。
随着AI技术在智能手机、电动汽车及云服务等领域的广泛应用，越来越多的企业开始寻求更为经济高效的解决方案。
部分小型企业因不愿承担高达20000美元的费用，而拒绝购买市场上被视为顶尖选择的英伟达高端GPU。
Tenstorrent成替代HBM的典型案例
在此背景下，Tenstorrent公司正积极筹备其第二代多功能AI芯片的年底上市。
该公司声称，在特定领域，其产品在能效及处理效率方面均优于英伟达AI GPU。
具体而言，Tenstorrent的Galaxy系统效率为英伟达DGX AI服务器的三倍，且成本降低了33%。
这一成就部分归功于公司未采用高成本的HBM技术，该内存芯片虽能高速传输大量数据，但亦是AI芯片高能耗与高价格的元凶之一。
在典型的AI芯片组中，GPU在执行任务时需频繁向内存发送数据，这就要求HBM具备高速数据传输能力。
而Tenstorrent则通过独特设计，大幅减少了此类数据传输需求。
这一创新方法使得公司芯片在某些AI开发领域能够替代GPU与HBM，为用户提供更为经济高效的选择。
今年3月，Tenstorrent已推出基于Grayskull架构的两款开发板——e75与e150。
这两款产品均定位于推理型AI图形处理器，采用Tensix Cores构建，集成了计算单元、片上网络、本地缓存及[小型RISC-V]核心，实现了芯片内部高效的数据流动。
它们专为追求经济高效、可定制的传统GPU替代方案的ML开发人员设计。
具体而言，Grayskull e75为一款75瓦PCIe Gen 4卡，售价600美元。
其内置一颗1GHz NPU芯片，集成96颗Tensix核心与96MB SRAM，并配备8GB LPDDR4 DRAM。
而Grayskull e150则在性能上有所提升，时钟频率增至1.2GHz，核心数量增加至120个，片上内存也相应提升至120MB，但片外DRAM仍维持8GB LPDDR4规格，功耗则上升至200瓦，售价为800美元。
值得强调的是，Grayskull架构在数据中心AI加速器（GPU/NPU）中独树一帜。
其Tensix核心排列方式包含多个CPU供计算单元使用，后者则融合了向量与矩阵引擎。这种结构化设计提高了数学单元的利用率，进而提升了每瓦性能。
此外，每个Tensix核心均配备1MB SRAM，提供了充足的片上内存资源。
与其他依赖大内存NPU的产品不同，Grayskull能够连接至外部内存以满足更多元化的需求。
尤为关键的是，Grayskull采用了标准DRAM而非昂贵的HBM技术，从而在成本上实现了大幅削减。
这一举措不仅符合吉姆·凯勒所倡导的成本效益原则，也为广大用户带来了更为实惠的AI解决方案。
未来AI芯片市场的竞争格局将更加多元化
在全球数字化与智能化浪潮的推动下，AI芯片作为驱动这一转型的核心力量，正步入前所未有的快速发展期。
根据IMARC的权威研究预测，至2029年，全球人工智能芯片市场将实现显著扩张，市场规模有望达到8960亿美元。
这一显著增长，既受益于人工智能技术的持续飞跃，也得益于消费电子产品领域对AI芯片需求的激增，以及行业内创新活力的持续释放。
同时，得益于政策的有力支持与市场需求的持续扩大，中国AI芯片市场展现出强劲的增长势头，预计至2024年，其市场规模将成功突破千亿元人民币大关。
尤为值得注意的是，随着技术的持续进步，AI芯片的成本正逐步趋于合理化。
在云端训练芯片与边缘AI芯片领域，这一趋势尤为显著。
展望未来，随着新兴企业的不断涌入与技术创新的持续涌现，AI芯片将更加智能化、高效化与经济化，从而对各行各业产生深远影响。
从智能安防到自动驾驶，从工业自动化到医疗健康，AI芯片的应用场景将不断拓展，引领社会迈向更加智能与高效的新纪元。
综上所述，AI芯片市场的未来发展潜力巨大，前景广阔。在技术进步、成本优化与新兴企业崛起的共同驱动下，一个更加多元化、开放化与创新化的AI芯片市场正加速形成。
此外，值得注意的是，有报道指出三星计划推出采用LPDDR内存的AI芯片，而非HBM。
这一决策主要基于成本与市场的综合考量，旨在提供一种更为轻量级的AI芯片解决方案。
除HBM外的AI芯片领域的选项
①GDDR：特别是GDDR6与GDDR6X，作为GPU中广泛采用的存储器类型，同样适用于对性能有较高要求的AI应用场景。
其虽在带宽上略逊于HBM，但成本效益更佳，且市场供应更为充足。
因此，对于成本敏感或无需极端带宽需求的AI项目，GDDR系列存储器是理想之选。
②DRAM：包括DDR4与DDR5在内，这些存储器类型以其通用性著称，可胜任多种计算任务。
尽管在带宽与延迟方面不及HBM或GDDR，但它们在成本控制与存储容量上展现出显著优势。
因此，对于成本敏感且对延迟及计算性能要求不高的AI应用，如特定推理任务或低功耗设备上的AI部署，DRAM是合适的选择。
③LPDDR：专为移动设备与低功耗应用场景设计，LPDDR在功耗优化方面表现出色。
它特别适用于移动设备中的AI应用，以及其他对节能与空间要求严苛的场合。
④整合内存解决方案：部分AI芯片采用SoC（系统级芯片）整合式设计，将处理器与存储器集成于单一芯片之上。
此类设计可灵活采用多种内存技术，如静态随机存取存储器（SRAM）或DRAM等，以满足不同需求。
此设计尤其适用于移动设备、嵌入式系统以及对功耗与空间有严格要求的场景。
⑤MCR-DIMM：作为尚处于研发阶段的技术，MCR-DIMM旨在为通用CPU提供高性能内存解决方案。
通过简化大容量双列模组的构造，MCR-DIMM在提升性能的同时，还提供了较大的容量与带宽。这一特性使其成为处理通用计算任务的优选方案。
⑥虽然NVRAM、MRAM及ReRAM等技术在AI芯片中的应用尚属有限，但它们在存储与快速检索模型参数、权重等方面展现出巨大潜力。
结尾：
尽管当前HBM以其卓越的性能在高端AI应用领域占据了一席之地，然而，随着其他内存技术的持续进步，特别是在成本控制、性能提升及功耗降低等方面的显著改进，HBM可能会遭遇新兴内存技术的竞争压力。
然而，从短期视角来看，HBM依然是那些对带宽有极高要求的应用场景的首选解决方案。
从长期发展的角度出发，市场将依据技术的不断演进以及应用需求的动态变化，逐步进行调整与优化。
部分资料参考：半导体行业观察：《干掉HBM?》，友硕：《AI离不开HBM？无需HBM的AI芯片诞生》，PE Link：《被称为「技术奇迹」的HBM会否被取代》
本公众号所刊发稿件及图片来源于网络，仅用于交流使用，如有侵权请联系回复，我们收到信息后会在24小时内处理。
推荐阅读：
商务合作请加微信勾搭：
18948782064
请务必注明：
「姓名 + 公司 + 合作需求」
