基于SambaNova的SN40L的8芯片系统，可以为5万亿参数模型提供支持，单个系统节点上的序列长度可达256k+。对比英伟的H100芯片，SN40L不仅推理性能达到了H100的3.1倍，在训练性能也达到了H100的2倍，总拥有成本更是仅有其1/10。
近日，在Hot Chips 2024大会上，美国AI芯片初创公司SambaNova首次详细介绍了其新推出的全球首款面向万亿参数规模的人工智能（AI）模型的AI芯片系统——基于可重构数据流单元(RDU)的AI芯片SN40L。
SambaNova Systems公司CEO Rodrigo Liang 图源：SambaNova
2023年9月，SambaNova推出了这款新型人工智能（AI）芯片SN40L。该芯片专门为运行企业应用程序的大型语言模型而构建，其设计目标是能承载ChatGPT高级版本两倍容量以上的大模型。SN40L芯片能够为5万亿个参数的模型提供动力，并包含两种高级形式的内存。
据悉，基于SambaNova的SN40L的8芯片系统，可以为5万亿参数模型提供支持，单个系统节点上的序列长度可达256k+。对比英伟的H100芯片，SN40L不仅推理性能达到了H100的3.1倍，在训练性能也达到了H100的2倍，总拥有成本更是仅有其1/10。
据介绍，SambaNova SN40L芯片采用台积电，拥有1020亿个晶体管，包含1040个核心，1040个自研的“Cerulean”架构的RDU计算核心，整体的算力达638TFLOPS（BF16）。
虽然638TFLOPS的算力在市场上并非绝对最高，但该芯片通过三层数据流存储器的配置，包括520MB的片上SRAM内存（远高于此前Groq推出的号称推理速度是英伟达GPU的10倍、功耗仅1/10的LPU所集成的230MB SRAM），集成的64GB的HBM内存，1.5TB的外部大容量内存，使其能够支持万亿参数规模的大模型的训练和推理。
实际应用中，SN40L在生成文本、处理图像以及运行大规模AI模型时表现出色。尤其在生成自然语言方面，每秒可以高达1100个Token的生成速度，极大地提高了AI应用的效率。
SambaNova Systems是一家位于美国加州帕洛阿尔托的初创公司，专注于人工智能芯片和数据分析软件的开发。该公司成立于2017年，由行业知名人士创立，旨在通过软硬件结合的方式提供一整套解决方案，帮助企业客户在AI领域取得突破。
相关信息显示，SambaNova Systems在2019年春季筹集了1.5亿美元的D轮融资，由软银投资牵头。该公司在2021年4月又筹集了6.78亿美元的D轮融资。截至2023年，SambaNova Systems已经筹集了超过11亿美元的风险投资。
您可能感兴趣
