广告

高能低耗易部署,爱芯元智AX650N成Transformer最佳落地平台

时间:2023-05-30 作者:爱芯元智 阅读:
相比于在云端用GPU部署Transformer大模型,在边缘侧、端侧部署Transformer最大的挑战则来自功耗,这也使得爱芯元智兼具高性能和低功耗特质的混合精度NPU,成为端侧和边缘侧部署Transformer的首选平台,而其优越性能则决定了Transformer的运行效果。

近来,ChatGPT成为社会各界关注的焦点。从技术领域看,ChatGPT的爆发是深度学习领域演进、发展和突破的结果,其背后代表着Transformer结构下的大模型技术的飞速进展。因此,如何在端侧、边缘侧高效部署Transformer也成为用户选择平台的核心考量。

2023年3月,爱芯元智推出了第三代高算力、高能效比的SoC芯片——AX650N,依托其在高性能、高精度、易部署、低功耗等方面的优异表现,AX650N受到越来越多有大模型部署需求用户的青睐,并且先人一步成为Transformer端侧、边缘侧落地平台。

Transformer是当前各种大模型所采用的主要结构,而ChatGPT的火爆让人们逐渐意识到人工智能有着更高的上限,并可以在计算机视觉领域发挥出巨大潜能。相比于在云端用GPU部署Transformer大模型,在边缘侧、端侧部署Transformer最大的挑战则来自功耗,这也使得爱芯元智兼具高性能和低功耗特质的混合精度NPU,成为端侧和边缘侧部署Transformer的首选平台,而其优越性能则决定了Transformer的运行效果。

作为人工智能视觉感知芯片研发及基础算力平台公司,爱芯元智始终致力于让更多的实际应用落地。目前大众普遍采用的Transformer网络SwinT,在爱芯元智AX650N平台表现出色:361 FPS的高性能、80.45%的高精度、199 FPS/W的低功耗以及原版模型且PTQ量化的极易部署能力,都让AX650N在Transformer的落地中有着领先的优势地位。

具体来看,361帧的高性能,可媲美汽车自动驾驶领域基于GPU的高端域控SoC;而80.45%的高精度成绩同样高于市面平均水平;199 FPS/W的速度则充分体现出低功耗的特点,对比于目前基于GPU的高端域控SoC,有着数倍的优势;更为重要的,AX650N部署方便,GitHub上的原版模型可以在爱芯元智的平台上高效运行,不需要对模型做修改,亦无需QAT重新训练。与此同时,AX650N支持低比特混合精度,用户如果采用INT4,可以极大地减少内存和带宽占用率,达到有效控制端侧、边缘侧部署成本的目的。这些特性都保证了AX650N作为人工智能算力平台,最终落地效果更好用、更易用,且大幅提升了用户效率。

目前,AX650N已适配包括ViT/DeiT、Swin/SwinV2、DETR在内的Transformer模型,在DINOv2也已达到30帧以上的运行结果,这也更便于用户在下游进行检测、分类、分割等操作。基于AX650N的产品目前已在智慧城市、智慧教育、智能制造等计算机视觉核心领域发挥出重要作用。

接下来,爱芯元智AX650N将会针对Transformer结构进行持续优化,并且探索更多的Transformer大模型,例如多模态大模型,不断让Transformer在爱芯元智平台上得到更好的落地效果。值得一提的是,爱芯元智还将推出相应开发板,满足开发者对Transformer深度研究的需求,探寻更丰富的产品应用。

“爱芯元智将继续努力打造基于芯片+软件的端侧、边缘侧人工智能算力平台,让智能落实到生活的真实场景,最终实现普惠AI造就美好生活的企业愿景”,爱芯元智创始人、CEO仇肖莘女士表示。未来,爱芯元智将在成为人工智能算力平台型公司的道路上继续探索,加速基于Transformer的大模型在端侧、边缘侧落地的节奏,让普惠智能真正落地生根,开花结果。

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
您可能感兴趣的文章
  • 黄仁勋再谈中国特供芯片:尽力与所有人开展业务 尽管黄仁勋重申将重视中国市场,且继续推出特供版AI芯片,但性能无疑会再次“阉割”。据悉,H20等全新特供芯片的研发、设计、生产,将通过后道点断生产工艺,来满足美国新的AI禁令要求。
  • 2024年全球半导体市场走向是什么? 据WSTS最新公布的预测报告显示,因生成式AI普及、带动相关半导体产品需求急增,且存储需求预估将呈现大幅复苏,因此将2024年全球半导体销售额预估值自前次(6月6日)预估的5,759.97亿美元上修至5,883.64亿美元、将年增13.1%,超越2022年的5,740.84亿美元、创历史新高。WSTS预测,2024年全球半导体市场可望复苏,存储芯片营收将激增44.8%,是推升半导体营收成长主要动能。
  • 从 L1~L5 自动驾驶芯片发生了哪些变化? 对于一颗车规级大芯片而言,为了确保设计的正确性,必须在生产制造前进行大规模的仿真和验证,而芯片的算力规模越大、集成度越高,仿真验证的过程就会越复杂,设计人员需要更快地实现收敛和验证,来降低成本并提高结果质量。同时,传统的随机/自动测试模式生成(ATPG)方案在故障覆盖率方面已经不能满足实际需求。因此,将 AI 和 EDA 融合是大势所趋。
  • 新一代国产CPU——龙芯3A6000发布,无需国外技术授权 龙架构(LoongArch)从顶层架构,到指令功能等全部自主设计,无需国外授权,得到了上百个与指令系统相关的国际软件开源社区的支持,得到了统信、麒麟、欧拉、龙蜥、鸿蒙等操作系统的支持,得到了WPS、微信、QQ、钉钉、腾讯会议等基础应用的支持,已形成与X86、ARM等并列的基础软件生态。
  • “英国英伟达”Graphcore被迫退出中国市场 对Graphcore而言,时间是非常重要的。2022年5月,Graphcore宣称新一代芯片将在2024年的某个时候上市。届时,Graphcore需要向市场和资本证明自己的发展潜力。这很重要,也很紧迫。
  • 联发科前后十年:AI 和 ASIC 将成为未来发展驱动力 联发科技(MediaTek)近日在加利福尼亚州拉古纳尼盖尔(Laguna Niguel)举行了年度高管峰会。峰会上强调了其以人工智能(AI)为驱动的高端定制 SoC(ASIC)战略;从 Wi-Fi 7 芯片到 5G 和 5G RedCap 瘦调制解调器的全新连接解决方案,凸显了其物联网战略和发展势头。
相关推荐
    广告
    近期热点
    广告
    广告
    可能感兴趣的话题
    广告
    广告
    向右滑动:上一篇 向左滑动:下一篇 我知道了