广告

鲲云科技基于数据流技术开发出算力利用率超过95%的AI芯片

时间:2020-06-24 作者:顾正书 阅读:
深圳AI芯片初创公司鲲云科技近日发布全球首款基于数据流技术的AI芯片,定位于高性能AI推理,适合安防监控、图像处理、智能制造、智慧电力、自动驾驶/ADAS,以及航空航天遥感监测等应用领域。
广告

深圳AI芯片初创公司鲲云科技近日发布全球首款基于数据流技术的AI芯片,定位于高性能AI推理,适合安防监控、图像处理、智能制造、智慧电力、自动驾驶/ADAS,以及航空航天遥感监测等应用领域。tZDEETC-电子工程专辑

此次发布的CAISA芯片采用鲲云自研的定制数据流架构CAISA 3.0,相较于上一代芯片架构在效率和实测性能方面有了大幅提升。CAISA3.0在多引擎支持上提供了4倍的并行度选择,架构的可拓展性大大提高。在AI芯片内,每一个CAISA都可以同时处理AI工作负载,在峰值算力提升6倍的同时保持了高达95.4%的芯片利用率。此外,该芯片在算子支持上更加通用,可支持绝大多数神经网络模型快速实现检测、分类和语义分割部署。tZDEETC-电子工程专辑

tZDEETC-电子工程专辑

鲲云科技创始人牛昕宇发布全球首款数据流AI芯片tZDEETC-电子工程专辑

鲲云通过自主研发的数据流技术在芯片实测算力上实现了技术突破,其芯片利用率超过95%,较同类产品提升最高达11.6倍。第三方测试数据显示,CAISA芯片仅用英伟达T4 1/3的峰值算力,即可实现最高3.91倍的实测性能。这种定制化数据流技术不依靠先进的晶圆制造工艺和更大的芯片面积,而是通过数据流动控制计算顺序来提升实测性能,可为用户提供更高的算力性价比。tZDEETC-电子工程专辑

数据流架构 VS. 指令集架构

传统的指令集架构采用冯诺依曼计算方式,通过指令执行次序控制计算顺序,并通过分离数据搬运与数据计算提供计算通用性。CAISA架构依托数据流流动次序控制计算次序,采用计算流和数据流重叠运行方式消除空闲计算单元,并采用动态配置方式保证对于人工智能算法的通用支持,从而突破了指令集技术对于芯片算力的限制。tZDEETC-电子工程专辑

tZDEETC-电子工程专辑

CAISA3.0架构图(来源:鲲云科技)tZDEETC-电子工程专辑

升级版的CAISA3.0架构解决了数据流架构作为人工智能计算平台的三大挑战:tZDEETC-电子工程专辑

  1. 算力性价比:在保持计算正确前提下,通过不断压缩每个空闲时钟推高芯片实测性能以接近芯片物理极限,让芯片内的每个时钟、每个计算单元都在执行有效计算;
  2. 架构通用性:在保证每个算法在CAISA上运行能够实现高芯片利用率的同时,CAISA3.0架构通用支持所有主流CNN算法;
  3. 软件易用性:通过专为CAISA定制的编译工具链实现算法端到端自动部署,用户无需底层数据流架构背景知识,简单两步即可实现算法迁移和部署,降低使用门槛。

具体来讲,鲲云CAISA3.0架构的三大技术突破主要通过以下技术方式实现:tZDEETC-电子工程专辑

  1. 时钟级准确的计算提高算力性价比

CAISA3.0架构由数据流来驱动计算过程,无指令操作,可以实现时钟级准确的计算,最大限度的减少硬件计算资源的空闲时间。CAISA3.0架构通过数据计算与数据流动的重叠,压缩计算资源的每一个空闲时钟;通过算力资源的动态平衡,消除流水线的性能瓶颈;通过数据流的时空映射,最大化复用芯片内的数据流带宽,减少对外部存储带宽的需求。上述设计使CNN算法的计算数据在CAISA3.0内可以实现不间断的持续运算,最高可实现95.4%的芯片利用率,在同等峰值算力条件下,可获得相对于GPU 3倍以上的实测算力,从而为用户提供更高的算力性价比。tZDEETC-电子工程专辑

       2.流水线动态重组增强架构通用性tZDEETC-电子工程专辑

CAISA3.0架构可以通过流水线动态重组实现对不同深度学习算法的高性能支持。通过CAISA架构层的数据流引擎、全局数据流网、全局数据流缓存,以及数据流引擎内部的人工智能算子模块、局部数据流网、局部数据流缓存的分层设计,在数据流配置器控制下,CAISA架构中的数据流连接关系和运行状态都可以被自动化动态配置,从而生成面向不同AI算法的高性能定制化流水线。在保证高性能的前提下,支持用户使用基于CAISA3.0架构的计算平台实现如目标检测、分类及语义分割等广泛的人工智能算法应用。tZDEETC-电子工程专辑

       3.算法端到端自动化部署提高软件易用性tZDEETC-电子工程专辑

tZDEETC-电子工程专辑

RainBuilder架构图(来源:鲲云科技)tZDEETC-电子工程专辑

专为CAISA3.0架构配备的RainBuilder编译工具链支持从算法到芯片的端到端自动化部署,用户和开发者无需了解架构的底层硬件配置,简单两步即可实现算法快速迁移和部署。RainBuilder编译器可自动提取主流AI开发框架(TensorFlow,Caffe,Pytorch,ONNX等)中开发的深度学习算法的网络结构和参数信息,并面向CAISA结构进行优化;工具链中的运行时(Runtime)和驱动(Driver)模块负责硬件管理并为用户提供标准的API接口,运行时可以基于精确的CAISA性能模型,实现算法向CAISA架构的自动化映射,同时提供可以被高级语言直接调用的API接口;最底层的驱动可以实现对用户透明的硬件控制。RainBuilder工具链使用简单,部署方便,通用性强,可以让用户快速和低成本的部署和迁移已有算法到CAISA硬件平台上。tZDEETC-电子工程专辑

数据流带来AI芯片研发新方向

作为全球首款采用数据流技术并实现量产的AI芯片,CAISA搭载四个CAISA 3.0引擎,具有超过1.6万个MAC(乘累加)单元,峰值性能可达10.9TOPs。该芯片采用28nm工艺,通过PCIe 3.0×4接口与主处理器通信,同时具有双DDR通道,可为每个CAISA引擎提供超过340Gbps的带宽。tZDEETC-电子工程专辑

tZDEETC-电子工程专辑

CAISA芯片架构图(来源:鲲云科技)tZDEETC-电子工程专辑

作为一款面向边缘和云端推理的人工智能芯片,CAISA可实现最高95.4%的芯片利用率,为客户提供更高的算力性价比。CAISA芯片具有良好的通用性,可支持所有常用AI算子,通过数据流网络中算子的不同配置和组合,CAISA芯片可支持绝大多数的CNN算法。针对CAISA芯片,鲲云提供RainBuilder 3.0工具链,可实现推理模型在芯片上的端到端部署,使软件工程师可以方便的完成CAISA芯片在AI应用系统中的集成。tZDEETC-电子工程专辑

聚焦数据流定制计算,加速AI应用落地

鲲云科技由数据流定制计算领域专家陆永青(Wayne Luk)院士及其研发团队创立,致力于提供下一代人工智能计算平台,加速人工智能落地。鲲云科技已英特尔、浪潮和戴尔等行业巨头达成战略合作,并与帝国理工学院、哈尔滨工业大学、北京航空航天大学、天津大学、香港城市大学等成立联合实验室,在定制计算、AI芯片安全、工业智能等领域开展前沿研究合作。tZDEETC-电子工程专辑

tZDEETC-电子工程专辑

tZDEETC-电子工程专辑

星空加速卡系列产品图(来源:鲲云科技)tZDEETC-电子工程专辑

在发布会上,鲲云科技创始人和CEO牛昕宇博士宣布推出基于CAISA芯片的星空系列边缘和数据中心计算平台 -- X3加速卡和X9加速卡,并公布了由人工智能产业技术联盟(AIIA)测试的包括ResNet-50, YOLO v3等在内的主流深度学习网络的实测性能。tZDEETC-电子工程专辑

星空X3加速卡是搭载单颗CAISA 芯片的数据流架构深度学习推断计算平台,为工业级半高半长单槽规格的PCIe板卡。得益于其轻量化的规格特点,X3加速卡可以与不同类型的计算机设备进行适配,包括个人电脑、工业计算机、网络视频录像机、工作站、服务器等,满足边缘和高性能场景中的AI计算需求。相较于英伟达边缘端旗舰产品Xavier,X3可实现1.48-4.12倍的实测性能提升。tZDEETC-电子工程专辑

tZDEETC-电子工程专辑

X3 vs Xavier 芯片利用率对比图(来源:鲲云科技)tZDEETC-电子工程专辑

tZDEETC-电子工程专辑

X3 vs Xavier 性能对比图(来源:鲲云科技)tZDEETC-电子工程专辑

tZDEETC-电子工程专辑

X3 vs Xavier 延时对比图(来源:鲲云科技)tZDEETC-电子工程专辑

星空X9加速卡发布(来源:鲲云科技)tZDEETC-电子工程专辑

星空X9加速卡为搭载4颗CAISA 芯片的深度学习推断板卡,峰值性能43.6TOPS,主要满足高性能场景下的AI计算需求。同英伟达旗舰产品T4相对,X9在ResNet-50, YOLO v3等模型上的芯片利用率提升2.84-11.64倍。在实测性能方面,X9在ResNet50可达5240FPS,与T4性能接近,在YOLO v3、UNet Industrial等检测分割网络,实测性能相较T4有1.83-3.91倍性能提升。在达到最优实测性能下,X9处理延时相比于T4降低1.83-32倍。实测性能以及处理延时的大幅领先,让数据流架构为AI芯片的发展提供了提升峰值性能之外的另一条技术路线。tZDEETC-电子工程专辑

tZDEETC-电子工程专辑

X9 vs T4 芯片利用率对比图(来源:鲲云科技)tZDEETC-电子工程专辑

X9 vs T4 性能对比图(来源:鲲云科技)tZDEETC-电子工程专辑

X9 vs T4 延时对比图(来源:鲲云科技)tZDEETC-电子工程专辑

鲲云科技通过CAISA数据流架构提高芯片利用率,同样的实测性能,对芯片峰值算力的要求可大幅降低3-10倍,从而降低芯片的制造成本,为客户提供更高的算力性价比。tZDEETC-电子工程专辑

责编:Yvonne GengtZDEETC-电子工程专辑

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
顾正书
电子工程专辑(EETimes China)主分析师。以深圳为坐标原点,扫描全球电子和半导体行业。专注于China Fabless和SoC设计细分市场的分析和学习,欢迎交流。
  • 四大系列新品发布,星宸科技“AI帆船号”再次起航 10月25日,星宸科技(SigmaStar)在深圳以“Leading AI Everywhere”为主题举行其新品发布会,发布四大产品线的AI新品,包括智慧视觉降龙2系列芯片、智慧车载越影2系列芯片、智能交互轩辕2系列芯片和猫头鹰系列智能外设及娱乐芯片。
  • 利用神经形态芯片仿真人脑 长期以来人们一直在研究生物细胞的电特性,以便了解细胞动力学。离子电流的动态特性和离子电导的非线性是由微观参数控制,由于测量微观参数具有相当的难度,阻碍了定量运算模型的建构…
  • 研究表明端到端模拟芯片可用于AI计算 神经拟态芯片初创公司Rain Neuromorphics与Mila合作进行的一项研究证明,使用全模拟硬件训练神经网络是可能的,显示出创建端到端模拟神经网络的可能性。这对整个神经拟态计算和AI硬件领域都具有重大意义:完全采用模拟AI芯片可以进行训练与推理,从而可以大大节省算力、能耗,并缩减延迟时间和产品尺寸。
  • 价值900亿美元的美国半导体连环并购案揭秘 2020年见证了非比寻常的半导体行业,一场旷日持久的疫情不但遮掩了全球半导体的持续下滑,也冲淡了中美科技冷战的硝烟。同时,另外一个被掩盖的现象下半年开始浮出水面,那就是半导体行业的一连串并购活动。并购金额之大令人咋舌,对整个半导体甚至高科技行业的影响也将会无法估量。本文将针对ADI/Maxim、Nvidia/Arm及AMD/Xilinx这三大并购案展开深入探讨,并简要提及对中国半导体的影响和启示。
  • 光学计算有望彻底改变AI性能的游戏规则 初创公司Lightmatter专注于开发针对AI加速的光学计算处理器,在第32届Hot Chips大会上展示了一款测试芯片。该处理器利用硅光子学和MEMS技术,通过毫瓦级激光光源供电,可以光速(在硅片中)执行矩阵矢量乘法。基于此次测试芯片的首个商用产品将于2021年秋季推出, 它是一款带光学计算芯片的PCIe卡,专为数据中心AI推理工作负载而设计。
  • 在MCU上进行深度学习才是边缘计算的未来 现在,机器学习(ML)不再需要每秒执行数万亿次操作(TOPS)的处理器。很多情况下,最新的微控制器(有些配置有嵌入式ML加速器)就可以在边缘设备上执行机器学习,它代表着物联网发展的下一阶段:在生产数据的源头,例如麦克风、摄像头和监控其他环境条件的传感器中引入智能计算,并使物联网应用受益。
广告
热门推荐
广告
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了