向右滑动:上一篇 向左滑动:下一篇 我知道了
广告

AI从云端走向边缘需要这样一颗芯片

时间:2019-04-15 作者:Jenny Liao 阅读:
人工智能(AI)在自动驾驶、物联网和机器人技术中的应用离不开数据处理。目前终端设备需要将采集的大量数据,包括图像、视频、音频等,通过网络传输至数据中心进行AI相关的处理,然后再将结果返回至终端设备。这就带来了网络带宽、数据传输稳定性及安全性等问题。

人工智能AI)在自动驾驶、物联网和机器人技术中的应用离不开数据处理。目前终端设备需要将采集的大量数据,包括图像、视频、音频等,通过网络传输至数据中心进行AI相关的处理,然后再将结果返回至终端设备。这就带来了网络带宽、数据传输稳定性及安全性等问题。ubSEETC-电子工程专辑

因此,AI从云端走向边缘终端设备是大势所趋,AI边缘推理芯片应运而生。ubSEETC-电子工程专辑

Intel、Google、Nvidia及Flex Logix边缘推理芯片

目前的AI边缘推理芯片有Intel的Myriad、Google的Edge TPU、Nvidia的Jetson Nano及Flex Logix的InferX X1等。ubSEETC-电子工程专辑

ubSEETC-电子工程专辑

(图片来源:Flex Logix)ubSEETC-电子工程专辑

20190415flex2.jpgubSEETC-电子工程专辑
ubSEETC-电子工程专辑
(图片来源:Flex Logix)ubSEETC-电子工程专辑

Flex Logix的InferXtm X1边缘推理芯片是在业界领先的eFPGA互连技术上,结合专为AI推理运算而优化的nnMAXtm乘加器(MAC)而开发。ubSEETC-电子工程专辑

Flex Logix公司称,在通常只有一个摄像头或传感器、需要完成小批量数据处理的边缘应用中,InferX X1的性能接近数据中心推理芯片,并且只需一个DRAM即可在边缘应用中提供高吞吐量,同时保持系统功耗和成本。ubSEETC-电子工程专辑

“设计边缘神经网络推理芯片的一个难题是如何降低大量的数据交换及降低功耗,而我们的可编程互连技术是接近完美的解决方案。”Flex Logix公司CEO Geoff Tate说。ubSEETC-电子工程专辑

Tate表示,InferX X1基于低DRAM带宽,与高端数据中心服务器的黄金标准Nvidia的Tesla T4相比,每瓦吞吐量提高了四倍,每美元吞吐量提高了三倍。ubSEETC-电子工程专辑

Tate提到,InferX在YoloV2,YoloV3和GoogleNet等推理基准方面优于其它供应商的边缘推理芯片,如Intel的Myriad X和Nvidia的Jetson Nano。ubSEETC-电子工程专辑

20190415flex3.jpgubSEETC-电子工程专辑
图:InferX X1与Nvidia Tesla T4的价格/性能比和性能/瓦特比。(图片来源:Flex Logix)ubSEETC-电子工程专辑

Tate强调InferX虽然不具Tesla T4的吞吐量,但其最终售价将仅为T4价格的几分之一。ubSEETC-电子工程专辑

“我们的InferX X1 AI边缘推理芯片专注于AI推理,而Intel及Nvidia等边缘推理产品除了推理还提供AI训练,因此可以说Flex Logix的边缘推理芯片做得更专更精。”Flex Logix的销售总监Jim Jian在接受《电子工程专辑》记者的采访时谈到。ubSEETC-电子工程专辑

Jim还特别提到,目前几乎没有哪个边缘推理产品的供应商公布其产品的Benchmark,“我们决定将InferX X1的Benchmark公之于众,方便客户在不同的供应商之间进行比较和选择。”显示出Flex Logix对InferX X1 AI边缘推理芯片的信心。ubSEETC-电子工程专辑

20190415flex4.jpgubSEETC-电子工程专辑
(图片来源:Flex Logix)ubSEETC-电子工程专辑

高算力,低成本,InferX X1是怎样做到的?

InferX AI芯片的核心技术源自Flex Logix拥有专利的现有eFPGA IP里的可编程互连技术,同时结合专为AI推理而设计的乘加器(MAC)和存储单元。这些乘加器支持INT8、INT16、BF16等AI算法里常见的精度数字。ubSEETC-电子工程专辑

20190415flex5.jpgubSEETC-电子工程专辑
ubSEETC-电子工程专辑
(图片来源:Flex Logix)ubSEETC-电子工程专辑

“在运算一层网络的时候,我们利用可编程互连将InferX的MAC根据这一层网络的dataflow来连接,等于是专为这一层运算配置了一个ASIC。同时对下一层网络进行pre-load,以实现在这一层运算完后可以最快速地配置下一层。同样的可编程互连也与片上的SRAM连接,将这一层的输出,快速配置成下一层的输入,从而避免了大量的数据交换。所以InferX只需要一颗x32 DRAM就够了。这让我们可以将芯片设计得更小,大大降低了功耗和成本。”Flex Logix公司CEO Geoff Tate指出。ubSEETC-电子工程专辑

InferX X1芯片可以通过扩展口来连接数个芯片以增加算力。Flex Logix同时还提供搭载InferX X1的半高半长PCIe卡给Edge Server和gateway客户。ubSEETC-电子工程专辑

20190415flex6.jpgubSEETC-电子工程专辑
(图片来源:Flex Logix)ubSEETC-电子工程专辑

正是因为应用了核心的可编程互连技术,并在InferX芯片产品中引入其它新技术,才使得InferX X1能在提供高算力的同时提供低功耗和低成本,并且适用于任何神经网络。ubSEETC-电子工程专辑

InferX X1应用在哪些领域?

InferX X1是专为边缘推理应用而设计的,适用于边缘终端设备,特别是需要实时处理数据的设备和应用,例如L3~L5的汽车自动驾驶、视频监控和识别、自然语音处理等。除此之外,还可用于机器人、无人机、医疗设备,甚至云端的推理服务器。ubSEETC-电子工程专辑

20190415flex7.jpgubSEETC-电子工程专辑
(图片来源:Flex Logix)ubSEETC-电子工程专辑

InferX X1可以支持语音,图像,视频等任何基于TensorFlow-Lite或ONNX的模型和算法,特别适用于大型的模型算法和实时识别。例如YOLOv3实时物体识别算法,InferX X1在batch=1的情况下,可以对1Megapixel图像达到25.4帧每秒(fps)的吞吐量,而对2Megapixel高清图像则达到12.7帧每秒(fps)。ubSEETC-电子工程专辑

工程师在使用InferX X1时应当注意什么?

当《电子工程专辑》记者问到工程师在使用InferX X1时应当特别注意什么时,Jim Jian说,Flex Logix的eFPGA的用户主要是设计芯片的硬件工程师,而InferX X1芯片用于AI推理,所以客户主要是算法工程师。算法工程师不需要了解芯片内部的结构及运行,他们关注的是自己的神经网络模型在InferX X1芯片上是否能够达到所需的性能。ubSEETC-电子工程专辑

所以,这些算法工程师在设计拥有推理功能的边缘终端设备或系统时,首先要确认推理计算的芯片是否能提供足够的算力来达到自己算法需要的精度和吞吐量,同时还需要考虑设备对功耗的限制,以及对成本的要求。ubSEETC-电子工程专辑

20190415flex8.jpgubSEETC-电子工程专辑
(图片来源:Flex Logix)ubSEETC-电子工程专辑

Flex Logix向客户提供编译器软件nnMAX Compiler,客户可以将基于TensorFlow-Lite或ONNX的算法直接用nnMAX Compiler软件编译。因此,设计一开始客户就能了解自己的算法在InferX芯片上运行的性能和功耗等数据,从而迅速评估并优化自己的设计。ubSEETC-电子工程专辑

相关阅读利用本性、借力培育打造令人惊叹的AI SoCubSEETC-电子工程专辑

  ubSEETC-电子工程专辑

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
您可能感兴趣的文章
  • 初创公司用整块晶圆做出史上最大芯片 初创公司Cerebras将在Hot Chips上展出号称是“世界上最大”的半导体器件——一个16nm工艺、晶圆大小的处理器阵列,旨在取代英伟达(Nvidia) GPU在训练神经网络方面的主导地位。这颗面积达到46,225平方毫米的芯片功耗为15千瓦,封装了400,000个内核,并且仅支持在极少数系统中运行,至少已有一家客户采用……
  • 清华开发出全球首款异构融合类脑芯片“天机” 近年来,人工智能技术发展很快,但多数是从某个领域接近或超过人类智能,距离达到人类水平的人工通用智能(AGI,Artificial General Intelligence)还有很长的路要走。发展人工通用智能的方法主要有两种,一种是以神经科学为基础,尽量模拟人类大脑;另一种是以计算机科学为导向,让计算机运行机器学习算法。二者各有优缺点,但都代表人脑处理信息的部分模式。最新一期 《自然》 封面刊登了清华大学开发出的全球首款异构融合类脑芯片“天机”,提出了将神经科学与计算机科学异构融合的架构……
  • 英特尔:效率达CPU一万倍的神经形态芯片发布 近日,英特尔(Intel)官方宣布,英特尔研发一款名为“Pohoiki Beach”的新型神经形态芯片系统产品,该芯片系统是受人类大脑思维方式所启发,将生物大脑原理应用于计算机体系结构。
  • 都在围观最新CPU/GPU,Arm中国这个动向你可曾关注? “孙正义曾说大约在2035年左右,全球可能会有1万亿个在线连接的AIoT设备。坦白的讲,这并不是一个很激进的数字。”Arm中国生态发展副总裁、OPEN AI LAB创始人兼CEO金勇斌日前在接受媒体采访时称,从1991年到2017年,Arm花了26年的时间才实现了1000亿片Arm架构芯片的出货。
  • 催生更强AI,科学家致力破解人脑运算之谜 神经形态芯片面临的一大难题,是研究人员仍不知道大脑究竟是如何学习...
  • 利用本性、借力培育打造令人惊叹的AI SoC 将高级AI功能集成到SoC中经常会暴露SoC架构的软肋。 SoC的DNA(其“本性”)强壮程度依赖于其设计环境(其“培育”)所赋能。了解如何选择合适的工具和流程,特别是正确的IP,可以帮助你培育表现出色的AI SoC。探索Synopsys的 DesignWare IP,可助你实现令人惊艳的AI。
相关推荐
    广告
    近期热点
    广告
    广告
    广告
    可能感兴趣的话题
    广告