向右滑动:上一篇 向左滑动:下一篇 我知道了
广告

AI从云端走向边缘需要这样一颗芯片

时间:2019-04-15 作者:Jenny Liao 阅读:
人工智能(AI)在自动驾驶、物联网和机器人技术中的应用离不开数据处理。目前终端设备需要将采集的大量数据,包括图像、视频、音频等,通过网络传输至数据中心进行AI相关的处理,然后再将结果返回至终端设备。这就带来了网络带宽、数据传输稳定性及安全性等问题。

人工智能(AI)在自动驾驶、物联网和机器人技术中的应用离不开数据处理。目前终端设备需要将采集的大量数据,包括图像、视频、音频等,通过网络传输至数据中心进行AI相关的处理,然后再将结果返回至终端设备。这就带来了网络带宽、数据传输稳定性及安全性等问题。c5NEETC-电子工程专辑

因此,AI从云端走向边缘终端设备是大势所趋,AI边缘推理芯片应运而生。c5NEETC-电子工程专辑

Intel、Google、Nvidia及Flex Logix边缘推理芯片

目前的AI边缘推理芯片有Intel的Myriad、Google的Edge TPU、Nvidia的Jetson Nano及Flex Logix的InferX X1等。c5NEETC-电子工程专辑

c5NEETC-电子工程专辑

(图片来源:Flex Logix)c5NEETC-电子工程专辑

20190415flex2.jpgc5NEETC-电子工程专辑
c5NEETC-电子工程专辑
(图片来源:Flex Logix)c5NEETC-电子工程专辑

Flex Logix的InferXtm X1边缘推理芯片是在业界领先的eFPGA互连技术上,结合专为AI推理运算而优化的nnMAXtm乘加器(MAC)而开发。c5NEETC-电子工程专辑

Flex Logix公司称,在通常只有一个摄像头或传感器、需要完成小批量数据处理的边缘应用中,InferX X1的性能接近数据中心推理芯片,并且只需一个DRAM即可在边缘应用中提供高吞吐量,同时保持系统功耗和成本。c5NEETC-电子工程专辑

“设计边缘神经网络推理芯片的一个难题是如何降低大量的数据交换及降低功耗,而我们的可编程互连技术是接近完美的解决方案。”Flex Logix公司CEO Geoff Tate说。c5NEETC-电子工程专辑

Tate表示,InferX X1基于低DRAM带宽,与高端数据中心服务器的黄金标准Nvidia的Tesla T4相比,每瓦吞吐量提高了四倍,每美元吞吐量提高了三倍。c5NEETC-电子工程专辑

Tate提到,InferX在YoloV2,YoloV3和GoogleNet等推理基准方面优于其它供应商的边缘推理芯片,如Intel的Myriad X和Nvidia的Jetson Nano。c5NEETC-电子工程专辑

20190415flex3.jpgc5NEETC-电子工程专辑
图:InferX X1与Nvidia Tesla T4的价格/性能比和性能/瓦特比。(图片来源:Flex Logix)c5NEETC-电子工程专辑

Tate强调InferX虽然不具Tesla T4的吞吐量,但其最终售价将仅为T4价格的几分之一。c5NEETC-电子工程专辑

“我们的InferX X1 AI边缘推理芯片专注于AI推理,而Intel及Nvidia等边缘推理产品除了推理还提供AI训练,因此可以说Flex Logix的边缘推理芯片做得更专更精。”Flex Logix的销售总监Jim Jian在接受《电子工程专辑》记者的采访时谈到。c5NEETC-电子工程专辑

Jim还特别提到,目前几乎没有哪个边缘推理产品的供应商公布其产品的Benchmark,“我们决定将InferX X1的Benchmark公之于众,方便客户在不同的供应商之间进行比较和选择。”显示出Flex Logix对InferX X1 AI边缘推理芯片的信心。c5NEETC-电子工程专辑

20190415flex4.jpgc5NEETC-电子工程专辑
(图片来源:Flex Logix)c5NEETC-电子工程专辑

高算力,低成本,InferX X1是怎样做到的?

InferX AI芯片的核心技术源自Flex Logix拥有专利的现有eFPGA IP里的可编程互连技术,同时结合专为AI推理而设计的乘加器(MAC)和存储单元。这些乘加器支持INT8、INT16、BF16等AI算法里常见的精度数字。c5NEETC-电子工程专辑

20190415flex5.jpgc5NEETC-电子工程专辑
c5NEETC-电子工程专辑
(图片来源:Flex Logix)c5NEETC-电子工程专辑

“在运算一层网络的时候,我们利用可编程互连将InferX的MAC根据这一层网络的dataflow来连接,等于是专为这一层运算配置了一个ASIC。同时对下一层网络进行pre-load,以实现在这一层运算完后可以最快速地配置下一层。同样的可编程互连也与片上的SRAM连接,将这一层的输出,快速配置成下一层的输入,从而避免了大量的数据交换。所以InferX只需要一颗x32 DRAM就够了。这让我们可以将芯片设计得更小,大大降低了功耗和成本。”Flex Logix公司CEO Geoff Tate指出。c5NEETC-电子工程专辑

InferX X1芯片可以通过扩展口来连接数个芯片以增加算力。Flex Logix同时还提供搭载InferX X1的半高半长PCIe卡给Edge Server和gateway客户。c5NEETC-电子工程专辑

20190415flex6.jpgc5NEETC-电子工程专辑
(图片来源:Flex Logix)c5NEETC-电子工程专辑

正是因为应用了核心的可编程互连技术,并在InferX芯片产品中引入其它新技术,才使得InferX X1能在提供高算力的同时提供低功耗和低成本,并且适用于任何神经网络。c5NEETC-电子工程专辑

InferX X1应用在哪些领域?

InferX X1是专为边缘推理应用而设计的,适用于边缘终端设备,特别是需要实时处理数据的设备和应用,例如L3~L5的汽车自动驾驶、视频监控和识别、自然语音处理等。除此之外,还可用于机器人、无人机、医疗设备,甚至云端的推理服务器。c5NEETC-电子工程专辑

20190415flex7.jpgc5NEETC-电子工程专辑
(图片来源:Flex Logix)c5NEETC-电子工程专辑

InferX X1可以支持语音,图像,视频等任何基于TensorFlow-Lite或ONNX的模型和算法,特别适用于大型的模型算法和实时识别。例如YOLOv3实时物体识别算法,InferX X1在batch=1的情况下,可以对1Megapixel图像达到25.4帧每秒(fps)的吞吐量,而对2Megapixel高清图像则达到12.7帧每秒(fps)。c5NEETC-电子工程专辑

工程师在使用InferX X1时应当注意什么?

当《电子工程专辑》记者问到工程师在使用InferX X1时应当特别注意什么时,Jim Jian说,Flex Logix的eFPGA的用户主要是设计芯片的硬件工程师,而InferX X1芯片用于AI推理,所以客户主要是算法工程师。算法工程师不需要了解芯片内部的结构及运行,他们关注的是自己的神经网络模型在InferX X1芯片上是否能够达到所需的性能。c5NEETC-电子工程专辑

所以,这些算法工程师在设计拥有推理功能的边缘终端设备或系统时,首先要确认推理计算的芯片是否能提供足够的算力来达到自己算法需要的精度和吞吐量,同时还需要考虑设备对功耗的限制,以及对成本的要求。c5NEETC-电子工程专辑

20190415flex8.jpgc5NEETC-电子工程专辑
(图片来源:Flex Logix)c5NEETC-电子工程专辑

Flex Logix向客户提供编译器软件nnMAX Compiler,客户可以将基于TensorFlow-Lite或ONNX的算法直接用nnMAX Compiler软件编译。因此,设计一开始客户就能了解自己的算法在InferX芯片上运行的性能和功耗等数据,从而迅速评估并优化自己的设计。c5NEETC-电子工程专辑

相关阅读利用本性、借力培育打造令人惊叹的AI SoCc5NEETC-电子工程专辑

  c5NEETC-电子工程专辑

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
您可能感兴趣的文章
  • AI推论处理器已死? 人工智能(AI)芯片的市场现实是什么?根据业界专家认为,如今我们已经脱离AI炒作,开始前进到更能准确反映现实的阶段...
  • 市场上有那么多AI芯片,还需要Arm的NPU吗? AI和IoT是这两年被人反复提及的话题热点,毕竟它们给予行业的信心是贯彻了信息技术的整个垂直领域的。这两者能够造就机遇的重要原因,就在于它们尚未形成(或可能不会形成)非常统一的“生态”,迄今为止也没有哪位巨擘一手遮天构建起具有充分话语权的生态。以边缘AI为例,仅是手机设备上用于推理(inference)的神经网络单元,时下大概也都处在多家争鸣的状态……
  • 你的AI芯片有自己的DNN吗? 为了让AI加速器在最短延迟内达到最佳精准性,特别是在自动驾驶汽车(AV)中,TFLOP(万亿次浮点运算)已经成为许多所谓大脑芯片的关键指标。然而,有专家认为这种野蛮处理方式并不可持续。在EE Times的一次独家专访中,DeepScale的首席执行官Forrest Iandola给出了其不可持续的理由,是因为AI硬件设计师所持有的许多常见的假设已经过时。
  • 浙江大学牵头研发,类脑芯片“达尔文2”发布 日前,脉冲神经网络类脑芯片“达尔文2”以及针对该芯片的工具链、微操作系统在杭州发布。该芯片主要面向智慧物联网应用,单芯片支持的神经元规模达15万个,在神经元数目上相当于果蝇的神经元数目,是目前已知单芯片神经元规模居全国前列的脉冲神经网络类脑芯片。
  • 紫光连发两芯,官宣重庆DRAM厂、西安AI实验室及研究所 8月27日这一天,紫光集团动作频频。首先是紫光展锐宣布推出虎贲T618和T710两款手机芯片,随后在西安宣布成立丝路研究所以及和西交大共建AI实验室,同一天紫光集团还在重庆宣布将把DRAM总部落户于此,两年内建成12寸DRAM厂……
  • 机器学习/AI热潮席卷Hot Chips 2019 Hot Chips一向是处理器产业尖端技术与最新发展趋势的风向球,今年也不例外。如果说Hot Chips 2019是否透露任何迹象,那就是这一场机器学习/ AI芯片革命正方兴未艾…
相关推荐
    广告
    近期热点
    广告
    广告
    广告
    可能感兴趣的话题
    广告