向右滑动:上一篇 向左滑动:下一篇 我知道了
广告

AI从云端走向边缘需要这样一颗芯片

时间:2019-04-15 作者:Jenny Liao 阅读:
人工智能(AI)在自动驾驶、物联网和机器人技术中的应用离不开数据处理。目前终端设备需要将采集的大量数据,包括图像、视频、音频等,通过网络传输至数据中心进行AI相关的处理,然后再将结果返回至终端设备。这就带来了网络带宽、数据传输稳定性及安全性等问题。

人工智能(AI)在自动驾驶、物联网和机器人技术中的应用离不开数据处理。目前终端设备需要将采集的大量数据,包括图像、视频、音频等,通过网络传输至数据中心进行AI相关的处理,然后再将结果返回至终端设备。这就带来了网络带宽、数据传输稳定性及安全性等问题。pYrEETC-电子工程专辑

因此,AI从云端走向边缘终端设备是大势所趋,AI边缘推理芯片应运而生。pYrEETC-电子工程专辑

Intel、Google、Nvidia及Flex Logix边缘推理芯片

目前的AI边缘推理芯片有Intel的Myriad、Google的Edge TPU、Nvidia的Jetson Nano及Flex Logix的InferX X1等。pYrEETC-电子工程专辑

pYrEETC-电子工程专辑

(图片来源:Flex Logix)pYrEETC-电子工程专辑

20190415flex2.jpgpYrEETC-电子工程专辑
pYrEETC-电子工程专辑
(图片来源:Flex Logix)pYrEETC-电子工程专辑

Flex Logix的InferXtm X1边缘推理芯片是在业界领先的eFPGA互连技术上,结合专为AI推理运算而优化的nnMAXtm乘加器(MAC)而开发。pYrEETC-电子工程专辑

Flex Logix公司称,在通常只有一个摄像头或传感器、需要完成小批量数据处理的边缘应用中,InferX X1的性能接近数据中心推理芯片,并且只需一个DRAM即可在边缘应用中提供高吞吐量,同时保持系统功耗和成本。pYrEETC-电子工程专辑

“设计边缘神经网络推理芯片的一个难题是如何降低大量的数据交换及降低功耗,而我们的可编程互连技术是接近完美的解决方案。”Flex Logix公司CEO Geoff Tate说。pYrEETC-电子工程专辑

Tate表示,InferX X1基于低DRAM带宽,与高端数据中心服务器的黄金标准Nvidia的Tesla T4相比,每瓦吞吐量提高了四倍,每美元吞吐量提高了三倍。pYrEETC-电子工程专辑

Tate提到,InferX在YoloV2,YoloV3和GoogleNet等推理基准方面优于其它供应商的边缘推理芯片,如Intel的Myriad X和Nvidia的Jetson Nano。pYrEETC-电子工程专辑

20190415flex3.jpgpYrEETC-电子工程专辑
图:InferX X1与Nvidia Tesla T4的价格/性能比和性能/瓦特比。(图片来源:Flex Logix)pYrEETC-电子工程专辑

Tate强调InferX虽然不具Tesla T4的吞吐量,但其最终售价将仅为T4价格的几分之一。pYrEETC-电子工程专辑

“我们的InferX X1 AI边缘推理芯片专注于AI推理,而Intel及Nvidia等边缘推理产品除了推理还提供AI训练,因此可以说Flex Logix的边缘推理芯片做得更专更精。”Flex Logix的销售总监Jim Jian在接受《电子工程专辑》记者的采访时谈到。pYrEETC-电子工程专辑

Jim还特别提到,目前几乎没有哪个边缘推理产品的供应商公布其产品的Benchmark,“我们决定将InferX X1的Benchmark公之于众,方便客户在不同的供应商之间进行比较和选择。”显示出Flex Logix对InferX X1 AI边缘推理芯片的信心。pYrEETC-电子工程专辑

20190415flex4.jpgpYrEETC-电子工程专辑
(图片来源:Flex Logix)pYrEETC-电子工程专辑

高算力,低成本,InferX X1是怎样做到的?

InferX AI芯片的核心技术源自Flex Logix拥有专利的现有eFPGA IP里的可编程互连技术,同时结合专为AI推理而设计的乘加器(MAC)和存储单元。这些乘加器支持INT8、INT16、BF16等AI算法里常见的精度数字。pYrEETC-电子工程专辑

20190415flex5.jpgpYrEETC-电子工程专辑
pYrEETC-电子工程专辑
(图片来源:Flex Logix)pYrEETC-电子工程专辑

“在运算一层网络的时候,我们利用可编程互连将InferX的MAC根据这一层网络的dataflow来连接,等于是专为这一层运算配置了一个ASIC。同时对下一层网络进行pre-load,以实现在这一层运算完后可以最快速地配置下一层。同样的可编程互连也与片上的SRAM连接,将这一层的输出,快速配置成下一层的输入,从而避免了大量的数据交换。所以InferX只需要一颗x32 DRAM就够了。这让我们可以将芯片设计得更小,大大降低了功耗和成本。”Flex Logix公司CEO Geoff Tate指出。pYrEETC-电子工程专辑

InferX X1芯片可以通过扩展口来连接数个芯片以增加算力。Flex Logix同时还提供搭载InferX X1的半高半长PCIe卡给Edge Server和gateway客户。pYrEETC-电子工程专辑

20190415flex6.jpgpYrEETC-电子工程专辑
(图片来源:Flex Logix)pYrEETC-电子工程专辑

正是因为应用了核心的可编程互连技术,并在InferX芯片产品中引入其它新技术,才使得InferX X1能在提供高算力的同时提供低功耗和低成本,并且适用于任何神经网络。pYrEETC-电子工程专辑

InferX X1应用在哪些领域?

InferX X1是专为边缘推理应用而设计的,适用于边缘终端设备,特别是需要实时处理数据的设备和应用,例如L3~L5的汽车自动驾驶、视频监控和识别、自然语音处理等。除此之外,还可用于机器人、无人机、医疗设备,甚至云端的推理服务器。pYrEETC-电子工程专辑

20190415flex7.jpgpYrEETC-电子工程专辑
(图片来源:Flex Logix)pYrEETC-电子工程专辑

InferX X1可以支持语音,图像,视频等任何基于TensorFlow-Lite或ONNX的模型和算法,特别适用于大型的模型算法和实时识别。例如YOLOv3实时物体识别算法,InferX X1在batch=1的情况下,可以对1Megapixel图像达到25.4帧每秒(fps)的吞吐量,而对2Megapixel高清图像则达到12.7帧每秒(fps)。pYrEETC-电子工程专辑

工程师在使用InferX X1时应当注意什么?

当《电子工程专辑》记者问到工程师在使用InferX X1时应当特别注意什么时,Jim Jian说,Flex Logix的eFPGA的用户主要是设计芯片的硬件工程师,而InferX X1芯片用于AI推理,所以客户主要是算法工程师。算法工程师不需要了解芯片内部的结构及运行,他们关注的是自己的神经网络模型在InferX X1芯片上是否能够达到所需的性能。pYrEETC-电子工程专辑

所以,这些算法工程师在设计拥有推理功能的边缘终端设备或系统时,首先要确认推理计算的芯片是否能提供足够的算力来达到自己算法需要的精度和吞吐量,同时还需要考虑设备对功耗的限制,以及对成本的要求。pYrEETC-电子工程专辑

20190415flex8.jpgpYrEETC-电子工程专辑
(图片来源:Flex Logix)pYrEETC-电子工程专辑

Flex Logix向客户提供编译器软件nnMAX Compiler,客户可以将基于TensorFlow-Lite或ONNX的算法直接用nnMAX Compiler软件编译。因此,设计一开始客户就能了解自己的算法在InferX芯片上运行的性能和功耗等数据,从而迅速评估并优化自己的设计。pYrEETC-电子工程专辑

相关阅读利用本性、借力培育打造令人惊叹的AI SoCpYrEETC-电子工程专辑

  pYrEETC-电子工程专辑

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
您可能感兴趣的文章
  • 清华实现完整硬件CNN,忆阻器阵列效能高过GPU两个数量级 该成果所研发的基于多个忆阻器阵列的存算一体系统,在处理卷积神经网络(CNN)时的能效比图形处理器芯片(GPU)高两个数量级,大幅提升了计算设备的算力,成功实现了以更小的功耗和更低的硬件成本完成复杂的计算。
  • 英特尔叫停Nervana AI芯片,改推Habana 英特尔(Intel)公司在去年12月中旬收购了以色列AI芯片初创公司Habana Labs,一出手就是20亿美元。不过问题是,在收购Habana之前,Intel手里的AI解决方案已经有CPU、FPGA、Nervana及在研的GPU等,不能同时有两个“太子”吧?必须做出一个艰难的决定……
  • 20亿美元!英特尔收购人工智能芯片制造商Habana Labs 英特尔公司今天宣布以20亿美元收购Habana Labs。该公司总部位于以色列,是一家为数据中心提供可编程深度学习加速器的厂商。此次收购将增强英特尔的人工智能产品组合,并加快其在快速增长的人工智能芯片新兴市场的发展。但是,AI初创公司的数据中心芯片将如何与现有产品线匹配?
  • AI推理处理器已死? 人工智能(AI)芯片的市场现实是什么?根据业界专家认为,如今我们已经脱离AI炒作,开始前进到更能准确反映现实的阶段...
  • 市场上有那么多AI芯片,还需要Arm的NPU吗? AI和IoT是这两年被人反复提及的话题热点,毕竟它们给予行业的信心是贯彻了信息技术的整个垂直领域的。这两者能够造就机遇的重要原因,就在于它们尚未形成(或可能不会形成)非常统一的“生态”,迄今为止也没有哪位巨擘一手遮天构建起具有充分话语权的生态。以边缘AI为例,仅是手机设备上用于推理(inference)的神经网络单元,时下大概也都处在多家争鸣的状态……
  • 你的AI芯片有自己的DNN吗? 为了让AI加速器在最短延迟内达到最佳精准性,特别是在自动驾驶汽车(AV)中,TFLOP(万亿次浮点运算)已经成为许多所谓大脑芯片的关键指标。然而,有专家认为这种野蛮处理方式并不可持续。在EE Times的一次独家专访中,DeepScale的首席执行官Forrest Iandola给出了其不可持续的理由,是因为AI硬件设计师所持有的许多常见的假设已经过时。
相关推荐
    广告
    近期热点
    广告
    广告
    广告
    可能感兴趣的话题
    广告