广告

AI从云端走向边缘需要这样一颗芯片

时间:2019-04-15 作者:Jenny Liao 阅读:
人工智能(AI)在自动驾驶、物联网和机器人技术中的应用离不开数据处理。目前终端设备需要将采集的大量数据,包括图像、视频、音频等,通过网络传输至数据中心进行AI相关的处理,然后再将结果返回至终端设备。这就带来了网络带宽、数据传输稳定性及安全性等问题。
电子工程专辑 EE Times China -提供有关电子工程及电子设计的最新资讯和科技趋势

人工智能(AI)在自动驾驶物联网和机器人技术中的应用离不开数据处理。目前终端设备需要将采集的大量数据,包括图像、视频、音频等,通过网络传输至数据中心进行AI相关的处理,然后再将结果返回至终端设备。这就带来了网络带宽、数据传输稳定性及安全性等问题。hGYEETC-电子工程专辑

因此,AI从云端走向边缘终端设备是大势所趋,AI边缘推理芯片应运而生。hGYEETC-电子工程专辑

Intel、Google、Nvidia及Flex Logix边缘推理芯片

目前的AI边缘推理芯片有Intel的Myriad、Google的Edge TPU、Nvidia的Jetson Nano及Flex Logix的InferX X1等。hGYEETC-电子工程专辑

hGYEETC-电子工程专辑

(图片来源:Flex Logix)hGYEETC-电子工程专辑

20190415flex2.jpghGYEETC-电子工程专辑
hGYEETC-电子工程专辑
(图片来源:Flex Logix)hGYEETC-电子工程专辑

Flex Logix的InferXtm X1边缘推理芯片是在业界领先的eFPGA互连技术上,结合专为AI推理运算而优化的nnMAXtm乘加器(MAC)而开发。hGYEETC-电子工程专辑

Flex Logix公司称,在通常只有一个摄像头或传感器、需要完成小批量数据处理的边缘应用中,InferX X1的性能接近数据中心推理芯片,并且只需一个DRAM即可在边缘应用中提供高吞吐量,同时保持系统功耗和成本。hGYEETC-电子工程专辑

“设计边缘神经网络推理芯片的一个难题是如何降低大量的数据交换及降低功耗,而我们的可编程互连技术是接近完美的解决方案。”Flex Logix公司CEO Geoff Tate说。hGYEETC-电子工程专辑

Tate表示,InferX X1基于低DRAM带宽,与高端数据中心服务器的黄金标准Nvidia的Tesla T4相比,每瓦吞吐量提高了四倍,每美元吞吐量提高了三倍。hGYEETC-电子工程专辑

Tate提到,InferX在YoloV2,YoloV3和GoogleNet等推理基准方面优于其它供应商的边缘推理芯片,如Intel的Myriad X和Nvidia的Jetson Nano。hGYEETC-电子工程专辑

20190415flex3.jpghGYEETC-电子工程专辑
图:InferX X1与Nvidia Tesla T4的价格/性能比和性能/瓦特比。(图片来源:Flex Logix)hGYEETC-电子工程专辑

Tate强调InferX虽然不具Tesla T4的吞吐量,但其最终售价将仅为T4价格的几分之一。hGYEETC-电子工程专辑

“我们的InferX X1 AI边缘推理芯片专注于AI推理,而Intel及Nvidia等边缘推理产品除了推理还提供AI训练,因此可以说Flex Logix的边缘推理芯片做得更专更精。”Flex Logix的销售总监Jim Jian在接受《电子工程专辑》记者的采访时谈到。hGYEETC-电子工程专辑

Jim还特别提到,目前几乎没有哪个边缘推理产品的供应商公布其产品的Benchmark,“我们决定将InferX X1的Benchmark公之于众,方便客户在不同的供应商之间进行比较和选择。”显示出Flex Logix对InferX X1 AI边缘推理芯片的信心。hGYEETC-电子工程专辑

20190415flex4.jpghGYEETC-电子工程专辑
(图片来源:Flex Logix)hGYEETC-电子工程专辑

高算力,低成本,InferX X1是怎样做到的?

InferX AI芯片的核心技术源自Flex Logix拥有专利的现有eFPGA IP里的可编程互连技术,同时结合专为AI推理而设计的乘加器(MAC)和存储单元。这些乘加器支持INT8、INT16、BF16等AI算法里常见的精度数字。hGYEETC-电子工程专辑

20190415flex5.jpghGYEETC-电子工程专辑
hGYEETC-电子工程专辑
(图片来源:Flex Logix)hGYEETC-电子工程专辑

“在运算一层网络的时候,我们利用可编程互连将InferX的MAC根据这一层网络的dataflow来连接,等于是专为这一层运算配置了一个ASIC。同时对下一层网络进行pre-load,以实现在这一层运算完后可以最快速地配置下一层。同样的可编程互连也与片上的SRAM连接,将这一层的输出,快速配置成下一层的输入,从而避免了大量的数据交换。所以InferX只需要一颗x32 DRAM就够了。这让我们可以将芯片设计得更小,大大降低了功耗和成本。”Flex Logix公司CEO Geoff Tate指出。hGYEETC-电子工程专辑

InferX X1芯片可以通过扩展口来连接数个芯片以增加算力。Flex Logix同时还提供搭载InferX X1的半高半长PCIe卡给Edge Server和gateway客户。hGYEETC-电子工程专辑

20190415flex6.jpghGYEETC-电子工程专辑
(图片来源:Flex Logix)hGYEETC-电子工程专辑

正是因为应用了核心的可编程互连技术,并在InferX芯片产品中引入其它新技术,才使得InferX X1能在提供高算力的同时提供低功耗和低成本,并且适用于任何神经网络。hGYEETC-电子工程专辑

InferX X1应用在哪些领域?

InferX X1是专为边缘推理应用而设计的,适用于边缘终端设备,特别是需要实时处理数据的设备和应用,例如L3~L5的汽车自动驾驶、视频监控和识别、自然语音处理等。除此之外,还可用于机器人、无人机、医疗设备,甚至云端的推理服务器。hGYEETC-电子工程专辑

20190415flex7.jpghGYEETC-电子工程专辑
(图片来源:Flex Logix)hGYEETC-电子工程专辑

InferX X1可以支持语音,图像,视频等任何基于TensorFlow-Lite或ONNX的模型和算法,特别适用于大型的模型算法和实时识别。例如YOLOv3实时物体识别算法,InferX X1在batch=1的情况下,可以对1Megapixel图像达到25.4帧每秒(fps)的吞吐量,而对2Megapixel高清图像则达到12.7帧每秒(fps)。hGYEETC-电子工程专辑

工程师在使用InferX X1时应当注意什么?

当《电子工程专辑》记者问到工程师在使用InferX X1时应当特别注意什么时,Jim Jian说,Flex Logix的eFPGA的用户主要是设计芯片的硬件工程师,而InferX X1芯片用于AI推理,所以客户主要是算法工程师。算法工程师不需要了解芯片内部的结构及运行,他们关注的是自己的神经网络模型在InferX X1芯片上是否能够达到所需的性能。hGYEETC-电子工程专辑

所以,这些算法工程师在设计拥有推理功能的边缘终端设备或系统时,首先要确认推理计算的芯片是否能提供足够的算力来达到自己算法需要的精度和吞吐量,同时还需要考虑设备对功耗的限制,以及对成本的要求。hGYEETC-电子工程专辑

20190415flex8.jpghGYEETC-电子工程专辑
(图片来源:Flex Logix)hGYEETC-电子工程专辑

Flex Logix向客户提供编译器软件nnMAX Compiler,客户可以将基于TensorFlow-Lite或ONNX的算法直接用nnMAX Compiler软件编译。因此,设计一开始客户就能了解自己的算法在InferX芯片上运行的性能和功耗等数据,从而迅速评估并优化自己的设计。hGYEETC-电子工程专辑

相关阅读利用本性、借力培育打造令人惊叹的AI SoChGYEETC-电子工程专辑

  hGYEETC-电子工程专辑

电子工程专辑 EE Times China -提供有关电子工程及电子设计的最新资讯和科技趋势
本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
您可能感兴趣的文章
  • 都在围观最新CPU/GPU,Arm中国这个动向你可曾关注? “孙正义曾说大约在2035年左右,全球可能会有1万亿个在线连接的AIoT设备。坦白的讲,这并不是一个很激进的数字。”Arm中国生态发展副总裁、OPEN AI LAB创始人兼CEO金勇斌日前在接受媒体采访时称,从1991年到2017年,Arm花了26年的时间才实现了1000亿片Arm架构芯片的出货。
  • 催生更强AI,科学家致力破解人脑运算之谜 神经形态芯片面临的一大难题,是研究人员仍不知道大脑究竟是如何学习...
  • 利用本性、借力培育打造令人惊叹的AI SoC 将高级AI功能集成到SoC中经常会暴露SoC架构的软肋。 SoC的DNA(其“本性”)强壮程度依赖于其设计环境(其“培育”)所赋能。了解如何选择合适的工具和流程,特别是正确的IP,可以帮助你培育表现出色的AI SoC。探索Synopsys的 DesignWare IP,可助你实现令人惊艳的AI。
  • Flex Logix 发布InferX™ X1 8TOPS高性能,低功耗,低成本 2019年4月10日, Flex Logix Technologies, Inc. 宣布,其在拥有数个专利的业界领先的eFPGA互连技术上,结合专为AI推理运算而优化的nnMAXtm乘加器(MAC), 研发了 InferXtm X1边缘推理芯片。
  • 8位浮点数成功训练出深度神经网络AI芯片 IBM研究人员开发出使用8位浮点数成功训练DNN的数字AI芯片,同时可在深度学习模型上保持原有的准确性,而其模拟AI芯片也采用了8位精度的内存乘法与相变内存...
  • 对话耐能刘峻诚:全球化AI芯片公司在中国的成长与未来 和商汤科技、寒武纪等土生土长的“独角兽”不同,耐能(Kneron)总部位于美国,创始团队也具有明显的全球化特点。截至今年5月,耐能累计融资总额已超过3300万美元,公司也出现在EE Times今年的Silicon 60上。耐能这样全球化的AI芯片公司,其成长路径与本土厂商有何差异?他们对中国市场有何看法与对策?又如何看AI技术和市场的未来格局?《电子工程专辑》日前采访了耐能创始人兼CEO刘峻诚……
相关推荐
    广告
    近期热点
    广告
    广告
    广告
    可能感兴趣的话题
    广告