向右滑动:上一篇 向左滑动:下一篇 我知道了
广告

FPGA运算单元可以支持高算力浮点?

时间:2020-03-04 作者:杨宇 阅读:
随着机器学习(Machine Learning)领域越来越多地使用现场可编程门阵列(FPGA)来进行推理(inference)加速,而传统FPGA只支持定点运算的瓶颈越发凸显。为了解决这一困境,Achronix设计出了机器学习处理器(MLP)单元,不仅支持浮点的乘加运算,还可以支持对多种定浮点数格式进行拆分。

MLP全称Machine Learning Processing单元,是由一组至多32个乘法器的阵列,以及一个加法树、累加器、还有四舍五入rounding/饱和saturation/归一化normalize功能块。同时还包括2个缓存,分别是一个BRAM72k和LRAM2k,用于独立或结合乘法器使用。MLP支持定点模式和浮点模式,对应下面图1和图2。GEeEETC-电子工程专辑

图1:定点模式下的MLP框图GEeEETC-电子工程专辑

图2 :浮点模式下的MLP框图GEeEETC-电子工程专辑

考虑到运算能耗和准确度的折衷,目前机器学习引擎中最常使用的运算格式是FP16和INT8,而Tensor Flow支持的BF16则是通过降低精度,来获得更大数值空间。下面的表1是MLP支持的最大位宽的浮点格式,表2说明了各自的取值范围。GEeEETC-电子工程专辑

表1: MLP支持的最大位宽的浮点格式GEeEETC-电子工程专辑

表2 :不同运算格式的取值范围GEeEETC-电子工程专辑

而且这似乎也成为未来的一种趋势。目前已经有不少研究表明,更小位宽的浮点或整型可以在保证正确率的同时,还可以减少大量的计算量。因此,为了顺应这一潮流,MLP还支持将大位宽乘法单元拆分成多个小位宽乘法,包括整数和浮点数。详见下表3。GEeEETC-电子工程专辑

值得注意的是,这里的bfloat16即Brain Float格式,而block float为块浮点算法,即当应用Block Float16及更低位宽块浮点格式时,指数位宽不变,小数位缩减到了16bit以内,因此浮点加法位宽变小,并且不需要使用浮点乘法单元,而是整数乘法和加法树即可,MLP的架构可以使这些格式下的算力倍增。GEeEETC-电子工程专辑

表3是Speedster7t系列1500器件所支持的典型格式下的算力对比,可以看到,单片FPGA的浮点算力最高可达到123TOPS。GEeEETC-电子工程专辑

表3:Achronix的Speedster7t系列1500器件支持的典型格式的算力对比GEeEETC-电子工程专辑

下图3是MLP中FP24/FP16乘加单元的简化结构图,即一个MLP支持FP24/FP16的A*B+C*D,或者A*B,C*D。GEeEETC-电子工程专辑

图3:MLP中FP24/FP16乘加单元的简化结构图GEeEETC-电子工程专辑

而以下的图4则是块浮点乘加单元结构。GEeEETC-电子工程专辑

图 4: 块浮点乘加单元结构GEeEETC-电子工程专辑

这里考虑浮点数序列块,浮点数序列块,各序列块内均拥有相同的指数ea和eb。则GEeEETC-电子工程专辑

GEeEETC-电子工程专辑

不难看出,乘法单元的个数取决于尾数(即整数)位宽。GEeEETC-电子工程专辑

表4:MLP中乘法单元的个数与整数位宽的关系GEeEETC-电子工程专辑

 GEeEETC-电子工程专辑

作者:杨宇,Achronix资深现场应用工程师GEeEETC-电子工程专辑

责编:Amy GuanGEeEETC-电子工程专辑

本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
您可能感兴趣的文章
  • 华为注资3亿成立荣耀终端有限公司,余承东任董事长 华为于 4 月 1 日成立荣耀终端有限公司,这不是愚人节的新闻,是真事。新公司注册资本 3 亿元人民币,法定代表人为郑丽英。这是否意味着从品牌、市场到财务,荣耀独立运作渐行渐近?
  • 退出!三星显示今年底全面停产LCD面板 三星显示器将全面退出LCD面板产业!三星显示器31日发信通知所有客户,决定到2020年12月底为止、将终止所有LCD产品供应,以加快转向QD display事业(量子点OLED)。
  • 国产EDA企业概伦电子完成数亿元A轮融资 4月2日,概伦电子宣布已完成数亿元人民币的A轮融资,本轮融资是由兴橙资本和英特尔资本共同领投。概伦电子成立于2010年,为用户提供高端集成电路设计、接口开发等服务,旗下拥有SPICE建模工具BSIMProPlus、低频噪声测试系统、SPICE仿真器等产品。2019年底,他们收购了另一家EDA公司博达微……
  • 美格纳转型IDM,打包出售晶圆代工业务 美格纳之所以出售晶圆代工业务,主要原因是晶圆代工市场竞争太激烈,营收增长缓慢,从2015年2019年仅仅增长了27%。相反,其显示业务增长了2.6倍,电源业务也增长1.1倍。而且标准产品的营收 已经超越了代工业务。美格纳是一个由代工公司转型IDM公司的典型。
  • 华为拿下371亿元5G大单近六成,诺基亚出局 中国移动公布了2020年5G二期无线网主设备集中采购的中标候选人。该轮采购是中国移动今年30万个5G基站规划中的重要环节,所采购的无线接入网设备,也是整个移动通信网络中价值最高、采购金额最高的部分,价值371亿元。主要通信设备厂华为、中兴、爱立信和中国信科(大唐移动)入围,诺基亚出局。
  • 工程师的抗疫:研究自制低成本呼吸机 最近一段时间,新型冠状病毒肺炎在海外持续延烧。除了口罩 、额温枪外,呼吸机同样作为目前稀缺的战“疫”物资。为此,来自各个行业的“设计师们”开始研究如何在自家或工厂生产呼吸机...
相关推荐
    广告
    近期热点
    广告
    广告
    广告
    可能感兴趣的话题
    广告