向右滑动:上一篇 向左滑动:下一篇 我知道了
广告

2020年:过渡到完全互连的未来

时间:2020-01-30 作者:Gideon Intrater,Adesto Technologies技术长 阅读:
2020年将是转型的重要一年,许多可望改变人类生活的科技与产品都即将成为现实,并开始带来影响。
ASPENCORE

2020年将是转型的重要一年,许多可望改变人类生活的科技与产品都即将成为现实,并开始带来影响。2020年,将看到5G技术的部署,这将为工业4.0、自驾车,边缘人工智能(edge AI),以及各种要求更高速度与带宽的新产品和服务奠定基础。1tmEETC-电子工程专辑

业界正持续开发各种创新的半导体解决方案,以实现完全互连的未来。其中一项重要创新是,使边缘设备的AI推理成为切实可行,且可扩展的商机。然而挑战在于,AI推理需要强大的处理能力,且其功耗往往是边缘设备无法承担的。矩阵乘法(matrix multiplication)是AI处理的核心,它的第一个层级是先从包含数百万个操作数(即权重)的运算开始,并且随着运算的进行,矩阵会变小。每次运算都需要重复多次的向量点积运算:从内存中读取两个操作数,把操作数相乘,并累加结果。整个过程会需要较高的功耗,因而也使成本增加。1tmEETC-电子工程专辑

1tmEETC-电子工程专辑

Gideon Intrater,Adesto Technologies技术长1tmEETC-电子工程专辑

今天,人们正利用各种方案来解决此问题。一种方式是,利用可从多家供货商取得的现成微控制器(MCU),在某些情况下,这是一项不错的选择。透过把权重储存在快速的外部内存中,通常是8进位闪存,例如Adesto的EcoXiP非挥发性内存(NVM),因此能够非常快速地取得它们。在此传统的运算模型中,数据需透过单一的总线传输,而典型的解决方案最高可达到每瓦0.1TeraOp。但对于难度更高的推论算法,则需要采用专用硬件。1tmEETC-电子工程专辑

的确,目前市场上已有多家供货商提供了许多不错的SoC,其中有专用的AI加速硬件。结合先进工艺节点,以及专用硬件,可使这些设计达到不错的效率。但是,这样的设计仍需要从外部内存取得权重,由于把权重带进SoC的过程会消耗功率,此问题还是存在的。1tmEETC-电子工程专辑

展望未来,算法的复杂性将持续成长,这将使边缘设备的AI推理硬件到达极限。为了解决这个问题,数字推论架构正在演进,现已超越了采用具专用推论引擎的MCU和SoC,朝利用深次微米工艺和近内存(near-memory)处理等新架构发展。1tmEETC-电子工程专辑

透过把内存和AI硬件加速器整合在相同的晶粒上,近内存处理能以更低的功耗,实现更高的效能。目前,市场上已有商业化的解决方案,宣称效能可达到每瓦9.6TeraOps。这是透过内存和执行单元之间的较高带宽所实现,同时也因为不需要到芯片外部去取得权重。但是,权重的数量会受到硅晶组件中可建置的数量限制,因此效率和可扩展性无法完全兼顾。此外,为了限制功耗,需采用先进工艺,但在先进工艺节点中,具面积与功率效率的非挥发性内存单元并不存在,需采用昂贵的SRAM数组。1tmEETC-电子工程专辑

进一步的创新是有必要的,透过内存内(in-memory)的模拟处理(运算资源和内存位于同一位置),我们看到了未来AI边缘推论引擎的光明前景。在此典范中,深度神经网络(DNN)矩阵成为非挥发性内存单元数组,而矩阵的权重成为非挥发性内存单元的电导(conductance)。透过输入电压与非挥发性内存单元电导的模拟相乘来完成乘法运算。这些运算在所有向量元素上所产生的电流,以模拟方式相加,以产生MAC结果。由于不需要移动权重,因此该模型可以实现功率效率和可扩展性的绝佳组合。业界预估,此解决方案的小能可达到OI每瓦28TeraOps。1tmEETC-电子工程专辑

内存内模拟处理当然会面临挑战,而且不会在2020年实现这项技术。但是,我们相信,今年业界将会在此领域取得进展。模拟解决方案正在迎头赶上,利用单一晶体管储存和原地(in-place)运算,可免除昂贵的硬件乘法器。当我们迈向完全互连的未来时,结合模拟和数字运算,可能是因应边缘设备AI推理挑战的唯一方法。1tmEETC-电子工程专辑

ASPENCORE
本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
您可能感兴趣的文章
  • 清华实现完整硬件CNN,忆阻器阵列效能高过GPU两个数量级 该成果所研发的基于多个忆阻器阵列的存算一体系统,在处理卷积神经网络(CNN)时的能效比图形处理器芯片(GPU)高两个数量级,大幅提升了计算设备的算力,成功实现了以更小的功耗和更低的硬件成本完成复杂的计算。
  • 钟南山担任富士康集团防疫复工总顾问 富士康复工心切,25日晚在官方微信宣布,已聘请中国工程院院士、著名呼吸病学专家钟南山担任集团新冠肺炎防疫及复工总顾问。富士康在中国深圳与郑州建有两个工厂,钟南山将无偿为富士康复工进行指导,但防疫细节没有透露。(首图自富士康官网)
  • 疫情AI机器人大数据:商场口罩佩戴率达97.6%,能不能“松 一二线城市的商场也是在着急开业,在当前疫情趋势下复工开业也是一种趋势,但我们是不是可以松懈了呢?
  • AIoT跨界处理器瞄准AI语音接口 《EE Times》独家!XMOS发表最新Xcore.ai“跨界处理器”,瞄准IoT设备中以AI驱动的语音接口——这正是端点应用中最重要的AI工作负载…
  • 传统DRAM从“边缘”中寻找新出路 钰创科技(Etron Technology)为传统DRAM另辟新架构,透过低接脚数的RPC DRAM寻找边缘IoT应用机会;Lattice也看好其发展潜力…
  • Arm推出2款AI处理器 赋能数十亿物联网终端设备 新闻重点: Arm推出业界首款搭配Cortex-M使用的微神经网络处理器(microNPU),搭配最新的Cortex-M处理器,可使机器学习性能提升480倍 全新的IP可让无处不在的数十亿个下一代更小型、低功耗的设备具备更强的机器学习处理能力 软件开发流程针对提高开发人员的生产力进行了优化,并针对这些全新处理器的各种配置将机器学习性能最大化
相关推荐
    广告
    近期热点
    广告
    广告
    广告
    可能感兴趣的话题
    广告