中科院微电子所在多模态事件学习储池计算方面取得重要进展

人工智能的发展深受模仿人类大脑的启发，尤其是在当前的类脑神经形态系统中。例如，利用生物可解释的脉冲神经网络（SNN），并结合IBM的TrueNorth和英特尔的Loihi等CMOS数字硬件加速器，来模拟大脑的计算功能和效率。然而，在硬件中复现大脑功能仍然面临巨大的挑战，这不仅受到摩尔定律放缓以及冯·诺依曼架构计算瓶颈的限制，而且涉及脉冲神经网络自身训练过程中的困难。

针对这一问题，中科院微电子所尚大山研究员与南方科技大学深港微电子学院王中锐博士合作，开发了一种基于液体状态机（Liquid State Machine, LSM）技术实现多模态时序脉冲数据的学习方法。液体状态机是一种脉冲形式的储池计算，它是循环脉冲神经网络的一种简化形式，能够将时序输入信号通过神经元的非线性激活函数转换到高维空间中，并通过简单的线性回归方法有效地读出。LSM中循环连接层的权重始终保持固定，训练仅需要调节输出层的权重，这使得训练复杂度和时间大降低。

在硬件方面，团队利用忆阻器的本征随机性构建大规模随机电阻阵列，并将其作为LSM网络的初始化权重，展现了低成本和可扩展的优势。在软件方面，LSM巧妙的利用了随机电阻阵列所带来的物理随机投影，通过存内计算的方式完成多时序脉冲输入的特征提取过程，并显著降低了脉冲神经网络的训练成本。团队通过软-硬协同优化技术，在基于FPGA的板级测试平台上实现了视觉和声音的多模态对齐检索，并进行了接近实用场景的脑机接口的视觉和声音对齐任务的仿真验证。与传统数字硬件系统相比，该方法在计算能效上实现了显著提升。该研究工作展现了忆阻器存算一体阵列在构建神经形态系统方面的巨大潜力，并为利用自然界中丰富的物理、化学特性开发更高效的智能硬件系统提供了参考。

该项目得到了科技部、国家自然科学基金委、中国科学院、南方科技大学和香港大学的支持。成果近期发表在《自然—计算科学》期刊上（Nature Computational Science, DOI: 10.1038/s43588-024-00751-z ），并受邀撰写了研究快讯（Nature Computational Science, DOI: 10.1038/s43588-024-00762-w）。微电子所访问学者、香港大学博士后研究员林宁为文章的第一作者，南方科技大学王中锐博士和微电子所尚大山研究员为该文章的通讯作者。参与本工作的还有复旦大学、浙江大学、香港大学以及中国科学院计算所等合作单位。

文章链接：https://doi.org/10.1038/s43588-024-00751-z

Resistive memory-based zero-shot liquid state machine for multimodal event data learning

N. Lin, Shao. Wang, Y. Li, B. Wang, S. Shi, Y. He, W. Zhang, Y. Yu, Y. Zhang, Xin. Zhang, K. Wong, Song. Wang, Xiao. Chen, H. Jiang, X. Zhang, P. Lin, X. Xu, X. Qi, Z. Wang*, D. S. Shang*, Q. Liu, M. Liu 

Nature Computational Science DOI:10.1038/s43588-024-00751-z (2024) 

文章链接：https://doi.org/10.1038/s43588-024-00762-w

Energy-efficient multimodal zero-shot learning using in-memory reservoir computing

Ning Lin, Zhongrui Wang, Dashan Shang

Nature Computational Science DOI: 10.1038/s43588-024-00762-w (2025) 

图  基于随机电阻阵列的液体状态机神经网络实现视觉和脑电信号的多模态零样本学习