随着人工神经网络应用的持续深化,机器视觉算法复杂度剧增,亟需高算力支持。然而,受制于摩尔定律放缓,现有电子计算性能趋于饱和,难以满足大规模智能算法对算力和能效日益增长的需求。用光子替代电子作为智能计算载体有望对当前视觉计算带来革命性的突破。然而,现有智能光计算架构往往依赖电子处理器作为计算中继,严重削弱了光计算高速高并行的计算优势,难以赋能超快机器视觉应用。
近日,清华大学电子系方璐副教授课题组建立了空时域超快智能光计算架构,提出了跨维度空时域匹配方法和联合空时域矩阵向量光计算模型,首次实现了三维空时域智能光计算系统,突破了数字内存读写的掣肘,将动态机器视觉处理速度提升三个数量级(达到纳秒量级)。
图1 空时域光计算模型
该课题组通过刻画多维光场传播模型,首次建立空时域计算表征,同时在空间和时序维度完成连续光计算。针对空间光场和时序光场内在维度失配问题,提出空间复用和光谱复用计算模型,匹配空时域光计算维度。进一步建立时序矩阵乘加计算模型,扩展空时域光计算维度。所有空间和时序计算操作均在光学模拟域完成,因此空时域光计算的速度不受制于电子内存的传输和读写。该论文进一步提出了多变量全光非线性函数,成功构建多层非线性神经网络,支撑复杂视觉智能任务的高速推理。在多个视频数据集上的实验结果表明,空时域光计算能够将视频智能处理速度提升至数百兆赫兹量级,有望为后摩尔时代高性能智能计算以及瞬态科学现象的实时分析和控制等带来新的契机。
图2 高速目标追踪
图3 纳秒超快计算
该研究工作以“面向超快机器视觉的空时域光计算”(Ultrafast dynamic machine vision with spatiotemporal photonic computing)为题发表在国际期刊《科学-进展》(Science Advances)上,并入选期刊首页专题文章(feature article)。课题组博士生周天贶和吴蔚是本文共同第一作者,通讯作者为方璐。
文章链接:
https://www.science.org/doi/10.1126/sciadv.adg4391
分享课程——Python3高级核心技术97讲,高级进阶的必学课程,附源码+PDF课件下载。
Python3高级核心技术由97讲组成,涵盖了多个方面的内容。以下是其中一部分重要内容的概述:
高级函数和闭包:
介绍高阶函数的概念,如map、filter、reduce等;
讲解闭包的原理和用法,展示闭包在实际项目中的应用。
迭代器和生成器:
解释迭代器和可迭代对象的概念;
探讨生成器的原理和用法,并介绍协程的概念。
并发编程:
讲解多线程和多进程编程的基本概念;
引入线程间通信、锁和条件变量等概念。
数据库编程:
介绍Python与关系型数据库的交互;
演示如何使用Python操作数据库进行增删改查。
异常处理和调试:
讲解异常处理的基本概念和错误处理技巧;
提供调试技巧,如断点调试、日志调试等。