近日，半导体所集成光电子学国家重点实验室微波光电子课题组李明研究员-祝宁华院士团队研制出一款超高集成度光学卷积处理器。相关研究成果以“Compact optical convolution processing unit based on multimode interference”为题发表在《自然通讯》（Nature Communications）杂志上。

卷积神经网络是一种受生物视觉神经系统启发而发展起来的人工神经网络，它由多层卷积层、池化层和全连接层组成。作为卷积神经网络的核心组成部分，卷积层通过对输入数据进行局部感知和权值共享，提取出不同层次和抽象程度的特征。在一个完整的卷积神经网络中，卷积运算的运算量通常占整个网络运算量的80%以上。虽然卷积神经网络在图像识别等领域取得了巨大的成功，但是它也面临着巨大的挑战。传统的卷积神经网络主要基于冯·诺依曼架构的电学硬件实现，存储单元和处理单元是分立的，这导致了数据交换速度和能耗之间的固有矛盾。随着数据量和网络复杂度的增加，电子计算方案越来越难以满足海量数据实时处理对高速、低能耗的计算硬件的需求。

光计算是一种利用光波作为载体进行信息处理的技术，它具有大带宽、低延时、低功耗等优点，提供了一种“传输即计算，结构即功能”的计算架构，有望避免冯·诺依曼计算范式中存在的数据潮汐传输问题。光计算在近年来受到了广泛关注，但大部分已报道的光计算方案中，光学元件的数量随着计算矩阵的规模呈二次增长趋势，这对光计算芯片规模扩展存在巨大挑战。

图1 光学卷积处理单元

李明研究员-祝宁华院士团队提出的光学卷积处理单元通过两个4×4多模干涉耦合器和四个移相器构造了三个2×2相关的实值卷积核（如图1所示）。该团队创新性的将波分复用技术结合光的多模干涉，以波长表征Kernel元素，输入到输出的映射实现了卷积中的乘法运算过程，波分复用和光电转换实现了卷积中的加法运算，通过调节四个热调移相器实现相关卷积核重构（如图2所示）。

图2 使用光学卷积处理单元进行图像特征提取的结果。（a）输入的五个手写数字的图片；（b）使用计算机进行特征提取的结果；（c）使用提出的光学卷积处理单元进行特征的结果。

该团队提出的光学卷积处理单元实验验证了手写数字图像特征提取和分类能力，结果表明，图像特征提取精度达到5 bit；对来自MNIST手写数字数据库的手写数字进行十分类，准确率达到92.17%。与其他光计算方案相比，该方案具有以下优点：

（1）高算力密度：将光波分复用技术与光多模干涉技术相结合，采用4个调控单元实现3个2×2实值Kernel并行运算，算力密度达到12.74-T MACs/s/mm²。

（2）线性扩展性：调控单元数量随着矩阵规模线性增长，具有很强的大规模集成的潜力。

该论文第一作者为孟祥彦博士和张国杰博士，通讯作者为李明研究员和石暖暖副研究员，中国科学院半导体研究所为第一完成单位，加拿大国立科学研究院José Aza？a教授、西班牙瓦伦西亚理工大学José Capmany教授、加拿大渥太华大学姚建平教授和曦智科技创始人沈亦晨博士也为本工作做出重要贡献。本工作得到了国家自然科学基金委、中科院青促会项目的支持。

论文DOI：10.1038/s41467-023-38786-x