模拟光计算推动人工智能发展.docx

《模拟光计算推动人工智能发展.docx》由会员分享，可在线阅读，更多相关《模拟光计算推动人工智能发展.docx（25页珍藏版）》请在优知文库上搜索。

1、一、引言近十年以来，随着深度学习的广泛应用，人工智能（Al）在机器视觉、自动驾驶、棋类游戏以及临床诊断等很多领域取得了举世瞩目的成功。Al在理论和应用方面都有了快速的发展，对国际前沿Al模型的训练和执行所需要的算力远比由著名的摩尔定律刻画的集成电路的发展更快，后者的发展正在放缓。在即将到来的第5代移动通讯技术（5G）时代，大量的传感器和联网设备每秒以爆炸式的增长速率生成大数据。而Al需要尽可能快速地处理这些数据。神经网络是由通过成千上万个或者数百万个相互连接的多层神经元组成的用于学习多级抽象数据的典型的Al模型，其变得越来越复杂。目前的Al模型已经能满足很多应用的需求，但在未来的发展中其将面临

2、计算硬件的速度和功耗的基本瓶颈限制。为了解决这个公认的问题,近年来研究人员在电子计算架构创新方面进行了各种努力以加速低能耗下的Al推理和训练。比如，专用集成电路（ASIC）可以减少不必要的操作而被工业界广泛接受。脑启发（类脑形态）计算模拟通过内存和处理器的结合模仿了大脑的工作原理，这可以解决传统的冯诺伊曼结构中著名的“内存墙问题，其能量利用率非常高（低能耗）。最近研究发现，脉冲神经网络（SNN）和忆阻器交叉阵列很有可能解决集成芯片的存算一体问题。不过,这些方法的功耗和速度仍然受限于电子器件的散热、电容和射频串扰。通过利用光的独特性质，光计算提供了另一种解决方案。由于光的带宽更宽，信息可以在不同

3、波长上高度并行处理，而相邻频率（不同波长上）的信息互不干扰。此外其他维度，如偏振和轨道角动量也可以增加带宽。利用光频梳对不同波长的数据和权重进行编码，这一操作在一个时间步长内自然而然可以被同时运用到成百上千或者数百万的频道上。此外，光可以在相位维度上以低能耗的形式进行调制。光纤和波导的发展使得光可以以前所未有的光速传播很长的距离，且损耗极小。所有这些因素都使得光子比电子更适合作为信息载体，尽管光子是不易被操控的。远程通信就是一个典型的例子，通过光纤传输的数据比传统电缆传输的数据流量更大而能耗更低。此外，由于高带宽密度，在云计算中应用芯片对芯片的光学互连变得越来越流行。尽管光计算因其可拓展的架构

4、有着悠久的历史,但将光子应用于计算来实现与前几十年最先进的电子处理器相媲美的性能仍然是一个巨大的挑战,主要是由于缺乏合适的集成架构和集成光子器件，包括高效、高速的光电调制器、探测器、低功耗光频梳和非线性非易失性光学材料。近年来，各种集成光子器件和新型材料的发展以及人工智能的兴起，似乎为光计算的复兴提供了一个巨大的机遇，同时，人们提出不同类型的光学神经网络（ONN）和光子处理器，来解决Al计算能力所遇到的瓶颈。这项研究比以往任何时候都更加实用，因为我们不需要完全取代电子计算机，而是努力在特定的任务或操作中找到一个光计算的切入点。作为未来全光计算机的过渡阶段，也许一个光电混合框架可以促进电子和光子

5、的互补，使其在人工智能特定应用上发生数量级的提升。因此，Al的特定光计算是一个相对较新的领域，但是其己经在过去五年里特别受到人们的青睐并具有很强的竞争力，几乎在各个领域都有很大发展。由于集成光子处理器的发展必然需要多学科的共同努力，因此，这个令人兴奋的领域必然会聚集越来越多的研究。本文首先简要回顾了类光计算在不同Al模型中的最新突破，以及它们在解决各种不同应用问题中的独特优势和在实际实现中仍然存在的挑战，接着分别概述了不同类型的Al模型。第2部分主要介绍了前馈ONN,分别描述了用于不同数学运算的不同光学方法，第3部分介绍了光学蓄水池计算（RC）,第4部分简要介绍了其他Al模型，最后，在第5部分

6、总结了几个有待解决的重要挑战。二、前馈光学神经网络在前馈人工神经网络中，相邻层的所有神经元以不同的突触权值相互连接。对于每个神经元，首先进行线性加权求和运算。假设从上一层传递进来的信号共有N个，用列向量X=X1,X2,XnF表示（其中，XN是第N个信号强度;N是总的输入信号；T是转置矩阵）。其对应的权重系数由另一个行向量W=Wi,W2,.,Wn表示（其中，WN是第/V个权重系数；N是加权系数的总数）。单个神经元的线n=N任次科三F=湖流ij,将触发非线性激活函数加）。这个神经元的最f（=N）终输出是J乙开;1军亚聂尻列。如果考虑所有M个神经元在同一层，则整个线性操作就是向量矩阵的乘法，V=x其

7、中，V是由M个不同神经元的线性加权求和组成的向量，指MXAZ是由所有权重系数组成的矩阵。与人工神经网络的电子实现相比，光学实现可以以更低能耗光速进行各个神经元的并行计算。（一）光学线性加权求和对于全连接神经网络的光学实现，需要光学地进行加权求和运算或向量矩阵乘法运算。到目前为止，已经有多种不同光学加权求和的实验实现，见下文。1 .级联的马赫-曾德尔干涉仪文献36,39-50中，输入和输出矢量由不同端口的多个相干光信号强度表示。作为矢量矩阵乘法的光计算装置，其由众多的级联马赫-曾德尔干涉仪(MZI)组成一个相互连接的网络。级联MZI的基本概念可以追溯到1994年的早期工作，最近的工作提出了一个包

8、含56个MZI的硅光子集成电路的可编程纳米光子处理器。数学上,通过奇异值分解(SVD),一个普通的实矩阵v可以被分解为=UV,其中，U和V分别是MXM和NxN的幺正矩阵，是MXzV的非负定对角矩阵。U和Iz都可以利用MZl的网格用光学实现，可以通过光衰减器实现。作为系统的基本单元，MZl有两个分束器和两个可调谐的移相器，如图1所示。需要注意的是，一个MZl并不等同于人工神经网络中的一个神经元，但是一个级联MZl系统可以在一个神经网络中的两层神经元之间同时执行相同的线性向量矩阵乘法运算。MZI网格设计时需要优化所有MZI的互连拓扑和每个移相器的移相角。对于一个典型的级联MZI系统,一个NN的矩阵

9、乘法至少需要N(N-1)2个分束器。对于矢量矩阵计算，MZl网格的构建方法并不是唯一的。例如，可以为相同的向量矩阵计算设计两种不同的MZl网格，分别具有更可调或更容错的特点。人们已经研究了MZl网格对实际不完美光子元件对应的工艺误差和不精确度的鲁棒性。通过三维(3D)打印光波导，级联MZl系统可以从二维(2D)扩展到3D,这可以实现更高的计算能力。复数运算还可以有效地在该架构实现。人们已经尝试将级联MZl用于各种AI任务，如语音识别、花卉数据分类和葡萄酒数据分类。IH1.线性矢量矩阵乘法的级联MZl的系统。Si:硅材料：SiO,:二氧化硅材料。经TheoPtiCaISOCietyOfAmeri

10、ca,2019许可转载自文献。2 .深度衍射神经网络在深度衍射神经网络（D，NN）结构中，级联衍射光学元件（DOE）垂直于光的传播方向并互相之间有一定空间分隔距离，如图2所示。输入和输出平面上的空间光强分布分别对应输入和输出向量。入射光场在自由空间中向前传播，并由每个DOE依次调制。类似于深度学习中的对应算法，所有DoE的像素值（仅相位、仅幅值或复振幅值）是通过误差反向传播算法进行优化的。优化后的系统从输入光场到输出光场通过线性变换实现矢量矩阵乘法。DWN系统的信息处理能力取决于衍射层的数目。该体系结构可以充当一个线性分类器，并己被证明能够以适当的精度对MNIST数据库中的数字图像和FaShi

11、on-MNlST数据库中的服饰产品图像进行光学分类。后来的相关研究在不同方面改进DWN结构。原始的D2NN是由太赫兹源驱动的，一个带有红外源的体积更小的系统在参考文献中被提出。D，NN的实现不局限于单色相干光，宽带DWN还可以用于光谱滤波和波长解复用应用。D，NN可以与数字处理器或数字神经网络相结合来提高推断能力。一种类似于残差深度学习网络的残差D，NN结构已经被提出，其可以通过多个反射镜简单地实现输入输出之间的直接快捷连接。无透镜自由空间传播可以用透镜的光学傅里叶变换来代替，从而提高其预测精度。通过对训练图像进行几何变换，可以增强D，NN系统的平移、旋转和尺度不变的识别能力。仿真结果表明，D

12、WN系统能够解决更多样化的计算机视觉任务，比如，图像分割、特征检测和图像超分辨率以及目标分类。CoherentlightISecondarywavesInputplane(XCsAe-=。XQ图2.D,NN的光学系统。1.、1.、3和1.：第一、第二、第三和第n个衍射层。经TheAmericanAssociationfortheAdvancementofScience,2018许可转载自文献。除了传统的机器学习任务外，D2NN还可以应用于其他的光计算和光信号处理任务，包括激光雷达的智能波束控制、图像加密、光学逻辑门、脉冲整形以及模分复用光纤通信中的模式识别/复用/解复用。3 .基于空间光调制器

13、和透镜的光计算与前两种使用相干光的架构不同，这种基于空间光调制器(S1.M)和透镜的架构不受限于相干光和非相干光照明。照亮一个S1.M平面的不同像素(或部分)的入射光强度分布携带输入矢量值。S1.M的不同像素通过不同加权系数进行编码。其中，S1.M放置在透镜的后焦平面，而光汇聚到焦点。探测器放置在透镜的焦点，然后收集S1.M平面上的总光强作为输入向量和加权系数矢量的内积。图3（八）所示的装置类似于光学成像中的单像素成像(或鬼成像)概念。通过使用不同类型的透镜,有许多方法可以实现完全的向量矩阵乘法。通常，可以使用傅里叶透镜实现沿同一方向输出光的叠加，沿不同方向平行光的不同焦点对应于输出向量的不同

14、分量。另一种选择是使用柱面透镜。柱面透镜只在水平方向或垂直方向的平行光和会聚光之间进行转换。输入向量由沿水平像素化阵列的光强分布表示。两个柱面透镜在S1.M平面上实现一维(ID)输入阵列的扇出复制和ID加权求和，如图3(b)所示。最后，用输出焦平面上沿垂直阵列的光强分布表示乘法运算结果。止匕外，向量矩阵乘法可以通过简单地用一个傅里叶透镜多次重复加权求和操作来实现。基于S1.M和透镜的体系结构可以很容易地与冷原子系统相结合，实现具有线性和非线性变换的全光学深度神经网络。基于该结构可以构建包含174个光学神经元的大规模可编程全光深度神经网络。与其他结构相比，其可实现对不同任务进行可重复编程，而无需

15、改变物理装置。InputvectorVCSE1.arrayFocalpointon.Outputvectordetectorarray图3.（八）S1.M和傅里叶透镜的线性加权求和运算；（b）用S1.M和柱面透镜进行的向量矩阵乘法。（八）经TheOpticalSocietyofAmerica,2019许可转载自文献。4,波分多路复用该方法采用波分多路复用（WDM）方式实现线性加权求和。输入矢量中的每个元素都由一个特定频率（或波长）的光波表示，然后通过微环谐振器（MRR）构建的光子权重组对其进行不同的光谱滤波；从而对输入信号进行加权，如图4所示。平衡光电二极管（BPD）通过采集不同波段所有信号的

16、总光强来实现加权线性求和。这种结构被认为有可能与主流的硅光子器件平台兼容。参考文献提出了一种简化的微环权重组反馈控制方法，以产生良好的滤波响应。改进后的MRR控制方法可以兼容大规模光子集成电路。该结构己用于主成分分析计算。在最近的工作中，WDM架构与基于光子芯片的微频梳相结合，这可以显著提高数据处理速度和容量。另外可以将非易失性相变材料（PCM）集成到波导上来实现芯片上局部存储加权值。文献82中的光矢量卷积加速器每秒可执行超过10万亿次运算。Mach-Zehnder调制器。经SpringerNature,2017许可转载自文献。5.其他方案矢量矩阵乘法也可以基于光在纳米光子介质中的传播实现，如图5所示。进入介质的输入光强分布表示输入图像模式。光场通过介质后的输出强度分布表示计算结果，比如图像分类结