使用光频梳和可编程光存储器的高光谱内存计算

超光谱存储内计算与光频梳和可编程光存储器的应用

导言

近年来，机器学习的突破促进了包括医疗、金融、零售、汽车和制造业在内的多个行业的革命性发展。这些转变导致对广泛的矩阵-向量乘法运算(mvm)需求激增，这对于大规模优化和深度学习算法是至关重要的。然而，这种日益增长的计算需求挑战了传统的冯·诺依曼数字电子计算机架构，该架构将存储器和处理单元分开，从而导致“冯·诺依曼瓶颈”，即数据在存储器和处理器之间的传输速度限制了整体系统性能。为了解决这一性能瓶颈，存储内计算作为一种变革性的解决方案浮现出来，它通过将非易失性存储元素直接集成到处理器中，推动更高效的数据移动、降低能耗和实现高度并行计算。

与此同时，光学计算系统因其天生适合并行数学运算而重新引起了关注。这些系统自几十年前首次出现以来，已经取得了显著进展，展示了光学计算在高计算吞吐量和能效方面的巨大潜力。然而，开发能够在这些先进电子硬件基础上竞争的高吞吐量光学计算系统仍然是一个挑战。在此背景下，本研究提出并展示了一种超光谱存储内计算架构，它通过使用光频梳和可编程光存储器同时利用空间和频率复用。这个高度设计的三维光电计算系统在并行性、可编程性和可扩展性方面表现出卓越的性能，克服了光学计算的典型局限性。

论文简介

该研究由Mostafa Honari Latifpour、Byoung Jun Park、Yoshihisa Yamamoto和Myoung-Gyun Suh共同撰写，并发表于2024年7月《Optica》期刊的第11卷第7期。这项研究主要由NTTResearch, Inc.的物理与信息实验室牵头，并得到了City University of New York和Korea University等机构的支持。这项研究受到了光通讯、光谱学、成像和显示技术等领域的平行信息处理方案的启发，旨在大幅提高计算吞吐量。

实验流程与结果

单次矩阵-向量乘法

在实验中，研究人员首次演示了一种利用混合空间-频率复用的光学MVM系统，这为超光谱存储内计算系统奠定了基础。通过分散元素连接频率和空间维度，这种复用方法促进了这两个领域之间的并行数据传输。输入源使用了光C波段中的光纤光频梳（ofc），脉冲重复率为250 MHz。然后粗略地过滤以获得36 GHz的频率间隔。这样有效地生成了一个36 GHz的频率间隔并具有250 MHz强度调制的光频梳。输入向量元素通过逐线波形整形编码到每个36 GHz梳线的强度中。

通过光学设置，将梳线进行空间分隔，沿垂直方向铺开后集中到空间光调制器（slm）上，编码的矩阵元素作为衰减权重与输入向量相乘。使用二维短波红外相机捕捉到SLM的输出矩阵，完成了矩阵-向量乘法（MAC）操作。系统通过线扫描相机在水平方向上总结合光矩阵并检测其光强度，验证了各种MAC值的计算精度。

矩阵-矩阵乘法通过超光谱MAC

为了进一步扩展系统，研究人员进行了矩阵-矩阵乘法（MMM）的超光谱设置实验，最终光学信号水平铺开后集中在SLM 2上编码第二个矩阵。利用二维相机捕捉的光信号在水平方向上聚合，进行频率排序并进行MMM操作。多个MMM测试结果与理论一致，证明了系统在噪声保持在5%以下的情况下，表现出良好的稳定性和准确性。

讨论

在验证实验中，系统处于开环模式，输入编码和输出MAC结果读取使用商业数字电子设备独立进行。为了实现高吞吐量计算，需要快速的外部调制和读取。通过引入“二维光电子神经元”设备，结合电子控制电路和存储器，实现可编程的非线性操作和多样的算法执行。此外，该研究展示的混合架构结合了光学计算的快速和能效优势，并计划通过封闭环模式进一步提升其实际应用。

结论

本研究提出的超光谱存储内计算系统，充分利用频率、空间和时间维度，最大化计算吞吐量和能效。系统设计优先考虑可扩展性，通过使用可扩展的SLM和OFC技术，将空间和频率复用结合起来。这种模块化方法不仅简化了制造过程，还能直接受益于SLM和OFC技术的发展，推动整体系统性能提升。未来，该架构有望引领能源高效的光信息处理新时代，甚至在未来的云计算环境中超越Petaops。