基于多光电晶体管-单忆阻器阵列的可重构传感器内处理

2025-01-06 Mon
基于多光晶体管-单忆阻器阵列的可重构传感器内处理：一种融合机器学习与类脑神经网络的新型视觉计算平台学术背景及问题提出人工视觉系统作为智能边缘计算的重要组成部分，长期以来受到传统基于CMOS（互补金属氧化物半导体）技术与冯·诺依曼架构的限制。这类系统的图像处理效率受制于独立的图像传感器、存储模块以及处理器之间的物理分离。这种分离导致大量数据冗余和信号处理延迟，增加了电路复杂性和功耗问题，限制了实时处理能力。在自然环境中，传统视觉系统需要完成从信号捕获到图像处理的一系列繁杂过程，但其效率有限。
近年来，传感器内计算（in-sensor computing）这一融合感知与计算的新型架构，由于其具备内存计算（in-memory computing）和神经形态特性，逐渐受到关注。在此领域，光学神经网络（optical neural network）和类脑神经网络（spiking neural network）的结合为机器视觉提供了新的可能性，允许实时、低功耗地处理复杂时间-空间图像。然而，现有基于忆阻器（memristor）的光学神经计算设备在支持多种神经网络架构上的功能有限，难以构建具有通用性和可重构性的视觉计算系统。
为了解决上述挑战，本文提出基于多光晶体管和单忆阻器阵列（multi-phototransistor-one-memristor array，简称MP1R array），探索了一种能够融合机器学习与类脑神经网络架构的通用传感器内计算系统。本研究集中讨论了如何在单一硬件平台上实现集光感、存储和计算为一体的功能。
论文来源与贡献者本文由北京大学集成电路学院、人工智能研究所、广东省存内计算芯片研究重点实验室、中国脑科学研究所等机构的研究人员合作完成。第一作者为Bingjie Dang，通信作者为Yuchao Yang，论文于2024年11月12日在线发表在《Nature Electronics》（第7卷，第991-1003页）。
研究流程与技术细节本文基于MP1R阵列设计了一种新型光感应与神经形态视觉计算系统。以下为研究中涉及的主要步骤和技术细节：
1. MP1R阵列开发(1) 结构设计与制造MP1R阵列包含一个20×20光晶体管阵列和20通道可重构Tantalum Oxide基忆阻器阵列。光晶体管基于IGZO（氧化铟镓锌）薄膜，忆阻器采用多层Ta/TaOx/NbOx/W异质结构。扫描电子显微镜与透射电子显微镜显示了MP1R阵列及核心单元结构。
(2) 仿真和实验验证忆阻器通过控制电压扫描实现三种可配置模式：线性电阻响应、易失性存储和阈值开关。通过施加不同操作电压，阈值切换和忆阻特性展现出极佳的稳定性，并可在多循环中保持一致。这些特性为复杂光信号处理与存储提供了保障。
2. 光神经网络架构探索MP1R阵列被集成到一个全硬件视觉神经系统中，与基于1T1R（一个晶体管和一个忆阻器）的非挥发存储阵列协作，实现了以下神经网络架构的应用：
（a）光学卷积神经网络（OCNN）通过MP1R阵列的卷积核功能，能将静态光学图像转换为电信号处理。在MNIST手写数字图片上测试的结果显示，OCNN在硬件实验中的准确率达到85.75%，与软件仿真结果非常接近。
（b）光学循环神经网络（ORNN）MP1R阵列还支持动态事件图像的实时处理。在实验中，网络能够处理光学事件数据集（N-MNIST），以无延迟方式进行时空信息的集成。最终硬件实验的分类准确率也达到了85.3%。
（c）光学脉冲神经网络（OSNN）通过赋予MP1R阵列灵活的光感发射功能，其可以感知图像并将其编码为脉冲信号。同时，该网络能够区分形状一致但颜色不同的复杂图像目标（例如红色“0”和蓝色“1”）。
3. 数据分析与编码技术针对不同的神经网络架构，本文开发了针对性的硬件和软件学习算法。OCNN和OSNN均使用离线训练和4位量化编码技术对权重进行表示，而ORNN则采用在线学习模式。
4. 系统集成与应用展示MP1R阵列和1T1R存储阵列被封装到一个统一的硬件测试平台上。测试平台配备了模拟与数字电路，用于控制脉冲电压、测量电流以及执行学习与计算任务。进一步的实验结果表明，该平台有效支持多种光学神经网络的实现。
研究结果与科学价值重要发现：
本文首次在忆阻器阵列中同时实现线性电阻、易失性存储和阈值切换三种模式，对于灵活实现多功能神经计算至关重要。
基于MP1R阵列，提出一种新型、多模态视觉计算架构，支持光学卷积神经网络、循环神经网络和脉冲神经网络。
科学意义：
本研究揭示了如何将感知、存储和计算功能融于单一硬件中。这对解决传统分离式视觉系统的冗余数据和高延迟问题，具有重要的实践价值。
在机器学习和类脑计算融合领域，提供了硬件实现上的新思路，对下一代人工智能计算设备的发展具有指导意义。
应用潜力：
高效视神经计算系统在无人驾驶、智能家居、医疗监测和机器人视觉等领域可发挥广泛作用。此外，MP1R阵列对彩色图像的处理能力进一步拓宽了其实际应用范围。
性能优势与创新亮点：
本系统以低功耗、高实时性实现复杂多模态图像的识别，与现有技术相比在架构兼容性和硬件整合度方面具有明显优势。
实现了静态图像、事件图像以及彩色图像的识别，这是对现有忆阻器系统的里程碑式提升。
总结与展望本文创新性地研发了具有光学感知与计算功能的一体化硬件MP1R阵列，并通过结合1T1R非挥发存储阵列，搭建了高度可重构的光学神经计算平台。研究结果不仅验证了其在多种神经网络架构中的广泛适用性，还为实现下一代边缘智能设备提供了一个新范式。然而，未来研究仍需要在器件兼容性以及大规模量产化方面进行更深入的探索。
在这个快速发展的领域，该研究为光学神经计算技术的实际应用奠定了重要理论和实验基础。通过进一步优化阵列集成和算法设计，该技术有望在更多复杂应用场景中发挥关键作用。