硬件兼容的扰动训练算法的扩展研究

随着人工智能（AI）技术的快速发展，人工神经网络（Artificial Neural Networks, ANNs）在多个领域取得了显著成就。然而，传统的神经网络训练方法——尤其是反向传播算法（Backpropagation）——在硬件实现上存在诸多挑战。反向传播算法虽然在软件中高效，但在硬件中实现时，要求计算路径可逆、每个神经元需要大量内存，并且需要计算激活函数的导数，这些条件在硬件中难以满足。此外，传统的互补金属氧化物半导体（CMOS）硬件在训练和部署这些算法时，能源消耗巨大，限制了其扩展性和广泛应用。

为了解决这些问题，研究人员开始探索脑启发（brain-inspired）的硬件解决方案，尤其是模拟神经形态硬件（analog neuromorphic hardware）。这类硬件能够以较低的能源成本实现类似的计算能力，但如何在模拟硬件上进行有效的训练仍然是一个难题。扰动训练方法（Perturbative Training Methods）作为一种替代方案，通过随机扰动网络参数来估计损失函数的梯度，从而避免了反向传播的复杂硬件需求。然而，扰动训练方法被认为在大规模问题上扩展性较差，因为梯度估计的时间与网络参数数量呈线性增长。

本研究的目的是探索一种称为多路复用梯度下降（Multiplexed Gradient Descent, MGD）的扰动训练框架，并验证其在大规模网络中的扩展性和有效性。MGD通过定义一组与扰动过程相关的时间常数，能够在硬件中高效地估计梯度，并与现有的优化加速器（如动量法）兼容，从而为未来的神经形态计算系统提供了一种实用的解决方案。

论文来源

本论文由B. G. Oripov、A. Dienstfrey、A. N. McCaughan和S. M. Buckley共同撰写，作者分别来自科罗拉多大学博尔德分校物理系和美国国家标准与技术研究院（NIST）。论文于2025年4月17日发表在APL Machine Learning期刊上，题为“Scaling of Hardware-Compatible Perturbative Training Algorithms”，属于“神经形态技术用于新型硬件AI”专题。论文的DOI为10.¹⁰⁶³⁄₅.0258271。

研究流程与结果

1. 研究流程

a) MGD框架的引入与扩展

MGD是一种硬件友好的扰动训练框架，旨在通过随机扰动网络参数来估计损失函数的梯度。与传统的扰动方法不同，MGD引入了三个时间常数，分别对应权重更新的时间、样本更新的时间和扰动更新的时间。通过调整这些时间常数，MGD可以实现多种数值梯度下降技术，如坐标下降（Coordinate Descent）和同时扰动随机逼近（Simultaneous Perturbation Stochastic Approximation, SPSA）。

在本研究中，作者将MGD框架扩展到包括权重扰动（Weight Perturbation）和节点扰动（Node Perturbation）两种方法，并讨论了每种方法的优缺点。权重扰动直接对每个权重进行扰动，而节点扰动则对激活函数的输入进行扰动，并通过单层反向传播计算权重更新。

b) 梯度估计与训练时间的分析

作者通过仿真实验，研究了MGD在不同网络规模和任务复杂度下的梯度估计时间和训练时间。实验使用了包含六个卷积层和三个全连接层的神经网络架构，并基于FashionMNIST数据集进行分类任务。网络规模通过调整每层的深度（d）来改变，参数数量从数千到数百万不等。

为了测量梯度估计的准确性，作者在每次迭代中生成一个新的梯度估计，并将其与通过反向传播计算的真实梯度进行比较。结果表明，节点扰动在梯度估计时间上优于权重扰动，因为节点扰动涉及的独立扰动数量较少。

c) 网络训练与优化

作者进一步研究了MGD在训练大规模网络时的表现。实验结果表明，MGD能够在不需要梯度平均的情况下，达到与反向传播相同的测试精度。此外，作者还验证了MGD与现有优化算法（如动量法和Adam优化器）的兼容性，并展示了这些优化器在MGD框架中的有效性。

2. 主要结果

a) 梯度估计的准确性

实验结果显示，MGD的梯度估计在足够多的迭代后能够准确逼近真实梯度。节点扰动在梯度估计时间上显著优于权重扰动，尤其是在大规模网络中。具体而言，权重扰动的梯度估计时间与网络参数数量呈线性增长，而节点扰动的梯度估计时间与网络参数数量的平方根成正比。

b) 训练时间的扩展性

尽管梯度估计时间随网络规模增加而增加，但训练时间并未遵循相同的线性增长趋势。实验表明，MGD能够在网络规模增加三个数量级的情况下，训练时间仅增加不到一个数量级。这表明，MGD在大规模网络中的扩展性优于预期。

c) 优化器的兼容性

作者展示了MGD与动量法和Adam优化器的兼容性。实验结果表明，使用Adam优化器可以显著减少训练时间，进一步证明了MGD在实际硬件中的潜力。

结论与意义

本研究表明，MGD作为一种硬件兼容的扰动训练方法，能够在大规模网络中高效训练，并达到与反向传播相当的精度。MGD的扩展性表现打破了传统扰动方法在大规模问题上扩展性差的观念，为未来的神经形态计算系统提供了一种实用的解决方案。

研究的亮点

1. 扩展性验证：MGD在大规模网络中的扩展性表现优异，打破了传统扰动方法的局限性。
2. 硬件兼容性：MGD能够在硬件中高效实现，并与现有的优化算法兼容，具有广泛的应用前景。
3. 节点扰动与权重扰动的对比：节点扰动在梯度估计时间上优于权重扰动，尤其是在大规模网络中。

其他有价值的信息

作者还探讨了MGD在不同硬件平台上的优化潜力。例如，对于写入速度较慢的非易失性存储器，可以通过增加梯度积分时间来减少权重更新的次数，从而延长硬件的使用寿命。此外，MGD框架的灵活性使其能够适应不同的硬件约束和需求。

本研究为神经形态硬件的训练提供了一种高效、可扩展的解决方案，具有重要的科学价值和应用潜力。