这篇文档为一项关于“异质数据下复合联邦学习（composite federated learning, CFL）”问题的研究，提出了一种新颖的算法，用以解决这一问题。研究的主要贡献在于通过解耦近端算子和通信过程，能够高效处理非光滑正则化，同时通过每个工作节点使用局部更新来降低与服务器的通信频率，从而克服了数据异质性带来的挑战。本文的算法在理论上证明了其线性收敛性，并且通过数值实验验证了其在实际应用中的优越性。以下将详细介绍该文的研究背景、方法、结果及结论。
该研究由Jiaojiao Zhang、Jiang Hu和Mikael Johansson等学者共同完成，分别隶属于瑞典KTH皇家理工学院电气工程与计算机科学学院和美国哈佛大学医学院马萨诸塞州总医院。研究于2023年9月在《arXiv》上发表。本文关注的领域为联邦学习（Federated Learning，FL），一种流行的机器学习框架，尤其在面对异质数据时的挑战。
联邦学习（FL）允许多个工作节点在不共享本地数据的情况下，协作训练一个全局模型。尽管这种方法有效保护了数据隐私，但它面临着通信瓶颈和数据异质性等问题。尤其是当不同工作节点的数据分布存在显著差异时，传统的联邦平均算法（FedAvg）会遇到客户端漂移（client drift）的问题，导致算法效果不理想。因此，如何在异质数据的背景下提升联邦学习的效率和准确性，成为当前研究的重要方向。
本文提出的复合联邦学习问题涉及两个部分：一方面是数据分布不均的挑战，另一方面是如何高效处理非光滑正则化（如稀疏性或低秩等）。这也是当前联邦学习领域中的一大难题。针对这一问题，作者提出了一种新颖的算法，旨在通过局部更新和算法设计解决上述问题。
本文提出的算法设计过程包含多个关键步骤，首先解决了传统联邦学习算法在处理非光滑正则化时的不足，并有效地减少了通信次数。在每一轮通信中，工作节点只需发送一个d维的向量，而无需交换整个模型的所有信息，从而大大减少了通信开销。以下是该算法的详细流程：
算法的主要创新之一是通过解耦近端算子的评估与通信过程，来高效处理非光滑正则化问题。具体来说，每个工作节点在进行局部更新时，会维护两个模型：一个是更新前的近端模型（pre-proximal model），另一个是更新后的近端模型（post-proximal model）。在每一轮更新中，工作节点首先进行局部计算，评估当前模型的梯度信息，并根据修正项更新模型，最后将更新后的模型发送到服务器。
在数据异质性的情况下，传统的联邦学习方法容易出现客户端漂移现象，即每个工作节点的更新方向偏离全局目标。为了应对这一挑战，作者设计了一种局部修正策略，具体来说，在每一轮局部更新中，工作节点会根据其他节点的梯度信息调整自己的更新方向，从而避免了客户端漂移问题。通过这种方式，每个工作节点的更新方向接近于全局最优方向，显著减少了漂移现象对模型的影响。
在实验部分，作者选择了稀疏逻辑回归问题作为研究对象。实验数据的生成方法参考了文献[1]，其中通过设置两个参数（α, β）来控制数据的异质性。研究还设置了不同的本地更新步数（τ）和步长（η），以及使用全梯度和随机梯度的两种情况进行实验比较。实验结果显示，提出的算法在多种条件下均表现优于传统的联邦学习方法，如FedAvg、FedMid和FedDa等。
在数值实验部分，作者通过对比几种常见的联邦学习算法，验证了提出算法的有效性。首先，实验表明，在使用全梯度时，提出的算法能够精确收敛，而传统方法如FedMid和FedDa则受限于数据异质性，性能显著下降。其次，在使用随机梯度时，提出的算法依然能够在误差范围内快速收敛，而其他算法则面临着客户端漂移或步长衰减等问题，导致收敛速度较慢。
作者还通过实验分析了步长η和本地更新步数τ对算法收敛性的影响。结果表明，较小的步长会导致收敛速度较慢，但能够提高最终的准确性；而增加本地更新步数τ则可以加速收敛过程，但不会影响最终的准确性。
通过上述实验，作者证明了所提出算法的有效性，并进一步分析了其理论收敛性。在理论分析部分，作者假设了梯度和正则化函数的条件，并证明了在合适的步长条件下，算法能够线性收敛至最优解的邻域。这一结果为算法的实际应用提供了理论保障。
总体而言，本文的算法在理论上和实验上均展示了显著的优势。首先，解耦近端算子与通信过程，使得算法能够有效处理非光滑正则化问题；其次，通过局部更新与修正项的设计，算法有效避免了客户端漂移问题，从而提高了收敛速度和模型的准确性；最后，算法的通信开销低，仅需要传输一个d维的向量，大大减少了通信负担，适合在大规模异质数据环境下应用。
本文提出的算法具有重要的科学价值和应用意义。在科学价值方面，算法的提出不仅解决了联邦学习中异质数据和非光滑正则化问题，还为未来相关研究提供了新的思路和方法。在实际应用中，该算法可以广泛应用于各类需要保护数据隐私的大规模分布式学习场景，例如智能医疗、金融预测、物联网等领域。通过减少通信开销和提高收敛速度，能够大幅提升联邦学习在实际中的应用效果。
本文的亮点主要体现在以下几个方面：
解耦近端算子与通信过程：通过这种创新的设计，算法能够高效处理非光滑正则化问题，同时减少了通信频率。
客户端漂移的修正机制：通过引入修正项，避免了客户端漂移问题，使得每个工作节点能够更接近全局最优解。
数值实验验证：通过对比实验，证明了提出算法在多种情况下优于现有的联邦学习方法，特别是在数据异质性较大的场景中。
本文的研究为异质数据环境下的联邦学习提供了新的解决方案，具有重要的理论和实际意义。