在非凸模型和异质数据环境下解决去中心化SGD问题的一种通用的动量范式 研究背景介绍 近年来,随着物联网和边缘计算的兴起,分布式机器学习得到了迅猛发展,尤其是去中心化训练范式。然而,在实际场景中,非凸目标函数和数据异质性成为制约分布式训练效率与性能的两大瓶颈问题。 非凸优化目标函数广泛存在于深度学习模型中,它们可能存在多个局部最优解,从而导致模型精度下降、训练过程不稳定等问题。同时,在分布式环境下,参与计算的各节点持有的数据分布存在差异(即异质性),此种数据偏差会给收敛性和泛化性能带来不利影响,成为另一个亟待解决的挑战。 文章来源 本文发表于著名期刊《人工智能》(Artificial Intelligence)2024年第332期,作者来自上海电力大学计算机科学与技术学院。 研究工作 3.1 ...