FedGPT:低秩张量空间中学习全局提示用于异构联邦学习
学术背景 随着人工智能(AI)模型的日益复杂和数据隐私保护的需求增加,联邦学习(Federated Learning, FL)作为一种分布式机器学习范式,逐渐成为研究热点。联邦学习允许多个客户端在不共享本地数据的情况下协同训练一个全局模型,从而在保护数据隐私的同时提升模型的泛化能力。然而,联邦学习在实际应用中面临三大挑战:1)模型参数过多导致通信负担过重;2)非独立同分布(Non-IID)数据导致全局模型性能下降;3)模型异构性使得传统的联邦聚合方法失效。 为了解决这些问题,本文提出了一种名为FedGPT的创新方法,通过在低秩张量空间中学习全局提示(Global Prompt),有效应对上述挑战。具体来说,FedGPT使用提示(Prompt)而非模型参数作为本地知识的载体,从而大幅减少通信量...