FedGPT:低秩张量空间中学习全局提示用于异构联邦学习

学术背景 随着人工智能(AI)模型的日益复杂和数据隐私保护的需求增加,联邦学习(Federated Learning, FL)作为一种分布式机器学习范式,逐渐成为研究热点。联邦学习允许多个客户端在不共享本地数据的情况下协同训练一个全局模型,从而在保护数据隐私的同时提升模型的泛化能力。然而,联邦学习在实际应用中面临三大挑战:1)模型参数过多导致通信负担过重;2)非独立同分布(Non-IID)数据导致全局模型性能下降;3)模型异构性使得传统的联邦聚合方法失效。 为了解决这些问题,本文提出了一种名为FedGPT的创新方法,通过在低秩张量空间中学习全局提示(Global Prompt),有效应对上述挑战。具体来说,FedGPT使用提示(Prompt)而非模型参数作为本地知识的载体,从而大幅减少通信量...

使用模型投影的联邦学习进行多中心疾病诊断

使用模型投影的联邦学习进行多中心疾病诊断

使用模型投影的联邦学习进行多中心疾病诊断 背景介绍 随着医学影像技术的快速发展,基于自动化诊断方法的研究在单中心数据集上表现出良好的性能。然而,这些方法在实际应用中往往难以泛化到其他医疗机构的数据。主要原因是这些方法通常假设不同医疗中心的数据是独立同分布(IID)的,而实际上不同中心由于使用不同的扫描仪和成像参数,导致数据分布非独立同分布(Non-IID)。此外,不同中心诊断的患者数量和种类也存在较大差异。因此,多中心的数据具有异质性,无法通过集中化学习(Centralized Learning)有效解决这一问题。 近年来,联邦学习(Federated Learning,FL)作为一种去中心化框架,为多中心协同训练全球模型提供了可能,同时还保留了各中心患者数据的隐私。然而,Non-IID数据...