学术背景 随着人工智能（AI）模型的日益复杂和数据隐私保护的需求增加，联邦学习（Federated Learning, FL）作为一种分布式机器学习范式，逐渐成为研究热点。联邦学习允许多个客户端在不共享本地数据的情况下协同训练一个全局模型，从而在保护数据隐私的同时提升模型的泛化能力。然而，联邦学习在实际应用中面临三大挑战：1）模型参数过多导致通信负担过重；2）非独立同分布（Non-IID）数据导致全局模型性能下降；3）模型异构性使得传统的联邦聚合方法失效。 为了解决这些问题，本文提出了一种名为FedGPT的创新方法，通过在低秩张量空间中学习全局提示（Global Prompt），有效应对上述挑战。具体来说，FedGPT使用提示（Prompt）而非模型参数作为本地知识的载体，从而大幅减少通信量...

引言: 当前,预训练语言模型(PLM)在自然语言处理领域获得了广泛应用,但它们存在继承并放大训练语料中的社会偏见的问题。社会偏见可能导致PLM在现实应用中产生不可预测的风险,如自动求职筛选系统会由于性别偏见而将需要逻辑能力的工作(如医生、程序员等)倾向于分配给男性,将需要照顾能力的工作(如护士、保姆等)分配给女性;医疗系统则可能存在种族偏见,计算显示在相同风险水平下,黑人病人比白人病人更”虚弱”。因此,消除PLM编码中的社会偏见成为一个富有意义且具有挑战性的研究领域。 论文来源: 该论文发表于2024年的权威期刊《人工智能》(Artificial Intelligence)第332期,第作者为李颖吉,第二作者为Mengnan Du,其余作者分别来自吉林大学计算机科学与技术学院、新泽西理工学院...