学術的背景 人工知能（AI）モデルの複雑化とデータプライバシー保護の必要性が高まる中、連邦学習（Federated Learning, FL）は分散型機械学習のパラダイムとして研究の焦点となっています。連邦学習は、複数のクライアントがローカルデータを共有することなく、グローバルモデルを協調的に訓練することを可能にし、データプライバシーを保護しながらモデルの汎化能力を向上させます。しかし、連邦学習は実際の応用において以下の3つの課題に直面しています：1）モデルパラメータが多すぎるために通信負荷が大きい、2）非独立同分布（Non-IID）データによりグローバルモデルの性能が低下する、3）モデルの異質性により従来の連邦集約方法が機能しない。 これらの問題を解決するため、本論文ではFedGPTという...

導入: 現在、事前学習済み言語モデル(PLM)は自然言語処理分野で広く応用されていますが、学習用データ中の社会的偏りを継承し、増幅する問題があります。社会的偏りがあると、PLMの実際の応用において予期せぬリスクが生じる可能性があります。例えば、自動求職選考システムでは性別による偏りのために、論理力が必要な仕事(医者、プログラマーなど)は男性に割り当てられ、介護力が必要な仕事(看護師、ベビーシッターなど)は女性に割り当てられる可能性があります。医療システムでは人種による偏りがある可能性があり、同じリスク水準でも黒人患者の方が白人患者より「虚弱」と評価される可能性があります。そのため、PLMに組み込まれた社会的偏りを除去することは、意義があり、チャレンジングな研究分野となっています。 論文の出所...