FedRVR ：基于关系引导的多功能正则化的联邦半监督学习

计算机科学 信息科学 人工智能
联邦学习 半监督学习 多功能正则化 关系引导 模型聚合 数据隐私 去中心化训练

学术背景与问题提出

随着数据隐私问题的日益突出，联邦学习（Federated Learning, FL）作为一种去中心化的机器学习范式，逐渐成为研究热点。联邦学习允许多个客户端在不共享数据的情况下协作训练一个全局模型，从而保护数据隐私。然而，现有的联邦学习方法通常假设每个客户端的数据都是完全标注的，这在实际应用中往往是不现实的，尤其是在标注能力有限的情况下。为了解决这一问题，联邦半监督学习（Federated Semi-Supervised Learning, FSSL）应运而生。FSSL 旨在利用大量未标注的数据进行知识挖掘，从而在保护隐私的同时提升模型性能。

然而，现有的 FSSL 方法主要依赖于数据增强来保持局部模型与全局模型之间的一致性，这导致了分类器的偏差，并且在未标注客户端数据分布不均衡时表现不佳。为了解决这些问题，本文提出了一种新的 FSSL 框架——关系引导的多功能正则化（Relation-Guided Versatile Regularization, FedRVR）。该框架通过在客户端引入多功能正则化，并在服务器端采用关系引导的聚合策略，显著提升了局部训练效率和全局模型的鲁棒性。

论文来源与作者信息

本文由 Qiushi Yang、Zhen Chen、Zhe Peng 和 Yixuan Yuan 共同撰写，分别来自香港城市大学电气工程系、香港人工智能与机器人中心（CAIR）、香港理工大学工业与系统工程系以及香港中文大学电子工程系。论文于 2024 年 12 月 10 日被接受，并发表在 International Journal of Computer Vision 期刊上。

研究流程与实验设计

1. 研究流程概述

FedRVR 框架由两个核心组件构成：多功能正则化和关系引导的聚合策略。多功能正则化在客户端通过引入两个极端的全局模型（一个能力较强，一个能力较弱）来提供更丰富的正则化约束，从而提升局部模型的训练效果。关系引导的聚合策略则在服务器端通过模型关系预测器来捕捉客户端模型之间的关系，并基于这些关系进行模型聚合，生成更鲁棒的全局模型。

2. 多功能正则化

在未标注的客户端，FedRVR 通过多功能正则化来提升局部模型的训练效果。具体来说，多功能正则化包括数据引导的正则化和模型引导的正则化。

  • 数据引导的正则化：通过数据增强技术，FedRVR 利用全局模型生成的伪标签来指导局部模型的训练。具体来说，全局模型对弱增强的数据进行预测，生成伪标签，局部模型则对强增强的数据进行预测，并要求其与伪标签保持一致。

  • 模型引导的正则化：FedRVR 引入了一个能力较弱的全局模型，通过其生成的特征来增强局部模型的训练。具体来说，较弱的全局模型生成的特征被输入到局部分类器中，并要求其预测结果与局部模型的预测结果保持一致。

通过这两种正则化，FedRVR 能够在客户端提供更丰富的正则化约束，从而提升局部模型的训练效果。

3. 关系引导的聚合策略

在服务器端，FedRVR 通过关系引导的聚合策略来生成鲁棒的全局模型。具体来说，服务器通过模型关系预测器来捕捉客户端模型之间的关系，并基于这些关系进行模型聚合。

  • 模型关系预测器：服务器通过一个参数化的关系预测器来捕捉客户端模型之间的成对关系，并生成模型排名。基于这些排名，服务器可以生成一个能力较强的全局模型和一个能力较弱的全局模型。能力较强的全局模型用于提升全局训练的效果，而能力较弱的全局模型则用于增强局部模型的正则化。

通过这种关系引导的聚合策略，FedRVR 能够在服务器端生成更鲁棒的全局模型，从而提升全局训练的效果。

实验结果与分析

1. 实验设置

FedRVR 在三个 FSSL 基准数据集（CIFAR-10、CIFAR-100 和 ISIC-2018）上进行了广泛的实验验证。实验考虑了两种 FSSL 设置：标注-未标注客户端和部分标注客户端，并在不同的数据分布（IID 和非 IID）下进行了测试。

2. 主要结果

实验结果表明，FedRVR 在多种联邦学习设置下均优于现有的 FSSL 方法。具体来说，在标注-未标注客户端设置下，FedRVR 在 CIFAR-10、CIFAR-100 和 ISIC-2018 数据集上的平均准确率分别比第二好的方法高出 1.21%、1.67% 和 1.62%。在部分标注客户端设置下，FedRVR 同样表现出色，显著优于其他方法。

3. 消融实验

为了验证 FedRVR 各个组件的有效性，作者进行了消融实验。实验结果表明，关系引导的聚合策略和多功能正则化均对提升模型性能有显著贡献。具体来说，关系引导的聚合策略在 IID 和非 IID 设置下分别带来了 1.26% 和 0.88% 的准确率提升，而多功能正则化则分别带来了 2.06% 和 1.31% 的准确率提升。

结论与意义

本文提出的 FedRVR 框架通过多功能正则化和关系引导的聚合策略，显著提升了联邦半监督学习的性能。具体来说，FedRVR 在客户端通过引入两个极端的全局模型来提供更丰富的正则化约束，从而提升局部模型的训练效果；在服务器端通过模型关系预测器来生成更鲁棒的全局模型，从而提升全局训练的效果。实验结果表明，FedRVR 在多种联邦学习设置下均优于现有的 FSSL 方法，具有重要的科学价值和应用前景。

研究亮点

  1. 多功能正则化：FedRVR 首次在客户端同时引入数据引导和模型引导的正则化，显著提升了局部模型的训练效果。
  2. 关系引导的聚合策略：FedRVR 通过模型关系预测器来捕捉客户端模型之间的关系，并基于这些关系进行模型聚合，生成更鲁棒的全局模型。
  3. 广泛的实验验证：FedRVR 在多个 FSSL 基准数据集上进行了广泛的实验验证，结果表明其在多种联邦学习设置下均优于现有的 FSSL 方法。

其他有价值的信息

FedRVR 的源代码将公开发布，以便其他研究者复现和改进。此外，FedRVR 还可以扩展到标准的联邦学习中，进一步提升其应用范围。