Contexte académique et problématique

Avec les préoccupations croissantes concernant la confidentialité des données, l’apprentissage fédéré (Federated Learning, FL) est devenu un sujet de recherche important. Le FL permet à plusieurs clients de collaborer pour entraîner un modèle global sans partager leurs données, protégeant ainsi la confidentialité des données. Cependant, les méthodes actuelles de FL supposent généralement que les données de chaque client sont entièrement annotées, ce qui est souvent irréaliste dans des scénarios pratiques, en particulier lorsque les capacités d’annotation sont limitées. Pour résoudre ce problème, l’apprentissage semi-supervisé fédéré (Federated Semi-Supervised Learning, FSSL) a émergé. Le FSSL vise à exploiter les connaissances à partir de grandes quantités de données non annotées tout en protégeant la confidentialité des données.

Cependant, les méthodes FSSL existantes reposent principalement sur l’augmentation des données pour maintenir la cohérence entre les modèles locaux et globaux, ce qui entraîne des biais dans les classificateurs et des performances médiocres lorsque les données des clients non annotés sont déséquilibrées. Pour résoudre ces problèmes, cet article propose un nouveau cadre FSSL appelé Relation-Guided Versatile Regularization (FedRVR). Ce cadre introduit une régularisation polyvalente côté client et une stratégie d’agrégation guidée par les relations côté serveur, améliorant ainsi l’efficacité de l’entraînement local et la robustesse du modèle global.

Source de l’article et informations sur les auteurs

Cet article est co-écrit par Qiushi Yang, Zhen Chen, Zhe Peng et Yixuan Yuan, respectivement affiliés au Département de génie électrique de la City University of Hong Kong, au Centre pour l’intelligence artificielle et la robotique (CAIR) de Hong Kong, au Département de génie industriel et des systèmes de la Hong Kong Polytechnic University et au Département de génie électronique de la Chinese University of Hong Kong. L’article a été accepté le 10 décembre 2024 et publié dans le International Journal of Computer Vision.

Processus de recherche et conception expérimentale

1. Aperçu du processus de recherche

Le cadre FedRVR est composé de deux éléments clés : la régularisation polyvalente et la stratégie d’agrégation guidée par les relations. La régularisation polyvalente introduit deux modèles globaux extrêmes (un fort et un faible) côté client pour fournir des contraintes de régularisation plus riches, améliorant ainsi l’entraînement des modèles locaux. La stratégie d’agrégation guidée par les relations utilise un prédicteur de relations côté serveur pour capturer les relations entre les modèles clients et effectuer une agrégation basée sur ces relations, générant ainsi des modèles globaux plus robustes.

2. Régularisation polyvalente

Côté client, FedRVR utilise la régularisation polyvalente pour améliorer l’entraînement des modèles locaux. Plus précisément, la régularisation polyvalente comprend une régularisation guidée par les données et une régularisation guidée par les modèles.

• Régularisation guidée par les données : En utilisant des techniques d’augmentation de données, FedRVR utilise les pseudo-labels générés par le modèle global pour guider l’entraînement du modèle local. Concrètement, le modèle global prédit les données faiblement augmentées pour générer des pseudo-labels, tandis que le modèle local prédit les données fortement augmentées et doit rester cohérent avec les pseudo-labels.

• Régularisation guidée par les modèles : FedRVR introduit un modèle global plus faible pour générer des caractéristiques perturbées qui améliorent l’entraînement du modèle local. Les caractéristiques générées par le modèle global plus faible sont utilisées comme entrées pour le classificateur local, et leurs prédictions doivent rester cohérentes avec celles du modèle local.

Grâce à ces deux régularisations, FedRVR fournit des contraintes de régularisation plus riches côté client, améliorant ainsi l’entraînement des modèles locaux.

3. Stratégie d’agrégation guidée par les relations

Côté serveur, FedRVR utilise une stratégie d’agrégation guidée par les relations pour générer des modèles globaux robustes. Plus précisément, le serveur utilise un prédicteur de relations pour capturer les relations entre les modèles clients et effectuer une agrégation basée sur ces relations.

• Prédicteur de relations : Le serveur utilise un prédicteur de relations paramétrique pour capturer les relations par paires entre les modèles clients et générer un classement des modèles. Sur la base de ce classement, le serveur peut générer un modèle global fort et un modèle global faible. Le modèle global fort est utilisé pour améliorer l’entraînement global, tandis que le modèle global faible est utilisé pour renforcer la régularisation des modèles locaux.

Grâce à cette stratégie d’agrégation guidée par les relations, FedRVR peut générer des modèles globaux plus robustes côté serveur, améliorant ainsi l’entraînement global.

Résultats expérimentaux et analyse

1. Configuration expérimentale

FedRVR a été largement testé sur trois ensembles de données de référence FSSL (CIFAR-10, CIFAR-100 et ISIC-2018). Les expériences ont pris en compte deux configurations FSSL : clients annotés et non annotés et clients partiellement annotés, et ont été testées sous différentes distributions de données (IID et non IID).

2. Résultats principaux

Les résultats expérimentaux montrent que FedRVR surpasse les méthodes FSSL existantes dans divers paramètres d’apprentissage fédéré. Plus précisément, dans la configuration clients annotés et non annotés, FedRVR a amélioré la précision moyenne de 1,21 %, 1,67 % et 1,62 % sur les ensembles de données CIFAR-10, CIFAR-100 et ISIC-2018, respectivement, par rapport à la deuxième meilleure méthode. Dans la configuration clients partiellement annotés, FedRVR a également montré des performances supérieures, surpassant de manière significative les autres méthodes.

3. Études d’ablation

Pour vérifier l’efficacité des différents composants de FedRVR, les auteurs ont mené des études d’ablation. Les résultats montrent que la stratégie d’agrégation guidée par les relations et la régularisation polyvalente contribuent de manière significative à l’amélioration des performances du modèle. Plus précisément, la stratégie d’agrégation guidée par les relations a amélioré la précision de 1,26 % et 0,88 % dans les configurations IID et non IID, respectivement, tandis que la régularisation polyvalente a amélioré la précision de 2,06 % et 1,31 %.

Conclusion et signification

Le cadre FedRVR proposé dans cet article améliore significativement les performances de l’apprentissage semi-supervisé fédéré grâce à la régularisation polyvalente et à la stratégie d’agrégation guidée par les relations. Plus précisément, FedRVR introduit deux modèles globaux extrêmes côté client pour fournir des contraintes de régularisation plus riches, améliorant ainsi l’entraînement des modèles locaux. Côté serveur, FedRVR utilise un prédicteur de relations pour générer des modèles globaux plus robustes, améliorant ainsi l’entraînement global. Les résultats expérimentaux montrent que FedRVR surpasse les méthodes FSSL existantes dans divers paramètres d’apprentissage fédéré, offrant une valeur scientifique et des perspectives d’application importantes.

Points forts de la recherche

1. Régularisation polyvalente : FedRVR introduit pour la première fois une régularisation guidée par les données et par les modèles côté client, améliorant significativement l’entraînement des modèles locaux.
2. Stratégie d’agrégation guidée par les relations : FedRVR utilise un prédicteur de relations pour capturer les relations entre les modèles clients et effectuer une agrégation basée sur ces relations, générant ainsi des modèles globaux plus robustes.
3. Validation expérimentale étendue : FedRVR a été largement testé sur plusieurs ensembles de données de référence FSSL, montrant des performances supérieures dans divers paramètres d’apprentissage fédéré.

Autres informations utiles

Le code source de FedRVR sera publié pour permettre à d’autres chercheurs de reproduire et d’améliorer le cadre. De plus, FedRVR peut être étendu à l’apprentissage fédéré standard, élargissant ainsi son champ d’application.