Sélection de caractéristiques rentable pour l'apprentissage fédéré horizontal

Informatique Sciences de l'information Intelligence artificielle
Apprentissage fédéré Sélection de caractéristiques Optimisation multiobjectif Information mutuelle Clustering

Nouvelle méthode de sélection de caractéristiques efficace pour l’apprentissage horizontal fédéré

Fond de recherche

L’apprentissage fédéré horizontal (Horizontal Federated Learning, HFL) est une approche émergente dans l’apprentissage automatique distribué visant à protéger la confidentialité des données. Dans le cadre du HFL, chaque client partage un espace de caractéristiques commun mais possède des échantillons de données distincts. Les défis principaux résident dans : - La sélection de caractéristiques incohérente entre les clients, affectant la stabilité des modèles globaux. - La redondance des caractéristiques et le problème de dimensionnalité, qui augmentent les coûts et rallongent les durées d’entraînement.

Dans cet article, les auteurs introduisent une méthode innovante appelée Fed-MOFS (Federated Multi-Objective Optimization Feature Selection) combinant optimisation multi-objectif et mutual information (MI) pour résoudre ces problèmes dans un cadre de HFL.

Source de l’article

Le papier intitulé “Cost-Efficient Feature Selection for Horizontal Federated Learning”, écrit par Sourasekhar Banerjee et al., a été publié en décembre 2024 dans IEEE Transactions on Artificial Intelligence. Cette recherche a été réalisée en collaboration entre l’Université d’Umeå (Suède) et l’Université de Tezpur (Inde) avec le soutien de la Fondation Knut et Alice Wallenberg.

Méthodologie

Fed-MOFS : Sélection de caractéristiques par optimisation multi-objectif

La méthode Fed-MOFS présente une approche hybride pour l’évaluation des caractéristiques en local et en global : 1. Sélection locale des caractéristiques
Chaque client utilise la mutual information (MI) pour évaluer la pertinence (Fcmi) et la redondance (Affmi) des caractéristiques. Ces scores sont ensuite optimisés par clustering (K-Means) pour extraire un sous-ensemble de caractéristiques locales.
2. Optimisation globale par le serveur
- Les scores Fcmi/Affmi des caractéristiques sélectionnées localement sont agrégés par le serveur.
- Une optimisation multi-objectif est appliquée pour maximiser la pertinence et minimiser la redondance via les solutions Pareto, générant ainsi un classement global des caractéristiques.
3. Entraînement du modèle global
Les caractéristiques classées sont utilisées par les clients pour entraîner conjointement un modèle global via l’algorithme FedAvg ou un “Federated Forest”.

Fed-FIS : Méthode comparative

Les auteurs ont également testé une méthode alternative appelée Fed-FIS, qui attribue un score à chaque caractéristique en évaluant sa pertinence moins sa redondance (Score = Fcmi - λAffmi) pour produire un classement global sans optimisation multi-objectif.

Résultats expérimentaux

Données multiples vérifiées

Les expérimentations incluent des datasets variés comme NSL-KDD99, IoT, ISOLET et des tâches de classification ainsi que de régression. Les performances des algorithmes ont été analysées sur des données IID et non-IID avec des clients allant de 5 à 100. Les résultats montrent la supériorité de Fed-MOFS.

Performances sur les données IID

Les performances ont été mesurées en termes d’accuracy et de F1-Score sur 12 ensembles de données IID : - Fed-MOFS surclasse les méthodes concurrentes sur 7 datasets sur 12, montrant une capacité accrue à réduire jusqu’à 50% des caractéristiques sans perte de précision.
- Sur les datasets “Vehicle” et “Segmentation”, Fed-MOFS atteint respectivement 70% et 45% d’accuracy tout en utilisant moins de caractéristiques que les méthodes classiques.

Tâches de régression

Dans les tasks de régression (datasets “Boston Housing” et “California Housing”) : - Fed-MOFS et Fed-FIS affichent des erreurs quadratiques moyennes (RMSE) inférieures à 9.0 tout en sélectionnant 71% à 77% des caractéristiques, surpassant le Fed-MRMR.

Évaluations avancées

Données Non-IID

Un facteur non-IID (γ) a été introduit pour mesurer l’hétérogénéité des données sur 100 clients : - Avec γ=0.8, Fed-MOFS dépasse toutes les méthodes sur IoT (91%) et “Synthetic” (98%).
- Fed-FIS affiche des performances légèrement inférieures sur ces mêmes datasets, mais reste compétitif.

Scalabilité et Stabilité

  • Scalabilité : Les algorithmes fonctionnent bien avec une participation partielle des clients (δ entre 10% et 80%).
  • Stabilité : Fed-MOFS conserve des résultats stables tout en réduisant plus de 50% de caractéristiques redondantes.

Efficience et Convergence

  • Fed-MOFS et Fed-FIS surpassent largement les approches existantes tel que FSHFL, avec un temps d’exécution jusqu’à 2× plus rapide sur des datasets volumineux.
  • Les tests montrent que la convergence n’est pas affectée même avec une forte réduction des caractéristiques.

Contributions principales

  1. Introduction de Fed-MOFS, une méthode d’optimisation multi-objectif pour un classement global des caractéristiques dans un cadre de HFL.
  2. Comparaison extensive de Fed-MOFS avec des approches centrales (ANOVA, RFE) et distribuées (Fed-MRMR, FSHFL) sur divers ensembles de données.
  3. Validation des algorithmes sur données hétérogènes (Non-IID) et avec une participation client partielle, démontrant leur robustesse et applicabilité.

Conclusion et perspectives

L’approche Fed-MOFS s’avère être une solution robuste et efficiente pour la sélection de caractéristiques dans les scénarios fédérés horizontaux. Elle permet une réduction significative des caractéristiques tout en maintenant des performances élevées, même dans des conditions de données hétérogènes et avec une participation partielle des clients.

Les travaux futurs visent à : - Étendre Fed-MOFS à des applications multi-modales. - Explorer l’adaptation de cette méthode pour des tâches complexes comme la détection d’anomalies ou la reconnaissance d’activités humaines.