Diagnostic multi-centré des maladies via l’apprentissage fédéré avec projection de modèle

Introduction

Avec le développement rapide de la technologie d’imagerie médicale, les recherches basées sur les méthodes de diagnostic automatisé ont montré de bonnes performances sur des ensembles de données monocentriques. Cependant, ces méthodes ont souvent du mal à se généraliser aux données d’autres institutions médicales en pratique. La principale raison est que ces méthodes supposent généralement que les données de différents centres médicaux sont indépendantes et identiquement distribuées (IID), tandis qu’en réalité, les différents centres utilisent différents scanners et paramètres d’imagerie, ce qui conduit à des distributions non indépendantes (Non-IID). De plus, le nombre et le type de patients diagnostiqués varient également entre les centres. Par conséquent, les données multi-centrées sont hétérogènes et ne peuvent être efficacement résolues par un apprentissage centralisé.

Récemment, l’apprentissage fédéré (Federated Learning, FL), en tant que cadre décentralisé, a offert la possibilité de collaborer à l’entraînement d’un modèle global tout en préservant la confidentialité des données des patients de chaque centre. Cependant, les applications de données Non-IID dans l’apprentissage fédéré rencontrent encore deux problèmes clés : l’oubli catastrophique des clients et l’agrégation invalide sur le serveur.

Source de l’article

Cet article est rédigé par Jie Du, Wei Li, Peng Liu, Chi-Man Vong, Yongke You, Baiying Lei et Tianfu Wang, de l’Université de Shenzhen et de l’Université de Macao. Il est publié dans le journal à venir « Neural Networks », avec une date d’acceptation du manuscrit au 23 mai 2024. Pour citer cet article, veuillez utiliser la référence suivante :

Du, J., Li, W., Liu, P., Vong, C. M., You, Y., Lei, B., & Wang, T. (2024). Federated learning using model projection for multi-center disease diagnosis with non-iid data. Neural Networks. doi: https://doi.org/10.1016/j.neunet.2024.106409

Processus de recherche

Aperçu de la méthode

Cette étude propose une méthode innovante d’apprentissage fédéré en utilisant la projection de modèle (FedMOP), visant à résoudre les problèmes d’oubli catastrophique des clients et d’agrégation invalide sur le serveur. L’idée centrale de FedMOP est, via la méthode de projection de modèle, d’atteindre les objectifs suivants: 1. Éviter l’augmentation de la perte sur les données mondiales après l’entraînement local des clients (pour éviter la dégradation des performances). 2. Empêcher l’augmentation de la perte du modèle global sur les données locales (pour améliorer la vitesse de convergence).

Projection de modèle côté client (MPC)

Lors de chaque cycle de communication, les clients effectuent d’abord plusieurs cycles d’entraînement local sur leurs données, puis exécutent MPC pour réduire l’oubli catastrophique. Cette méthode, par une approximation de fonction linéaire locale et des contraintes d’optimisation, assure que la perte du modèle sur les données mondiales ne s’accroît pas, préservant ainsi le savoir reçu du serveur.

Projection de modèle côté serveur (MPS)

Après réception des paramètres de modèle téléchargés par les clients, le serveur utilise la méthode MPS pour les agréger, réduisant ainsi le problème d’agrégation invalide. De la même manière, par des contraintes d’optimisation, cette méthode garantit que la perte du modèle global sur les données locales ne s’accroît pas, accélérant ainsi la convergence.

Conception expérimentale

L’étude utilise trois ensembles de données réelles d’imagerie médicale représentant des problèmes de biais de distribution de caractéristiques et de biais de distribution d’étiquettes Non-IID, et compare les résultats obtenus avec cinq méthodes populaires d’apprentissage fédéré : FedAvg, FedProx, Scaffold, FedAGrac et FedReg.

Principaux résultats

Scénario de biais de distribution des caractéristiques

Dans des scénarios à deux et quatre clients, FedMOP surpasse significativement les autres méthodes d’apprentissage fédéré. En particulier, dans les scénarios à quatre clients, FedMOP améliore notablement la précision, avec une augmentation de 3.73% par rapport aux méthodes traditionnelles.

Scénario de biais de distribution des étiquettes

Dans les situations non uniformes et à étiquette unique des ensembles de données Covid-19 et PBC, FedMOP a montré des performances remarquables. Dans les scénarios non uniformes, la précision augmente d’au moins 1.70%, tandis que dans les scénarios à étiquette unique, notamment celui de PBC, elle augmente d’au moins 2.47%.

Vitesse de convergence et coût de communication

FedMOP présente non seulement une vitesse de convergence élevée mais réduit également efficacement le coût de communication. Dans la plupart des expériences, FedMOP atteint la plus haute précision avec le coût de communication le plus bas, prouvant ainsi son efficacité et son efficience dans la résolution des problèmes Non-IID.

Expériences d’ablation

Les expériences d’ablation ont vérifié l’efficacité de MPC et MPS. Les résultats montrent que retirer MPC seul entraîne une baisse, tandis que retirer MPS a un impact plus significatif, démontrant que les deux méthodes de projection de modèle jouent des rôles cruciaux dans l’amélioration des performances.

Conclusion et valeur

FedMOP proposé dans cette étude se démarque lorsqu’il s’agit de données Non-IID multi-centres d’imagerie médicale. Non seulement il préserve le savoir obtenu par les clients pendant leurs entraînements locaux, améliorant l’adaptabilité du modèle global aux données locales, mais il réduit également de manière significative les coûts de communication et accroît la vitesse de convergence. Plus important encore, en assurant la protection de la confidentialité des données, FedMOP atteint des précisions comparables voire supérieures à celles de l’apprentissage centralisé. Cette étude offre une nouvelle perspective et approche pour l’application de l’apprentissage fédéré aux données médicales, ouvrant de nouvelles voies pour la protection de la confidentialité des données et l’amélioration des performances des modèles.

Directions futures de la recherche

À l’avenir, l’équipe de recherche prévoit d’appliquer FedMOP à des tâches de segmentation d’images médicales afin de vérifier son efficacité dans des applications médicales plus complexes. FedMOP, par une méthode ingénieuse de projection de modèle, a obtenu des résultats significatifs dans la gestion des données Non-IID, offrant ainsi une solution à la fois pratique et efficace pour l’apprentissage fédéré dans les applications médicales.