Inférence Privée Efficace dans les Réseaux de Neurones Profonds : Une Étude Révolutionnaire du Cadre PrivCore

Introduction Contextuelle

Avec le développement rapide des technologies d’apprentissage profond, les réseaux de neurones profonds (Deep Neural Networks, DNNs) sont de plus en plus utilisés dans des domaines tels que la reconnaissance d’images, le traitement du langage naturel et le diagnostic médical. Cependant, avec la demande croissante de protection de la vie privée des données et des modèles, la réalisation d’une inférence de modèle efficace tout en protégeant la vie privée des utilisateurs est devenue un sujet de recherche important. Les méthodes traditionnelles d’inférence privée, telles que l’inférence privée basée sur le calcul multipartite sécurisé (Secure Multi-Party Computation, MPC), bien qu’excellentes en matière de protection de la vie privée, entraînent des coûts de calcul et de communication élevés, ce qui rend difficile leur adoption généralisée dans les applications pratiques.

Ces dernières années, les chercheurs ont tenté d’optimiser l’architecture des réseaux pour réduire les coûts de calcul et de communication dans l’inférence privée. Cependant, la plupart des recherches existantes se concentrent sur la réduction des coûts des opérations non linéaires (comme les fonctions d’activation ReLU), tout en négligeant l’optimisation des opérations linéaires (comme les convolutions). En fait, les opérations de convolution représentent la majorité des coûts de communication dans l’inférence privée. Par conséquent, la question de savoir comment optimiser conjointement les opérations linéaires et non linéaires tout en maintenant la précision de l’inférence est devenue un problème urgent à résoudre.

Source de l’Article

Cet article, intitulé “PrivCore: Multiplication-Activation Co-Reduction for Efficient Private Inference”, a été rédigé par Zhi Pang, Lina Wang, Fangchao Yu, Kai Zhao, Bo Zeng et Shuwang Xu de l’École de Cybersécurité de l’Université de Wuhan. L’article a été publié en 2025 dans la revue Neural Networks (Volume 187, page 107307). Cette étude propose un cadre appelé PrivCore, qui améliore significativement l’efficacité de l’inférence privée en optimisant conjointement les opérations linéaires et non linéaires.

Processus et Détails de la Recherche

1. Objectifs et Aperçu du Cadre

L’objectif principal de PrivCore est de réduire les coûts de calcul et de communication dans l’inférence privée en optimisant conjointement les opérations de convolution et ReLU, tout en maintenant la précision du modèle. Plus précisément, le cadre PrivCore comprend deux étapes principales : l’étape d’optimisation linéaire et l’étape d’optimisation non linéaire. Dans l’étape d’optimisation linéaire, PrivCore réduit le nombre de multiplications dans les opérations de convolution grâce à la convolution Winograd et à l’élagage structuré. Dans l’étape d’optimisation non linéaire, PrivCore sélectionne automatiquement les fonctions d’activation ReLU redondantes par analyse de sensibilité et les remplace par des approximations polynomiales, réduisant ainsi les coûts des opérations non linéaires.

2. Étape d’Optimisation Linéaire : Convolution Winograd et Élagage Structuré

2.1 Convolution Winograd

La convolution Winograd est un algorithme de convolution rapide qui peut réduire le nombre de multiplications en augmentant les opérations d’addition, réduisant ainsi les coûts de communication. PrivCore convertit d’abord les opérations de convolution standard en domaine Winograd, en utilisant les avantages de l’algorithme Winograd pour réduire le nombre de multiplications dans les opérations de convolution. Plus précisément, la convolution Winograd est réalisée en quatre étapes : transformation d’entrée, transformation des poids, multiplication matricielle élément par élément et transformation de sortie.

2.2 Élagage Structuré

Pour réduire davantage le nombre de multiplications dans les opérations de convolution, PrivCore propose deux méthodes d’élagage structuré : l’élagage de filtre sensible à Winograd (WAFP) et l’élagage de vecteur sensible à Winograd (WAVP). Le WAFP effectue l’élagage des filtres dans le domaine spatial, en conservant la sparsité structurée dans le domaine Winograd ; le WAVP effectue l’élagage des vecteurs dans le domaine Winograd, réduisant ainsi davantage le nombre de multiplications dans les opérations de convolution.

• WAFP : Le WAFP calcule un score d’importance sensible à Winograd pour les filtres, et sélectionne les filtres les moins importants pour l’élagage. Cette méthode prend en compte non seulement l’importance des filtres dans le domaine spatial, mais aussi la sparsité des poids dans le domaine Winograd, permettant ainsi de maintenir une précision élevée du modèle après l’élagage.

• WAVP : Le WAVP regroupe les vecteurs de poids dans le domaine Winograd et effectue l’élagage en fonction de la norme L2 des vecteurs. Le WAVP prend en charge deux modes d’élagage : l’élagage inter-noyaux (WAVP-CK) et l’élagage inter-filtres (WAVP-CF). Les expériences montrent que l’élagage inter-filtres est plus performant dans les cas d’élagage intensif, et est donc adopté dans les expériences suivantes.

3. Étape d’Optimisation Non Linéaire : Analyse de Sensibilité et Approximation Polynomiale

Dans l’étape d’optimisation non linéaire, PrivCore sélectionne automatiquement les fonctions d’activation ReLU redondantes par analyse de sensibilité, et les remplace par des approximations polynomiales, réduisant ainsi les coûts des opérations non linéaires.

3.1 Analyse de Sensibilité

PrivCore propose une méthode d’évaluation de l’importance des ReLU basée sur la sensibilité. Plus précisément, PrivCore paramétrise la fonction ReLU comme une fonction mixte entraînable, et calcule un score de sensibilité pour les paramètres ReLU, évaluant ainsi l’impact de chaque ReLU sur la performance du modèle. Un score de sensibilité élevé indique que le ReLU a un impact important sur la performance du modèle, tandis qu’un score faible indique que le ReLU est redondant et peut être supprimé.

3.2 Approximation Polynomiale

Pour les ReLU marqués comme redondants, PrivCore utilise un polynôme du second degré entraînable pour l’approximation. Les coefficients du polynôme sont optimisés pendant l’entraînement pour minimiser les différences entre les représentations intermédiaires du modèle original et du modèle optimisé. De cette manière, PrivCore réduit les opérations non linéaires tout en maintenant la précision de l’inférence.

4. Résultats Expérimentaux et Conclusion

PrivCore a mené des expériences approfondies sur plusieurs modèles et ensembles de données, validant son efficacité. Les résultats montrent que PrivCore a réduit la communication de 2,2 fois par rapport à SENet (ICLR 2023) sur le jeu de données CIFAR-100, tout en améliorant la précision de 1,8 % ; sur le jeu de données ImageNet, PrivCore a réduit la communication de 2,0 fois par rapport à CoPriv (NeurIPS 2023) tout en maintenant la même précision.

• Optimisation de la Communication et de la Latence : En optimisant conjointement les opérations de convolution et ReLU, PrivCore a significativement réduit les coûts de communication et de latence dans l’inférence privée. Les expériences montrent que PrivCore a atteint le meilleur compromis entre communication, latence et précision sur les jeux de données CIFAR-100, Tiny-ImageNet et ImageNet.

• Maintien de la Précision du Modèle : Bien que PrivCore ait considérablement réduit les coûts de communication et de latence, sa précision d’inférence sur plusieurs jeux de données est comparable à celle des méthodes existantes, et même améliorée dans certains cas.

Points Forts et Signification de la Recherche

1. Optimisation Conjointe des Opérations Linéaires et Non Linéaires : PrivCore est le premier à proposer une optimisation conjointe des opérations de convolution et ReLU pour réduire les coûts de calcul et de communication dans l’inférence privée, comblant ainsi une lacune dans les recherches existantes.

2. Élagage Structuré Sensible à Winograd : La méthode d’élagage sensible à Winograd proposée par PrivCore permet de maintenir la sparsité structurée dans le domaine Winograd, réduisant ainsi les opérations de convolution tout en maintenant la précision du modèle.

3. Analyse de Sensibilité et Approximation Polynomiale : PrivCore sélectionne automatiquement les ReLU redondants par analyse de sensibilité et les remplace par des approximations polynomiales, réduisant davantage les coûts des opérations non linéaires.

Conclusion

Le cadre PrivCore améliore significativement l’efficacité de l’inférence privée en optimisant conjointement les opérations linéaires et non linéaires, tout en maintenant la précision de l’inférence. Cette recherche fournit non seulement une nouvelle solution pour l’inférence privée, mais ouvre également de nouvelles perspectives pour l’optimisation efficace des réseaux de neurones profonds. Avec la demande croissante de protection de la vie privée des données et des modèles, le cadre PrivCore est susceptible de jouer un rôle important dans les applications pratiques.