Méthode de réduction de filtres basée sur la décomposition tensorielle efficace

Sciences de l'information Intelligence artificielle Automatique
compression de réseau décompositions tensorielle élagage de filtre réseaux neuronaux convolutifs approximation de faible rang

Introduction

La réduction de réseau (Network Pruning) est une technique importante pour concevoir des modèles efficaces de réseaux neuronaux convolutifs (CNNs). Elle permet de réduire l’occupation de la mémoire et les exigences de calcul, tout en maintenant ou en améliorant les performances globales, rendant ainsi possible le déploiement des CNNs sur des appareils à ressources limitées (comme les téléphones ou les systèmes embarqués). L’hypothèse actuelle est que plusieurs paramètres du modèle sont trop nombreux, c’est-à-dire qu’ils contiennent beaucoup de paramètres inutiles ou redondants. En réduisant ces paramètres redondants, il est possible de produire des modèles plus petits et plus efficaces, ce qui est non seulement applicable aux appareils à ressources limitées, mais peut aussi, dans certains cas, améliorer la capacité de généralisation du modèle.

Parmi les méthodes de réduction existantes, la réduction par filtrage (Filter Pruning) et la réduction des poids (Weight Pruning) sont des techniques populaires. La réduction des poids est une réduction non structurée, où l’on réduit les poids individuels selon leur importance sans tenir compte d’une structure ou d’un motif spécifique. En revanche, la réduction par filtrage est une méthode structurée qui réduit un filtre entier basé sur certains critères, tout en maintenant la structure globale du réseau.

Les premières méthodes de sélection des filtres déterminaient leur importance en mesurant seulement les informations propres de chaque filtre, mais ignoraient la corrélation entre les filtres, ce qui entraînait une redondance élevée. Quelques avancées récentes montrent que l’utilisation de la corrélation ou de la similitude entre les filtres / cartes de caractéristiques pour éliminer les filtres redondants peut apporter des avantages significatifs, car des filtres similaires peuvent générer des caractéristiques redondantes, une redondance qui peut être compensée lors du processus d’ajustement fin ultérieur. Bien que certains résultats notables aient été obtenus, plusieurs méthodes de pointe présentent encore des limitations non complètement résolues, comme le fait de transformer les filtres tensorielles tridimensionnels en matrice bidimensionnelle ou vectorielles unidimensionnelles pour calculer la similitude des filtres, ce qui peut entraîner une perte d’informations spatiales ou temporelles.

Source

Cet article de recherche intitulé « Efficienct Tensor Decomposition-Based Filter Pruning » est écrit par Van Tien Pham, Yassine Zniyed et Thanh Phuong Nguyen, tous appartenant à l’Université de Toulon, Aix Marseille Université, CNRS, LIS en France. L’article est publié dans la revue « Neural Networks ». Les dates concernant l’article sont : date de soumission le 12 octobre 2023, date de révision le 16 février 2024 et date d’acceptation le 15 mai 2024.

Détails de l’étude

Flux de travail

L’article propose une nouvelle méthode de réduction des filtres appelée CORING (Efficient Tensor Decomposition-Based Filter Pruning), basée sur la méthode de décomposition tensorielle pour la réduction des filtres. Les étapes spécifiques sont les suivantes :

  1. Décomposition des filtres : Utiliser la Décomposition en Valeurs Singulières de Haut Rang (HOSVD) pour décomposer les filtres de chaque couche en représentations de rang réduit, tout en conservant la structure multidimensionnelle et l’information essentielle des filtres.
  2. Mesure de similitude : Construire une matrice de similitude en calculant la distance entre les représentations de rang réduit de deux filtres. Ce processus évite d’utiliser directement les filtres complets ou leurs versions remodelées.
  3. Sélection des filtres : Sur la base de la matrice de similitude, utiliser un algorithme de suppression itérative des filtres les plus similaires aux autres, en tenant compte de leur importance collective, jusqu’à atteindre l’objectif de parcimonie préétabli.
  4. Stratégie de réduction : Proposer une stratégie de réduction k-shots, réalisant un contrôle plus précis de la précision grâce à des étapes successives de réduction et de raffinements.

Principaux résultats

Les expériences ont été largement validées sur différentes architectures et ensembles de données, y compris la classification d’images, la détection d’objets, la segmentation d’instances et la détection de points clés. Les principaux résultats sont les suivants :

  • Sur le modèle VGG-16-BN sur le jeu de données CIFAR-10, la méthode CORING a réduit les paramètres de 81,6 % et les opérations MAC de 58,1 % tout en améliorant la précision de 93,96 % à 94,42 %.
  • Pour le modèle ResNet-56, CORING a réduit les paramètres de 22,4 % et les opérations MAC de 27,3 %, avec une augmentation de la précision de 93,26 % à 94,76 %.
  • Sur le modèle ResNet-50 sur le jeu de données ImageNet, CORING a réduit les paramètres de 40,8 % et les opérations MAC de 44,8 %, tout en augmentant la précision de 76,15 % à 76,78 %.

Conclusion et signification

La méthode CORING, par l’introduction de la décomposition tensorielle multidimensionnelle et d’une méthode innovante de mesure de la similitude des filtres, a réalisé une réduction structurée efficace des réseaux. Ses contributions majeures incluent :

  1. Introduction de la décomposition tensorielle (notamment HOSVD) pour réduire les filtres : réduction efficace de la complexité tout en conservant la structure multidimensionnelle des filtres.
  2. Fourniture d’une méthode simple et efficace de sélection des filtres : calcule des distances basées sur les représentations HOSVD, évitant l’utilisation directe des filtres complets ou de leurs versions remodelées.
  3. Démonstration de l’efficacité dans plusieurs tâches de vision par ordinateur : validation approfondie de l’efficacité et de la supériorité de CORING en termes de précision, de réduction des paramètres et des opérations MAC.

Points forts

  • Approche innovante de décomposition tensorielle : CORING fournit une approximation de rang réduit tout en maintenant la structure multidimensionnelle des filtres, réduisant significativement la complexité.
  • Methode de calcul de similarité efficiente : méthode nouvelle et générale qui calcule la similarité des filtres grâce aux approximations de rang réduit fournies par HOSVD, sans se baser sur les filtres complets ou leurs versions remodelées.
  • Vaste validation et performance supérieure : des expérimentations approfondies sur différentes architectures et datasets ont prouvé l’efficacité et la supériorité de cette méthode.

Conclusion

CORING, en tant que nouvelle méthode efficace de réduction de filtres basée sur la décomposition tensorielle, atteint des performances supérieures dans plusieurs tâches de vision par ordinateur en conservant la structure multidimensionnelle et l’information essentielle des filtres. Cela montre un potentiel significatif et une valeur d’application importante dans le domaine de la compression des modèles. De plus, la nouvelle stratégie k-shots proposée, tout en maintenant une haute précision, offre une méthode flexible pour la réduction des modèles.