Suppression des traînées de pluie à l'aide d'un réseau génératif antagoniste amélioré avec optimisation de la fonction de perte

Contexte académique

Dans le domaine de la vision par ordinateur, les traînées de pluie (rain streaks) constituent un facteur de perturbation courant, en particulier dans les systèmes de surveillance extérieure, de conduite autonome et de transport intelligent. Les traînées de pluie réduisent considérablement la qualité des images, affectant les capacités de reconnaissance et d’analyse des systèmes visuels. Les méthodes traditionnelles d’élimination des traînées de pluie reposent généralement sur le traitement d’une seule image, mais en raison de la complexité et de la diversité des traînées de pluie, ces méthodes sont limitées lorsqu’il s’agit de traiter des traînées de pluie éloignées ou des scènes complexes. Ces dernières années, les techniques d’apprentissage profond, en particulier les réseaux antagonistes génératifs (Generative Adversarial Networks, GANs), ont montré un énorme potentiel dans le domaine du traitement d’images. Cependant, les méthodes existantes basées sur les GAN pour l’élimination des traînées de pluie rencontrent encore des difficultés lorsqu’il s’agit de traiter des traînées de pluie de différentes orientations, formes et transparences. Par conséquent, cette étude vise à proposer un cadre GAN amélioré pour éliminer plus efficacement les traînées de pluie et améliorer la qualité des images.

Source de l’article

Cet article a été co-écrit par Prabha R, Suma R, Suresh Babu D et S Saila, respectivement issus du T. John Institute of Technology, du PES University RR Campus et du Jyothy Institute of Technology en Inde. L’article a été publié en mars 2025 dans la revue Cognitive Computation, sous le titre Rain Streak Removal Using Improved Generative Adversarial Network with Loss Function Optimization.

Processus de recherche

1. Prétraitement des images

L’étude commence par prétraiter les images contenant des traînées de pluie en utilisant un filtre bilatéral à guide croisé (cross-guided bilateral filter) pour extraire la couche de détails de l’image. Ce filtre combine les informations spatiales et d’intensité pour préserver les bords et les détails de l’image tout en supprimant le bruit. Les étapes spécifiques sont les suivantes : - Filtrage bilatéral : Appliquer un filtre bilatéral à l’image d’entrée pour préserver les informations de bord. - Calcul de l’image résiduelle : Soustraire le résultat du filtre bilatéral de l’image originale pour obtenir l’image résiduelle, qui contient les détails de haute fréquence. - Filtrage bilatéral guidé : Utiliser une image de guidage pour appliquer un filtre bilatéral guidé à l’image résiduelle, afin d’extraire davantage la couche de détails.

2. Élimination des traînées de pluie

Après le prétraitement, l’étude utilise un réseau antagoniste génératif amélioré pour l’élimination des traînées de pluie (De-Rain GAN, DR_GAN). Le module générateur du DR_GAN est remplacé par un réseau bidirectionnel dense (Dense Bidirectional Network, Attn_DBNet), qui combine DenseNet-121, une unité récurrente à porte bidirectionnelle (Bidirectional Gated Recurrent Unit, BiGRU) et un mécanisme d’auto-attention (Self-Attention Mechanism) pour améliorer l’efficacité de l’élimination des traînées de pluie. - Générateur : Attn_DBNet utilise DenseNet-121 pour extraire les caractéristiques de l’image, BiGRU pour modéliser les dépendances séquentielles, et le mécanisme d’auto-attention pour se concentrer sur les zones clés de l’image, générant ainsi une image sans pluie. - Discriminateur : Le discriminateur est utilisé pour distinguer les images sans pluie générées des images réelles sans pluie, améliorant les performances du générateur grâce à un entraînement antagoniste.

3. Optimisation de la fonction de perte

Pour optimiser davantage la fonction de perte, l’étude propose un algorithme d’optimisation chaotique de gazelle logistique (Chaotic Logistic Gazelle Optimization, CL-G). Cet algorithme introduit une cartographie logistique chaotique (Chaotic Logistic Mapping) pour améliorer la randomisation et éviter de tomber dans des solutions locales optimales. Les étapes spécifiques incluent : - Initialisation : Initialiser aléatoirement les positions des gazelles dans l’espace de recherche, chaque position représentant une solution potentielle de la fonction de perte. - Phase d’exploration : Les gazelles se dispersent dans l’espace de recherche pour garantir des points de départ diversifiés, évitant une convergence prématurée. - Phase d’exploitation : Les gazelles optimales guident le groupe, concentrant la recherche sur les solutions les plus prometteuses.

Résultats de l’étude

1. Résultats du prétraitement des images

La couche de détails extraite par le filtre bilatéral à guide croisé préserve de manière significative les détails de haute fréquence de l’image, fournissant une entrée de haute qualité pour l’élimination ultérieure des traînées de pluie.

2. Résultats de l’élimination des traînées de pluie

Le DR_GAN excelle dans l’élimination des traînées de pluie, générant des images qui surpassent les méthodes existantes en termes d’indice de similarité structurelle (SSIM), de rapport signal sur bruit de crête (PSNR) et de fidélité de l’information visuelle (VIF). Les données spécifiques sont les suivantes : - SSIM : Le DR_GAN atteint un SSIM de 0,98, surpassant les méthodes existantes de 6,59 % à 13,42 %. - PSNR : Le DR_GAN atteint un PSNR de 38,58, surpassant les méthodes existantes de 16,68 % à 28,64 %. - VIF : Le DR_GAN atteint un VIF de 0,76, surpassant les méthodes existantes de 8,31 % à 14,60 %.

3. Résultats de l’optimisation de la fonction de perte

L’algorithme CL-G excelle dans l’optimisation de la fonction de perte, évitant efficacement les solutions locales optimales et améliorant la vitesse de convergence et les performances du modèle.

Conclusion et signification

Cette étude propose une méthode d’élimination des traînées de pluie basée sur un réseau antagoniste génératif amélioré, combinant DenseNet-121, BiGRU et un mécanisme d’auto-attention pour améliorer significativement l’efficacité de l’élimination des traînées de pluie. De plus, l’introduction de l’algorithme d’optimisation chaotique de gazelle logistique optimise davantage la fonction de perte, renforçant la robustesse du modèle. Cette étude contribue non seulement à l’avancement théorique de l’apprentissage profond dans le domaine du traitement d’images, mais fournit également des solutions de traitement d’images de haute qualité pour des applications pratiques telles que la surveillance extérieure et la conduite autonome.

Points forts de l’étude

1. Structure de réseau innovante : Propose Attn_DBNet, combinant DenseNet-121, BiGRU et un mécanisme d’auto-attention, améliorant significativement l’efficacité de l’élimination des traînées de pluie.
2. Algorithme d’optimisation : Introduit l’algorithme d’optimisation chaotique de gazelle logistique, évitant efficacement les solutions locales optimales et améliorant la vitesse de convergence et les performances du modèle.
3. Amélioration significative des performances : Surpasse les méthodes existantes en termes de SSIM, PSNR et VIF, démontrant son potentiel dans des applications pratiques.

Autres informations utiles

Cette étude explore également l’impact de la quantité de données d’entraînement et de la validation croisée K-fold sur les performances du modèle, montrant que les performances du modèle s’améliorent significativement avec l’augmentation de la quantité de données d’entraînement et de la valeur de K-fold. De plus, l’étude compare les performances de différents algorithmes d’optimisation, prouvant la supériorité de l’algorithme CL-G dans l’optimisation de la fonction de perte.

Grâce à cette étude, nous proposons non seulement une méthode efficace d’élimination des traînées de pluie, mais ouvrons également de nouvelles perspectives et méthodes pour l’application de l’apprentissage profond dans le domaine du traitement d’images.