EfficientDeRain+: Apprentissage du filtrage sensible à l'incertitude via l'augmentation RainMix pour un dépluvage à haute efficacité

Sciences de l'information Électronique et informatique Intelligence artificielle Automatique Informatique
dépluvage filtrage prédictif filtrage dilaté en cascade filtrage multi-échelle augmentation de données RainMix

Méthode efficace de dépluvage d’image : réseau profond optimisé pour un dépluvage rapide avec augmentation de données

Contexte

Les conditions pluvieuses affectent significativement la qualité des images et vidéos capturées par les systèmes de vision par ordinateur, avec des artefacts tels que des gouttes ou des traînées de pluie qui perturbent les tâches de détection de piétons, suivi d’objets et segmentation sémantique. Un dépluvage d’image efficace est essentiel pour le développement de systèmes de vision tout-temps. Cependant, les méthodes actuelles se basent souvent sur des hypothèses heuristiques de modèles de pluie, impliquant des optimisations complexes ou des traitements itératifs, ce qui conduit à une inefficacité en temps réel. De plus, ces hypothèses ne couvrent pas la diversité des scénarios réels de pluie, limitant ainsi la qualité des résultats.

Pour répondre à ces défis, cet article propose EfficientDeRain+, une méthode de dépluvage novatrice qui modélise ce problème comme une tâche de filtrage prédictif. Plusieurs innovations techniques sont introduites, notamment un filtrage prédictif par cascades sensibles à l’incertitude, un filtrage dilaté multi-échelle à partage de poids et une augmentation des données via RainMix, permettant des performances améliorées tant en qualité qu’en rapidité.

Origine de l’article

L’article a été réalisé en collaboration par des chercheurs de Singapour (IHPC, CFAR), Japon (Université Kyushu), États-Unis (Université de New York), Canada (Université de l’Alberta), Chine (Université de Tianjin), et Université de Shenzhen. Il a été publié dans International Journal of Computer Vision.

Méthodologie et innovations

Méthode

L’approche suit plusieurs étapes principales : 1. Filtrage prédictif spatialement variable (SPFilt) : chaque pixel de l’image pluvieuse est filtré via une somme pondérée de ses voisins, avec des poids prédits par un réseau profond. Le processus est accéléré grâce à des convolutions, augmentant ainsi l’efficacité. 2. Filtrage prédictif en cascade avec gestion de l’incertitude (UC-PFILT) : pour gérer les résidus de pluie, UC-PFILT génère une carte d’incertitude à partir de la première phase de filtrage, ce qui guide un deuxième filtrage pour un affinage des résultats. 3. Filtrage dilaté multi-échelle avec partage de poids (WS-MS-DFILT) : pour traiter des traînées de pluie de différentes échelles, une méthode efficace sans surcharge mémoire est conçue, garantissant précision et rapidité. 4. Augmentation des données via RainMix : en augmentant séparément les couches de pluie et d’arrière-plan pour générer des scènes synthétiques réalistes, RainMix améliore la capacité du modèle à généraliser face à divers modèles de pluie.

Validation expérimentale

Des expérimentations ont été réalisées sur des jeux de données synthétiques (Rain100H, Rain1400, Rain800, RainCityscapes) et réels (SPA, Raindrop). Les résultats montrent que EfficientDeRain+ dépasse les performances des méthodes actuelles en qualité de restauration et en rapidité.

Résultats clés

Performances en dépluvage d’image

  • Rain100H : EfficientDeRain+ atteint un PSNR de 34.57 et un SSIM de 0.9513, surclassant la méthode RCDNet tout en étant 74 fois plus rapide.
  • Rain1400 et Rain800 : notre méthode obtient également les meilleurs résultats en termes de PSNR et SSIM sur ces jeux de données.

Dépluvage vidéo

  • NTURain : EfficientDeRain+ montre une SSIM de 0.9713, supérieure à celle des autres méthodes, et un temps de traitement moyen par image de 7 ms, prouvant sa viabilité pour des applications en temps réel.

Contributions

  1. UC-PFILT : amélioration notable en gestion des résidus de pluie.
  2. WS-MS-DFILT : prise en charge efficace des traînées multi-échelles.
  3. RainMix : augmentation de la diversité des données, essentielle pour la robustesse et la généralisation.

Valeur scientifique et applications

  1. Valeur scientifique :
    • Introduction d’une modélisation basée sur le filtrage prédictif pour le dépluvage.
    • Développement d’outils originaux pour des tâches de vision par ordinateur bas-niveau.
  2. Applications :
    • Applicable aux véhicules autonomes et à la surveillance vidéo, où la rapidité et la qualité sont essentielles.
    • Adaptable à d’autres conditions météorologiques, élargissant les champs d’application.

Conclusion

EfficientDeRain+ propose une solution efficace et pratique pour le dépluvage dans des scénarios variés. Les innovations proposées ouvrent de nouvelles perspectives pour d’autres tâches de vision. Des recherches futures pourraient étendre ces concepts à des environnements climatiques complexes.