Méthode de déroulement du shutter auto-supervisée basée sur les caméras à événements

Contexte de recherche et problématique

Dans le domaine de la vision par ordinateur, la récupération de vidéos sans distorsion en obturation globale (Global Shutter, GS) à partir d’images avec obturation progressive (Rolling Shutter, RS) reste un problème extrêmement difficile. Les caméras RS, en raison de leur mécanisme d’exposition ligne par ligne, produisent souvent des distorsions spatiales (telles que des tremblements et des inclinaisons) dans les scènes dynamiques, ce qui est particulièrement visible dans les scènes de mouvement rapide. Bien que des méthodes existantes puissent corriger les effets RS grâce à des hypothèses artificielles ou des caractéristiques spécifiques aux ensembles de données, ces approches montrent souvent des performances médiocres dans des scènes réelles avec des mouvements complexes et non linéaires. De plus, beaucoup de ces méthodes s’appuient sur des ensembles de données synthétiques pour l’entraînement, ce qui entraîne une baisse des performances dans des scènes réelles, phénomène connu sous le nom de “gap synthétique-réel”.

Pour résoudre ces problèmes, les auteurs proposent un cadre d’apprentissage auto-supervisé basé sur les caméras à événements appelé SelfUnroll, visant à obtenir une reconstruction de haute qualité de vidéos GS en temps continu à partir d’images RS en exploitant les informations à haute résolution temporelle fournies par les caméras à événements. Cette recherche ne résout pas seulement les limitations des méthodes traditionnelles dans des scènes complexes, mais évite également la dépendance à des caméras rapides coûteuses, réduisant ainsi les coûts de collecte de données.

Source de l’article et introduction des auteurs

Cet article intitulé « Self-Supervised Shutter Unrolling with Events » a été co-écrit par Mingyuan Lin et Yangguang Wang, entre autres, où Mingyuan Lin et Yangguang Wang sont les premiers auteurs. Les auteurs proviennent respectivement de l’École d’électronique et d’information de l’Université de Wuhan, Xiaomi Beijing Mobile Software Co., Ltd., le département d’informatique de l’ETH Zurich, l’École d’informatique de l’Université de Pékin, ainsi que l’École d’intelligence artificielle de l’Université de Wuhan. L’article a été publié dans la revue de premier plan « International Journal of Computer Vision » (IJCV) et a été officiellement accepté en janvier 2025.

Processus de recherche et conception expérimentale

a) Processus de recherche et méthodologie

1. Compensateur inter/intra-images basé sur les événements (E-IC)

Le cœur de cette recherche repose sur un module appelé compensateur inter/intra-images basé sur les événements (Event-based Inter/Intra-frame Compensator, E-IC). L’objectif de conception de l’E-IC est de réaliser des conversions flexibles entre les images RS et GS en combinant des informations spatiales et temporelles. Plus précisément, l’E-IC peut gérer trois types de transitions : RS vers GS (RS2GS), GS vers RS (GS2RS), et RS vers RS (RS2RS). L’idée principale est d’utiliser les flux d’événements fournis par les caméras à événements pour prédire les changements dynamiques au niveau des pixels dans des intervalles de temps arbitraires.

L’E-IC comprend deux sous-modules : - E-ICT : utilisé pour les transitions de luminosité temporelle, implémenté à l’aide d’un réseau dense résiduel (Residual Dense Network, RDN). - E-ICS : utilisé pour les translations spatiales des pixels, implémenté sur une architecture U-Net.

Finalement, l’E-IC fusionne les deux résultats de compensation pour produire une sortie unifiée.

2. Cadre d’apprentissage auto-supervisé

Afin de s’adapter aux distributions de données dans des scènes réelles, les auteurs ont conçu un cadre d’apprentissage entièrement auto-supervisé comprenant les trois contraintes suivantes : - Cohérence latente (Latent Consistency, LLC) : En mappant deux images RS consécutives vers la même image GS latente, on garantit la cohérence structurelle de la reconstruction. - Cohérence cyclique (Cycle Consistency, LCC) : En effectuant un processus cyclique de RS vers GS puis retour à RS, on assure la stabilité de la luminosité. - Cohérence temporelle (Temporal Consistency, LTC) : En utilisant les informations d’événements entre des images RS adjacentes, on fournit une supervision robuste dans le domaine temporel.

3. Module de fusion multi-images (MOA)

Pour faire face aux impacts des occultations avant-plan et des événements bruyants, les auteurs ont proposé un module de perception du mouvement et des occultations (Motion and Occlusion Aware Module, MOA). Le module MOA améliore la stabilité et la précision de la reconstruction en fusionnant les résultats GS générés à partir de deux images RS consécutives.

b) Résultats principaux

1. Performances sur les ensembles de données synthétiques

Sur les ensembles de données Fastec-RS et GEV-RS-Sharp, SelfUnroll a montré d’excellentes performances tant dans les tâches de reconstruction d’images individuelles que dans celles de séquences vidéo. Par exemple, sur l’ensemble de données GEV-RS-Sharp, SelfUnroll-M a atteint un PSNR de 32,71 dB et un SSIM de 0,934, surpassant nettement les méthodes existantes. De plus, SelfUnroll a montré une robustesse accrue dans le traitement des mouvements complexes et non linéaires.

2. Performances sur les ensembles de données réelles

Sur les ensembles de données GEV-RS-Real et DAVIS-RS-Event (DRE), SelfUnroll a démontré une forte capacité de généralisation. Contrairement aux méthodes qui dépendent de données synthétiques, SelfUnroll adapte directement la distribution des données réelles via un apprentissage auto-supervisé, réduisant efficacement le “gap synthétique-réel”.

3. Capacité de gestion des occultations

Le module MOA a montré d’excellentes performances dans la gestion des occultations. Par exemple, lors de la restauration des zones occultées par des objets en avant-plan, SelfUnroll-M peut fusionner de manière adaptative les informations multi-images pour éviter les distorsions de couleur et les erreurs de texture.

Conclusion et signification de la recherche

c) Conclusion de la recherche

La méthode SelfUnroll réussit à obtenir une reconstruction de haute qualité de vidéos GS en temps continu à partir d’images RS en combinant les informations à haute résolution temporelle des caméras à événements et un cadre d’apprentissage auto-supervisé. Les résultats expérimentaux montrent que SelfUnroll n’excelle pas seulement sur les ensembles de données synthétiques, mais conserve également des performances élevées dans des scènes réelles.

d) Valeur scientifique et valeur applicative

Cette recherche présente une grande valeur scientifique et un potentiel d’application important : - Valeur scientifique : Elle propose un nouveau compensateur inter/intra-images basé sur les événements (E-IC) et un cadre d’apprentissage auto-supervisé, offrant de nouvelles perspectives pour résoudre les problèmes de correction RS. - Valeur applicative : La méthode SelfUnroll peut être largement appliquée dans les domaines de l’imagerie rapide, l’analyse du mouvement et l’amélioration vidéo, notamment dans les scénarios nécessitant des solutions peu coûteuses.

e) Points forts de la recherche

• Proposition d’une méthode de conversion unifiée entre les images RS et GS, applicable à la reconstruction de trames GS à tout moment.
• Première application de l’apprentissage auto-supervisé à la correction RS basée sur les caméras à événements.
• Conception du module MOA, résolvant efficacement les défis posés par les occultations et les événements bruyants.

Résumé

SelfUnroll est une méthode innovante qui combine les caméras à événements et l’apprentissage auto-supervisé pour résoudre les problèmes de correction d’images RS et de reconstruction de vidéos GS en temps continu. Les modules E-IC et MOA proposés offrent des références importantes pour les recherches futures et fournissent des solutions efficaces pour des applications pratiques.