Apprentissage de la cohérence temporelle non supervisée pour la suppression cohérente d’objets dans les vidéos

Contexte de l’étude et motivation

Dans le domaine de l’édition et de la restauration de vidéos, la suppression d’objets vidéo (Video Object Removal) est une tâche importante. Son objectif est d’effacer des objets cibles dans une vidéo entière et de combler les trous avec un contenu raisonnable. Les solutions existantes se divisent principalement en deux sous-tâches : (1) le suivi de masque (Mask Tracking) et (2) le remplissage de vidéo (Video Completion). Cependant, ces deux tâches sont généralement considérées comme des problèmes indépendants et traitées séparément. Cette séparation entraîne une complexité excessive du système, nécessitant une collaboration de plusieurs modèles, ce qui augmente non seulement la difficulté de l’entraînement et du déploiement, mais nuit également à l’application pratique.

L’article souligne que le suivi de masque et le remplissage de vidéo ont de fortes relations intrinsèques en termes de correspondance temporelle au niveau des pixels. Exploiter ces relations peut simplifier la complexité de l’algorithme et faciliter le déploiement pratique. Par conséquent, les auteurs proposent une nouvelle configuration de suppression unifiée d’objets vidéo (Unified Video Object Removal), visant à résoudre les deux sous-tâches de suivi de masque et de remplissage de vidéo à l’aide d’un cadre unifié.

Source et auteurs de l’article

Cet article a été rédigé par Zhongdao Wang, Jinglu Wang, Xiao Li, Ya-li Li, Yan Lu et Shengjin Wang, parmi lesquels plusieurs auteurs sont membres de l’IEEE. L’article a été co-réalisé par des chercheurs de l’Université de Tsinghua et de Microsoft Research Asia, et publié dans l’IEEE Transactions on Image Processing.

Processus de recherche

La recherche se compose principalement des parties suivantes :

a) Détail du processus de recherche :

1. Redéfinition de la tâche de suppression d’objets vidéo

   • La configuration de la tâche nécessite de résoudre simultanément les deux sous-tâches de suivi de masque et de remplissage de vidéo, intégrées dans un modèle unique. Les deux sous-tâches sont liées par une inférence de correspondance temporelle sur plusieurs images, à savoir la correspondance temporelle valide-valide (V-V) pour le suivi de masque et valide-trou (V-H) pour le remplissage de vidéo.

2. Construction d’un cadre d’apprentissage de correspondances temporelles

   • On propose un réseau unique, reliant par inférence les deux sous-tâches de suivi de masque et de remplissage de vidéo au travers de correspondances temporelles sur plusieurs images. Ce réseau peut apprendre de manière entièrement non supervisée de bout en bout sans aucune annotation.

3. Réseaux clés et réseaux numériques

   • Le réseau clé génère les informations de correspondance temporelle, et le réseau numérique traite les images vidéo via un encodeur et un décodeur, aidant ainsi au suivi de masque et au remplissage de vidéo. Cette méthode permet de suivre les masques et de remplir les trous dans les caractéristiques de la couche cachée, avant de les décoder en images vidéo.

4. Propagation conditionnelle automatique et propagation conditionnelle interactive

   • On propose des mécanismes de propagation conditionnelle automatique (ACP) et de propagation conditionnelle interactive (ICP) pour améliorer le taux de rappel du suivi de masque. L’ACP sélectionne les points les plus incertains comme points conditionnels, tandis que l’ICP permet à l’utilisateur de corriger manuellement le masque pendant le suivi, améliorant ainsi le taux de rappel.

b) Résultats de la recherche

Les résultats de la recherche sont divisés en parties suivantes :

1. Évaluation du suivi de masque vidéo (correspondance V-V)

   • Évaluation de la précision du suivi de masque sur le jeu de données DAVIS-2017 en utilisant des mesures de score J (intersection sur union, IoU) et de score F pour les contours. Les résultats montrent que la méthode proposée performe bien parmi les suiveurs non supervisés, se compare favorablement à certaines méthodes d’apprentissage de correspondance récentes, et dans certaines conditions atteint un taux de rappel plus élevé.

2. Évaluation du remplissage vidéo (correspondance V-H)

   • Évaluation de la qualité du remplissage vidéo en utilisant des mesures de cohérence spatiale et temporelle (par exemple, PSNR, SSIM, MS-SSIM, etc.). Les résultats montrent que cette méthode surpasse nettement les autres méthodes non supervisées en termes de qualité de remplissage, et excelle en cohérence temporelle et en effets visuels.

3. Évaluation globale

   • Comparaison globale avec les méthodes existantes de suivi de masque et de remplissage vidéo, montrant que la méthode unifiée proposée offre des avantages significatifs en termes de qualité globale et de cohérence.

c) Conclusions et implications de la recherche

Cette recherche propose l’utilisation d’un cadre d’apprentissage de correspondances temporelles non supervisées pour résoudre de manière unifiée les problèmes de suivi de masque et de remplissage vidéo dans la tâche de suppression d’objets vidéo. Cette méthode réduit non seulement le besoin de multiples modèles pendant l’entraînement et le déploiement, simplifiant ainsi la complexité du système, mais aide aussi à améliorer l’efficacité des applications pratiques de suppression d’objets.

Valeur scientifique : La recherche découvre les relations intrinsèques entre le suivi de masque et le remplissage vidéo, et propose une solution unifiée, innovante tant sur le plan théorique que méthodologique.

Valeur pratique : Cette méthodologie promet une application extensive dans l’édition et la restauration vidéo pratique, réduisant la complexité des méthodes existantes et permettant une suppression d’objets efficace et automatique.

d) Points forts de la recherche

• Cadre unifié innovant : Résolution unifiée des problèmes de suivi de masque et de remplissage vidéo par apprentissage de correspondances temporelles non supervisées, simplifiant la conception du système.
• Apprentissage non supervisé efficace : La méthode proposée peut réaliser une suppression d’objets efficace via un entraînement de bout en bout sans annotations manuelles.
• Potentiel d’application pratique : La méthode est non seulement d’une grande valeur académique mais possède également un potentiel énorme pour l’édition et la restauration vidéo pratique.

e) Autres informations utiles

Au cours des expérimentations, différentes architectes de réseau et stratégies d’apprentissage ont été testées, optimisant davantage les performances du modèle. En outre, la recherche fournit des détails sur la conception du réseau et les implémentations spécifiques, offrant une référence pour les études futures.