Évaluation de la qualité d’image sans référence : Exploration de la fidélité du contenu via l’apprentissage adversarial de qualité

Contexte académique

L’évaluation de la qualité d’image (Image Quality Assessment, IQA) est un problème fondamental en vision par ordinateur, visant à évaluer la fidélité du contenu visuel d’une image. L’IQA a des applications importantes dans des domaines tels que la compression d’image et la restauration. Les méthodes traditionnelles d’IQA se divisent principalement en deux catégories : avec référence (Full-Reference, FR-IQA) et sans référence (No-Reference, NR-IQA). Les méthodes FR-IQA évaluent la qualité de l’image en comparant les différences entre l’image dégradée et l’image de référence, tandis que les méthodes NR-IQA évaluent la qualité de l’image uniquement à partir de l’image dégradée elle-même, sans référence. Cependant, en l’absence d’image de référence, les méthodes NR-IQA rencontrent des difficultés pour évaluer la fidélité du contenu (Content Fidelity), ce qui rend difficile la distinction entre le contenu original et les distorsions.

Ces dernières années, les méthodes NR-IQA basées sur l’apprentissage profond ont fait des progrès significatifs, mais elles présentent encore deux problèmes majeurs : premièrement, la plupart des méthodes NR-IQA manquent de capacité à percevoir la fidélité du contenu, ce qui les empêche de distinguer avec précision le contenu original des distorsions ; deuxièmement, les modèles NR-IQA ont des performances médiocres dans les applications en aval (comme l’amélioration et la restauration d’images), en particulier en l’absence d’image de référence, où les modèles peuvent générer des images qui semblent de haute qualité mais qui contiennent en réalité des artefacts.

Pour résoudre ces problèmes, cet article propose un cadre d’apprentissage adversarial de qualité (Quality Adversarial Learning, QAL) pour les NR-IQA, visant à améliorer les performances du modèle en termes de fidélité du contenu et de précision de prédiction en ajustant et en optimisant dynamiquement le processus d’évaluation de la qualité de l’image.

Source de l’article

Cet article est co-écrit par Mingliang Zhou, Wenhao Shen, Xuekai Wei, Jun Luo, Fan Jia, Xu Zhuang et Weijia Jia, respectivement affiliés à l’École d’informatique de l’Université de Chongqing, au Laboratoire national clé des transmissions mécaniques de l’Université de Chongqing et à l’Institut international conjoint de l’Université normale de Beijing et de l’Université baptiste de Hong Kong. L’article a été accepté par l’International Journal of Computer Vision le 18 décembre 2024 et publié officiellement en 2025.

Contenu de la recherche

Processus de recherche

Le processus de recherche de cet article se décompose en plusieurs étapes :

1. Définition du problème et connaissances de base :

   • Tout d’abord, l’article définit le concept de fidélité du contenu, c’est-à-dire la similarité entre l’image dégradée et l’image originale en termes de contenu visuel. L’évaluation de la fidélité du contenu est cruciale pour refléter avec précision la perception humaine de la qualité de l’image.
   • Ensuite, l’article propose un estimateur des moindres carrés bayésiens (Bayesian Least Squares, BLS) pour estimer l’image de référence idéale en l’absence d’image de référence.

2. Cadre d’apprentissage adversarial de qualité :

   • Le cadre d’apprentissage adversarial de qualité proposé dans cet article se compose de trois modules : “prédiction de qualité”, “génération” et “re-prédiction”. Ce cadre optimise le modèle de prédiction de qualité en générant des échantillons adversariaux, tout en utilisant ces échantillons pour améliorer la précision de prédiction et la fidélité du contenu du modèle.
   • Dans la phase de pré-entraînement, l’article utilise une architecture d’auto-encodeur pour apprendre les représentations des caractéristiques de l’image et améliore la robustesse du modèle en introduisant 25 types de bruit artificiel.
   • Dans la phase d’apprentissage adversarial de qualité, l’article optimise le modèle en deux étapes : la première étape génère des échantillons adversariaux en maximisant la qualité prédite, et la deuxième étape optimise le modèle de prédiction de qualité en entraînant conjointement les images dégradées originales et les échantillons adversariaux générés.

3. Configuration et résultats des expériences :

   • L’article a mené des expériences sur six ensembles de données de référence en IQA, notamment LIVE, CSIQ, KADID-10K, etc. Les résultats expérimentaux montrent que la méthode proposée dans cet article obtient des performances exceptionnelles sur plusieurs ensembles de données, surpassant les méthodes NR-IQA existantes en termes de fidélité du contenu et de précision de prédiction.
   • De plus, l’article valide davantage l’efficacité et la robustesse de la méthode à travers des évaluations inter-ensembles de données et des expériences d’optimisation de la qualité de l’image.

Résultats principaux

1. Importance de la fidélité du contenu :

   • L’article valide expérimentalement l’importance de la fidélité du contenu dans les NR-IQA, en particulier dans les scénarios sans référence, où la capacité à percevoir la fidélité du contenu influence directement la précision de prédiction du modèle.
   • En introduisant un cadre d’apprentissage adversarial de qualité, l’article améliore avec succès les performances du modèle en termes de fidélité du contenu, lui permettant de refléter plus précisément la perception humaine de la qualité de l’image.

2. Efficacité de l’apprentissage adversarial de qualité :

   • Le cadre d’apprentissage adversarial de qualité proposé dans cet article améliore significativement la précision de prédiction et la fidélité du contenu du modèle en générant des échantillons adversariaux pour optimiser le modèle de prédiction de qualité.
   • Les résultats expérimentaux montrent que la méthode proposée dans cet article surpasse les méthodes NR-IQA existantes sur plusieurs ensembles de données de référence, en particulier dans les tâches d’optimisation de la qualité de l’image.

3. Application de l’optimisation de la qualité de l’image :

   • L’article valide expérimentalement l’efficacité de l’utilisation du modèle de prédiction de qualité comme fonction de perte pour l’optimisation de la qualité de l’image. Les résultats expérimentaux montrent que la méthode proposée dans cet article peut réduire efficacement la génération d’artefacts dans les tâches de restauration d’image, améliorant ainsi la qualité visuelle de l’image.

Conclusion et signification

Cet article propose une méthode NR-IQA basée sur l’apprentissage adversarial de qualité, en introduisant un mécanisme de perception de la fidélité du contenu et un cadre d’apprentissage adversarial, améliorant significativement les performances du modèle dans l’évaluation de la qualité d’image sans référence. Les principales contributions de cet article incluent :

1. Mécanisme de perception de la fidélité du contenu : Cet article introduit pour la première fois un mécanisme de perception de la fidélité du contenu dans les NR-IQA, en optimisant le modèle par la génération d’échantillons adversariaux, lui permettant de refléter plus précisément la perception humaine de la qualité de l’image.
2. Cadre d’apprentissage adversarial de qualité : Le cadre d’apprentissage adversarial de qualité proposé dans cet article améliore significativement la précision de prédiction et la fidélité du contenu du modèle en ajustant et en optimisant dynamiquement le processus d’évaluation de la qualité de l’image.
3. Application de l’optimisation de la qualité de l’image : Cet article valide expérimentalement l’efficacité de l’utilisation du modèle de prédiction de qualité comme fonction de perte pour l’optimisation de la qualité de l’image, offrant de nouvelles idées pour des applications pratiques telles que la restauration et l’amélioration d’images.

Points forts de la recherche

1. Perception de la fidélité du contenu : Cet article introduit pour la première fois un mécanisme de perception de la fidélité du contenu dans les NR-IQA, résolvant les lacunes des méthodes existantes en termes de fidélité du contenu.
2. Cadre d’apprentissage adversarial de qualité : Le cadre d’apprentissage adversarial de qualité proposé dans cet article améliore significativement la précision de prédiction et la fidélité du contenu du modèle en générant des échantillons adversariaux pour optimiser le modèle.
3. Application de l’optimisation de la qualité de l’image : Cet article valide expérimentalement l’efficacité de l’utilisation du modèle de prédiction de qualité comme fonction de perte pour l’optimisation de la qualité de l’image, offrant de nouvelles idées pour des applications pratiques telles que la restauration et l’amélioration d’images.

Conclusion

Cet article propose une méthode NR-IQA basée sur l’apprentissage adversarial de qualité, en introduisant un mécanisme de perception de la fidélité du contenu et un cadre d’apprentissage adversarial, améliorant significativement les performances du modèle dans l’évaluation de la qualité d’image sans référence. Les résultats expérimentaux montrent que la méthode proposée dans cet article surpasse les méthodes NR-IQA existantes sur plusieurs ensembles de données de référence, en particulier dans les tâches d’optimisation de la qualité de l’image. Cette recherche offre de nouvelles idées et méthodes pour l’évaluation et l’optimisation de la qualité de l’image, ayant une valeur théorique et pratique importante.