GL-MCM : Correspondance maximale globale et locale pour la détection hors distribution en zéro-shot

Contexte de recherche et problématique

Dans les environnements réels d’application des modèles d’apprentissage automatique, les données peuvent souvent présenter des changements dans leur distribution, par exemple l’apparition de nouvelles catégories. Ce phénomène est appelé “détection hors distribution” (Out-of-Distribution Detection, OOD). Pour garantir la fiabilité des modèles sur des données inconnues, la détection OOD devient une tâche cruciale. Cependant, bien que les méthodes traditionnelles d’apprentissage supervisé mono-modal obtiennent de bons résultats dans des tâches spécifiques, elles sont coûteuses en termes de formation et peinent à s’adapter à des scénarios variés.

Ces dernières années, les méthodes de détection OOD basées sur CLIP (Contrastive Language–Image Pre-training) ont suscité un intérêt croissant. CLIP est un modèle pré-entraîné multimodal capable d’apprendre des caractéristiques visuelles via une supervision en langage naturel. Bien que des approches existantes comme MCM (Maximum Concept Matching) se montrent performantes en zéro-shot, elles supposent généralement que les images contiennent un seul objet central, ignorant ainsi des scènes plus complexes avec plusieurs objets. Dans ces scènes, une image peut contenir simultanément des objets In-Distribution (ID) et Out-of-Distribution (OOD). Par conséquent, concevoir une méthode de détection flexible et efficace pour s’adapter à différents types d’images ID devient un problème urgent.

Source de l’article

Cet article intitulé “GL-MCM: Global and Local Maximum Concept Matching for Zero-Shot Out-of-Distribution Detection” a été rédigé par Atsuyuki Miyai, Qing Yu, Go Irie et Kiyoharu Aizawa. Les auteurs proviennent respectivement de l’Université de Tokyo, LY Corporation et l’Université des Sciences de Tokyo. L’article a été accepté le 6 janvier 2025 et publié dans la revue de premier plan International Journal of Computer Vision, avec le DOI 10.1007/s11263-025-02356-z.

Détails de la recherche et processus

a) Processus de recherche et méthodologie

1. Présentation de la méthode

Les auteurs proposent une nouvelle méthode appelée GL-MCM (Global-Local Maximum Concept Matching) qui combine l’alignement visuel-textuel global et local pour améliorer les performances de détection. L’idée principale de GL-MCM est d’utiliser les caractéristiques locales de CLIP comme score auxiliaire pour compenser les insuffisances des caractéristiques globales dans les scènes multi-objets.

2. Étapes principales

La recherche est divisée en plusieurs étapes principales :

• Extraction des caractéristiques globales
  Utilisation des caractéristiques globales de CLIP comme base pour calculer la similarité entre l’image et le texte. Plus précisément, l’encodeur d’images de CLIP agrège la carte des caractéristiques en un vecteur global (x’) via une couche d’attention de regroupement, puis le projette dans l’espace textuel.

• Extraction des caractéristiques locales
  Les auteurs introduisent le concept de caractéristiques locales, en projetant les caractéristiques des valeurs de la dernière couche d’attention de CLIP pour obtenir des caractéristiques visuelles alignées avec le texte. Ces caractéristiques locales conservent des informations spatiales riches, permettant de capturer les objets dans chaque région de l’image.

• Correspondance maximale locale (L-MCM)
  Sur la base des caractéristiques locales, les auteurs proposent la méthode L-MCM, qui utilise un redimensionnement softmax pour améliorer la séparabilité des caractéristiques locales. La formule spécifique est la suivante : [ S{l-mcm} = \max{t,i} \frac{e^{sim(x’_i, yt)/\tau}}{\sum{c \in T_{in}} e^{sim(x’_i, y_c)/\tau}} ] où (sim(u_1, u_2)) représente la similarité cosinus, et (\tau) est le paramètre de température.

• Correspondance maximale globale-locale (GL-MCM)
  GL-MCM combine les scores globaux et locaux pour former le score final de détection : [ S{gl-mcm} = S{mcm} + \lambda S_{l-mcm} ] où (\lambda) est un hyperparamètre utilisé pour contrôler le poids des scores globaux et locaux.

3. Paramètres expérimentaux

Les expériences ont été menées sur plusieurs ensembles de données de référence, notamment ImageNet, MS-COCO et Pascal-VOC. Pour les configurations en zéro-shot, les auteurs ont utilisé ViT-B/16 comme réseau principal ; pour les configurations en few-shot, ils ont intégré les méthodes CoOp et LoCoOp.

b) Résultats principaux

1. Tests sur ImageNet

Les résultats expérimentaux montrent que GL-MCM surpasse MCM dans la plupart des configurations, en particulier dans des scènes complexes. Par exemple, sur l’ensemble de données iNaturalist, le FPR95 (taux de faux positifs) de GL-MCM a diminué de 13,7 % et l’AUROC (aire sous la courbe) a augmenté de 2,8 %.

2. Tests sur MS-COCO et Pascal-VOC

Sur les ensembles de données multi-objets, GL-MCM s’est également montré performant. Par exemple, sur l’ensemble de données Pascal-VOC, l’AUROC moyen de GL-MCM a atteint 93,81 %, surpassant nettement les 88,08 % de MCM.

3. Analyse de sensibilité des paramètres

En ajustant le paramètre (\lambda), les auteurs ont validé la flexibilité de GL-MCM. Les expériences montrent qu’une valeur élevée de (\lambda) convient mieux à la détection d’images contenant des objets ID et OOD, tandis qu’une valeur faible de (\lambda) est plus adaptée à la détection d’images dominées par des objets ID.

c) Conclusions et implications

Valeur scientifique

GL-MCM propose une méthode simple mais efficace qui résout les limitations des méthodes traditionnelles de détection OOD en zéro-shot dans des scènes multi-objets. Elle non seulement améliore les performances de détection, mais montre également une grande flexibilité pour s’adapter à divers scénarios d’application.

Valeur applicative

La forte extensibilité de GL-MCM lui permet de s’intégrer facilement dans des cadres d’apprentissage few-shot existants, améliorant encore davantage les performances. De plus, son absence de besoin de formation supplémentaire réduit également les coûts d’application pratique.

d) Points forts de la recherche

• Méthode innovante
  GL-MCM introduit pour la première fois les caractéristiques locales dans la détection OOD en zéro-shot, comblant ainsi les lacunes des méthodes traditionnelles.

• Flexibilité
  En ajustant le paramètre (\lambda), les utilisateurs peuvent choisir une stratégie de détection adaptée à leurs besoins spécifiques.

• Efficacité
  GL-MCM surpasse les méthodes existantes en termes de vitesse d’inférence et de consommation de mémoire GPU.

e) Autres informations précieuses

Les auteurs ont également exploré les effets de la combinaison de GL-MCM avec d’autres méthodes de localisation (comme SAN et Grounding DINO), validant davantage son universalité et son efficacité.

---

Conclusion

GL-MCM est une méthode innovante et pratique de détection OOD en zéro-shot qui, en combinant les caractéristiques globales et locales, améliore considérablement les performances de détection et la flexibilité. Ses résultats de recherche ne font pas qu’avancer le domaine de la vision par ordinateur, mais fournissent également un soutien technique important pour les applications pratiques.