Adaptation de domaine non supervisée sur les nuages de points via la modélisation de structures géométriques d'ordre supérieur

Informatique Sciences de l'information Intelligence artificielle
nuages de points adaptation de domaine non supervisée structures géométriques d'ordre supérieur apprentissage contrastif apprentissage auto-supervisé vision 3D alignement des caractéristiques

Rapport d’une étude basée sur le Modélisation des structures géométriques d’ordre supérieur dans l’adaptation de domaine non supervisée pour les nuages de points

Contexte et motivations de la recherche

Les nuages de points constituent une forme fondamentale de données tridimensionnelles, très utilisée dans des applications réelles comme la conduite autonome et la télédétection. Ils permettent une capture précise des informations géométriques des objets, mais les caractéristiques géométriques des nuages de points peuvent varier fortement entre dispositifs et contextes, en raison de bruits liés aux capteurs ou de différences dans les environnements. Ces divergences géométriques, appelées écarts de domaine (domain gap), posent des défis majeurs : les réseaux neuronaux entraînés sur un domaine donné peinent souvent à reproduire leurs performances dans un domaine différent. Ce problème freine l’adoption des méthodes d’apprentissage profond appliquées aux nuages de points.

L’adaptation de domaine non supervisée (UDA - Unsupervised Domain Adaptation) s’avère être une solution efficace. Cette méthode vise à transférer les connaissances acquises dans un domaine source (avec des étiquettes) vers un domaine cible (sans étiquettes), en apprenant des représentations communes capables de réduire l’écart entre les domaines. Toutefois, les travaux existants se concentrent généralement sur les caractéristiques géométriques de bas niveau, et sous-estiment les caractéristiques géométriques d’ordre supérieur (par exemple, vecteurs normaux et courbures). Pour répondre à cette lacune, cet article propose un cadre inédit nommé HO-GSM (High-Order Geometric Structure Modeling, ou Modélisation des structures géométriques d’ordre supérieur). C’est la première tentative de modélisation explicite des structures géométriques avancées dans un contexte d’adaptation de domaine, visant ainsi à enrichir les capacités du modèle et à améliorer la qualité de l’alignement des domaines.

Origine de l’étude et informations des auteurs

L’article intitulé “Unsupervised Domain Adaptation on Point Clouds via High-Order Geometric Structure Modeling” a été publié dans IEEE Transactions on Artificial Intelligence (Volume 5, No. 12, Décembre 2024). Les auteurs sont Jiang-Xing Cheng, Huibin Lin, Chun-Yang Zhang, et C.L Philip Chen (IEEE Fellow), affiliés à l’Université de Fuzhou (Collège des sciences informatiques et des données) et à l’Université des Sciences et de la Technologie du Sud de la Chine (Faculté d’informatique). Le travail a été publié le 18 octobre 2024 et a bénéficié du soutien financier du Fonds National des Sciences Naturelles de Chine (Subvention numéro 62476059).

Méthodologie et processus de recherche

Pour résoudre le problème de l’adaptation de domaine dans le contexte des nuages de points, HO-GSM combine plusieurs tâches d’auto-apprentissage et systèmes d’apprentissage par contraste. Le cadre se divise en plusieurs modules clés :

1. Modélisation des structures géométriques d’ordre supérieur (HO-GFL)

Le cœur de l’innovation réside dans une tâche d’auto-apprentissage dédiée aux caractéristiques géométriques avancées. Les principales étapes incluent : - Extraction de caractéristiques : Utilisation de l’Analyse en Composantes Principales (PCA) pour fitter un plan local autour des points voisins du nuage, permettant de calculer des attributs comme les vecteurs normaux (représentant la connectivité locale) et les courbures (indiquant les variations de surface et de forme). Ces attributs géométriques sont générés de manière autonome à partir des données brutes, sans besoin d’étiquettes. - Encodage d’invariance : En appliquant des transformations de rotation, le modèle encode l’invariance des caractéristiques géométriques d’ordre supérieur face aux augmentations, grâce à une fonction de perte basée sur l’erreur quadratique moyenne.

2. Apprentissage des caractéristiques géométriques de bas niveau (LO-GFL)

Ce module inclut deux tâches d’auto-apprentissage pour capturer les caractéristiques géométriques globales/locales : - Prédiction des angles de rotation : Une tâche d’apprentissage qui implique de prédire l’angle de rotation appliqué, pour identifier les propriétés géométriques globales. - Reconstruction locale après déformation : Simulation des conditions réelles où des parties de nuages de points sont perdues (par exemple, à cause d’occultation) en reconstruisant les régions déformées.

3. Apprentissage sémantique (SFL)

En raison de l’absence de données étiquetées pour le domaine cible, une stratégie d’apprentissage par pseudo-étiquettes est adoptée. Celle-ci augmente progressivement le seuil de confiance des prédictions tout au long de l’entraînement pour mieux exploiter les représentations sémantiques naturelles du domaine cible.

4. Apprentissage par contraste (CONL)

Pour une meilleure différenciation au niveau des classes, HO-GSM applique un apprentissage par contraste supervisé, basé sur des pseudo-étiquettes. Cette méthode améliore la capacité discriminante des représentations et affine davantage l’alignement entre des classes spécifiques des deux domaines.

La combinaison de ces modules synergétiques est optimisée via une fonction de perte globale intégrant les différents objectifs, afin de maximiser l’apprentissage des caractéristiques invariantes.

Résultats expérimentaux

Pour valider l’efficacité de HO-GSM, des expériences ont été réalisées sur deux ensembles de données standards :

1. Ensembles de données

  • PointDA-10 : Contient trois domaines (Shapenet, Modelnet, Scannet) avec 10 classes communes (ex. “table” et “chaise”). Ces données couvrent plusieurs scénarios d’adaptation de domaine, notamment Synthétique-vers-Réel (Synthetic-to-Real) et Réel-vers-Synthétique (Real-to-Synthetic).
  • GraspNetPC-10 : Regroupe 3 domaines (Kin, Realsense, Synthetic), simulant différents niveaux de bruit géométrique.

2. Performances comparées

Le modèle a été comparé avec des approches de pointe comme PointDAN, GAST, et ImplicitPCDA, ainsi qu’avec un modèle de référence standard (sans adaptation).

3. Résultats clés

  • HO-GSM atteint une précision moyenne de 77,1% sur PointDA et 89,2% sur GraspNetPC, surpassant les bases existantes (amélioration de 2,0% et 4,8% respectivement sur les meilleurs modèles concurrentiels).
  • Affinement au niveau des classes : L’intégration de l’apprentissage contrastif se traduit par une meilleure séparation entre classes semblables, observée visuellement via T-SNE.
  • Modules critiques : L’ablation montre que l’encodage des caractéristiques d’ordre supérieur et l’apprentissage contrastif améliorent significativement les performances globales.

Contributions principales

  1. Avancées scientifiques

    • Première implémentation de la modélisation des caractéristiques géométriques avancées pour l’adaptation entre domaines des nuages de points.
    • Encodage de l’invariance géométrique pour augmenter la robustesse du modèle.

  2. Applications pratiques

    • HO-GSM renforce la généralisation des modèles aux situations complexes et bruitées, comme celles rencontrées dans la conduite autonome.

  3. Défis futurs

    • Simplifier la complexité de la structure multi-tâches adoptée.
    • Étendre le cadre vers la généralisation de domaine (Domain Generalization), une problématique plus difficile et ancrée dans des cas d’usages réels.

Conclusion

HO-GSM propose une nouvelle direction dans l’adaptation de domaine non supervisée pour les nuages de points, exploitant pleinement les caractéristiques géométriques d’ordre supérieur. Ce cadre établit un nouveau standard en dépassant les limites des approches uniquement basées sur des caractéristiques géométriques de bas niveau. Il ouvre également la voie à des recherches futures sur l’exploitation des propriétés géométriques pour des scénarios encore plus exigeants.