Apprentissage de maillage à partir de la triangulation de Delaunay pour la représentation de formes 3D

Contexte académique

La reconstruction de surfaces à partir de nuages de points est un problème de longue date en vision par ordinateur et en infographie. Les méthodes implicites traditionnelles, telles que la reconstruction de surface par Poisson, calculent une fonction implicite et extraient la surface en utilisant l’algorithme des cubes marchants (Marching Cubes). Bien que ces méthodes produisent des maillages étanches (watertight), elles ont tendance à perdre des détails et à sur-lisser les structures complexes. D’autre part, les méthodes explicites, comme la triangulation de Delaunay, construisent directement des maillages à partir de la triangulation de points, ce qui permet de mieux préserver les caractéristiques nettes et les détails fins. Cependant, l’inférence de la connectivité des triangles dans des topologies complexes reste un défi.

Ces dernières années, les méthodes basées sur l’apprentissage ont fait des progrès significatifs dans la reconstruction de surfaces. Cependant, les méthodes explicites basées sur l’apprentissage existantes ont encore des difficultés à traiter des structures complexes, en particulier pour inférer la connectivité locale des triangles, ce qui entraîne souvent des artefacts et des triangles non étanches. Pour résoudre ces problèmes, cet article propose une nouvelle méthode basée sur l’apprentissage utilisant la triangulation de Delaunay, visant à réaliser une reconstruction de surface de haute précision.

Source de l’article

Cet article a été rédigé par Chen Zhang et Wenbing Tao, du Laboratoire national clé de science et de technologie sur le traitement de l’information multispectrale de l’Université des sciences et technologies de Huazhong. L’article a été soumis le 9 mai 2024, accepté le 28 décembre 2024, et publié en 2025 dans la revue International Journal of Computer Vision.

Processus de recherche

1. Aperçu du processus de recherche

Cet article propose une nouvelle méthode basée sur l’apprentissage appelée Delaunay Meshing Network+ (DMNet+), pour la reconstruction de surfaces à partir de nuages de points. L’idée centrale est de modéliser la triangulation de Delaunay comme un graphe dual et d’utiliser un réseau de neurones graphiques (Graph Neural Network, GNN) pour classer les tétraèdres, permettant ainsi une reconstruction de surface de haute précision sans dépendre d’informations de visibilité.

2. Processus de recherche détaillé

a) Extraction des caractéristiques

1. Encodage des caractéristiques des points : Tout d’abord, les informations géométriques multi-échelles sont extraites du nuage de points. L’encodeur de caractéristiques des points est composé d’un encodeur global et d’un encodeur local. L’encodeur global extrait des caractéristiques globales par un pooling maximum, tandis que l’encodeur local agrège les informations géométriques locales à l’aide de perceptrons multicouches (MLP) et d’une fonction noyau gaussienne basée sur la distance. Enfin, les caractéristiques globales et locales sont fusionnées pour former les caractéristiques finales de chaque point.

2. Encodage des caractéristiques du graphe : Dans la structure de triangulation de Delaunay, chaque tétraèdre est considéré comme un nœud dans le graphe dual, et les triangles sont considérés comme des arêtes. En calculant la position du centre géométrique du tétraèdre et la position relative de chaque sommet par rapport à ce centre, les caractéristiques des points sont intégrées de manière organique dans la représentation structurelle de la triangulation de Delaunay. Grâce à un mécanisme d’attention, le réseau peut sélectionner de manière adaptative les caractéristiques encodées, permettant ainsi une meilleure compréhension des différences géométriques entre les tétraèdres à l’intérieur et à l’extérieur de la surface.

b) Algorithme d’itération locale du graphe

Pour améliorer l’interaction des informations de voisinage entre les nœuds et les arêtes du graphe dual, cet article propose un algorithme d’itération locale du graphe (Local Graph Iteration, LGI). Cet algorithme traite itérativement les caractéristiques des nœuds en un saut à l’aide de modules d’attention simples et de MLP, sans dépendre de la matrice d’adjacence globale utilisée dans les réseaux de convolution graphique (GCN). En introduisant des caractéristiques d’arêtes, le LGI peut agréger plus efficacement les informations de voisinage, améliorant ainsi la robustesse de la classification.

c) Stratégie de supervision multi-labels

En raison des relations spatiales complexes entre les tétraèdres et la surface réelle, il est difficile de générer directement des labels de vérité terrain pour les tétraèdres. Pour résoudre ce problème, cet article propose une stratégie de supervision multi-labels, en échantillonnant aléatoirement des positions de référence à l’intérieur des tétraèdres et en utilisant les labels de ces positions pour classer les tétraèdres. Cette stratégie permet à la méthode d’obtenir une supervision précise sans informations de visibilité.

d) Stratégie d’extension basée sur l’octree

Pour traiter des données à grande échelle, cet article propose une stratégie d’extension basée sur l’octree. En divisant les nœuds de la triangulation de Delaunay en feuilles d’octree et en traitant par lots les tétraèdres dans chaque feuille, cette méthode peut gérer efficacement des millions de points.

3. Résultats principaux

Les résultats expérimentaux montrent que la méthode DMNet+ proposée dans cet article obtient des performances exceptionnelles sur plusieurs ensembles de données, en particulier pour la reconstruction de structures fines et de bords nets, surpassant les méthodes les plus avancées actuelles. De plus, cette méthode montre une forte adaptabilité aux nuages de points de différentes densités, et maintient de bons résultats de reconstruction même sur des données éparses.

a) Reconstruction des détails

Les expériences sur le jeu de données ShapeNet montrent que DMNet+ peut préserver des détails riches, en particulier pour les structures fines et les données éparses. Comparée à d’autres méthodes explicites, DMNet+ génère des maillages plus étanches avec moins d’artefacts.

b) Adaptabilité aux données de différentes densités

Lors du traitement de données éparses, DMNet+ montre une forte adaptabilité. Même avec seulement 1 000 points, DMNet+ peut encore générer des résultats de reconstruction de haute qualité, démontrant sa robustesse face aux variations de densité de points.

c) Reconstruction des bords

Les expériences sur le jeu de données FamousThingi montrent que DMNet+ excelle dans la préservation des bords nets. Comparée à d’autres méthodes, DMNet+ génère des maillages avec une netteté de bord supérieure, montrant sa forte capacité de généralisation pour des formes complexes.

d) Robustesse au bruit

Les expériences sur des données bruitées montrent que DMNet+ est très robuste au bruit. Même avec un bruit de 1 % de la taille de la boîte englobante, DMNet+ peut encore générer des résultats de reconstruction de haute qualité, démontrant sa forte adaptabilité aux données bruitées.

4. Conclusion

Cet article propose une nouvelle méthode basée sur l’apprentissage utilisant la triangulation de Delaunay pour la reconstruction de surfaces à partir de nuages de points. En modélisant le graphe dual comme une structure de triangulation de Delaunay et en utilisant un réseau de neurones graphiques pour classer les tétraèdres, cette méthode permet une reconstruction de surface de haute précision sans dépendre d’informations de visibilité. Les résultats expérimentaux montrent que DMNet+ excelle dans la reconstruction de structures fines, de bords nets et de données scannées à grande échelle, offrant une valeur scientifique et applicative élevée.

Points forts de la recherche

1. Méthode innovante : Cet article propose pour la première fois une méthode de reconstruction de surface basée sur l’apprentissage utilisant la triangulation de Delaunay, en remplaçant les algorithmes de coupure de graphe traditionnels par un réseau de neurones graphiques, permettant une reconstruction de surface de haute précision.
2. Informations géométriques multi-échelles : En fusionnant les informations géométriques multi-échelles du nuage de points et la représentation structurelle de la triangulation de Delaunay, cette méthode peut préserver des détails riches, en particulier pour les structures fines et les bords nets.
3. Algorithme d’itération locale du graphe : L’algorithme d’itération locale du graphe conçu dans cet article peut agréger efficacement les informations de voisinage, améliorant la capacité de traitement local du graphe dual et augmentant ainsi la robustesse de la classification.
4. Forte capacité de généralisation : Cette méthode montre une forte adaptabilité aux nuages de points de différentes densités, en particulier pour les données éparses.
5. Extensibilité efficace : Grâce à la stratégie d’extension basée sur l’octree, cette méthode peut traiter des millions de points à grande échelle, offrant une efficacité de calcul élevée.

Signification de la recherche

La méthode DMNet+ proposée dans cet article a une valeur scientifique et applicative importante dans les domaines de la vision par ordinateur et de l’infographie. Non seulement elle permet une reconstruction de surface de haute précision, mais elle peut également traiter des nuages de points à grande échelle et épars, offrant un outil puissant pour les applications pratiques. De plus, cette méthode excelle dans le traitement des données bruitées et des topologies complexes, montrant son large potentiel d’application dans des domaines tels que la conception industrielle, la réalité virtuelle et l’imagerie médicale.