Recherche sur l’édition efficace et fine de scènes 3D basée sur des champs de points neuronaux invariants par rotation

Contexte académique

Dans le domaine de la vision par ordinateur et de l’infographie, la modélisation et le rendu de nouvelles perspectives de scènes réelles à partir d’images multi-vues constituent un problème central. Les champs de radiance neuronaux (Neural Radiance Fields, NeRF) ont récemment montré un grand potentiel dans la génération de résultats de synthèse de nouvelles perspectives de haute qualité, et sont considérés comme prometteurs pour remplacer les méthodes traditionnelles de représentation 3D explicite, telles que les maillages ou les voxels. Cependant, malgré l’excellente qualité de rendu des NeRF, leurs capacités en matière d’édition de scènes restent limitées. Les méthodes existantes d’édition de NeRF présentent des lacunes évidentes en termes d’efficacité et de capacité d’édition fine, ce qui limite le potentiel créatif et les applications pratiques des NeRF.

Pour résoudre ce problème, les chercheurs ont proposé un cadre d’édition basé sur des champs de points neuronaux invariants par rotation (Rotation-Invariant Neural Point Fields), visant à combiner les avantages complémentaires de la représentation implicite des NeRF et de la représentation explicite des points pour réaliser une édition efficace et fine de scènes 3D. Cette recherche améliore non seulement la qualité de rendu après édition, mais introduit également une stratégie d’apprentissage intégré multi-vues pour une segmentation interactive en temps réel des images 2D vers des champs de points neuronaux 3D, simplifiant ainsi le processus d’utilisation.

Source de l’article

Cet article est le fruit d’une collaboration entre des équipes de recherche de plusieurs universités chinoises, avec comme principaux auteurs Yuze Wang, Junyi Wang, Chen Wang et Yue Qi. Yuze Wang et Yue Qi sont issus du Laboratoire d’État clé des technologies et systèmes de réalité virtuelle de l’Université de Beihang, Junyi Wang de l’École d’informatique et de technologie de l’Université du Shandong, et Chen Wang de l’École d’informatique et d’ingénierie de l’Université de technologie et de commerce de Beijing. L’article a été publié en 2025 dans la revue Neural Networks, sous le titre « RISE-Editing: Rotation-Invariant Neural Point Fields with Interactive Segmentation for Fine-Grained and Efficient Editing ».

Processus de recherche

1. Représentation des champs de points neuronaux invariants par rotation

La recherche propose d’abord une méthode de représentation des champs de points neuronaux invariants par rotation, visant à améliorer la qualité de rendu des scènes après une édition fine en apprenant le contenu local à l’aide de coordonnées cartésiennes. Cette méthode conçoit un module d’interpolation par pondération inverse de distance neuronale invariante par rotation (RNIDWI) pour agréger efficacement les points neuronaux, garantissant l’intégrité des caractéristiques dépendantes de la vue pendant l’édition.

2. Stratégie d’apprentissage intégré multi-vues

Pour réaliser une édition interactive efficace, l’équipe de recherche propose une stratégie d’apprentissage intégré multi-vues, qui élève en temps réel les résultats de segmentation zero-shot 2D inconsistants vers des champs de points neuronaux 3D. Les utilisateurs peuvent simplement cliquer sur des invites dans les images 2D pour segmenter efficacement le champ de points neuronaux 3D et manipuler les points neuronaux correspondants, permettant ainsi une édition fine des champs implicites.

3. Module de rendu inter-scènes

Pour améliorer l’efficacité de la synthèse inter-scènes, la recherche découple la représentation traditionnelle des NeRF en un module de rendu indépendant de la scène et des champs de points neuronaux spécifiques à la scène. Cette approche réduit non seulement les besoins en temps et en espace, mais prend également en charge des interactions complexes entre scènes.

4. Résultats expérimentaux et évaluation

La recherche a mené des expériences sur plusieurs ensembles de données publics, notamment le jeu de données NeRF synthétique, le jeu de données ScanNet et le jeu de données de référence pour la segmentation NeRF. Les résultats expérimentaux montrent que la méthode surpasse les méthodes existantes en termes de capacité d’édition, de qualité de rendu et d’efficacité spatio-temporelle. Plus précisément, la recherche démontre diverses fonctionnalités d’édition, telles que la duplication de parties, la mise à l’échelle, la transformation, la suppression et la synthèse inter-scènes, et génère des résultats de rendu de nouvelles perspectives de haute qualité.

Principaux résultats

1. Amélioration des capacités d’édition

Grâce à la représentation des champs de points neuronaux invariants par rotation, la recherche améliore significativement la qualité de rendu après édition. Les expériences montrent que la méthode peut maintenir l’intégrité des détails lors de l’édition de scènes complexes (comme les feuilles de plantes), évitant les artefacts de rendu courants dans les méthodes traditionnelles.

2. Édition interactive efficace

La stratégie d’apprentissage intégré multi-vues permet aux utilisateurs de segmenter et d’éditer en temps réel les champs de points neuronaux 3D par de simples clics. Par rapport aux méthodes existantes, cette méthode montre une amélioration significative de l’efficacité d’édition et de la convivialité.

3. Synthèse inter-scènes

En découplant le module de rendu indépendant de la scène et les champs de points neuronaux spécifiques à la scène, la recherche réalise une synthèse inter-scènes efficace. Les expériences montrent les résultats de l’édition et de la synthèse de plusieurs scènes, prouvant la flexibilité et la polyvalence de la méthode.

Conclusion et signification

La contribution principale de cette recherche réside dans la proposition d’un cadre d’édition de scènes 3D efficace et fin, qui améliore significativement les capacités d’édition et la qualité de rendu grâce à la représentation des champs de points neuronaux invariants par rotation et à la stratégie d’apprentissage intégré multi-vues. Cette méthode simplifie non seulement le processus d’utilisation, mais ouvre également de nouvelles possibilités pour l’édition créative de contenus 3D, avec des perspectives d’application larges, comme la réalité virtuelle et la production cinématographique.

Points forts de la recherche

1. Représentation des champs de points neuronaux invariants par rotation : En introduisant une contrainte d’invariance par rotation, elle garantit la qualité de rendu après édition.
2. Stratégie d’apprentissage intégré multi-vues : Réalise une segmentation interactive en temps réel des images 2D vers les champs de points neuronaux 3D, améliorant l’efficacité de l’édition.
3. Module de rendu inter-scènes : En découplant le module de rendu indépendant de la scène, il prend en charge une synthèse inter-scènes efficace.
4. Validation expérimentale étendue : Valide l’efficacité de la méthode sur plusieurs ensembles de données publics, démontrant ses avantages en matière de capacité d’édition et de qualité de rendu.

Autres informations utiles

Bien que cette méthode ait fait des progrès significatifs en matière de capacité d’édition et d’efficacité, elle présente encore certaines limites. Par exemple, la méthode dépend de la précision du modèle de segmentation 2D et peut ne pas bien performer sur des cibles très fines. De plus, la méthode ne modélise pas les effets d’éclairage, ce qui peut empêcher la génération de réflexions et d’ombres réalistes dans certains environnements lumineux. Les recherches futures pourraient envisager de combiner des méthodes de segmentation interactive plus avancées et des techniques de re-éclairage basées sur NeRF pour améliorer encore les effets d’édition.

Cette recherche offre de nouvelles idées et méthodes dans le domaine de l’édition de scènes 3D, avec une valeur scientifique importante et un potentiel d’application prometteur.