Réseaux d'apprentissage de représentation multi-modale évolutifs

Contexte académique

Dans le domaine de l’intelligence artificielle, l’apprentissage de représentation multimodale (Multi-modal Representation Learning, MMRL) est un paradigme puissant qui vise à mapper des entrées provenant de différentes modalités dans un espace de représentation partagé. Par exemple, dans les réseaux sociaux, les utilisateurs partagent souvent à la fois des images et des informations textuelles. Grâce à l’apprentissage de représentation multimodale, les modèles peuvent mieux comprendre la relation entre certains mots ou concepts dans le texte et les motifs visuels dans les images. Ce paradigme a été largement appliqué dans des domaines tels que les soins de santé, la reconnaissance des émotions, etc., car les données existent généralement sous diverses formes, et la fusion d’informations multimodales peut améliorer la compréhension globale et la prise de décision du système.

Cependant, les méthodes existantes d’apprentissage de représentation multimodale font face à deux défis majeurs : la préservation des informations d’ordre supérieur et la généralisation des données hors échantillon. Premièrement, les méthodes existantes considèrent principalement des structures de graphes standards par paires, négligeant les insights potentiels que pourraient apporter des relations d’ordre supérieur. Deuxièmement, la plupart des cadres existants basés sur des graphes pour l’apprentissage de représentation multimodale supposent que les données multimodales complètes ont été collectées au stade de l’inférence, alors que les scénarios d’inférence dans le monde réel sont dynamiques, et les cadres existants négligent souvent le test des nouveaux échantillons multimodaux générés. Ces problèmes limitent l’extensibilité et l’efficacité des méthodes existantes dans les applications pratiques.

Pour résoudre ces problèmes, une équipe de recherche de l’Université de Fuzhou a proposé un cadre de réseaux d’apprentissage de représentation multimodale évolutifs (Scalable Multi-modal Representation Learning Networks, SMMRL). Ce cadre vise à apprendre des matrices de projection spécifiques à chaque modalité pour projeter les caractéristiques multimodales dans un espace de représentation partagé, permettant ainsi de préserver les informations d’ordre supérieur et de généraliser les données hors échantillon.

Source de l’article

Cet article a été co-écrit par Zihan Fang, Ying Zou, Shiyang Lan, Shide Du, Yanchao Tan et Shiping Wang, tous issus du Collège d’informatique et de science des données de l’Université de Fuzhou. L’article a été accepté le 4 avril 2025 et publié dans la revue Artificial Intelligence Review, sous le titre Scalable Multi-modal Representation Learning Networks. Le code de l’article est disponible publiquement sur GitHub pour les chercheurs et les développeurs.

Processus de recherche

1. Définition du problème et objectifs

L’équipe de recherche a d’abord défini les deux principaux défis de l’apprentissage de représentation multimodale : la préservation des informations d’ordre supérieur et la généralisation des données hors échantillon. Pour résoudre ces problèmes, ils ont proposé le cadre SMMRL, qui atteint ces objectifs grâce à trois contributions principales : 1. Un modèle de sélection de caractéristiques préservant les corrélations d’ordre supérieur, mappant les données multimodales dans un espace de représentation consensuel via une projection contrainte par parcimonie en lignes. 2. Une architecture de réseau inspirée des opérateurs proximaux, encodant la parcimonie et l’incorporation d’hypergraphes comme connaissances préalables dans la structure du réseau. 3. Une évaluation extensive dans des tâches multimodales, y compris l’extension aux données hors échantillon, démontrant l’efficacité et la supériorité de la représentation consensuelle apprise.

2. Méthodologie

2.1 Formulation mathématique

L’équipe de recherche a d’abord défini la représentation mathématique des données multimodales. Supposant des données multimodales provenant de M modalités, chaque modalité ayant une dimension de caractéristique dm et un nombre d’échantillons n. En définissant des matrices de projection spécifiques à chaque modalité et une matrice de représentation consensuelle, l’équipe a construit un modèle d’optimisation visant à minimiser l’erreur de projection et les termes de régularisation. Les termes de régularisation incluent une contrainte de parcimonie en lignes et une régularisation par Laplacien d’hypergraphe, assurant que des points de données similaires ont des coefficients similaires dans l’espace de représentation.

2.2 Solution d’optimisation

Pour résoudre le problème d’optimisation, l’équipe de recherche a utilisé la méthode des opérateurs proximaux (Proximal Operator). Les opérateurs proximaux sont utilisés pour appliquer des contraintes de parcimonie aux variables lors du processus d’optimisation, et les matrices de projection et de représentation sont progressivement optimisées via des mises à jour itératives. Plus précisément, l’équipe a transformé l’objectif d’optimisation en modules de réseau neuronal entraînables grâce à une architecture de réseau inspirée des opérateurs proximaux, permettant ainsi un apprentissage conjoint de la sélection de caractéristiques pondérées automatiquement et de l’apprentissage de représentation.

2.3 Architecture de réseau apprenable

L’équipe de recherche a considéré l’algorithme d’optimisation itérative comme un réseau neuronal récurrent, où la k-ième itération est considérée comme la k-ième couche d’un réseau feedforward. En introduisant des poids et des fonctions d’activation apprenables, l’équipe a conçu une architecture de réseau profond capable de mettre à jour automatiquement les matrices de projection spécifiques à chaque modalité et les matrices de représentation. Finalement, l’équipe a mis à jour les paramètres du réseau via une fonction de perte d’entropie croisée, optimisant progressivement les performances du modèle lors de l’entraînement.

3. Expérimentation et évaluation

L’équipe de recherche a mené des expériences approfondies sur six ensembles de données multimodales réels, évaluant l’efficacité et la supériorité du cadre SMMRL. La conception expérimentale visait à répondre à quatre questions de recherche clés : 1. Résultats et analyse expérimentaux : Comment les performances de SMMRL se comparent-elles aux méthodes de pointe existantes en termes de métriques quantitatives ? 2. Validation de l’évolutivité : SMMRL réalise-t-il la préservation des relations d’ordre supérieur et la généralisation des données hors échantillon ? 3. Analyse du modèle : Quel est l’impact des hyperparamètres et des différentes stratégies de fusion sur les performances, et comment sélectionner les valeurs optimales des paramètres ? 4. Comportement de convergence et efficacité de l’entraînement : Quelle est la praticabilité et l’efficacité de SMMRL ?

3.1 Configuration expérimentale

L’équipe de recherche a adopté deux paradigmes d’apprentissage différents : l’apprentissage transductif et l’apprentissage inductif. Dans l’apprentissage transductif, le modèle utilise toutes les données disponibles pour construire une structure d’hypergraphe, mais ne calcule la fonction de perte que pour les parties des données dont les étiquettes sont connues. Dans l’apprentissage inductif, le modèle n’utilise qu’un ensemble limité d’exemples étiquetés pour l’entraînement, et après l’entraînement, la matrice de projection apprise est utilisée pour mapper directement les données non vues dans l’espace de représentation pour la classification.

3.2 Ensembles de données

L’équipe de recherche a mené des expériences sur six ensembles de données multimodales réels, incluant BDGP, Flickr, ESP-Game, HW, NUS-WIDE et Reuters. Ces ensembles de données couvrent divers types tels que les données visuelles-textuelles, les images de chiffres et les collections de documents.

3.3 Méthodes comparées

Pour évaluer l’efficacité de SMMRL, l’équipe de recherche l’a comparé à sept méthodes de pointe en apprentissage de représentation multimodale, incluant DHGNN, HGNN, HLR-M2VS, IMVGCN, ORLNet, etc. Les résultats expérimentaux montrent que SMMRL a obtenu des performances exceptionnelles sur la plupart des ensembles de données, en particulier en ce qui concerne la préservation des informations d’ordre supérieur et la généralisation des données hors échantillon.

4. Résultats et discussion

4.1 Résultats et analyse expérimentaux

Les résultats expérimentaux montrent que SMMRL a obtenu les meilleures ou les deuxièmes meilleures performances sur la plupart des ensembles de données. En particulier, sur les ensembles de données HW et NUS-WIDE, SMMRL s’est démarqué, surpassant de manière significative les autres méthodes comparées. En visualisant les représentations consensuelles apprises, l’équipe de recherche a constaté que SMMRL séparait mieux les échantillons de différentes classes et maintenait une structure de clustering claire dans l’espace de représentation.

4.2 Validation de l’évolutivité

Pour valider l’évolutivité de SMMRL, l’équipe de recherche a mené des analyses de variantes et des tests sur des données hors échantillon. Les résultats expérimentaux montrent que SMMRL a excellé dans la préservation des informations d’ordre supérieur et la généralisation des données hors échantillon. En particulier, dans les tests sur des données hors échantillon, SMMRL a maintenu des performances stables à différents ratios d’entraînement, démontrant sa puissante capacité de généralisation.

4.3 Analyse du modèle

L’équipe de recherche a exploré plus en détail l’impact du nombre de couches du réseau et des paramètres de régularisation sur les performances de SMMRL. Les résultats expérimentaux montrent que la précision de classification s’améliore initialement avec l’augmentation du nombre de couches, mais se stabilise après un certain nombre de couches. De plus, SMMRL est relativement insensible aux valeurs du paramètre de régularisation λ, indiquant une robustesse accrue lors du traitement de données de haute dimension.

4.4 Stratégie de fusion

L’équipe de recherche a également exploré l’impact de différentes stratégies de fusion sur les performances de SMMRL. Les résultats expérimentaux montrent que la stratégie de fusion pondérée a obtenu les meilleures performances sur la plupart des ensembles de données, en particulier lors du traitement de données de haute dimension, où la fusion pondérée a permis d’intégrer efficacement les informations multimodales, améliorant ainsi les performances globales du modèle.

5. Conclusion

Contrairement aux méthodes traditionnelles d’apprentissage de représentation multimodale, SMMRL a résolu efficacement les problèmes de préservation des informations d’ordre supérieur et de généralisation des données hors échantillon en introduisant une incorporation d’hypergraphes et une architecture de réseau inspirée des opérateurs proximaux. L’équipe de recherche a mené des expériences approfondies sur plusieurs ensembles de données réels, montrant que SMMRL excelle dans le traitement des données multimodales, en particulier dans la préservation des informations d’ordre supérieur et la généralisation des données hors échantillon. Cette recherche offre de nouvelles perspectives et méthodes dans le domaine de l’apprentissage de représentation multimodale, avec une importante valeur scientifique et des perspectives d’application prometteuses.

Points forts de la recherche

1. Préservation des informations d’ordre supérieur : En introduisant l’incorporation d’hypergraphes, SMMRL capture efficacement les corrélations d’ordre supérieur entre les échantillons multimodaux, améliorant ainsi la qualité de l’apprentissage de représentation.
2. Généralisation des données hors échantillon : SMMRL, grâce à la sélection de caractéristiques pondérées automatiquement et aux matrices de projection spécifiques à chaque modalité, transfère efficacement les connaissances des données connues aux données hors échantillon, démontrant une puissante capacité de généralisation.
3. Évolutivité : SMMRL excelle dans le traitement des ensembles de données multimodales à grande échelle, en particulier dans la modélisation de données de haute dimension et de relations d’ordre supérieur, avec une efficacité de calcul et une extensibilité élevées.

Valeur de la recherche

Le cadre SMMRL offre de nouvelles solutions dans le domaine de l’apprentissage de représentation multimodale, en particulier dans la préservation des informations d’ordre supérieur et la généralisation des données hors échantillon. Cette recherche est non seulement innovante sur le plan théorique, mais démontre également des perspectives d’application larges, en particulier dans les réseaux sociaux, les soins de santé et la reconnaissance des émotions. En rendant le code et les ensembles de données publics, l’équipe de recherche fournit des ressources précieuses et des références pour les recherches futures.