Apprentissage de représentation découplée basé sur l’information mutuelle pour l’analyse des sentiments multimodaux : une étude innovante

Contexte académique

Avec le développement rapide des médias sociaux, la quantité de contenu multimédia généré par les utilisateurs (comme les tweets et les vidéos) a augmenté de manière significative. Ces données multimédias contiennent généralement trois modalités : visuelle (image), acoustique (voix) et textuelle. Ces données renferment des informations émotionnelles riches, et analyser automatiquement ces informations émotionnelles est devenu un défi important. L’analyse des sentiments multimodaux (Multimodal Sentiment Analysis, MSA) vise à utiliser divers signaux pour identifier les émotions et sentiments sous-jacents. Cependant, l’apprentissage de représentation multimodale est l’un des principaux défis dans ce domaine, c’est-à-dire comment intégrer efficacement les caractéristiques de différentes modalités en une représentation unifiée.

Récemment, deux approches principales ont été proposées pour résoudre ce problème : une méthode consiste à décomposer les caractéristiques multimodales en parties invariantes aux modalités (modality-invariant) et spécifiques aux modalités (modality-specific) ; l’autre méthode utilise l’information mutuelle (Mutual Information, MI) pour améliorer l’effet de fusion des modalités. Ces deux approches ont obtenu certains résultats, mais des problèmes subsistent. Par exemple, les méthodes existantes se concentrent généralement uniquement sur l’information invariante et spécifique aux modalités, ignorant le rôle de l’information complémentaire inter-modale (modality-complementary information). De plus, le découplage des caractéristiques multimodales et l’analyse quantitative de leur contenu d’information n’ont pas encore été suffisamment étudiés.

Origine de l’article

Cet article a été rédigé conjointement par Hao Sun, Ziwei Niu, Hongyi Wang, Xinyao Yu, Jiaqing Liu, Yen-Wei Chen et Lanfen Lin. Parmi eux, Hao Sun et Ziwei Niu sont les premiers auteurs co-responsables, tandis que Yen-Wei Chen et Lanfen Lin sont les auteurs correspondants. Les auteurs proviennent respectivement du Collège d’informatique et de technologie de l’Université de Zhejiang et du Collège d’ingénierie et de science de l’information de l’Université Ritsumeikan au Japon. L’article a été publié dans la revue IEEE Transactions on Affective Computing et devrait être officiellement publié en 2025.

Processus de recherche et détails

1. Cadre de recherche

Cette étude propose un cadre d’apprentissage de représentation multimodale découplée basé sur l’information mutuelle (Mutual Information-based Disentangled Multimodal Representation Learning, MIMRL), divisant le traitement multimodal en deux phases : extraction de caractéristiques et fusion.

Phase d’extraction de caractéristiques

Dans la phase d’extraction de caractéristiques, l’équipe de recherche propose que les caractéristiques multimodales contiennent trois types d’informations utiles :
1. Information invariante aux modalités (Modality-Invariant Information) : partagée entre différentes modalités, elle pointe vers une sémantique commune.
2. Information spécifique aux modalités (Modality-Specific Information) : propre à chaque modalité, mais toujours pertinente pour la prédiction finale.
3. Information complémentaire inter-modale (Modality-Complementary Information) : informations prédictives qui émergent lorsque deux modalités ou plus sont combinées.

L’équipe de recherche utilise l’information mutuelle (MI) et l’information mutuelle conditionnelle (Conditional Mutual Information, CMI) pour quantifier ces informations et ajuste leurs proportions pour optimiser l’extraction des caractéristiques.

Phase de fusion

Dans la phase de fusion, l’équipe de recherche maximise l’information mutuelle entre chaque représentation modale et la représentation fusionnée pour améliorer la fusion multimodale. De plus, une analyse quantitative des contributions de chaque modalité dans la représentation fusionnée est effectuée.

2. Configuration expérimentale et jeux de données

L’équipe de recherche a mené des expériences sur quatre ensembles de données publics, y compris CMU-MOSI, CMU-MOSEI, Hazumi1911 et AVEC2019. Ces ensembles de données sont respectivement utilisés pour des tâches d’analyse des sentiments et de détection de la dépression.

CMU-MOSI et CMU-MOSEI

Ces deux ensembles de données incluent des données d’analyse des sentiments multimodaux (texte, acoustique et visuel), avec des étiquettes comprises dans l’intervalle [-3, 3], représentant l’intensité des émotions allant du négatif au positif.

Hazumi1911

Cet ensemble de données introduit les signaux physiologiques comme quatrième modalité pour l’analyse des sentiments.

AVEC2019

Cet ensemble de données est utilisé pour des tâches de détection de la dépression, avec des étiquettes comprises dans l’intervalle [0, 24], représentant le niveau de dépression.

3. Méthode expérimentale

Génération et fusion des représentations modales

Avant la fusion, l’équipe de recherche utilise LSTM (Long Short-Term Memory) pour générer les représentations des modalités acoustique et visuelle, et BERT pour générer les représentations de la modalité textuelle. Ensuite, un encodeur de fusion combine les caractéristiques multimodales en une représentation unifiée.

Maximisation de l’information

Dans la phase d’extraction des caractéristiques, l’équipe de recherche utilise MI et CMI pour estimer les informations invariantes, spécifiques et complémentaires aux modalités, et ajuste leurs proportions via des fonctions de perte. Dans la phase de fusion, la maximisation de l’information mutuelle entre chaque modalité et la représentation fusionnée permet d’optimiser l’effet de la fusion.

4. Résultats expérimentaux

L’équipe de recherche a découvert que le cadre proposé atteint des performances de pointe sur plusieurs ensembles de données. Par exemple, sur l’ensemble de données CMU-MOSI, l’erreur absolue moyenne (MAE) est de 0,687, et le coefficient de corrélation de Pearson est de 0,792 ; sur l’ensemble de données CMU-MOSEI, le MAE est de 0,513, et le coefficient de corrélation de Pearson est de 0,801. De plus, l’équipe a également constaté que différents types de tâches dépendent différemment des informations modales. Par exemple, dans les tâches d’analyse des sentiments, les informations spécifiques à la modalité textuelle dominent, tandis que dans les tâches de détection de la dépression, les informations complémentaires inter-modales sont plus importantes.

Conclusion et signification

Cette étude propose un cadre d’apprentissage de représentation multimodale découplée basé sur l’information mutuelle, combinant pour la première fois les méthodes de découplage multimodal et les méthodes d’information mutuelle pour résoudre les problèmes clés de l’apprentissage de représentation multimodale. En analysant quantitativement et en optimisant les proportions d’informations invariantes, spécifiques et complémentaires aux modalités, l’équipe de recherche a obtenu des améliorations significatives des performances dans les tâches d’analyse des sentiments multimodaux et de détection de la dépression.

Points forts de la recherche

1. Innovation : Pour la première fois, les méthodes de découplage multimodal et d’information mutuelle sont combinées, proposant un nouveau cadre d’apprentissage de représentation multimodale.
   
2. Analyse quantitative : L’utilisation de l’information mutuelle et conditionnelle pour estimer quantitativement les proportions d’informations modales fournit un support théorique pour la fusion multimodale.
   
3. Applicabilité large : La validation du cadre sur plusieurs ensembles de données publics montre son universalité dans différentes tâches.
   

Perspectives futures

Bien que cette étude ait obtenu des résultats significatifs, l’ajustement actuel des proportions d’information repose encore sur un réglage manuel des paramètres, ce qui limite son extensibilité dans des applications pratiques. Les recherches futures se concentreront sur le développement de méthodes adaptatives pour ajuster automatiquement les proportions d’information, afin de promouvoir davantage le développement de l’apprentissage de représentation multimodale.