Reconnaissance des émotions EEG inter-sujets basée sur l’apprentissage contrastif hyperbolique multi-échelle

Contexte académique

L’électroencéphalographie (EEG), en tant que signal physiologique, joue un rôle important dans le domaine du calcul affectif (Affective Computing). Comparé aux indices non physiologiques traditionnels (comme les expressions faciales ou la voix), les signaux EEG présentent une meilleure résolution temporelle et objectivité, permettant de refléter de manière plus fiable les états émotionnels humains. Cependant, les signaux EEG présentent des différences individuelles significatives, ce qui rend la reconnaissance des émotions inter-sujets (Cross-Subject) un défi majeur. Les signaux EEG de différents individus sont influencés par divers facteurs tels que l’âge, l’état mental et les caractéristiques cognitives, ce qui réduit la capacité de généralisation des modèles pré-entraînés sur de nouveaux sujets.

Pour relever ce défi, les chercheurs ont proposé plusieurs méthodes, y compris l’analyse basée sur les caractéristiques du domaine temps-fréquence, les modèles d’apprentissage profond et le transfert d’apprentissage. Cependant, ces approches peinent souvent à réduire les différences entre les sujets tout en préservant la séparabilité des caractéristiques émotionnelles. Pour répondre à ce problème, cet article propose une nouvelle méthode appelée Apprentissage Contrastif Hyperbolique Multi-Échelle (Multi-Scale Hyperbolic Contrastive Learning, MSHCL), visant à apprendre des représentations EEG inter-sujets plus généralisables grâce à la combinaison de la corrélation événementielle et des techniques d’intégration dans l’espace hyperbolique.

Origine de l’article

Cet article a été co-rédigé par Jiang Chang, Zhixin Zhang, Yuhua Qian (membres de l’IEEE) et Pan Lin (membre de l’IEEE). Les auteurs proviennent respectivement de l’Institut de Recherche sur les Sciences des Données Massives et l’Industrie de l’Université Shanxi et du Centre de Recherche en Psychologie et Neurosciences de l’Université Normale du Hunan. L’article a été publié dans IEEE Transactions on Affective Computing et sera officiellement publié en 2025. Le code source est disponible à l’adresse suivante : https://github.com/jiangchang-brain/mshcl.

Processus de recherche et résultats

1. Objectifs de la recherche et conception méthodologique

L’objectif de cette recherche est d’extraire des caractéristiques invariantes des émotions à partir des signaux EEG inter-sujets via l’apprentissage contrastif multi-échelle et l’intégration dans l’espace hyperbolique, afin d’améliorer la précision et la capacité de généralisation de la reconnaissance des émotions. À cette fin, les auteurs ont proposé le cadre MSHCL, qui applique des pertes contrastives à deux échelles : émotion et stimulus, tout en capturant la structure hiérarchique des signaux EEG via l’espace hyperbolique.

2. Prétraitement des données et configuration expérimentale

La recherche utilise trois ensembles de données EEG publics pour la reconnaissance des émotions : SEED, MPED et FACED. Ces ensembles couvrent différentes catégories émotionnelles et paradigmes expérimentaux, offrant des scénarios de test riches pour la reconnaissance des émotions inter-sujets. Le prétraitement des données inclut un sous-échantillonnage (Downsampling) à 200 Hz ainsi qu’une normalisation des dimensions des canaux.

3. Cadre d’apprentissage contrastif multi-échelle

Le cœur du cadre MSHCL réside dans l’apprentissage contrastif multi-échelle. Plus précisément, les auteurs ont conçu deux types de pertes contrastives : - Perte contrastive à l’échelle émotionnelle : En comparant les signaux EEG ayant les mêmes étiquettes émotionnelles, elle conserve la séparabilité des caractéristiques émotionnelles. - Perte contrastive à l’échelle des stimuli : En comparant les signaux EEG issus du même stimulus, elle réduit les différences individuelles entre les sujets.

De plus, les auteurs ont intégré les signaux EEG dans un espace hyperbolique, exploitant les propriétés géométriques exponentielles de l’espace hyperbolique pour mieux capturer la structure hiérarchique des signaux EEG. Les paramètres de courbure (Curvature Parameter, c) et de poids multi-échelle (λ) ont été optimisés expérimentalement.

4. Expériences et résultats

La recherche évalue les performances du modèle en utilisant une validation croisée Leave-One-Subject-Out (LOSO) et une validation croisée 10-fold (10-Fold Cross-Validation). Les résultats montrent que MSHCL surpasse les méthodes existantes sur les trois ensembles de données : - Sur la tâche de classification ternaire du jeu de données SEED, le taux de précision atteint 89,3 %. - Sur la tâche de classification sept classes du jeu de données MPED, le taux de précision est de 38,8 %. - Sur les tâches de classification binaire et neuf classes du jeu de données FACED, les taux de précision sont respectivement de 77,0 % et 45,7 %.

5. Analyse des résultats et visualisation

Pour valider davantage l’efficacité du modèle, les auteurs ont utilisé t-SNE (t-Distributed Stochastic Neighbor Embedding) pour visualiser les caractéristiques extraites. Les résultats montrent que MSHCL peut mieux séparer les différentes catégories émotionnelles tout en réduisant les différences individuelles entre les sujets.

6. Expérience d’ablation

Pour évaluer la contribution des composants de MSHCL, les auteurs ont mené des expériences d’ablation. Les résultats montrent que : - La suppression de l’apprentissage contrastif multi-échelle entraîne une baisse significative des performances du modèle, en particulier dans les tâches complexes de classification des émotions. - La suppression de l’intégration hyperbolique entraîne également une baisse des performances, soulignant l’importance de l’espace hyperbolique pour capturer la structure hiérarchique des signaux EEG.

Conclusion et signification

Cette recherche propose une méthode innovante de reconnaissance des émotions EEG inter-sujets, qui réduit efficacement les différences individuelles tout en conservant la séparabilité des caractéristiques émotionnelles grâce à l’apprentissage contrastif multi-échelle et l’intégration dans l’espace hyperbolique. Les résultats expérimentaux montrent que MSHCL surpasse les méthodes existantes sur plusieurs ensembles de données, offrant de nouvelles solutions pour la reconnaissance des émotions inter-sujets.

Points forts de la recherche

1. Apprentissage contrastif multi-échelle : Application pour la première fois de pertes contrastives aux échelles émotionnelle et des stimuli, améliorant considérablement la capacité de généralisation du modèle.
2. Intégration dans l’espace hyperbolique : Première application de la géométrie hyperbolique aux tâches de classification des émotions EEG, capturant mieux la structure hiérarchique des signaux EEG.
3. Hautes performances et stabilité : Obtention de performances State-of-the-Art (SOTA) sur plusieurs ensembles de données avec une variance réduite.

Perspectives futures

Bien que MSHCL ait montré des performances exceptionnelles dans la reconnaissance des émotions EEG inter-sujets, certaines limitations nécessitent des recherches supplémentaires. Par exemple, l’interprétabilité de l’intégration hyperbolique doit être améliorée. À l’avenir, des techniques telles que les mécanismes d’attention (Attention Mechanism) pourraient être introduites pour mieux comprendre les relations hiérarchiques dans les signaux EEG. De plus, la capacité de généralisation du modèle doit être validée sur des ensembles de données plus vastes et diversifiés.