Prothèse neurologique bilingue dirigée par la représentation de l’articulation corticale

Contexte

Dans le développement des prothèses neurologiques, les recherches portant sur le décodage du langage à partir de l’activité cérébrale se concentrent essentiellement sur une seule langue. Par conséquent, il reste à élucider dans quelle mesure la production de la parole en deux langues dépend de l’activité corticale unique ou partagée entre ces langues. Cette étude utilise l’électrocorticographie (ECoG) en combinaison avec l’apprentissage profond et les modèles statistiques de langue naturelle pour enregistrer et décoder l’activité corticale motrice de la parole chez un patient bilingue espagnol-anglais, en convertissant cette activité en phrases dans les deux langues. L’objectif est de résoudre les applications pratiques du décodage bilingue, notamment en permettant le décodage de la parole sans avoir besoin de spécifier manuellement la langue cible.

L’anarthrie, c’est-à-dire la perte de la capacité à articuler clairement, est un symptôme grave de maladies neurologiques comme l’accident vasculaire cérébral et la sclérose latérale amyotrophique. Actuellement, des interfaces cerveau-ordinateur (BCI) invasives pour la parole sont développées pour restaurer la capacité de communication naturelle des patients en décodant l’activité corticale. Cependant, les recherches sur les BCI de la parole se concentrent principalement sur le décodage d’une seule langue, notamment l’anglais ou le néerlandais, en raison du choix des sujets d’étude. Il y a donc peu de recherches sur les prothèses neurologiques bilingues ou dans des langues non anglaises. Environ deux tiers de la population mondiale est bilingue, et des études montrent que ces bilingues utilisent fréquemment différentes langues dans divers contextes sociaux, influençant ainsi leur personnalité globale et leur vision du monde. Concevoir des systèmes BCI capables de décoder plusieurs langues est crucial pour restaurer la capacité de communication des patients qui pourraient en bénéficier.

Source de l’article

Cet article a été rédigé par Alexander B. Silva, Jessie R. Liu, Sean L. Metzger et al., provenant du département de neurochirurgie et du Weill Institute for Neurosciences de l’Université de Californie à San Francisco (UCSF), ainsi que de l’Université de Californie à Berkeley. L’article a été publié dans la revue « Nature Biomedical Engineering » le 1er avril 2024, DOI : https://doi.org/10.1038/s41551-024-01207-5.

Détails de l’étude

Processus de recherche

1. Activation du système et décodage des phrases :

   • Le participant tente de parler, et un module de détection de la parole reconnaît la tentative initiale. Dès cette détection, le système propose la phrase suivante toutes les 3,5 secondes. Les caractéristiques neuronales sont enregistrées et traitées à chaque tentative.
   • Le vocabulaire bilingue comprend 51 mots en anglais et 50 mots en espagnol. Le modèle généralise les caractéristiques partagées de l’articulation entre les langues en utilisant l’apprentissage par transfert pour améliorer les performances de décodage d’une langue à l’autre avec les données neuronales.

2. Vocabulaire et modèle linguistique :

   • Le modèle utilise un classificateur de syllabes bilingues partagé et priorise les phrases linguistiquement valides via un modèle linguistique (LM). Il sélectionne la phrase avec le score le plus élevé des deux modèles linguistiques selon le contexte.

3. Entrainement et évaluation du modèle :

   • Les modèles de classification et de détection sont formés avec les données d’une tâche cible isolée, dans laquelle le participant tente de produire un mot cible indiqué visuellement. Les caractéristiques de l’activité gamma haute fréquence (HGA) et des signaux basse fréquence (LFS) sont utilisées pour la prédiction.
   • L’évaluation est réalisée par une tâche de “reproduction de frappe”, où le participant reproduit des phrases aléatoires en anglais et en espagnol. Les performances sont mesurées principalement par le taux d’erreur de mots (WER).

Résultats de l’étude

1. Performance de la prothèse neurologique bilingue :

   • Le système décode les phrases en anglais et en espagnol de manière flexible. En enregistrant les caractéristiques neuronales avec un réseau ECoG haute densité et en optimisant le modèle de décodage, le taux d’erreur de mots médian (WER) pour les blocs de test en ligne est de 25.0% (intervalle de confiance (CI) 99% : 17.2, 36.4%). Avec le modèle linguistique ajouté, le WER diminue significativement à 70.6% (CI 99% : 61.9, 78.1%).

2. Détection de la parole et classification linguistique :

   • Utilisant un classificateur de réseau neuronal récurrent (RNN), les caractéristiques neuronales pour chaque fenêtre de 3,5 secondes sont traitées, produisant une distribution de probabilité sur 104 mots bilingues. La précision du décodage libre sur la langue cible atteint 87.5% (CI 99% : 85.7, 100%), dépassant largement les prédictions aléatoires et montrant l’importance du modèle linguistique pour choisir la langue correcte.

3. Représentation partagée des syllabes :

   • Le participant montre des motifs d’activité neuronale similaires lors des tentatives de parole dans les deux langues, confirmant davantage la caractéristique partagée de l’articulation translinguistique. Un modèle formé avec des données d’une langue peut être utilisé efficacement pour catégoriser l’autre langue.

Conclusion de l’étude

L’étude démontre que les représentations corticales partagées de l’articulation persistent après la paralysie et permettent un décodage efficace entre différentes langues sans nécessiter un décodeur spécifique pour chaque langue. Grâce à l’apprentissage par transfert, les données neuronales précédemment collectées améliorent significativement les performances de décodage de nouveaux vocabulaires, réduisant le temps de formation et la charge sur les participants.

Points forts de l’étude

1. Résolution de la problématique du décodage bilingue :

   • Pour la première fois, un système de décodage de parole bilingue a été réalisé sans nécessiter la spécification manuelle de la langue cible, grâce aux caractéristiques partagées de l’articulation.

2. Apprentissage par transfert rapide du modèle :

   • En utilisant les données neuronales d’une langue pour améliorer les performances de décodage d’une autre, le temps d’entraînement et la charge sur les participants bilingues sont considérablement réduits.

3. Stabilité et durabilité des performances du système :

   • Sans réajustement fréquent, le modèle de décodage maintient des performances stables sur plus de 40 jours.

4. Perspectives d’application étendues :

   • Cette technologie ouvre de nouvelles possibilités pour l’utilisation des BCI dans les langues bilingues et non anglaises, présentant une valeur clinique et scientifique importante.

Informations complémentaires

Bien que cette étude soit limitée par le nombre de participants (un seul), la forte représentation partagée de l’articulation entre les langues offre un potentiel de généralisation aux individus ayant acquis une seconde langue tôt dans la vie, souvent associé à une représentation plus partagée. Les futures recherches devront explorer l’impact de la maîtrise linguistique, de l’âge d’acquisition, et de la similarité de l’articulation avec la langue maternelle sur ces représentations partagées.

Conclusion

Cette étude démontre la faisabilité d’une prothèse neurologique bilingue de parole, qui peut décoder de manière flexible l’intention de langage de l’utilisateur et généraliser entre les langues avec un minimum de données d’entraînement, offrant une précieuse méthode technologique pour restaurer la communication naturelle chez les patients paralysés. Ce résultat de recherche déroule également un cadre de référence crucial pour le développement futur des BCI multilingues.