EHR-HGCN : une nouvelle méthode hybride de réseau de convolution de graphes hétérogènes pour la classification de textes de dossiers de santé électroniques

Introduction au contexte académique

Avec le développement rapide du traitement du langage naturel (NLP), la classification de texte est devenue une direction de recherche importante dans ce domaine. La classification de texte nous aide non seulement à comprendre les connaissances derrière la littérature mais a également de vastes applications dans les textes biomédicaux, y compris les dossiers de santé électroniques (Electronic Health Records, EHR). Les recherches actuelles se concentrent principalement sur des méthodes de représentation basée sur les transformateurs bidirectionnels (comme BERT) et sur des méthodes d’apprentissage profond utilisant des réseaux de neurones convolutifs (CNN). Cependant, ces méthodes rencontrent souvent des limites d’entrée et des besoins élevés en ressources de calcul lorsqu’il s’agit de traiter de longs textes médicaux. Par ailleurs, les méthodes CNN représentatives de la classification de textes ne capturent souvent que les caractéristiques contextuelles proches, en négligeant les relations de plus longue portée dans les textes.

Pour résoudre ces problèmes, les réseaux de convolution de graphes hétérogènes (HGCNs) ont été récemment proposés comme une nouvelle méthode prenant en compte les relations étendues dans les textes. Toutefois, l’application de GCNs à divers problèmes réels comme la classification de texte reste toujours un défi. Dans ce contexte, cet article propose une nouvelle méthode hybride de réseau de convolution de graphes hétérogènes (EHR-HGCN) qui combine les contextes d’incorporation des mots et des phrases avec des informations relationnelles structurées au niveau des phrases et des mots pour réaliser une classification de textes plus efficace.

Introduction de la publication

Cet article a été coécrit par Guishen Wang, Xiaoxue Lou, Fang Guo, Devin Kwok et Chen Cao. Les auteurs viennent respectivement de l’Université des Sciences et Technologies de Changchun, de l’Université des Médecines de Nankin, et de l’Université McGill au Canada. L’article est publié dans le volume 28, numéro 3, du IEEE Journal of Biomedical and Health Informatics en mars 2024.

Détails de la recherche

Flux de travail de la recherche

La méthode EHR-HGCN se compose de trois parties principales : l’incorporation des mots, la construction du graphe hétérogène, et la classification du graphe hétérogène.

1. Incorporation des mots

Tout d’abord, cet article utilise GloVe pour générer les incorporations de mots initiales. Le modèle GloVe combine la décomposition de matrice globale et le cadre de fenêtre de contexte local pour générer les incorporations de mots initiales. Ensuite, sur la base de ces incorporations de mots, un réseau neuronal récurrent bidirectionnel (BiRNN) est utilisé pour obtenir des informations contextuelles et calculer les incorporations des phrases.

L = ∑ f(xij)(viᵀ vj - log(xij))^2
f(x) = {(x/xmax)^0.75, if x < xmax
        {1, if x ≥ xmax

À travers les formules (1) et (2), le modèle GloVe peut générer des incorporations de contexte pour chaque mot-clé dans le texte.

2. Construction du graphe hétérogène

Après avoir obtenu les vecteurs d’incorporation contextuels des mots, les relations à longue distance entre les mots sont calculées en utilisant la similarité cosinus. Si la similarité cosinus dépasse un seuil prédéfini, un lien sera créé entre deux nœuds de mots. De plus, si un mot est présent dans une phrase, un lien est créé entre ce mot et la phrase. Chaque graphe hétérogène est composé de phrases et de mots en tant que nœuds, et de relations phrase-mot et mot-mot en tant que liens. Par cela, chaque document est converti en une structure de graphe hétérogène, transformant ainsi le problème de classification de texte en un problème de classification de graphe.

Comme illustré dans la Figure 3, chaque document est transformé en un graphe contenant des nœuds et des liens, ce qui permet de transformer le problème de classification de texte en un problème de classification de graphe hétérogène en utilisant des graphes construits à partir des mots et des phrases du texte.

3. Classification du graphe hétérogène

La troisième étape consiste à utiliser un réseau de convolution de graphes hétérogènes (HGCN) pour effectuer la classification au niveau du graphe hétérogène. HGCN est principalement composé d’opérations d’agrégation et de convolution de graphes hétérogènes. Grâce à ces opérations, le document est représenté sous forme de graphe, puis les résultats de prédiction sont obtenus via une couche complètement connectée.

ĥ lk_i = f(∑ aij ĥ lk-1_j ⊗ θijk)

Comme indiqué par les formules (5) et (6), HGCN applique des opérations de convolution de types de liens différents aux graphes, puis les résultats sont introduits dans la couche d’incorporation de graphes pour obtenir des représentations de graphes, et enfin les résultats de classification sont obtenus via une couche entièrement connectée.

Présentation des principaux résultats

Pour vérifier l’efficacité de la méthode proposée, des expérimentations ont été menées sur plusieurs ensembles de données de référence standard ainsi que sur un benchmark d’application EHR. Les ensembles de référence standards incluent 20 Newsgroups, R8 et R52, Ohsumed et Movie Review. Les résultats des expériences montrent que la méthode EHR-HGCN surpasse les autres méthodes d’apprentissage profond traditionnelles et de GCN en termes de précision et de F1-score.

Résultats illustratifs

Par exemple, sur l’ensemble de données 20 Newsgroups, la méthode EHR-HGCN dépasse la deuxième meilleure méthode TextGCN de 1,65 % et 4,28 % en termes de précision et de F1-score, respectivement. Sur l’ensemble de données Ohsumed, seule la méthode EHR-HGCN dépasse une précision de 50 %, atteignant 52,3 %.

Conclusion et valeur

La méthode EHR-HGCN proposée dans cet article a montré une performance extraordinaire dans la classification de textes, en particulier dans le domaine des EHR. En combinant les informations contextuelles avec les relations structurées des textes et en introduisant les réseaux de convolution de graphes hétérogènes, la méthode a réalisé un meilleur effet de classification. Non seulement cette méthode vaut-elle scientifiquement, mais elle offre aussi de nouvelles orientations et moyens techniques pour le traitement des dossiers de santé électroniques.

Points saillants de la recherche

1. Innovation : en combinant GloVe, BiRNN et un modèle de graphe hétérogène, une nouvelle méthode a été proposée.
2. Amélioration des performances : performances exceptionnelles sur plusieurs ensembles de données de référence, en particulier pour les ensembles de données EHR.
3. Structure globale : prend en compte les relations complexes entre les mots et les phrases, apportant une classification de texte plus efficace.

Il est évident que la méthode EHR-HGCN offre un outil puissant pour la classification de textes, particulièrement pour le traitement des dossiers de santé électroniques, montrant le potentiel et les perspectives d’application de la combinaison des mégadonnées et de l’intelligence artificielle dans le domaine médical. Les futures recherches pourraient tester et optimiser la méthode sur des ensembles de données à plus grande échelle afin d’améliorer sa performance dans des scénarios d’application réelle.