Étude sur la classification non invasive des gliomes : Réseau de neurones convolutifs léger basé sur la distillation des connaissances

Introduction

Les gliomes sont les principaux types de tumeurs du système nerveux central, et leur détection précoce est extrêmement importante. L’Organisation Mondiale de la Santé (OMS) classe les gliomes en quatre grades (I à IV), les grades I et II étant des gliomes de bas grade (GBG) et les grades III et IV des gliomes de haut grade (GHG). La classification précise des gliomes est cruciale pour évaluer le taux de survie.

L’imagerie par résonance magnétique (IRM) est une méthode couramment utilisée dans le domaine médical pour diagnostiquer et traiter les gliomes. Actuellement, de nombreux chercheurs utilisent des méthodes d’apprentissage automatique et d’apprentissage profond pour classifier les gliomes. Par exemple, Zacharaki et al. ont appliqué avec succès l’algorithme des machines à vecteurs de support (SVM) pour classer les gliomes sur des images IRM. Fatemeh et al. ont utilisé un réseau de neurones convolutifs (CNN) pour classer les gliomes sur des images IRM. Malheureusement, ces recherches se concentrent souvent sur l’augmentation de la précision de la classification, mais les architectures CNN avec de nombreux paramètres sont difficiles à appliquer dans les environnements médicaux réels. De plus, en raison de la petite taille des ensembles de données de gliomes, ils ne peuvent utiliser que des CNN avec un nombre réduit de paramètres, ce qui limite l’augmentation de la précision de la classification.

Dans le cadre de la tendance des diagnostics médicaux intelligents basés sur des circuits logiques programmables à très grande intégration (FPGA), il est devenu essentiel d’améliorer les performances des CNN et de réduire le nombre de paramètres et la charge de calcul grâce à des techniques de compression. Pour résoudre les problèmes susmentionnés, cet article propose une méthode de classification des gliomes basée sur la distillation des connaissances (Knowledge Distillation, KD), qui réduit considérablement le nombre de paramètres et la charge de calcul tout en conservant une haute précision. La recherche utilise Inception-ResNet-V2 comme modèle enseignant et SqueezeNet comme modèle étudiant, en introduisant en même temps le module SE pour améliorer l’efficacité du modèle.

Présentation de la source

Les auteurs de cet article sont Ai Lingmei et Bai Wenhao, tous deux de l’École d’informatique de l’Université Normale de Shaanxi. Cet article a été publié lors de la 4ème Conférence internationale sur les matériaux électroniques avancés, l’informatique et l’ingénierie logicielle (AEMCSE) en 2021, par IEEE.

Détails de la recherche

Flux de travail

Le processus de recherche comprend les étapes suivantes : 1. Sélection des modèles enseignant et étudiant : - Comparer les performances de ResNet18, ResNet34, ResNet50 et Inception-ResNet-V2 et choisir Inception-ResNet-V2 comme modèle enseignant. - Comparer ResNet18, AlexNet-v2 et SqueezeNet et choisir SqueezeNet comme modèle étudiant.

1. Préparation des données :

   • Obtenir des données IRM de 130 patients à partir des Archives d’imagerie du cancer (TCIA) et étendre l’ensemble de données à 59 878 échantillons à l’aide de techniques d’augmentation des données.
   • L’ensemble de données comprend divers types de gliomes, tels que l’astrocytome II, l’oligodendrogliome II, l’astrocytome III, etc., et finalement les données sont divisées en trois catégories : sain, gliome de bas grade et gliome de haut grade.

2. Conception de l’architecture réseau :

   • Comparer les taux d’utilisation du GPU, le nombre de paramètres, le nombre d’opérations en virgule flottante (FLOPs) et la taille des modèles des différents modèles enseignants, et finalement choisir Inception-ResNet-V2 en raison de sa meilleure performance en termes de précision de classification.
   • SqueezeNet a été choisi comme modèle étudiant en raison de ses avantages évidents en termes de charge GPU, nombre de paramètres, FLOPs et taille du modèle.

3. Introduction du module SE pour l’amélioration :

   • Bien que SqueezeNet puisse réduire efficacement les coûts de calcul, sa précision de classification est faible. Pour cette raison, la recherche introduit le module SE (Squeeze-and-Excitation block) pour améliorer les performances du modèle, notamment la précision de classification.

Processus expérimental et résultats

Le processus d’entraînement est le suivant : 1. L’ensemble de données est divisé en ensemble d’entraînement, ensemble de validation et ensemble de test selon un ratio de 8:1:1, puis les images sont prétraitées par normalisation. 2. Entraîner SqueezeNet avec le modèle enseignant, en réglant la température à 5, en utilisant l’algorithme d’optimisation Adam, avec un taux d’apprentissage initial de 0.001, un taux de dropout de 0.2, pour un total de 50 epochs, et une taille de batch de 64. 3. Comparer SqueezeNet distillé par rapport au modèle original, en utilisant des métriques comme l’exactitude, la précision, le rappel et le score F1.

Les résultats expérimentaux montrent que, après la distillation des connaissances, tous les indicateurs du modèle étudiant (SqueezeNet) ont significativement amélioré. Comparé au modèle enseignant Inception-ResNet-V2, son exactitude, précision, rappel et score F1 ont augmenté respectivement de 3.53%, 5.68%, 3.73% et 4.69%; en même temps, l’utilisation du GPU, le nombre de paramètres, les FLOPs et la taille du modèle ont respectivement réduit de 35%, 98.72%, 98.7% et 98.62%.

Conclusion et signification

La méthode de classification des gliomes basée sur la distillation des connaissances présentée dans cet article a non seulement amélioré de manière significative la précision des CNN légers, mais a également réduit la charge de calcul et le nombre de paramètres du modèle, le rendant plus adapté à une application réelle sur des dispositifs embarqués ou des équipements électroniques médicaux. À l’avenir, cet article continuera à optimiser l’efficacité et la précision du modèle étudiant, renforçant davantage l’application pratique des diagnostics médicaux intelligents.