非侵入性胶质瘤分级研究综述：基于知识蒸馏的轻量级卷积神经网络

背景介绍

胶质瘤是中枢神经系统的主要肿瘤，早期检测非常重要。世界卫生组织（WHO）将胶质瘤分为Ⅰ至Ⅳ级，Ⅰ和Ⅱ级为低级胶质瘤（LGG），Ⅲ和Ⅳ级为高级胶质瘤（HGG）。准确分类胶质瘤对于生存率评估至关重要。

磁共振成像（MRI）是医学领域诊断和治疗胶质瘤的常用方法。目前，许多学者应用机器学习和深度学习方法进行胶质瘤分类。例如，Zacharaki等人成功应用支持向量机（SVM）算法在MRI图像中分类胶质瘤。而Fatemeh等人采用卷积神经网络（CNN）对MRI图像中的胶质瘤进行分类。遗憾的是，这些研究多集中在提高分类精度，但高参数的CNN架构难以在实际医疗环境中应用。此外，由于胶质瘤数据集较小，他们只能使用具有较少参数的CNN，因而难以提高分类精度。

在基于高集成度现场可编程门阵列（FPGA）的智能医疗诊断趋势下，通过压缩技术提升CNN性能并减少参数和计算量变得非常必要。为解决上述问题，本文提出了一种基于知识蒸馏（Knowledge Distillation, KD）的胶质瘤分类方法，该方法在保留高精度的同时大大减少了模型参数和计算量。研究选用Inception-ResNet-V2作为教师模型，SqueezeNet作为学生模型，同时引入SE模块来进一步提升模型效率。

来源介绍

本文作者为Ai Lingmei和Bai Wenhao，他们均来自陕西师范大学计算机科学学院。本文发表于2021年第4届国际先进电子材料、计算机与软件工程会议（AEMCSE），由IEEE出版。

研究细节

工作流程

研究流程包括以下步骤： 1. 选择教师模型和学生模型： - 比较ResNet18、ResNet34、ResNet50和Inception-ResNet-V2的性能，选择Inception-ResNet-V2作为教师模型。 - 比较ResNet18、AlexNet-v2和SqueezeNet，选择SqueezeNet作为学生模型。

1. 数据准备：

   • 从癌症影像档案（TCIA）获得130名患者的MRI数据，并通过数据增强技术将数据集拓展至59878个样本。
   • 数据集包括多种胶质瘤类型，如星形细胞瘤II、少突胶质细胞瘤II、星形细胞瘤III等，最终将数据分为3类：健康、低级胶质瘤和高级胶质瘤。

2. 网络架构设计：

   • 对比各教师模型的GPU使用率、参数数量、浮点运算次数（FLOPs）和模型大小，最终选择Inception-ResNet-V2，因为其在分类精度上表现最佳。
   • SqueezeNet之所以被选为学生模型，是因为其在GPU负载、参数数量、FLOPs和模型大小上都具明显优势。

3. 引入SE模块进行改进：

   • 虽然SqueezeNet能有效减少计算成本，但其分类精度较低。为此，研究引入SE模块（Squeeze-and-Excitation block）来提升模型性能，特别是分类精度。

实验过程和结果

训练过程如下： 1. 数据集按8:1:1比例划分为训练集、验证集和测试集，然后对图像进行归一化预处理。 2. 在教师模型上训练SqueezeNet，温度设定为5，使用Adam优化算法，初始学习率为0.001，Dropout率为0.2，总训练代数为50，批次大小为64。 3. 将经过知识蒸馏的SqueezeNet与原始模型进行对比，指标包括准确率、精度、召回率和F1分数。

实验结果证明，经过知识蒸馏后，学生模型（SqueezeNet）的各项指标都得到了显著提升。相较于教师模型Inception-ResNet-V2，其准确率、精度、召回率和F1分数分别提高了3.53%、5.68%、3.73%和4.69%；同时，GPU使用量、参数数量、FLOPs和模型大小分别减少了35%、98.72%、98.7%和98.62%。

结论与意义

本文提出的基于知识蒸馏的胶质瘤分类方法不仅显著提高了轻量级CNN的精度，还减少了模型的计算量和参数，使其更适合在嵌入式设备或医疗电子设备中实际应用。未来，本文将继续优化学生模型的效率和精度，进一步推动智能医疗诊断的实际应用。