全自动多模态 MRI 基于多任务学习的胶质瘤分割和IDH 基因分型

2024-07-17 Wed
全自动多模态MRI多任务学习用于胶质瘤分割和IDH基因分型的研究报告研究背景胶质瘤是中枢神经系统中最常见的原发性脑肿瘤，根据世界卫生组织（WHO）2016年分类，胶质瘤分为低级别胶质瘤（LGG，级别II和III）和高级别胶质瘤（HGG，级别IV）。异柠檬酸脱氢酶（Isocitrate Dehydrogenase, IDH）突变状态是胶质瘤中最重要的预后标志之一。临床研究发现，含有IDH突变的低级别胶质瘤患者预后通常优于IDH野生型患者。传统的胶质瘤手工分割费时费力，而准确的IDH基因分型和精确的胶质瘤分割对于指导治疗和评估预后具有重要意义。由于多模态磁共振成像（Magnetic Resonance Imaging, MRI）的非侵入性和日常临床实践中的重要作用，它被认为是最有前途的候选技术。
但是，由于胶质瘤具有显著的肿瘤间和肿瘤内异质性，目前的自动化方法面临诸多挑战。现有大多数方法基于单一任务来解决这些问题，未能充分利用两个任务之间的相关性。此外，IDH基因标签数据的获取成本高，数据有限，这进一步限制了现有模型的性能。
在这种背景下，作者提出了一种完全自动化的基于多模态MRI的多任务学习框架，通过同时进行胶质瘤分割和IDH基因分型来全面解决这些问题。
论文来源本文由Jianhong Cheng, Jin Liu, Hulin Kuang和Jianxin Wang等学者撰写，发表在2022年6月的《IEEE Transactions on Medical Imaging》期刊上。研究得到中国国家重点研发计划（编号2021YFF1201200）、国家自然科学基金（编号62172444和62102454）、湖南省科技创新领导计划（编号2020GK2019）和中南大学高性能计算中心的部分支持。
研究的详细流程研究工作流作者设计了一种三部分构成的3D多任务学习网络，包括一个CNN-Transformer编码器、用于胶质瘤分割的解码器和用于IDH基因分型的分类器。该网络的具体流程如下：
CNN-Transformer编码器： 编码器通过连续的卷积和Transformer操作从输入的多模态MRI图像中提取全局语义特征。Transformer引入了多头自注意力机制，进行长距离上下文建模。
解码器用于胶质瘤分割： 使用3D卷积神经网络解码器对高层次特征进行上采样，最终生成分割结果。跳跃连接用于将下采样特征图与上采样特征图融合。
IDH基因分型分类器： 通过全局平均池化（Global Average Pooling, GAP）和全局最大池化（Global Max Pooling, GMP）转换多尺度特征图。然后，这些特征通过全连接层进行IDH基因分型。
多任务损失函数的设计为了解决任务权重设置不当导致的任务偏斜问题，本文设计了一种基于不确定性的多任务损失函数：
[
L{joint} = \frac{1}{2\sigma{seg}^2}L{seg} + \frac{1}{2\sigma{idh}^2}L{idh} + \log \sigma{seg}\sigma_{idh}
]
其中，(\sigma{seg})和(\sigma{idh})是学习参数，能够自适应调整以平衡胶质瘤分割和IDH基因分型的任务权重。
半监督多任务学习由于获取IDH基因标签的数据成本高昂，作者还进一步提出了一种基于不确定性感知伪标签选择的半监督多任务学习框架。通过在无标签数据上生成伪标签，并进行进一步的训练，从而提升IDH基因分型的准确性。
主要研究结果胶质瘤分割在胶质瘤分割方面，通过大量实验证明，提出的多任务学习网络MTTU-Net在胶质瘤分割的准确性上优于现有的方法，尤其是在全肿瘤、肿瘤核心和增强肿瘤区域的分割上。
IDH基因分型在IDH基因分型上，MTTU-Net同样表现出了显著的性能提升。与单一任务方法相比，MTTU-Net在AUC值、准确性、敏感性和特异性上均有提高。
半监督学习的效果引入大量无标签数据进行半监督学习后，MTTU-Net的胶质瘤分割和IDH基因分型性能进一步提升。使用不确定性感知伪标签选择方法，IDH基因分型的准确度也显著提高。
研究结论及意义本文提出的MTTU-Net利用多模态MRI同时进行胶质瘤分割和IDH基因分型，显著提高了两者的准确性，并且通过半监督多任务学习进一步提升了性能。研究表明，多任务学习能够通过共享表示学习，实现更精确的肿瘤定位和IDH基因分型，对计算机辅助诊断系统具有重要意义。
研究亮点多任务学习框架： 同时进行胶质瘤分割和IDH基因分型，实现了任务之间的特征共享，显著提高了性能。
不确定性权重： 通过不确定性权重自适应调整任务间的平衡，避免了任务偏斜问题。
半监督学习： 利用无标签数据和不确定性感知伪标签选择方法，进一步提升了IDH基因分型的准确性。
实际应用潜力： MTTU-Net能够应用于实际临床中的计算机辅助诊断系统，为病人的个性化治疗提供有力支持。
总结本文提出了一种新的多任务学习框架MTTU-Net，通过共享特征同时进行胶质瘤分割和IDH基因分型，并通过半监督学习提升了性能。实验结果表明，该方法超过了当前最先进的方法，为胶质瘤分割和IDH基因分型提供了一个可靠的计算机辅助诊断解决方案。这项研究为多任务学习在医疗图像分析中的应用提供了新的思路和方法。