多模态解耦变分自编码器与博弈论解释用于胶质瘤分级

信息科学 人工智能 神经病学 计算机科学 医学影像 医学
多模态MRI 胶质瘤分级 变分自编码器 图像融合 解释性AI 放射组学 机器学习

多模态解缠变分自编码器与博弈理论解释性在胶质瘤分级中的应用

背景介绍

在中枢神经系统中，胶质瘤是最常见的原发性脑肿瘤。根据细胞活动和侵袭性，世界卫生组织（WHO）将其分为I至IV级，其中I和II级称为低级别胶质瘤（LGG），III和IV级称为高级别胶质瘤（HGG）。在临床实践中，治疗决策通常需要针对不同的肿瘤级别进行个性化调整。因此，准确的胶质瘤分级对于治疗决策、个性化治疗以及患者预后的预测至关重要。目前，胶质瘤分级的金标准仍然是通过手术活检或组织病理学分析。然而，这种方法是侵入性的，并且不具有实时性，可能导致癫痫、感染甚至沿穿刺路线的肿瘤转移。因此，开发一种能够在术前无创且及时诊断胶质瘤级别的分级系统具有重要意义。

磁共振成像（MRI）广泛应用于胶质瘤患者的临床术前诊断、治疗决策和预后评估中，也被证明是一种有前途的无创工具。常规获得的胶质瘤治疗MRI图像包括四种模态：液体衰减反转恢复成像（FLAIR）、T1加权成像（T1）、T1加权对比增强成像（T1CE）和T2加权成像（T2）。每种模态反映了不同的组织信号。具体来说，FLAIR可以显示肿瘤浸润和水肿的高度异质信号；T1提供解剖信号；T1CE反映无强化区域和坏死组织的信号，而T2则对水肿区域敏感，并能提供肿瘤边界和水肿程度的信号。因此，传统的多模态MRI图像可以清晰地显示胶质瘤出血、坏死和水肿组织的信号强度和占位效应。放射科医生可以基于这些综合信息为患者做出治疗决策，但这是一项繁琐且效率低下的工作。

近年来，一些先进的参数化MRI技术如扩散张量成像（DTI）和表观扩散系数（ADC）提供了重要的纤维密度指数、ADC直方图和渗透率等指标，显示出在胶质瘤分级中的强大潜力。然而，这些先进的MRI技术费时且昂贵，无法适用于每位患者的广泛临床应用。因此，准确分级胶质瘤的有效融合传统多模态MRI图像迫在眉睫。

来源介绍

本研究论文由Jianhong Cheng、Min Gao、Jin Liu、Hailin Yue、Hulin Kuang、Jun Liu和Jianxin Wang等研究人员撰写，分别隶属于中南大学计算机科学与工程学院湖南省生物信息学重点实验室，贵州航天计量检测技术研究所、中南大学第二湘雅医院影像科、湖南省影像质控中心等机构。论文发表于IEEE Journal of Biomedical and Health Informatics，发表时间为2022年2月。

研究的详细过程

a) 研究工作流程

本研究提出了一种多模态解缠变分自编码器（MMD-VAE）模型，用于基于术前多模态MRI图像提取的放射组学特征进行胶质瘤分级。研究采用了多种数据处理和实验步骤，包括：

  1. 数据收集与处理：研究数据来自多模态脑肿瘤分割挑战（BraTS）和中南大学第二湘雅医院的临床数据。共收集了438名胶质瘤患者的1752张MRI图像，包含FLAIR、T1、T1CE和T2四种模态。

  2. ROI定义与分割：所有术前MRI图像首先重新定位到左-后-上（LPS）坐标系统，配准到统一的T1解剖模板，并使用脑提取工具（BET）进行颅骨剥离。根据BraTS挑战，考虑三种ROI进行分割：非增强肿瘤（NET）、增强肿瘤（ET）和水肿（ED）。本研究主要关注NET区域，因为它具有较强的异质性和预测性能。

  3. 放射组学特征定义与提取：通过9种滤波器（包括原始、不适用滤波器、平方、平方根、对数、指数、梯度、小波变换、局部二值模式和高斯拉普拉斯）进一步处理ROI图像，从中提取2153个定量特征。特征分为七类：一阶统计、形状、灰度共生矩阵（GLCM）、灰度依赖矩阵（GLDM）、灰度长度矩阵（GLRLM）、灰度尺寸区矩阵（GLSZM）和邻域灰度色调差异矩阵（NGTDM）。

  4. 多模态解缠变分自编码器：MMD-VAE框架将每种模态的特征经过变分自编码器的编码器提取潜在表示，潜在表示被解缠为共享表示和区分表示。编码器由多个密集层和ReLU激活函数组成，之后通过两个线性映射将潜在表示解缠。解码器通过潜在向量重构输入特征，解缠的共享表示还用于跨模态重构。

  5. 胶质瘤分级预测器：将每种模态的共享表示和区分表示组合后输入由两层隐藏层和一层输出层组成的胶质瘤分级预测器，通过sigmoid函数输出预测概率。

b) 主要研究结果

实验结果表明，所提出的MMD-VAE模型在两个基准数据集上表现出了良好的预测性能。在公开数据集上的AUC值为0.9939，准确率为98.46%，敏感性为100%，特异性为94.12%。在跨机构私有数据集上的AUC值为0.9611，准确率为94.32%，敏感性为96.72%，特异性为88.89%。这些定量结果和解释可能帮助放射科医生更好地理解胶质瘤，并为改进临床治疗决策提供支持。

c) 研究结论及意义

本研究提出了一种高度有效的多模态解缠变分自编码器模型，能够通过术前多模态MRI图像提取的放射学特征进行胶质瘤分级。这种方法不仅提高了分级的预测准确性，同时也增强了模型的可解释性，对于临床诊断和个性化治疗决策具有重要意义。通过SHAP方法，该模型能够定量解释和分析重要特征对分级的贡献，提高了放射科医生对胶质瘤的理解，从而改进临床预后。

d) 研究亮点

  1. 创新性解缠表示学习方法：通过解缠多模态变分自编码器模型，提取不同模态之间的互补信息，从而提高了胶质瘤分级的预测精度。
  2. 定量解释模型：采用SHAP方法定量解释重要特征对分级的贡献，增强了模型的可解释性，帮助临床医生更好地理解和应用。
  3. 优异的预测性能：在两个基准数据集上表现出极高的AUC值和准确率，验证了模型的有效性和稳定性。
  4. 多模态融合：成功融合了多模态MRI数据，提高了模型的鲁棒性和泛化性能。

本文提出的方法在非侵入式胶质瘤分级中具有重要应用价值，并为未来的影像分析研究提供了新的思路和方法。