基于图神经网络的肺癌表示学习

计算机科学 信息科学 人工智能 医学 呼吸系统 肿瘤学 医学影像
多实例学习 图 全片段图像 图神经网络 肺癌 变分自编码器

研究流程图

基于图神经网络的肺癌表示学习

背景介绍

随着数字病理学的快速发展，基于图像的诊断系统在精确病理诊断中变得越来越重要。这些系统依赖于用于全切片图像（Whole Slide Images, WSIs）上的多实例学习（Multiple Instance Learning, MIL）技术。然而，如何有效表示WSIs仍然是一个亟需解决的问题。深度神经网络的出现使得视觉计算取得了突破性进展，但面对每个WSI中庞大的像素量，现有的神经网络方法仍面临巨大挑战。近年来，一些研究已经探索了基于图的模型，以期在嵌入和表示WSIs的过程中捕捉图像中的复杂关系。

文章来源

本文的研究由以下作者完成：Rukhma Aftab, Yan Qiang, Juanjuan Zhao, Zia Urrehman和Zijuan Zhao。他们均来自太原理工大学信息与计算机学院。文章发表在《BMC Cancer》期刊，于2023年发布。论文题目为“Graph neural network for representation learning of lung cancer”（DOI: https://doi.org/10.1186/s12885-023-11516-8）。

研究流程详述

本文的研究提出了一种基于图的MIL方法，命名为MIL-GNN。研究分为几个主要步骤：

数据集选择与图像预处理

本研究选择了经典的MIL数据集MUSK和两种肺癌亚型—肺腺癌（Lung Adenocarcinoma, LUAD）和肺鳞癌（Lung Squamous Cell Carcinoma, LUSC）的图像数据进行验证。通过滑动窗格（sliding window tiling）方法从WSIs中提取patch（图像块），并利用预训练的卷积神经网络（Convolutional Neural Network, CNN）从每个patch中提取特征向量，用以构建一个完全连接的图结构。

图神经网络（Graph Neural Networks, GNNs）的应用

在图结构中，每个patch被表示为一个节点，节点之间的关系通过高斯混合模型（Gaussian Mixture Model）来学习。本文使用了一种基于GMM卷积的变分图自编码器（Variational Graph Auto-Encoder, VGAE）模型，以捕捉patch之间的互动，并将其压缩至一个紧凑的图表示。

模型训练与实验过程

两个关键步骤包括：

  1. 图结构构建与特征提取：每个WSI首先通过CNN进行特征提取，然后利用patch特征矩阵构建节点和邻接矩阵，而后通过GNN层进行训练。
  2. 分类与评价：利用提取的图特征向量应用于分类任务，通过10折交叉验证（10-Fold Cross Validation）进行评估，使用ROC曲线下面积（Area Under Curve, AUC）和F1评分等指标评价模型性能。

特殊实验方法与设备

研究中特别设计了一个基于图混合模型卷积（Graph Mixture Model Convolution, GMMConv）的图自编码器方法，以捕捉WSI中的复杂特征关系。使用了PyTorch Geometric库在NVIDIA RTX3090 GPU上进行训练，在处理每个WSI时期望图神经网络具有高效的内存利用率。

研究结果

主要结论

实验结果显示，MIL-GNN在MUSK数据集上取得了97.42%的准确率，在LUAD和LUSC分类任务中的AUC达到了94.3%。研究展示了基于图的MIL方法在WSI表示学习中的有效性，并提供了一种新的全切片图像学习范式。

方法创新与研究价值

  1. 图神经网络在MIL中的应用：本文通过图神经网络捕捉并表示WSIs中的复杂关系，提高了病理图像的表示能力。
  2. 高效的图结构表示方法：通过GMMConv实现了高效的WSI数据压缩和表示，显著提升了分类任务的性能。
  3. 解释性与可视化：利用邻接矩阵可以可视化模型对各patch的关注度，这不仅提高了模型的可解释性，还为病理学家提供了更具直观性的诊断工具。

研究中的亮点

  1. 后一代模型方法比对：与多种先进的MIL方法（如ABMIL、Gated-ABMIL等）相比，MIL-GNN表现显著优越，尤其在处理MUSK数据集和TCGA肺癌数据集时，AUC和准确率均明显提升。
  2. 实例级别的学习范式：研究提出了一种全新的基于实例的学习方法，使Patch表示和病理图像的全局表示更加紧密结合。
  3. 深度学习与图表达的结合：通过深度学习技术从Patch特征中提取图节点信息，然后利用变分图自编码器进行全切片图像的压缩和表示，再进而用于分类任务，极大提高了图像分析的效率和精准度。

讨论与总结

本研究提出的MIL-GNN方法，通过将全切片图像表示为稠密图结构，有效捕捉了图像中的重要特征并提升了分类性能。然而，模型在某些配置下可能会出现过拟合问题，进一步的研究任务将包括优化深度图神经网络模型，探讨自动化训练机制，以及发现更具意义的病理结构特征。

论文的意义与价值

本研究不仅为数字病理学中的全切片图像表示提供了一种高效的方法，还在解释性和模型性能方面取得了显著成果。未来的研究将继续完善此框架，并探索更多在数字病理学中基于图表示的潜在应用场景。