本文介绍了一项关于医学图像分割的重要研究,由Fabian Isensee、Jens Petersen、Simon A. A. Kohl、Paul F. Jäger和Klaus H. Maier-Hein等作者共同完成。他们分别来自德国癌症研究中心(DKFZ)、海德堡大学生物科学学院以及海德堡大学医院神经放射科。该研究于2019年4月17日发布在arXiv预印本平台上,题为《nnU-Net: Breaking the Spell on Successful Medical Image Segmentation》。研究的主要目标是解决医学图像分割领域中方法泛化能力不足的问题,并提出了一种名为nnU-Net的自动化框架,能够在无需人工干预的情况下适应新的数据集。
医学图像分割是医学图像计算领域中的一个热门研究方向,约70%的国际竞赛都专注于这一领域。然而,医学图像的多样性和复杂性使得许多现有的分割方法难以泛化到新的数据集。不同数据集在图像维度、大小、强度范围、标签分布等方面存在显著差异,这导致了许多方法在跨数据集应用时表现不佳。此外,现有的研究往往过于关注网络架构的改进,而忽略了其他超参数(如预处理、批处理大小等)的优化。这种依赖人工经验的设计过程不仅效率低下,还可能导致次优的结果。
为了解决这些问题,作者提出了nnU-Net框架,旨在通过自动化方式适应新数据集,从而减少人工干预的需求。nnU-Net的核心思想是:通过系统化的超参数选择和优化,即使使用简单的U-Net架构,也能在多个医学图像分割任务中达到最先进的性能。
nnU-Net的研究流程主要包括以下几个步骤:
nnU-Net首先对输入图像进行预处理,包括图像标准化(normalization)和重采样(resampling)。对于非CT模态的图像,nnU-Net通过减去均值并除以标准差来标准化强度值。对于CT图像,则基于训练集中前景体素的0.5%和99.5%百分位数进行强度值裁剪,然后进行全局标准化。此外,nnU-Net会根据训练数据的体素间距(voxel spacing)选择中位数作为目标间距,并使用三次样条插值(spline interpolation)进行重采样。对于各向异性(anisotropic)数据,nnU-Net采用最近邻插值(nearest neighbor interpolation)以避免插值伪影。
nnU-Net使用了三种U-Net模型:2D U-Net、3D U-Net以及由两个3D U-Net组成的级联模型。这些模型在原始U-Net的基础上进行了少量修改,例如使用填充卷积(padded convolutions)以保持输入输出形状一致,采用实例归一化(instance normalization)和Leaky ReLU激活函数。nnU-Net根据预处理后的数据形状自动设置批处理大小(batch size)、补丁大小(patch size)和池化操作次数,以确保内存消耗在12GB Titan XP GPU的限制内。
训练过程中,nnU-Net采用五折交叉验证(five-fold cross-validation),并使用交叉熵损失(cross-entropy loss)和Dice损失(Dice loss)的组合作为损失函数。优化器采用Adam,初始学习率为3×10⁻⁴,L2权重衰减为3×10⁻⁵。训练过程中,如果训练损失的指数移动平均值在最近30个epoch内没有改善,则学习率会降低20%。训练会在学习率低于10⁻⁶或达到1000个epoch时停止。此外,nnU-Net在训练过程中使用了数据增强技术,包括弹性变形(elastic deformations)、随机缩放(random scaling)、随机旋转(random rotations)以及伽马增强(gamma augmentation)。
在推理阶段,nnU-Net采用滑动窗口(sliding window)方法进行预测,并使用镜像翻转(mirroring)进行测试时数据增强。nnU-Net还会根据交叉验证结果自动选择最佳的单一模型或集成模型进行测试集预测。集成模型由五种交叉验证模型组成,进一步提高了预测的鲁棒性。
nnU-Net在多个医学图像分割挑战中取得了最先进的性能,包括医学分割十项全能挑战(Medical Segmentation Decathlon)、自动心脏分割挑战(ACDC)、多发性硬化病变分割挑战(MS Lesion)、前列腺分割挑战(PROMISE12)、肝脏肿瘤分割挑战(LiTS)以及腹部多器官分割挑战(BCV)。具体表现如下: - 在医学分割十项全能挑战中,nnU-Net在Phase I和Phase II中均获得了第一名。 - 在ACDC挑战中,nnU-Net在50个测试案例上取得了最高分,刷新了该数据集的最新技术水平。 - 在MS Lesion挑战中,nnU-Net在163个提交中排名第五,得分接近最高分。 - 在PROMISE12挑战中,nnU-Net在290个提交中排名第11。 - 在LiTS挑战中,nnU-Net在肝脏和肿瘤分割任务中分别取得了0.958和0.725的Dice分数,经过后处理后,肿瘤分割的Dice分数提升至0.738,刷新了该任务的最新技术水平。 - 在BCV挑战中,nnU-Net在13个器官的分割任务中取得了88.1%的平均Dice分数,刷新了该数据集的最新技术水平。
nnU-Net的研究表明,通过系统化的超参数选择和自动化设计,即使使用简单的U-Net架构,也能在多个医学图像分割任务中取得最先进的性能。这一成果不仅为医学图像分割领域提供了一个强大的基线模型,还为未来的研究提供了一个平台,用于评估更复杂的网络设计。nnU-Net的源代码已公开发布,供研究社区使用和进一步改进。
总之,nnU-Net为医学图像分割领域提供了一个强大的工具,并为未来的研究奠定了坚实的基础。