半监督医学图像分割的双重监督网络

2024-05-26 Sun
研究背景和动机医学图像分割在解剖结构和病变区域的图像分析以及临床诊断中具有重要意义。然而，现有的全监督学习方法依赖于大量标注数据，而医学图像的像素级标注数据获取成本高昂且耗时。为了减轻对标注数据的依赖，半监督学习（SSL）方法逐渐兴起。尽管现有的SSL方法如mean teacher（MT）框架已经取得了不错的效果，但仍然存在诸多局限性。因此，本研究提出了一种双向监督网络（bilateral supervision network，BSNet），以更好地利用无标注的样本，从而提高半监督医学图像分割的性能。
文章来源
本文由Along He、Tao Li、Juncheng Yan、Kai Wang和Huazhu Fu撰写。作者分别来自天津大学网络与数据安全技术重点实验室、南开大学计算机学院、Haihe Laboratory of iTAI、Singapore Institute of High Performance Computing (IHPC)、Agency for Science, Technology and Research (A*STAR)。该论文发表于2024年5月的IEEE Transactions on Medical Imaging，卷43，第5期。
研究流程本文提出的双向监督网络BSNet包括以下几个关键步骤：
a) 研究流程详细说明网络架构设计：
BSNet由两个具有相同结构的分割网络fa和fb组成，这两个网络可以在有标注数据上进行训练以校准权重偏差。同时，采用双向指数移动平均（bilateral-EMA）更新权重，两个网络可以互相学习。
额外设计一个轻量级辨别器（fd）用于对抗学习（adversarial learning），以提升伪标签的可靠性。
双向指数移动平均（bilateral-EMA）：
在原始MT框架中，只考虑了从学生模型到教师模型的EMA更新，导致训练瓶颈。BSNet通过在fa和fb之间进行双向EMA，改善了这一问题。fa和fb的权重可以在有标注数据上进行校准，提升模型的学习能力。
双向监督：
通过伪标签对两个分割网络进行双向监督。伪标签由两个网络互相生成，同时进行互相监督，从而更好地利用无标注数据中的类别信息，提升分割结果的可靠性。
对抗学习：
使用GAN机制，fd作为辨别器，用于区分伪标签和真实标签。目的是让伪标签更接近真实标签的分布，提高对未标注数据的监督质量。
b) 研究主要结果经过在多个医学图像分割数据集上的实验，BSNet在半监督分割任务中展示了出色的性能。具体实验结果包括：
在皮肤病变数据集上的结果：
BSNet在使用1/9标注数据（100张标注图像和800张未标注图像）时，相较于Unet和其他SOTA方法，在Dice和IoU分数上都有显著提升，接近全监督Unet的性能。
在胃肠息肉分割数据集上的结果：
在复杂背景息肉分割任务中，BSNet通过双向EMA和对抗学习策略，超越了其他SOTA方法的表现。
在视网膜血管分割数据集上的结果：
在细小血管分割任务中，BSNet在IoU和Dice分数上表现优异，有效利用了低数量的训练样本。
在前列腺MRI数据集上的结果：
在Promise12数据集上，BSNet相比已有的SOTA方法在Dice和ASSD指标上有较大提升。
在左心房数据集上的结果：
在Left Atrium MRI数据集上，BSNet在所有评估指标上均有最佳表现，验证了其有效性。
c) 研究结论和价值BSNet成功解决了MT方法中的不足之处，通过双向监督和对抗学习策略，显著提升了半监督医学图像分割的性能。这些结果表明，BSNet不仅在2D医学图像上表现优异，在3D医学图像分割中的表现也同样出色。该方法具有重要的应用价值，尤其是在标注数据稀缺的情况下，可以显著减轻对大量标注数据的依赖。
d) 研究亮点创新点： 提出的双向监督策略和对抗学习机制有效解决了MT带来的性能瓶颈。
实验证据： 在不同数据集上的全面实验结果证明了BSNet的优越性能。
适用性： 方法不仅适用于大规模病变分割任务，也适用于细小血管分割任务，显示出强大的通用性。
e) 其他有价值的信息在对不同分割网络（如Unet++和Attention Unet）以及不同Backbone（如ResNet50、ResNet101和Transformer-based Architecture）上的实验，显示出BSNet良好的泛化性能。同时，通过对不同损失系数初始化值的敏感性分析，验证了BSNet的鲁棒性和稳健性。
未来工作未来可以设计更有效的半监督学习算法，进一步利用跨任务的无标签数据提升SSL的性能。此外，考虑到CNN缺乏长程像素依赖关系，可以结合Transformer模型的全局特性，从而更好地应对复杂场景下的病变分割任务。