本文是由Zihao Zhao、Yuxiao Liu、Han Wu、Mei Wang、Yonghao Li、Sheng Wang、Lin Teng、Disheng Liu、Zhiming Cui、Qian Wang和Dinggang Shen等作者共同撰写的一篇综述性论文，发表于2024年的arXiv平台。该论文的主题是对比语言-图像预训练（Contrastive Language-Image Pre-training, CLIP）在医学影像领域的应用进行了全面调查。CLIP作为一种简单但高效的预训练范式，通过引入文本监督来增强视觉模型的表现，并在多个任务中展现了出色的泛化能力和可解释性。近年来，CLIP在医学影像领域的应用逐渐受到关注，尤其是在图像-文本对齐和多种临床任务中的应用。
医学影像分析在过去十年中取得了显著进展，但大多数视觉模型仅依赖于视觉模态的标注和任务进行训练，缺乏与人类认知的对齐，导致其在外部分布数据上的表现不尽如人意。相比之下，文本监督形式天然富含语义信息，尤其是当今的大型语言模型（如GPT-3等）包含了大量人类知识。因此，将文本监督引入视觉任务中，能够显著提升模型的泛化能力和可解释性。CLIP通过对比学习的方式，将图像和文本信息对齐，从而在视觉编码器中编码了广泛的知识。CLIP的成功应用不仅限于自然图像领域，近年来在医学影像领域也展现了巨大的潜力。
本文的主要目标是为医学影像领域的研究者提供一个关于CLIP的全面综述，涵盖CLIP在医学影像中的预训练优化及其在实际临床任务中的应用。论文的结构如下：
医学影像与自然图像在数据特性上存在显著差异，直接应用CLIP预训练范式可能会导致性能不佳。本文总结了医学影像中CLIP预训练的三个主要挑战： 1. 多尺度特征：医学影像中的局部特征（如肺结节）对诊断至关重要，而医学报告通常由多个句子组成，每个句子描述图像中的特定区域。因此，CLIP预训练需要在全局和局部层次上实现图像-文本对齐。 2. 数据稀缺性：医学影像-文本对数据集规模有限，远不及自然图像-文本数据集。数据稀缺性会影响CLIP预训练的效果。 3. 专业知识需求：医学影像中的临床概念之间存在复杂的层次关系，缺乏对医学知识的深入理解可能导致模型在分布偏移数据上的表现不佳。
针对这些挑战，本文提出了多种优化方法： - 多尺度对比：通过引入局部层次的图像-文本对齐，提升模型对医学影像中局部特征的识别能力。 - 数据高效对比：通过利用医学报告之间的语义相关性，减少假阴性样本的影响，提升数据利用效率。 - 显式知识增强：通过引入外部医学知识（如UMLS知识库）来增强模型的语义理解能力，确保图像和文本表示与医学专家的知识一致。
CLIP在医学影像中的应用广泛，涵盖了分类、密集预测和跨模态任务等多个领域： 1. 分类：CLIP通过图像-文本对齐，能够实现医学图像的零样本分类和上下文优化分类。零样本分类通过提示工程（prompt engineering）实现，而上下文优化则通过微调CLIP模型来适应医学影像领域。 2. 密集预测：CLIP在医学影像检测和分割任务中展现了强大的潜力。通过引入CLIP的文本编码器，模型能够更好地理解图像中的语义信息，从而提升检测和分割的精度。 3. 跨模态任务：CLIP在医学报告生成和医学视觉问答（MedVQA）等跨模态任务中也表现出色。通过将图像和文本信息对齐，CLIP能够生成更具语义一致性的医学报告，并回答复杂的医学问题。
尽管CLIP在医学影像领域展现了巨大的潜力，但仍存在一些挑战： 1. 数据稀缺性：医学影像-文本对数据集的规模有限，限制了CLIP预训练的效果。 2. 模型泛化能力：尽管CLIP在零样本识别方面表现出色，但在复杂医学任务中的泛化能力仍需进一步提升。 3. 解释性与可解释性：医学影像分析需要高度的解释性，如何进一步提升CLIP模型的可解释性是一个重要的研究方向。
本文是首个全面综述CLIP在医学影像领域应用的论文，具有以下贡献： 1. 全面性：本文涵盖了CLIP在医学影像中的预训练优化及其在实际临床任务中的应用，为研究者提供了全面的参考。 2. 多层次分类：本文提出了多层次的分类框架，帮助读者更好地理解CLIP在医学影像中的应用。 3. 未来方向：本文不仅总结了现有研究，还提出了未来的研究方向和开放性问题，为该领域的进一步发展提供了指导。
总的来说，本文为医学影像领域的研究者提供了一个关于CLIP的全面综述，展示了CLIP在医学影像分析中的巨大潜力，并为未来的研究提供了重要的参考。