高斯过程概率多实例学习用于CT颅内出血检测的双曲正切逻辑函数表示

人工智能领域一直以来都存在着一个”弱监督学习”的问题,即在训练数据中,只有部分标记是可观测的,而其余的标记则是未知的。多实例学习(Multiple Instance Learning,简称MIL)就是解决这一问题的一种范式。在MIL中,训练数据被分组为若干”袋”(bag),每个袋包含多个实例(instance)。我们只能观测到每个袋的标记,而无法获知每个实例的具体标记。MIL的目标是基于袋的标记,预测新袋及其包含实例的标记。

MIL范式在诸多科学领域得到了广泛应用,尤其在医学影像领域表现卓著。此文关注的是一个实际的医学问题——颅内出血(ICH)检测。在这一问题中,一个CT扫描被视为一个袋,而扫描的每个切片则是一个实例。如果至少有一个切片显示出血证据,那么整个扫描就被标记为阳性(患病);否则为阴性(正常)。我们只能观测到每个扫描的标记,而无法获知每个切片的具体标记。MIL可以大大减轻放射科医生的工作量,因为他们只需要对每个扫描做一次标记,而不必逐个标记所有切片。

概率MIL方法近年来得到了广泛关注,其中基于高斯过程(Gaussian Process,GP)的方法表现尤为优异,因为它们不仅能表达复杂模型,还能量化不确定性。其中一个最成功的GP-MIL方法是VGPMIL,该方法利用变分推断(Variational Inference)来处理Logistic函数所带来的数学上的不可解性。最近的研究发现,该方法在实践中存在性能退化的问题。

本文作者通过一种称为Pólya-Gamma变量(Pólya-Gamma variables)的技巧,为Logistic观测模型提出了一个新的等价而可解的形式,并在此基础上重新表述了VGPMIL模型,得到了PG-VGPMIL模型。有趣的是,作者发现PG-VGPMIL在执行变分推断时,其更新方程与原始VGPMIL是完全相同的。这一现象的根源在于超双曲正弦密度函数(hyperbolic secant density)所具有的两种等价表示形式:一种是超高斯(super Gaussian)形式,另一种是高斯尺度混合(Gaussian Scale Mixture,GSM)形式。VGPMIL利用了前一种形式,而PG-VGPMIL则利用了后一种形式。

进一步分析表明,VGPMIL/PG-VGPMIL实际上是一个更加通用框架ψ-VGPMIL的特殊情形,后者是通过用一个任意可微GSM密度ψ替换超双曲正弦密度而得到的。基于此,作者提出用Gamma密度代替PG密度,进而得到了新的G-VGPMIL模型。

在多个数据集(包括一个控制实验集MNIST、两个MIL标准数据集MUSK,以及一个真实的ICH检测数据集RSNA和CQ500)上的实验表明,G-VGPMIL在预测性能和训练效率方面都优于原始VGPMIL,并且在ICH检测任务上表现优于其他多数方法。这一结果验证了本文方法的有效性,同时也为该领域的后续研究提供了有益启示。

这篇论文的主要贡献包括:1)将Pólya-Gamma变量引入到MIL领域;2)发现PG-VGPMIL实际上是VGPMIL的一个等价形式;3)提出了一个更通用的ψ-VGPMIL框架;4)以Gamma密度为例,提出了新的G-VGPMIL模型;5)在多个数据集上验证了G-VGPMIL的优异性能。该工作不仅拓展了MIL领域的理论基础,同时也为实际应用(如ICH检测)提供了一种高效的解决方案。