基于负面确定性信息的多重实例学习用于弱监督目标检测与分割

信息科学 人工智能
负面确定性信息 多重实例学习 弱监督目标检测 弱监督语义分割 对比学习

Negative Deterministic Information-Based Multiple Instance Learning for Weakly Supervised Object Detection and Segmentation

弱监督目标检测与分割的示例

背景介绍

在过去的十年中，计算机视觉领域取得了显著进展，特别是在对象检测（Object Detection）和语义分割（Semantic Segmentation）方面。然而，大多数设计的算法和模型都严重依赖于精确的标注数据，这在实际应用中耗费大量人力和时间。弱监督学习（Weakly Supervised Learning，WSL）因其仅需粗粒度的标注数据（如图像级标注）解决了这一问题。在此背景下，弱监督对象检测（Weakly Supervised Object Detection，WSOD）和弱监督语义分割（Weakly Supervised Semantic Segmentation，WSSS）因其高效的标签利用性受到了大量关注。

多实例学习（Multiple Instance Learning，MIL）为这两项任务提供了一个可行的解决方案，通过将每张图像视为包含一系列实例（对象区域或像素）的实例包，并识别出对包分类有贡献的前景实例。然而，传统的MIL范式往往存在诸多问题，如判别实例占主导地位以及遗漏实例。这篇文章观察到，负实例（Negative Instances）通常包含有价值的确定性信息（Negative Deterministic Information，NDI），这对于解决上述问题至关重要。

论文来源

文章由Guanchun Wang、Xiangrong Zhang（IEEE高级会员）、Zelin Peng、Tianyang Zhang、Xu Tang（IEEE高级会员）、Huiyu Zhou和Licheng Jiao（IEEE会士）撰写，来自西安电子科技大学人工智能学院、上海交通大学人工智能研究院及莱斯特大学计算与数学科学学院。文章发表在IEEE Transactions on Neural Networks and Learning Systems。

研究流程

研究流程概述

研究流程主要包括NDI的收集（NDI Collection）与负对比学习（Negative Contrastive Learning，NCL）两个核心设计。首先，文章提出了一个在线NDI收集模块，动态特征库用于识别和提炼负实例中的NDI，然后利用这些信息在NCL机制中定位并惩罚那些过度激活的判别区域，最终解决判别实例占主导和遗漏实例的问题，提升对象及像素级定位的精确度和完整性。此外，还设计了一个NDI引导的实例选择策略（NDI-Guided Instance Selection，NGIS）以进一步增强系统性能。

研究对象与实验步骤

研究对象包括多个公共基准数据集，如Pascal VOC 2007、Pascal VOC 2012和MS COCO。在每个步骤中，研究对象经过如下处理：

  1. 在线NDI收集模块：利用动态特征库从负实例中提取NDI，通过在线监控一系列实例，基于图像级标注识别出不属于当前图像类别的负实例，并设置阈值（τ）来过滤无价值的实例。采用一种信心水平驱动的动量更新策略（Confidence-Driven Momentum Update，CMU），更新特征库以从收集到的实例中提取高质量的NDI。

  2. 负对比学习机制：基于收集到的NDI，提出一种NCL机制，通过利用NDI作为模板来匹配过度拟合的判别实例，将它们在表示空间中拉得更远，从而引导网络逃离判别实例占主导问题。

  3. NDI引导的实例选择策略：在MIL分支之后引入NGIS策略，进一步缓解遗漏实例问题，通过NDI作为模板来筛选潜在的正实例，从而提高检测性能。

实验与分析

在Pascal VOC 2007和2012、MS COCO三个数据集上进行了实验，展示了所提方法的显著改进，例如： - 在Pascal VOC 2007数据集上，NDI-MIL方法实现了56.8%的mAP和71.0%的CorLoc，显著优于其他方法。 - 在Pascal VOC 2012数据集上，NDI-MIL达到53.9%的mAP。 - 在MS COCO数据集上，NDI-MIL在高精度标准下同样表现出色，Map[.5:.05:.95]与Map分别提升了0.7%和1.9%。

细节解析

  1. NDI收集模块：文章详细描述NDI的提取过程和CMU策略，如何通过动态特征库来优化负实例的选择并减少训练不足导致的噪声实例，进而增强NDI的质量。
  2. 负对比学习机制：通过具体公式表达如何利用NDI来对判别实例施加惩罚，从而缓解判别实例占主导和遗漏实例的问题。
  3. 实验结果：用详细的数据表对比NDI-MIL与其他流行方法的性能，展示了其在不重训练全监督模型下取得的优异成绩。

结论与价值

NDI-MIL提出了一种全新的基于负确定性信息的MIL范式，不仅有效解决了弱监督任务中常见的判别实例占主导和遗漏实例问题，还提升了对象检测和语义分割的性能。这对于计算机视觉领域的实践应用具有重要意义，特别是在需要有效利用标签数据的场景中。

研究亮点

该研究的亮点包括发现并利用负实例中的有价值的确定性信息、设计了新的NDI收集模块和NCL机制、通过综合实验证明了方法的有效性，以及提出NGIS策略进一步提升系统性能。