探索同质与异质一致性标签关联的无监督可见光-红外行人重识别

背景介绍

可见光-红外行人重识别（Visible-Infrared Person Re-Identification, VI-ReID）是计算机视觉领域的一个重要研究方向，旨在从不同模态（可见光和红外）的图像中检索出同一行人的图像。这一任务在智能监控系统中具有广泛的应用前景，尤其是在夜间或低光照条件下，红外图像能够提供额外的信息。然而，现有的VI-ReID方法大多依赖于标注数据，而标注数据的获取既耗时又费力。因此，无监督的VI-ReID方法成为了一个重要的研究方向。

现有的无监督VI-ReID方法主要关注如何建立跨模态的伪标签关联，以弥合模态间的差异。然而，这些方法往往忽略了特征空间与伪标签空间之间的同质和异质一致性，导致生成的伪标签关联较为粗糙。为了解决这一问题，本文提出了一种模态统一的标签转移模块（Modality-Unified Label Transfer, MULT），该模块同时考虑了同质和异质的细粒度实例级结构，从而生成高质量的跨模态伪标签关联。

论文来源

本文由Lingfeng He、De Cheng、Nannan Wang和Xinbo Gao共同撰写，分别来自西安电子科技大学和重庆邮电大学。论文于2024年4月25日提交，并于2024年11月29日被接受，发表在《International Journal of Computer Vision》期刊上。

研究流程与实验设计

1. 模态统一的标签转移模块（MULT）

MULT模块的核心思想是通过建模实例间的同质和异质亲和力，量化伪标签空间与特征空间之间的不一致性，并通过最小化这种不一致性来生成高质量的跨模态伪标签。具体来说，MULT模块通过以下步骤实现：

1. 亲和力建模：MULT首先通过特征空间中的实例对关系建模同质和异质亲和力。同质亲和力通过Jaccard相似度计算，而异质亲和力则通过最优传输问题（Optimal Transport, OT）来建模。

2. 不一致性定义：基于亲和力矩阵，MULT定义了同质和异质不一致性项。这些不一致性项用于衡量伪标签空间与特征空间之间的差异。

3. 标签转移：MULT通过交替更新伪标签，逐步最小化不一致性项。在每次迭代中，实例的伪标签信息会与其同模态和跨模态的对应实例进行交互，从而生成更加精确的伪标签。

2. 在线跨记忆标签优化模块（OCLR）

为了进一步减少噪声伪标签的负面影响，本文提出了一个在线跨记忆标签优化模块（OCLR）。OCLR通过多记忆原型的预测结果进行自一致性学习，从而减少模态间的差异。具体来说，OCLR模块通过对比学习的方式，利用来自不同记忆原型的预测结果来优化伪标签。

3. 交替模态不变表示学习框架（AMIRL）

为了充分利用MULT生成的伪标签，本文提出了一个交替模态不变表示学习框架（AMIRL）。AMIRL通过对比学习的方式，利用同模态和跨模态的记忆库进行特征学习。此外，AMIRL还引入了一个辅助记忆库，用于学习跨模态伪标签的结构信息，从而进一步优化特征表示。

实验结果与结论

本文在SYSU-MM01和RegDB两个公开的可见光-红外行人重识别数据集上进行了实验，结果表明本文提出的方法在无监督VI-ReID任务中显著优于现有的最先进方法。具体来说，本文的方法在SYSU-MM01数据集上的Rank-1准确率和mAP分别达到了64.77%和59.23%，在RegDB数据集上的Rank-1准确率和mAP分别达到了89.95%和82.09%。

主要贡献

1. MULT模块：本文提出的MULT模块通过实例级的上下文结构生成同质和异质一致的跨模态伪标签，生成的伪标签不仅保持了跨模态的对齐，还包含了丰富的同模态信息。

2. OCLR模块：本文设计的OCLR模块通过在线学习跨记忆自一致性，有效减少了噪声标签的负面影响，并进一步缩小了模态间的差异。

3. AMIRL框架：本文提出的AMIRL框架充分利用了MULT生成的伪标签，通过对比学习的方式进一步优化了特征表示。

研究亮点

1. 高质量的跨模态伪标签关联：本文通过MULT模块生成的伪标签具有较高的质量，能够有效指导网络学习跨模态的特征表示。

2. 减少噪声标签的影响：OCLR模块通过在线优化伪标签，有效减少了噪声标签对模型训练的负面影响。

3. 模态不变特征学习：AMIRL框架通过交替训练的方式，充分利用了跨模态伪标签，进一步提升了模型的性能。

未来工作

未来的研究将基于本文提出的MULT模块，探索更加鲁棒的跨模态标签关联方法，以进一步提升无监督VI-ReID任务的性能。

通过本文的研究，我们不仅提出了一种新的无监督VI-ReID方法，还为未来的跨模态学习任务提供了新的思路和方法。