在计算机视觉领域，行人重识别（Person Re-Identification, Re-ID）是一项重要的任务，旨在通过不同时间和地点的非重叠摄像头捕捉的图像或视频，匹配同一个人的身份。随着监控系统在公共安全中的广泛应用，Re-ID技术成为了视觉监控中的关键环节。然而，Re-ID任务面临着诸多挑战，尤其是在长期行人重识别（Long-Term Person Re-Identification, LT-ReID）中，由于时间跨度较长，行人的服装可能会发生完全、部分或不变的变化，这给传统的Re-ID方法带来了极大的困难。

传统的LT-ReID方法主要分为两类：基于生物特征的方法和基于数据适应的方法。前者依赖于生物特征（如步态、体型、面部特征等）来应对服装变化，但在复杂背景或数据不完整的情况下表现不佳；后者则通过将短期Re-ID模型适应到长期场景中，但往往忽略了服装变化的细微差异，尤其是在服装不变的情况下，效果不理想。因此，如何有效应对服装变化带来的挑战，成为了LT-ReID领域亟待解决的问题。

论文来源与作者信息

本文由Yan Huang、Zhang Zhang、Qiang Wu、Yi Zhong和Liang Wang共同撰写，分别来自中国科学院自动化研究所模式识别国家重点实验室、中国科学院大学人工智能学院、悉尼科技大学工程与信息技术学院以及北京理工大学信息与电子学院。论文于2024年11月26日被《International Journal of Computer Vision》接收并发表。

研究内容与方法

本文提出了一种名为Clothing Status-Aware Feature Regularization Network (CSFRNet)的新方法，旨在将服装状态感知融入特征学习过程中，从而提升LT-ReID系统在服装变化情况下的适应性和准确性。CSFRNet的核心创新在于其能够在不依赖显式服装标签的情况下，处理服装完全变化、部分变化或不变的情况。

研究流程

1. 服装状态感知特征正则化网络（CSFRNet）

CSFRNet的核心模块包括Inter-Class Enforcement (ICE) Stream、Clothing Feature Extraction Module (CFEM)和Feature Regularization Module (FRM)。ICE Stream用于提取身份特征（ID Features），CFEM则负责提取与服装相关的特征（Appearance Features），而FRM则通过服装状态感知来正则化ID特征，确保其在服装变化或不变的情况下保持一致。

1.1 ICE Stream

ICE Stream基于ID网络（IDE Network），使用预训练的CNN提取ID特征，并通过ID损失（Lid）和加权硬三元组损失（Lwht）来增强特征的区分性。ICE Stream还引入了混合池化模块（Mixed Pooling Module, MPM），通过全局最大池化（GMP）和全局平均池化（GAP）来捕捉身体上下部分的细节和全局特征。

1.2 CFEM

CFEM使用与ICE Stream相同的骨干网络，但预训练在短期Re-ID数据集上，以提取与服装相关的特征。这些特征通过无监督聚类算法进行服装状态感知，进而用于正则化ID特征。

1.3 FRM

FRM通过Intra-Class Clothing Status Regularization (ICSR)和Global Clothing Status Regularization (GCSR)来正则化ID特征。ICSR通过聚类服装特征，调整ID特征以反映服装状态的变化；GCSR则通过全局服装状态感知，进一步增强了模型对服装变化的适应能力。

2. 条件特征正则化策略（CFRS）

为了应对部分服装变化的情况，CSFRNet引入了条件特征正则化策略（CFRS），分别对上身和下身的服装变化进行正则化处理。CFRS通过分离上下身的特征，分别进行正则化，从而增强了模型对部分服装变化的适应能力。

实验结果

CSFRNet在多个LT-ReID基准数据集上进行了验证，包括Celeb-ReID、Celeb-ReID-Light、PRCC、DeepChange和LTCC。实验结果表明，CSFRNet在这些数据集上均显著优于现有的方法，尤其是在处理服装变化的情况下表现出色。

1. Celeb-ReID和Celeb-ReID-Light

在Celeb-ReID和Celeb-ReID-Light数据集上，CSFRNet在Rank-1准确率上分别比现有的最佳方法提升了17.9%和24.6%。特别是在Celeb-ReID-Light数据集上，CSFRNet在处理绝对服装变化的情况下表现尤为突出。

2. PRCC

在PRCC数据集上，CSFRNet在无服装变化的情况下达到了100%的Rank-1准确率，显著优于其他方法。在服装变化的情况下，CSFRNet也表现出色，证明了其在处理服装变化时的鲁棒性。

3. DeepChange和LTCC

在DeepChange和LTCC数据集上，CSFRNet同样表现出色，尤其是在处理长期服装变化的情况下，CSFRNet的Rank-1准确率和mAP均显著优于现有方法。

结论与意义

本文提出的CSFRNet通过将服装状态感知融入特征学习过程，显著提升了LT-ReID系统在服装变化情况下的适应性和准确性。CSFRNet的创新之处在于其能够在不依赖显式服装标签的情况下，处理服装完全变化、部分变化或不变的情况，从而在多个LT-ReID基准数据集上取得了显著的性能提升。

研究亮点

1. 服装状态感知的特征学习：CSFRNet首次将服装状态感知引入LT-ReID的特征学习过程，显著提升了模型在服装变化情况下的鲁棒性。
2. 条件特征正则化策略（CFRS）：CFRS通过分别处理上下身的服装变化，进一步增强了模型对部分服装变化的适应能力。
3. 无监督聚类与全局服装状态正则化：通过无监督聚类和全局服装状态正则化，CSFRNet能够在不依赖显式服装标签的情况下，有效处理服装变化。

应用价值

CSFRNet的提出为实际应用中的长期行人重识别提供了新的解决方案，尤其是在监控系统中，能够有效应对行人服装变化带来的挑战，提升系统的识别准确性和鲁棒性。

总结

本文通过引入服装状态感知的特征正则化网络（CSFRNet），成功解决了长期行人重识别中服装变化带来的挑战。CSFRNet的创新设计使其在多个基准数据集上均取得了显著的性能提升，为未来的LT-ReID研究提供了新的思路和方法。