基于类平衡多中心动态原型伪标记的无源域自适应方法
学术背景与问题提出
近年来,深度学习模型(Deep Neural Networks, DNNs)在计算机视觉任务中取得了显著的成功,但这些模型的训练依赖于大量的标注数据。然而,当模型应用于新的、未标注的目标领域时,由于领域差异(domain shift),模型的泛化能力往往较差。为了解决这一问题,领域自适应(Domain Adaptation, DA)技术应运而生。领域自适应的目标是通过利用源领域的知识来提升模型在目标领域的表现,尤其是在目标领域没有标注数据的情况下。
然而,传统的领域自适应方法通常需要访问源领域的原始数据,这在许多实际应用中是不现实的,原因包括数据隐私、数据安全和数据传输效率等问题。为了解决这一问题,源数据不可访问的领域自适应(Source-Free Domain Adaptation, SFDA) 成为了一个新兴的研究方向。SFDA 的目标是在无法访问源领域数据的情况下,仅通过预训练的源模型和未标注的目标数据来适应目标领域。
现有的 SFDA 方法主要分为两类:基于生成的方法和基于自训练的方法。基于生成的方法通过生成对抗网络(GANs)或扩散模型生成源风格的图像,而基于自训练的方法则通过源模型为目标数据分配伪标签(pseudo-labels)来进行模型适应。然而,现有的基于自训练的方法通常依赖于单中心原型(monocentric prototype)来生成伪标签,这容易导致类别偏差(category bias)和噪声标签(noisy labels),尤其是在不同类别之间存在显著的视觉领域差异时。
为了解决这些问题,本文提出了一种通用的类别平衡多中心动态原型伪标签策略(General Class-Balanced Multicentric Dynamic Prototype Pseudo-Labeling Strategy, BMD)。该策略通过引入全局类别平衡采样、类内多中心聚类和动态伪标签生成,显著提升了现有方法的性能。
论文来源与作者信息
本文由 Sanqing Qu、Guang Chen、Jing Zhang、Zhijun Li、Wei He 和 Dacheng Tao 共同撰写。作者分别来自 同济大学、武汉大学、北京科技大学 和 新加坡南洋理工大学。论文发表于 International Journal of Computer Vision,并于 2025 年正式发表。
研究方法与流程
本文提出的 BMD 策略主要包括三个子策略:全局类别平衡采样、类内多中心聚类 和 动态伪标签生成。以下是每个子策略的详细描述:
1. 全局类别平衡采样(Inter-Class Balanced Sampling)
为了避免在原型生成过程中容易迁移的类别(easy-transfer classes)逐渐占据主导地位,本文提出了一种全局类别平衡采样策略。具体来说,对于每个目标类别,首先从目标数据中选取最有可能属于该类别的样本,然后对这些样本进行平均以构建类别平衡的特征原型。与现有的方法不同,本文的策略从全局视角选择最具代表性的样本,而不是依赖于局部实例级别的预测结果。
2. 类内多中心聚类(Intra-Class Multicentric Clustering)
为了减少噪声标签的影响,本文提出了一种类内多中心聚类策略。与现有的单中心原型设计不同,本文为每个类别生成多个特征原型,从而为伪标签分配提供更灵活和精确的决策边界。具体来说,本文使用经典的 K-means 算法对每个类别的样本进行聚类,生成多个特征原型。
3. 动态伪标签生成(Dynamic Pseudo-Labeling)
现有的方法通常在固定的时间间隔(如每个 epoch)更新伪标签,这限制了模型在训练过程中对网络更新信息的有效利用。为了解决这一问题,本文提出了一种基于指数移动平均(Exponential Moving Average, EMA)的动态伪标签生成策略。该策略在特征级别上更新伪标签,从而在不显著增加计算成本的情况下提升模型性能。
实验结果与贡献
本文在多个 2D 图像和 3D 点云识别数据集上进行了广泛的实验,验证了 BMD 策略的有效性和通用性。实验结果表明,BMD 显著提升了现有方法的性能。例如,在 PointDA-10 数据集上,BMD-v2 将 NRC 方法的准确率从 52.6% 提升到了 59.2%。
本文的主要贡献可以总结如下: 1. 提出了一种通用的类别平衡多中心动态原型策略(BMD),该策略与模型无关,可以应用于现有的基于自训练的 SFDA 方法。 2. 引入了一种简单但有效的全局类别平衡采样策略,避免了容易迁移的类别在原型生成过程中占据主导地位。 3. 提出了一种类内多中心聚类策略,为每个类别生成多个特征原型,从而为伪标签分配提供更精确的决策边界。 4. 通过动态伪标签生成策略,充分利用了模型在训练过程中的更新信息,进一步提升了模型性能。
研究亮点与意义
本文的研究亮点在于: 1. 类别平衡采样:通过全局类别平衡采样策略,有效避免了类别偏差问题,提升了模型的泛化能力。 2. 多中心聚类:通过类内多中心聚类策略,生成了更灵活和精确的伪标签决策边界,减少了噪声标签的影响。 3. 动态伪标签生成:通过动态伪标签生成策略,充分利用了模型在训练过程中的更新信息,进一步提升了模型性能。
本文的研究不仅具有重要的科学价值,还为实际应用中的领域自适应问题提供了有效的解决方案。特别是在数据隐私和安全问题日益突出的背景下,SFDA 技术具有广泛的应用前景。
结论与未来工作
本文提出了一种通用的类别平衡多中心动态原型策略(BMD),用于源数据不可访问的领域自适应任务。通过引入全局类别平衡采样、类内多中心聚类和动态伪标签生成策略,BMD 显著提升了现有方法的性能。未来的工作将探索将该策略应用于其他视觉任务,如语义分割和目标检测。