深入研究长尾图像识别中的简单性偏差

2025-01-12 Sun
学术背景与问题提出近年来，深度神经网络在计算机视觉领域取得了显著进展，尤其是在图像识别、目标检测和语义分割等任务中。然而，当面对长尾分布（long-tailed distribution）数据时，即使是目前最先进的深度模型也表现不佳。长尾分布指的是数据集中少数类（tail classes）的样本数量远远少于多数类（head classes）的样本数量。这种数据不平衡问题在许多实际应用中普遍存在，例如管道故障检测和人脸识别等。
长尾图像识别的主要挑战在于如何有效处理数据不平衡问题，尤其是如何提升少数类的泛化性能。常见的解决方案包括重采样（re-sampling）、损失重加权（loss re-weighting）和数据增强（data augmentation）等。然而，这些方法往往无法从根本上解决少数类样本不足导致的模型泛化能力下降问题。
本文通过简单性偏差（Simplicity Bias, SB）的视角来研究长尾图像识别问题。简单性偏差是指深度神经网络在监督学习任务中倾向于依赖简单的预测模式，而忽略一些复杂的特征。这种偏差在长尾分布数据中尤为明显，尤其是在少数类样本上，模型更容易依赖简单的特征，导致泛化性能下降。
论文来源与作者信息本文由Xiu-Shen Wei、Xuhao Sun、Yang Shen和Peng Wang共同撰写，分别来自东南大学、南京理工大学和电子科技大学。论文于2024年5月12日提交，2024年12月26日被接受，并于2025年发表在International Journal of Computer Vision期刊上。
研究方法与流程本文提出了一种新的自监督学习方法，称为三重自监督学习（Triple-Level Self-Supervised Learning, 3LSSL），专门用于处理长尾分布数据。该方法通过三个层次的自监督学习来增强模型对复杂特征的学习能力，从而缓解简单性偏差对少数类的影响。
1. 整体层次的自监督学习（Holistic-Level SSL）整体层次的自监督学习基于经典的对比学习框架（如MoCo），通过对输入图像进行不同的数据增强，生成两个视图（view），分别输入编码器和动量编码器。通过计算两个视图的嵌入向量之间的余弦相似度，驱动模型学习全局的复杂特征。
2. 部分层次的自监督学习（Partial-Level SSL）部分层次的自监督学习通过掩码（masking）的方式，迫使模型从图像的局部区域学习更多的补充信息。具体来说，使用类激活映射（Class Activation Mapping, CAM）来识别图像中对分类贡献最大的区域，并通过掩码操作屏蔽这些区域，迫使模型关注其他复杂的图像区域。
3. 增强层次的自监督学习（Augmented-Level SSL）增强层次的自监督学习通过从分类器的预测结果中获取伪正样本（pseudo positive samples），为少数类样本提供更多的语义相关样本，从而增强模型对少数类特征的学习能力。具体来说，通过构建一个增强队列（augmented queue）来存储伪正样本的嵌入向量，并计算这些嵌入向量与原始样本嵌入向量之间的相似度。
实验结果与分析本文在五个长尾图像识别基准数据集上进行了广泛的实验，包括长尾CIFAR-10⁄100、ImageNet-LT、Places-LT和iNaturalist 2018。实验结果表明，本文提出的3LSSL方法在所有数据集上均显著优于现有的最先进方法。
1. 长尾CIFAR数据集上的结果在长尾CIFAR-10和CIFAR-100数据集上，3LSSL方法在不同不平衡比例（100、50、10）下均取得了最高的分类准确率。特别是在CIFAR-100数据集上，3LSSL方法在不平衡比例为100时，比现有最佳方法（如BCL）提高了2.7%。
2. ImageNet-LT数据集上的结果在ImageNet-LT数据集上，3LSSL方法在使用ResNet-50和ResNeXt-50作为骨干网络时，分别取得了59.1%和59.9%的分类准确率，显著优于现有的最先进方法。
3. Places-LT数据集上的结果在Places-LT数据集上，3LSSL方法取得了42.0%的分类准确率，比现有最佳方法（如PaCo）提高了0.8%。
4. iNaturalist 2018数据集上的结果在iNaturalist 2018数据集上，3LSSL方法取得了75.8%的分类准确率，显著优于现有的最先进方法（如SADE和PaCo）。
结论与意义本文通过研究简单性偏差在长尾图像识别中的影响，提出了一种新的自监督学习方法（3LSSL），通过三个层次的自监督学习来增强模型对复杂特征的学习能力，从而有效缓解简单性偏差对少数类的影响。实验结果表明，3LSSL方法在多个长尾图像识别基准数据集上均取得了显著的性能提升。
本文的研究不仅为长尾图像识别提供了新的解决方案，还为自监督学习在长尾数据上的应用提供了新的思路。未来的研究可以进一步探索如何将3LSSL方法应用于其他任务，如少样本学习（few-shot learning）等。
研究亮点简单性偏差的深入研究：本文首次在长尾图像识别任务中研究了简单性偏差的影响，并通过实验验证了少数类样本更容易受到简单性偏差的影响。
三重自监督学习方法：本文提出的3LSSL方法通过三个层次的自监督学习，有效缓解了简单性偏差，显著提升了模型在长尾数据上的泛化能力。
广泛的实验验证：本文在五个长尾图像识别基准数据集上进行了广泛的实验，验证了3LSSL方法的有效性和鲁棒性。
其他有价值的信息本文还通过可视化分析展示了3LSSL方法在缓解简单性偏差方面的效果。通过激活图（activation map）的可视化，可以明显看出3LSSL方法能够使模型学习到更全面的图像特征，尤其是在少数类样本上表现尤为显著。