用于无人机视角下小目标检测的多尺度特征融合网络

2025-04-13 Sun
背景介绍随着无人机（UAV）技术的快速发展，无人机拍摄的低空遥感图像在灾害管理、搜索与救援等任务中得到了广泛应用。然而，无人机图像中的小目标检测（small object detection）仍然是一个具有挑战性的问题。由于小目标在图像中仅占少数像素，且分布不规则，现有的目标检测算法在这些场景中的表现往往不尽如人意。特别是，尽管一些现有的检测器引入了多尺度特征融合（multi-scale feature fusion）模块以提高检测精度，但这些传统方法常常忽略了目标与背景之间的权重关系，导致小目标在深层特征图中的重要性被削弱。此外，广泛使用的交并比（Intersection over Union, IoU）度量及其变体对小目标的位置误差特别敏感，这显著影响了基于锚框（anchor-based）检测器的标签分配效果。
为了解决这些问题，本文提出了一种名为 AFF-YOLO 的新型检测器，该检测器基于 YOLOv8 的网络架构，专门用于增强无人机图像中的小目标检测能力。具体来说，本文提出了三个关键模块：注意力特征融合模块（Attention Feature Fusion Module, AFFM）、小目标特征层（Small Object Feature Layer, SOFL） 以及 基于三角质心的 IoU 损失（Triangular Centroid-based IoU Loss, TriC-IoU Loss）。这些模块共同提升了小目标检测的精度和鲁棒性。
论文来源本论文由 Jiantao Li、Chenbin Yu、Wenhui Wei 等作者共同撰写，他们分别来自中国科学院苏州纳米技术与纳米仿生研究所、加州大学圣地亚哥分校、杜克昆山大学等机构。论文于 2025 年 3 月 13 日 发表在 Cognitive Computation 期刊上，论文标题为 “A Multi-Scale Feature Fusion Network Focusing on Small Objects in UAV-View”。
研究流程与结果1. 研究流程a) 注意力特征融合模块（AFFM）AFFM 模块旨在通过引入注意力机制来增强多尺度特征融合的效果。具体来说，AFFM 模块首先通过卷积层将来自不同尺度的特征图转换为相同通道维度的特征图，然后通过注意力模块计算权重，最后通过加权融合生成最终的特征图。这一过程不仅增强了小目标的特征表示，还减少了背景信息的干扰。
b) 小目标特征层（SOFL）SOFL 模块通过引入一个额外的特征提取层，进一步增强了小目标的语义和几何信息。该模块通过将浅层网络中的特征图与深层网络中的特征图进行融合，提高了小目标的检测能力。实验表明，SOFL 模块显著提升了检测精度，特别是在处理小目标时表现尤为突出。
c) 基于三角质心的 IoU 损失（TriC-IoU Loss）TriC-IoU Loss 通过引入三角质心距离作为惩罚项，改进了传统的 IoU 损失函数。具体来说，TriC-IoU Loss 不仅考虑了预测框与目标框的重叠程度，还引入了三角质心距离和直角边比例，从而更好地反映了小目标的位置和形状信息。实验表明，TriC-IoU Loss 在小目标检测任务中表现出色，显著提升了检测精度。
2. 主要结果实验在 VisDrone2019 和 UAVDT 两个无人机图像数据集上进行。结果表明，本文提出的 AFF-YOLO 在 VisDrone2019 数据集上达到了 52.5% 的 mAP50 值，比现有的基于 YOLO 的检测器提高了 30.6%。此外，在 UAVDT 数据集上，AFF-YOLO 也表现出色，达到了 34.2% 的 mAP50 值，显著优于其他算法。
3. 结论与价值本文通过引入 AFFM、SOFL 和 TriC-IoU Loss 三个模块，显著提升了无人机图像中小目标检测的精度和鲁棒性。这些模块不仅增强了小目标的特征表示，还优化了边界框回归损失函数，使得模型在处理小目标时表现出色。本文的研究成果在无人机图像分析、灾害管理、搜索与救援等领域具有广泛的应用前景。
研究亮点注意力特征融合模块（AFFM）：通过引入注意力机制，增强了小目标的特征表示，减少了背景信息的干扰。
小目标特征层（SOFL）：通过融合浅层和深层特征，提高了小目标的检测能力。
基于三角质心的 IoU 损失（TriC-IoU Loss）：通过引入三角质心距离和直角边比例，改进了传统的 IoU 损失函数，显著提升了小目标检测的精度。
其他有价值的信息本文还进行了消融实验，评估了各个模块对检测精度的影响。结果表明，AFFM 和 SOFL 模块显著提升了检测精度，而 TriC-IoU Loss 在小目标检测任务中表现出色。此外，本文还对比了其他常用的 IoU 损失函数，进一步验证了 TriC-IoU Loss 的优越性。
总结本文提出了一种名为 AFF-YOLO 的新型检测器，通过引入 AFFM、SOFL 和 TriC-IoU Loss 三个模块，显著提升了无人机图像中小目标检测的精度和鲁棒性。这些模块不仅增强了小目标的特征表示，还优化了边界框回归损失函数，使得模型在处理小目标时表现出色。本文的研究成果在无人机图像分析、灾害管理、搜索与救援等领域具有广泛的应用前景。