本文介绍了一项关于复杂交通监控场景中视频车辆检测的研究，题为《sfw-yolov8 复杂场景视频车辆检测模型》。该研究由祝琴、韩沈阳、曾明如、赖平红、吴垂茂和胡玮轶等作者共同完成，分别来自南昌大学公共政策与管理学院、南昌大学信息工程学院以及江西省人民医院。该论文发表于《汽车工程》2024年第46卷第12期。
研究背景与目的
随着智慧交通系统的快速发展，车辆检测技术在交通监控中的应用变得越来越重要。传统的车辆检测方法，如帧间差分法、背景差分法和光流法，虽然在早期取得了一定的成果，但在复杂场景下的表现较差，难以满足现代交通监控的高性能需求。基于深度学习的车辆检测算法逐渐成为主流，尤其是单阶段检测算法（如YOLO系列）因其高效性和准确性而受到广泛关注。然而，现有的车辆检测算法主要针对单张图片进行检测，未能充分利用视频序列中的时空信息，导致在复杂场景下的检测准确率较低。
为了解决这一问题，本文提出了一种新的视频车辆检测模型——sfw-yolov8，旨在通过提取和融合视频序列中的时空特征信息，提升复杂场景下的车辆检测性能。
研究方法与流程
本文的研究流程主要包括以下几个步骤：
数据预处理：
- 使用了UA-DETRAC数据集，该数据集包含了大量交通监控视频。为了减少训练成本，研究团队对数据集进行了缩减，划分为两个子数据集：数据集1用于初步训练YOLOv8模型，数据集2用于训练sfw-yolov8模型。
- 对数据集中的部分图片进行了模拟雨天和雾天的数据增强，以提高模型在恶劣天气条件下的泛化能力。
时空特征融合模块（sf-module）的设计：
- 本文提出了一个新的时空特征融合模块（sf-module），该模块基于Transformer模型中的多头自注意力机制，能够提取和融合视频序列中当前帧和历史帧的时空特征信息。
- sf-module由四个部分组成：patching部分、对齐部分、Transformer部分和上采样部分。patching部分将特征图数据转化为特征向量数据；对齐部分通过计算当前帧和历史帧特征的相似度，实现特征对齐；Transformer部分通过多头自注意力机制提取时空特征信息；上采样部分将特征恢复到原始维度。
损失函数的改进：
- 为了减少低质量标注框对模型训练的影响，本文引入了WIoU（Wise-IoU）损失函数作为预测框回归损失。WIoU损失函数能够减少低质量标注框产生的有害梯度，提高模型的定位能力。
模型训练与测试：
- 在训练过程中，sfw-yolov8模型载入了YOLOv8的预训练权重，并仅对sf-module模块进行训练。训练时采用了逐帧训练的方式，batch size设置为1。
- 实验结果表明，sfw-yolov8模型在UA-DETRAC数据集上的表现优于YOLOv8模型，尤其是在小目标检测和复杂场景下的检测准确率上有显著提升。
主要结果
模型性能提升：
- 实验结果显示，sfw-yolov8模型的mAP50和mAP50:5:95值分别为79.1%和63.6%，较YOLOv8模型分别提高了1.7%和3.3%。推理速度为11毫秒/帧，表现出优秀的检测性能。
- 在真实雨雾场景的测试中，sfw-yolov8模型的mAP50和mAP50:5:95值分别为77.6%和61.1%，均高于YOLOv8模型，表明其在恶劣天气条件下的检测性能具有明显优势。
消融实验：
- 通过消融实验验证了sf-module模块和WIoU损失函数的有效性。实验表明，sf-module模块能够显著提升小目标检测的准确率，而WIoU损失函数则能够减少低质量标注框对模型训练的影响。
与其他算法的对比：
- 与Faster R-CNN、SSD、RetinaNet、YOLOv5、YOLOX、YOLOv7等算法相比，sfw-yolov8模型在检测准确率和推理速度上均表现出明显的优势。
结论与意义
本文提出的sfw-yolov8模型通过引入时空特征融合模块和WIoU损失函数，显著提升了复杂场景下的车辆检测性能。该模型不仅能够有效提取和融合视频序列中的时空特征信息，还通过改进损失函数减少了低质量标注框对模型训练的影响。实验结果表明，sfw-yolov8模型在复杂交通监控场景中具有较高的检测准确率和较快的推理速度，能够满足现代智慧交通系统对车辆检测的高性能需求。
研究亮点
- 时空特征融合模块（sf-module）：该模块基于Transformer模型，能够有效提取和融合视频序列中的时空特征信息，显著提升了复杂场景下的检测准确率。
- WIoU损失函数：通过引入WIoU损失函数，减少了低质量标注框对模型训练的影响，提高了模型的定位能力。
- 数据增强与泛化能力：通过对数据集进行模拟雨天和雾天的数据增强，提升了模型在恶劣天气条件下的泛化能力。
应用价值
该研究为复杂交通监控场景中的车辆检测提供了一种高效且准确的解决方案，具有广泛的应用前景。sfw-yolov8模型可以应用于智能交通系统、自动驾驶、交通流量监控等领域，为智慧城市的建设提供技术支持。