基于YOLOv8的实时密集人群异常行为检测增强框架

信息科学 人工智能 计算机科学
异常行为检测 YOLOv8 软非极大值抑制 目标检测 人群监控 HajjV2 深度学习

学术背景

随着公共安全需求的日益增加，尤其是在大型宗教活动如麦加朝觐（Hajj）期间，密集人群中的异常行为检测成为了一个至关重要的课题。现有的检测方法在面对遮挡、光照变化和统一着装等复杂条件时，往往表现不佳，导致检测精度下降。为了应对这些挑战，研究者们致力于开发更为先进的计算机视觉技术，以提高实时监测的准确性和效率。

本研究的核心在于提出一种改进的YOLOv8模型——Crowd Anomaly Detection Framework (CADF)，通过集成Soft-NMS（非极大值抑制的软版本）技术，显著提升了在复杂环境下的检测精度。该研究不仅针对Hajj朝觐的特殊场景进行了优化，还在多个公开数据集上进行了验证，展示了其广泛的适用性和鲁棒性。

论文来源

本论文由Rabia Nasir、Zakia Jalil、Muhammad Nasir、Tahani Alsubait、Maria Ashraf和Sadia Saleem共同撰写，他们分别来自不同的研究机构。论文于2025年3月24日被接受，并发表在《Artificial Intelligence Review》期刊上，DOI为10.1007/s10462-025-11206-w。

研究流程

1. 数据准备与帧提取

研究首先从HajjV2数据集中提取视频帧，并进行标注。HajjV2数据集包含了多个朝觐场景的视频，涵盖了不同的异常行为，如人群逆向移动、非人类物体、奔跑、坐卧等。研究人员使用OpenCV工具从视频中提取帧，并将其转换为JPEG图像。每个帧的标注信息包括边界框坐标、类别标签等，这些信息被存储在CSV文件中，并进一步转换为YOLO格式，以便于模型训练。

2. 模型训练与Soft-NMS集成

研究采用YOLOv8作为基础模型，并对其进行了改进，集成了Soft-NMS技术。Soft-NMS通过动态调整重叠检测框的得分，而非直接删除它们，从而在密集和遮挡场景中保留了更多的有效检测。研究分为两个训练阶段：第一阶段使用15个epoch，图像大小为256，批量大小为8；第二阶段使用20个epoch，图像大小为416，批量大小为16。训练过程中，模型学习了如何在复杂环境下准确检测异常行为。

3. 模型评估与比较

研究在HajjV2数据集上对CADF进行了全面评估，结果显示其AUC（曲线下面积）达到了88.27%，较YOLOv2和YOLOv5分别提升了13.09%和12.19%，准确率为91.6%。此外，研究还在UCSD和ShanghaiTech数据集上进行了测试，进一步验证了模型的泛化能力。与VGG19和EfficientDet等先进模型相比，CADF在准确率、AUC、精确率、召回率和mAP（平均精度）等指标上均表现出色。

主要结果

1. 检测精度提升

通过集成Soft-NMS，CADF在HajjV2数据集上的检测精度显著提升。特别是在遮挡和光照变化的情况下，模型能够更准确地识别异常行为。例如，在人群逆向移动和坐卧等场景中，CADF的召回率和精确率均高于传统方法。

2. 泛化能力验证

在UCSD和ShanghaiTech数据集上的测试结果表明，CADF不仅适用于Hajj朝觐场景，还能够有效检测其他密集人群环境中的异常行为。这一结果证明了模型在不同数据集上的适应性和鲁棒性。

3. 与其他模型的比较

与VGG19和EfficientDet等模型相比，CADF在多个评估指标上均表现出色。例如，在AUC和mAP指标上，CADF分别比VGG19高出10%以上，比EfficientDet高出5%以上。这一结果进一步证明了CADF在密集人群异常行为检测中的优越性。

结论与意义

本研究提出的CADF框架通过集成Soft-NMS技术，显著提升了密集人群异常行为检测的精度和鲁棒性。该框架不仅在Hajj朝觐场景中表现出色，还在多个公开数据集上验证了其广泛的适用性。研究结果对于提高大型公共活动的安全性具有重要意义，尤其是在宗教集会、体育赛事等高风险场景中，能够有效预防踩踏等安全事故的发生。

此外，CADF框架的应用还符合联合国可持续发展目标（SDGs）中的第3项（良好健康与福祉）和第11项（可持续城市和社区），通过技术手段提升公共安全，为建设更安全、更可持续的城市环境提供了有力支持。

研究亮点

  1. Soft-NMS集成：通过动态调整检测框得分，显著提升了在遮挡和密集场景中的检测精度。
  2. 多数据集验证：在HajjV2、UCSD和ShanghaiTech等多个数据集上进行了验证，证明了模型的广泛适用性。
  3. 与先进模型的比较：与VGG19和EfficientDet等模型相比，CADF在多个评估指标上均表现出色，展示了其优越性。
  4. 实际应用价值：研究结果对于提升大型公共活动的安全性具有重要意义，尤其是在高风险场景中能够有效预防安全事故的发生。

其他有价值的信息

本研究还探讨了CADF框架在实时监测中的应用潜力，通过优化模型架构和训练策略，实现了高效的实时检测。此外，研究还提出了未来研究方向，如进一步优化模型在极端环境下的表现，以及探索更多应用场景的可能性。