YOLOv8を使用したリアルタイム密集群衆異常行動検出の強化フレームワーク

情報科学 人工知能 コンピューターサイエンス
異常行動検出 YOLOv8 ソフトNMS 物体検出 群衆監視 HajjV2 深層学習

学術的背景

公共安全の需要が日増しに高まる中、特にメッカ巡礼（Hajj）のような大規模な宗教行事において、密集した群衆の中での異常行動の検出は重要な課題となっています。既存の検出方法は、遮蔽、照明の変化、統一された服装などの複雑な条件下でしばしば性能が低下し、検出精度が低下する傾向があります。これらの課題に対応するため、研究者たちは、リアルタイム監視の精度と効率を向上させるためのより先進的なコンピュータビジョン技術の開発に取り組んでいます。

本研究の核心は、改良されたYOLOv8モデルであるCrowd Anomaly Detection Framework (CADF)を提案し、Soft-NMS（非極大値抑制のソフト版）技術を統合することで、複雑な環境下での検出精度を大幅に向上させた点にあります。この研究は、Hajj巡礼の特殊なシナリオに最適化されているだけでなく、複数の公開データセットで検証され、その幅広い適用性と堅牢性を示しています。

論文の出典

本論文は、Rabia Nasir、Zakia Jalil、Muhammad Nasir、Tahani Alsubait、Maria Ashraf、Sadia Saleemによって共同執筆され、彼らはそれぞれ異なる研究機関に所属しています。論文は2025年3月24日に受理され、『Artificial Intelligence Review』誌に掲載されました。DOIは10.1007/s10462-025-11206-wです。

研究の流れ

1. データ準備とフレーム抽出

研究ではまず、HajjV2データセットからビデオフレームを抽出し、アノテーションを行いました。HajjV2データセットには、巡礼中の様々なシナリオのビデオが含まれており、群衆の逆方向移動、非人間の物体、走行、座り込みなどの異常行動がカバーされています。研究者はOpenCVツールを使用してビデオからフレームを抽出し、JPEG画像に変換しました。各フレームのアノテーション情報には、バウンディングボックスの座標、クラスラベルなどが含まれており、これらの情報はCSVファイルに保存され、さらにYOLO形式に変換されてモデルトレーニングに使用されました。

2. モデルトレーニングとSoft-NMSの統合

研究では、YOLOv8をベースモデルとして採用し、Soft-NMS技術を統合して改良しました。Soft-NMSは、重複する検出ボックスのスコアを動的に調整することで、密集や遮蔽が発生するシーンでより多くの有効な検出を保持します。研究は2つのトレーニング段階に分かれています：第1段階では15エポック、画像サイズ256、バッチサイズ8を使用し、第2段階では20エポック、画像サイズ416、バッチサイズ16を使用しました。トレーニングプロセスでは、モデルが複雑な環境下で異常行動を正確に検出する方法を学習しました。

3. モデル評価と比較

研究では、HajjV2データセットでCADFを徹底的に評価し、その結果、AUC（曲線下面積）が88.27%に達し、YOLOv2とYOLOv5と比較してそれぞれ13.09%と12.19%向上し、精度は91.6%でした。さらに、UCSDとShanghaiTechデータセットでもテストを行い、モデルの汎化能力をさらに検証しました。VGG19やEfficientDetなどの先進モデルと比較して、CADFは精度、AUC、精度、再現率、mAP（平均精度）などの指標で優れた性能を示しました。

主な結果

1. 検出精度の向上

Soft-NMSを統合することで、CADFはHajjV2データセットでの検出精度が大幅に向上しました。特に遮蔽や照明の変化が発生する状況下で、モデルは異常行動をより正確に識別できるようになりました。例えば、群衆の逆方向移動や座り込みなどのシナリオでは、CADFの再現率と精度は従来の方法を上回りました。

2. 汎化能力の検証

UCSDとShanghaiTechデータセットでのテスト結果は、CADFがHajj巡礼のシナリオだけでなく、他の密集した群衆環境での異常行動も効果的に検出できることを示しています。この結果は、モデルが異なるデータセットに適応し、堅牢であることを証明しています。

3. 他のモデルとの比較

VGG19やEfficientDetなどのモデルと比較して、CADFは複数の評価指標で優れた性能を示しました。例えば、AUCとmAPの指標では、CADFはVGG19よりも10%以上、EfficientDetよりも5%以上高い値を示しました。この結果は、密集した群衆の中での異常行動検出においてCADFが優れていることをさらに証明しています。

結論と意義

本研究で提案されたCADFフレームワークは、Soft-NMS技術を統合することで、密集した群衆の中での異常行動検出の精度と堅牢性を大幅に向上させました。このフレームワークは、Hajj巡礼のシナリオで優れた性能を発揮するだけでなく、複数の公開データセットでその幅広い適用性を検証しました。研究結果は、大規模な公共行事の安全性を向上させる上で重要な意義を持ち、特に宗教集会やスポーツイベントなどの高リスクシナリオで、踏みつけ事故などの安全事態を効果的に予防することができます。

さらに、CADFフレームワークの応用は、国連の持続可能な開発目標（SDGs）の第3項（良好な健康と福祉）と第11項（持続可能な都市とコミュニティ）に合致し、技術的手段を通じて公共安全を向上させ、より安全で持続可能な都市環境の構築に貢献します。

研究のハイライト

  1. Soft-NMSの統合：検出ボックスのスコアを動的に調整することで、遮蔽や密集したシーンでの検出精度が大幅に向上しました。
  2. 複数のデータセットでの検証：HajjV2、UCSD、ShanghaiTechなどの複数のデータセットで検証され、モデルの幅広い適用性が証明されました。
  3. 先進モデルとの比較：VGG19やEfficientDetなどのモデルと比較して、CADFは複数の評価指標で優れた性能を示し、その優位性を実証しました。
  4. 実用的な価値：研究結果は、大規模な公共行事の安全性を向上させる上で重要な意義を持ち、特に高リスクシナリオで安全事態を効果的に予防することができます。

その他の価値ある情報

本研究では、CADFフレームワークのリアルタイム監視における応用可能性についても探求し、モデルアーキテクチャとトレーニング戦略を最適化することで、効率的なリアルタイム検出を実現しました。さらに、今後の研究方向として、極端な環境下でのモデルの性能をさらに最適化することや、より多くの応用シナリオを探求する可能性についても提案しています。