CSFRNet: 長期人物再識別のための服装状態認識の統合

2025-01-12 Sun
概要長期人物再識別（LT-ReID）における服装の変化に対応するため、従来の手法から離れる必要があります。従来のLT-ReID戦略は、主に生体認証ベースとデータ適応ベースの2つに分かれていますが、それぞれに欠点があります。前者は高品質な生体データが不足する環境では機能せず、後者は服装の変化が最小または微妙な場合に効果を失います。これらの課題を克服するため、我々は服装状態認識特徴正則化ネットワーク（CSFRNet）を提案します。この新しいアプローチは、服装状態認識を特徴学習プロセスにシームレスに統合し、服装が完全に変化する場合、部分的に変化する場合、または全く変化しない場合においても、明示的な服装ラベルを必要とせずにLT-ReIDシステムの適応性と精度を大幅に向上させます。我々のCSFRNetの汎用性は、Celeb-ReID、Celeb-ReID-Light、PRCC、DeepChange、LTCCなどの多様なLT-ReIDベンチマークで示されており、LT-ReIDシナリオにおける現実世界の服装の多様性に対処することで、この分野における重要な進展を遂げました。
キーワード: 長期人物再識別 · 服装状態認識 · 特徴正則化
1. はじめに人物再識別（Re-ID）は、異なる時間や場所で非重複カメラによって撮影された画像やビデオなどの視覚記録を跨いで個人をマッチングするタスクです（Fu et al., 2019; Zheng et al., 2015）。この分野は視覚セキュリティ監視において重要であり、人間や環境要因による重要な課題を含んでいます。
人物Re-IDの領域は、観測間の時間間隔によって短期Re-ID（ST-ReID）と長期Re-ID（LT-ReID）に分類されます。ST-ReIDは短い間隔を想定し、個人の服装が一定であると仮定し、多くの先進的な手法が研究されています（Zheng et al., 2011, 2015, 2017a; Huang et al., 2018）。
近年、LT-ReIDへの注目が高まっています。これは、長期間にわたる服装やアクセサリーの変化など、照明や解像度の変動といった課題を悪化させる複雑さによるものです（Xu & Zhu, 2023; Huang et al., 2019b; Huang et al., 2024a; Huang et al., 2023）。特に、服装の変化が一般的であるにもかかわらず、個人が常に服装を変えるわけではないため、ST-ReID技術の適用性に大きな課題が生じています。
既存のLT-ReIDソリューションのほとんどは、生体指標を利用しています。生体認証ベースの手法は、服装の変化による不安定性を回避するために生物学的特徴を活用し、動き、体型、顔の特徴などに焦点を当てています（Zhang et al., 2018; Zhang et al., 2020a; Yang et al., 2019; Wan et al., 2020; Qian et al., 2020; Yu et al., 2020; Li et al., 2020; Han et al., 2022）。しかし、これらの手法の有効性は、撮影された映像の品質に大きく依存し、複雑な背景や不完全なデータでは苦戦します。
一方、既存のデータ適応手法は、ST-ReIDデータセット（例：Market-1501（Zheng et al., 2015））で最初にトレーニングされたLT-ReIDモデルを、多様な服装変化を反映するデータを組み込むことでLT-ReIDアプリケーションに適応させます（Huang et al., 2019a; Huang et al., 2019b）。これらの戦略は、事前トレーニングされたモデルが服装変化データにさらされることで新しいコンテキストに適応できると仮定していますが、特に個人の服装が変化しないシナリオでは、微妙な服装状態を見落とす可能性があり、最適でない結果を招く可能性があります。理想的には、堅牢なLT-ReIDフレームワークは、個人の服装状態を識別し、さまざまな服装状態にわたって一貫性を維持するための適応的な特徴正則化を提供し、服装が変化する場合と変化しない場合の両方において識別精度を向上させるべきです。
この研究では、収集された知見に基づいて、服装状態認識特徴正則化ネットワーク（CSFRNet）を導入し、服装状態認識を特徴学習に統合することでLT-ReIDを強化します。CSFRNetは、服装の変化に関係なく一貫性を確保するための特徴正則化モジュール（FRM）を使用してID特徴を洗練します。注目すべきは、CSFRNetが明示的な服装アノテーションを必要とせず、IDラベルのみで動作することです。このアプローチにより、さまざまなシナリオで堅牢なパフォーマンスを確保し、実世界のアプリケーションに適しています。
我々のFRMモジュールでは、服装状態を正確に識別し、LT-ReIDタスクにおけるID特徴の堅牢性を強化することを目指しています。以前の研究（Huang et al., 2021a）で導入されたクラス内服装状態正則化（ICSR）に基づいて、グローバル服装状態正則化（GCSR）を導入し、より広範なIDにわたる服装状態を考慮します。この統合により、特に服装の変更や服装が変わらない場合において、LT-ReIDのパフォーマンスと耐性を向上させることを目指しています。
人物Re-IDでは、個人は3つの服装状態を示すことがあります：変化なし、完全に変化、部分的に変化した服装です。この研究は、以前の会議論文（Huang et al., 2021a）を拡張し、これらの3つの服装状態に対処するための微妙なアプローチを提供します。我々の方法論は、図1に視覚的に示されており、各服装状態を巧みに管理する条件付き特徴正則化戦略（CFRS）を導入し、以前には完全に対処されていなかった部分的な変化を扱うための重要な進展を示しています。
要約すると、この研究は以下の点でLT-ReID分野に独自の貢献をしています：

- LT-ReIDにおいて、従来の生体認証やデータ適応手法とは異なる、服装状態認識を特徴学習に取り入れた先駆的なアプローチを導入。

- 服装状態を学習プロセスに統合し、服装アノテーションに依存せずにIDクラス内およびクラス間の特徴の堅牢性を向上させる新しいネットワークCSFRNetを開発。

- 服装変化のシナリオ（変化なし、完全変化、部分変化）を巧みに管理する条件付き特徴正則化戦略（CFRS）を提案し、ID特徴正則化をさらに洗練。

- 4つのLT-ReIDベンチマークデータセットでの包括的な実験により、CSFRNetが服装状態の変化をRe-IDプロセスに効果的に組み込むことで既存の手法を上回ることを検証。
この拡張版の論文は、我々の初期研究（Huang et al., 2021a）に以下の重要な進展を加えています：

(i) セクション3.3.3でグローバル服装状態正則化（GCSR）を導入し、服装状態認識の範囲を個々のID固有の考慮事項から、さまざまな服装タイプやIDを含むより広範な範囲に拡大。この拡張は、微妙なクラスの違いを区別するために重要です。

(ii) セクション3.4で条件付き特徴正則化戦略（CFRS）を詳細に説明し、LT-ReIDにおけるすべての服装変化シナリオ（以前は未探索だった部分変化を含む）に対処。

(iii) セクション3.2で、以前のモデル（Huang et al., 2021a）のパラメータ数を半分に削減した効率的なネットワークアーキテクチャを提示し、DAMモジュールを再定義することで効率を最適化。

(iv) セクション4.5.1で定量分析を提供し、モデルの有効性と操作のニュアンスについてより深い洞察を提示。

(v) セクション4.6で新しい質的評価を含め、CSFRNetの機能とLT-ReIDへの影響をより明確に視覚化。

(vi) セクション4.4.4で、DeepChange（Xu & Zhu, 2023）やLTCC（Qian et al., 2020）などの追加のベンチマークデータセットを含む拡張評価を行い、我々のアプローチの適用性と多様なLT-ReIDシナリオにおける優位性を広く検証。
2. 関連研究2.1 LT-ReIDのための生体指標研究は、動きのパターン（Zhang et al., 2018）、体型（Yang et al., 2019; Qian et al., 2020; Li et al., 2020; Hong et al., 2021）、顔の特徴（Yu et al., 2020; Wan et al., 2020）に焦点を当て、服装の変化を克服することを目指しています。
2.2 LT-ReIDのための深度センシング研究は、KinectからのRGB-D画像を使用して生体属性を抽出し、LT-ReIDの能力を向上させています（Barbosa et al., 2012; Munaro et al., 2014; Haque et al., 2016）。
2.3 LT-ReIDのためのデータ適応Huang et al. (2019a) は、ST-ReIDデータセットで事前トレーニングを行い、その後LT-ReIDデータセットで微調整するアプローチを採用しました。
2.4 LT-ReIDのための分解戦略分解戦略は、画像を服装とIDコンポーネントに分解し、服装変化の影響を軽減します（Yan et al., 2022; Yang et al., 2022）。
2.5 LT-ReIDのためのメタ学習Huang et al. (2024b) は、メタ学習フレームワークを使用して、トレーニングセットとテストセット間の服装状態分布シフト（CSDS）に対処しました。
2.6 教師なしLT-ReID教師なしLT-ReIDは、人物IDラベリングの煩雑な要件を排除する新しい研究ラインです（Li et al., 2023a; Li et al., 2023b）。
3. 服装状態を特徴学習に統合図2に示すように、我々のCSFRNetは、Inter-Class Enforcement (ICE) Stream、Clothing Feature Extraction Module (CFEM)、およびFeature Regularization Module (FRM)を組み込むことで、LT-ReIDに対する微妙なアプローチを導入します。
3.1 ICE Stream3.1.1 ICE StreamのアーキテクチャICE Streamは、ミニバッチ内の各画像からID特徴を抽出するために使用されます。
3.1.2 混合プーリングモジュール混合プーリングモジュール（MPM）は、詳細なID特徴と一般的なID特徴の両方を捕捉します。
3.1.3 ICEの損失関数ICEは、識別損失（Lid）と加重ハードトリプレット損失（Lwht）の2つの重要な損失関数を組み込んでいます。
3.2 服装特徴抽出モジュールCFEMは、服装に関連する外観特徴（fap）を抽出するために基本的な役割を果たします。
3.3 服装状態認識による特徴正則化トレーニング中、FRMは服装状態の洞察を組み込むことでID特徴（fid）を洗練します。
3.3.1 クラス内服装状態正則化クラス内服装状態正則化（ICSR）は、服装状態に基づいてID特徴を調整します。
3.3.2 グローバル服装状態正則化グローバル服装状態正則化（GCSR）は、ミニバッチ内のすべてのIDにわたる服装状態を考慮します。
3.4 条件付き特徴正則化戦略部分的な服装変化に対処するため、条件付き特徴正則化戦略（CFRS）を導入します。
3.5 総合的な目的関数総合的なトレーニング損失は、複数のコンポーネントを組み合わせ、バランスを取るために重み係数を調整します。
4. 実験4.1 実装の詳細4.1.1 ネットワークの詳細我々の実装はPyTorchを利用しています。
4.1.2 トレーニングの詳細トレーニングには、SGDを使用し、モメンタムを0.9、重み減衰パラメータを0.0005に設定します。
4.2 評価のためのデータセット評価のために、Celeb-ReID、Celeb-ReID-Light、PRCC、DeepChange、LTCCの4つのLT-ReIDデータセットを使用します。
4.3 推論と評価基準システムは、推論にID特徴（fid）のみを使用し、トレーニング中に正則化に使用された服装関連の特徴（fap）は除外します。
4.4 最新技術との比較4.4.1 Celeb-ReIDとCeleb-ReID-Lightの結果CSFRNetは、Celeb-ReIDとCeleb-ReID-Lightデータセットで既存の手法を上回りました。
4.4.2 PRCCの結果PRCCデータセットでは、CSFRNetは服装変化がない場合に100%のRank-1精度を達成しました。
4.4.3 DeepChangeの結果DeepChangeデータセットでは、CSFRNetは既存の手法を大幅に上回りました。
4.4.4 LTCCの結果LTCCデータセットでは、CSFRNetは服装変化シナリオで優れた性能を示しました。
4.4.5 服装ラベルを使用する手法との比較CSFRNetは、服装ラベルを使用する手法と比較しても競争力のある性能を示しました。
4.4.6 異なるバックボーンでの比較CSFRNetは、DenseNet-121とResNet-50の両方のバックボーンで優れた性能を示しました。
4.5 定量的評価4.5.1 アブレーション研究CSFRNetの各要素と構成の影響を詳細に分析しました。
4.5.2 ハイパーパラメータ分析ハイパーパラメータの調整がCSFRNetの性能に与える影響を調査しました。
4.5.3 トレーニングデータへの感度トレーニングデータの量がモデルの性能に与える影響を評価しました。
4.5.4 入力サイズとバックボーンの分析入力サイズとバックボーンの選択がLTCCとPRCCデータセットでの性能に与える影響を調査しました。
5. 結論本研究では、服装状態認識を特徴学習に統合したCSFRNetを提案し、長期人物再識別における服装変化の課題に対処しました。CSFRNetは、複数のベンチマークデータセットで既存の手法を上回る性能を示し、今後のLT-ReID研究に新しい方向性を提供します。