キーポイントインタラクティブトランスフォーマーを用いた構造支援依存関係の学習による一般哺乳動物のポーズ推定
一般的な哺乳動物の姿勢推定に関する研究の進展
研究背景と問題提起
コンピュータビジョンの分野では、姿勢推定は基礎的かつ重要なタスクであり、その目標は画像内の対象オブジェクトのキーポイント位置を特定することです。近年、人間の姿勢推定において顕著な進展が見られましたが、動物の姿勢推定（Animal Pose Estimation）の研究はまだ初期段階にあります。人間の姿勢推定と比較して、動物の姿勢推定は主に以下の点で大きな課題を抱えています。
- 種の多様性：異なる種間での外観や姿勢の違いが非常に大きい。例えば、ネコ科動物の中でもヒョウと家猫は形状、サイズ、色において顕著な違いがあります。
- データの希少性：既存の動物姿勢データセットの規模は、人間の姿勢データセットよりもはるかに小さい。例えば、最大の哺乳類姿勢データセットであるAP-10kは約10,000枚の画像を含む一方、COCOデータセットは200,000枚以上のアノテーション付き画像を含んでいます。
- 姿勢変化の複雑さ：動物の姿勢変化の範囲は広く、例えばアンテロープが立っているときには鼻と目の距離が近いですが、水を飲むために頭を下げると、鼻と前足の距離が大幅に短くなります。
上記の問題に対処するために、研究者たちはさまざまな方法を提案してきましたが、ほとんどの研究は特定の種に対して最適化されており、汎用性に欠けています。したがって、多種にわたる姿勢推定を可能にするモデルの設計が待ったなしの課題となっています。
本論文はTianyang Xuらによって執筆され、著者たちは江南大学人工知能・コンピュータ科学学部および英国サリー大学コンピュータ科学・電子工学部に所属しています。論文は2025年1月6日に受理され、『International Journal of Computer Vision』誌に掲載されました。
研究内容と作業フロー
a) 研究フローと方法
本研究の中心的な貢献は、一般的な哺乳動物の姿勢推定を実現するための新しいアーキテクチャ「Keypoint Interactive Transformer (KIT)」です。以下に、研究の主なフローと方法を示します。
1. データ前処理と特徴抽出
本研究はAP-10k、Animal Kingdom、COCOなどのデータセットに基づいて実験を行っています。入力画像はまず高解像度ネットワーク（HRNet）を使用してキーポイントの特徴を抽出します。HRNetはその高解像度表現能力で知られており、細粒度の空間情報を捉えることができます。その後、特徴マップは畳み込み層を通じてチャンネル数を調整され、キーポイントトークン（Keypoint Tokens）として平坦化されます。
2. キーポイントインタラクティブトランスフォーマー（KIT）
KITモジュールは本研究の主要な革新点の一つであり、その主な機能は次の通りです： - 自己注意機構：シングルヘッド自己注意（Single-Head Self-Attention）により、キーポイント間のグローバルな関係を捕捉し、同時に無関係な手がかりを抑制します。 - ボディパーツプロンプト（Body Part Prompts）：キーポイントトークンをクラスタリングしてボディパーツプロンプトを生成し、コンテキスト情報を統合することでモデルのセマンティック理解を強化します。 - 階層的インタラクション：KITモジュールは積み重ねられた形で構築されており、各層は自己注意機構を通じてキーポイント間の相互作用を実現します。
3. 損失関数の設計
中間特徴表現を最適化するために、本研究では「一般化ヒートマップ回帰損失（Generalized Heatmap Regression Loss, GHL）」を提案しました。GHLはヒートマップにラプラシアンフィルタリングや平滑化処理を行い、中間特徴のシャープさを動的に調整することで、異なるキーポイント分布により適応できるようにします。
4. 適応的重み付け戦略
さらに、本研究では異なるキーポイントの重要性をバランスさせるための「適応的重み付け戦略（Adaptive Weight Strategy）」も導入されています。この戦略は各キーポイントの予測誤差に基づいて動的に重みを調整し、モデルが検出が難しいキーポイントに注目するように誘導します。
b) 主要な結果
1. AP-10kデータセットでのパフォーマンス
AP-10kの検証セットにおいて、KITPoseモデルは既存の最先端手法を上回る性能を発揮しました。具体的には以下の通りです： - KITPose-E2C4は入力解像度が256×256の場合、76.6 APを達成し、HRNet-W32を2.8 AP上回りました。 - より高い解像度（384×384）では、KITPose-E2C4はさらに77.9 APに向上し、低解像度におけるモデルの堅牢性を示しました。
2. Animal Kingdomデータセットでのパフォーマンス
より挑戦的なAnimal Kingdomデータセットにおいても、KITPoseは優れたパフォーマンスを発揮しました： - HRNet-W32を搭載したKITPose-E2C6は58.8 PCK@0.05を達成し、ベースラインモデルのHRNet-W32（58.5 PCK@0.05）を上回りました。 - HRNet-W48を搭載したKITPose-E2C6はさらに59.1 PCK@0.05に向上し、種を超えた姿勢推定における有効性を証明しました。
3. COCOデータセットでの汎化能力
KITPoseは動物の姿勢推定だけでなく、人間の姿勢推定タスクにも直接適用可能です。COCOの検証セットでは、KITPose-E2C4は入力解像度が384×288の場合、77.3 APを達成し、既存の最先端手法を凌駕しました。
c) 結論と意義
本研究で提案されたKITPoseモデルは、複数のデータセットで優れたパフォーマンスを発揮し、一般的な哺乳動物の姿勢推定における優位性と汎化能力を示しました。本研究の意義は主に以下の点に表れます： 1. 科学的価値：KITPoseは構造支持依存関係を導入し、キーポイント間の内在的な関連性を明らかにすることで、今後の姿勢推定研究に新たな方向性を提供します。 2. 応用的価値：本モデルは野生動物保護や動物行動分析など幅広い分野に応用でき、生態学研究に技術的サポートを提供します。
d) 研究のハイライト
- 新規のKITモジュール：自己注意機構とボディパーツプロンプトを介して、KITモジュールはキーポイント間の構造支持依存関係を効果的に捕捉できます。
- 一般化ヒートマップ回帰損失：中間特徴のシャープさを動的に調整し、キーポイント分布への適応性を強化します。
- 適応的重み付け戦略：異なるキーポイント間の不均衡問題を解決し、モデルの堅牢性を向上させます。
e) その他の有益な情報
本研究では、身体部位プロンプトの数やラプラシアン核のサイズなど、さまざまなハイパーパラメータがモデルの性能に与える影響についても検討しました。実験の結果、適切な身体部位プロンプトの数と核サイズがモデルの性能を大幅に向上させることがわかりました。
まとめ
本論文はTianyang Xuらによって執筆され、『International Journal of Computer Vision』に発表され、一般的な哺乳動物の姿勢推定のためにKITPoseという新しいアーキテクチャを提案しました。キーポイントインタラクティブトランスフォーマー、一般化ヒートマップ回帰損失、適応的重み付け戦略を導入することで、KITPoseは複数のデータセットで優れたパフォーマンスを達成しました。本研究は動物姿勢推定の発展を促進するだけでなく、コンピュータビジョン分野の他のタスクにも参考となる知見を提供しています。