Seaformer++：モバイル視覚認識のためのスクイーズ強化軸変換器

情報科学 人工知能 コンピューターサイエンス
トランスフォーマー セマンティックセグメンテーション 知識蒸留 モバイルデバイス 視覚認識

SEAFormer++——モバイルビジョン認識のための効率的なTransformerアーキテクチャ

研究背景と問題提起

近年、コンピュータビジョン分野では、畳み込みニューラルネットワーク（CNN）からTransformerベースの手法への大きな変革が起こりました。しかし、Vision Transformerは多くのタスクで優れたグローバルコンテキストモデリング能力を示す一方で、その高い計算コストとメモリ要件により、特に高解像度画像を扱う場合、モバイルデバイスへの展開が困難です。低遅延と高効率を求めるモバイルデバイスに対応するため、研究者たちは局所注意機構、軸方向注意（Axial Attention）、動的グラフメッセージパッシングなどの軽量化手法を提案してきました。しかし、これらの方法でも高解像度入力時の高遅延問題を十分に解決することはできていません。

この課題に対処するために、Qiang WanらはSqueeze-Enhanced Axial Transformer（SEAFormer）を提案しました。これは、革新的な注意機構設計を通じて高性能を維持しながら計算複雑性を大幅に削減し、効率的なモバイルセマンティックセグメンテーションを実現することを目指しています。さらに、著者らは特徴マップのアップサンプリングに基づくマルチレゾリューション蒸留技術を導入し、モデルの推論速度と精度をさらに最適化しました。

論文の出典と著者情報

本論文は、Qiang Wan（復旦大学）、Zilong Huang（ByteDance）、Jiachen Lu（復旦大学）、Gang Yu（Tencent）、Li Zhang（復旦大学）によって共同執筆され、2025年1月に『International Journal of Computer Vision』に発表されました。本研究は国家自然科学基金（プロジェクト番号62376060）の支援を受けています。

研究内容と実験プロセス

a) 研究ワークフロー

本研究には主に以下の重要な部分が含まれます：

1. コアモジュール設計：Squeeze-Enhanced Axial Attention (SEA Attention)

SEA AttentionはSEAFormerの中核コンポーネントであり、「圧縮-強化」戦略を通じてグローバルなセマンティック情報を抽出し、局所的な詳細を補完することを目指しています。具体的には： - 圧縮フェーズ：入力特徴マップを水平または垂直方向に適応的に圧縮し、コンパクトな行または列表現を生成します。 - 強化フェーズ：深さ分離可能な畳み込み層を使用して局所的な詳細を強化し、圧縮されたグローバル特徴と組み合わせて最終的な特徴融合を行います。 - 位置埋め込み：圧縮操作による位置情報の喪失に対処するため、著者らはSqueeze Axial Position Embeddingを導入し、モデルが圧縮された特徴の位置情報を感知できるようにしました。

2. ダブルブランチネットワークアーキテクチャ

SEAFormerはダブルブランチ構造を採用しており、コンテキストブランチ（Context Branch）と空間ブランチ（Spatial Branch）で構成されています： - コンテキストブランチ：高レベルのセマンティック情報をキャプチャすることに焦点を当て、複数のSEAFormerレイヤーを積み重ねることで実現されます。 - 空間ブランチ：低レベルの空間的詳細を保持することに焦点を当て、コンテキストブランチの特徴を融合させることでセマンティック情報を強化します。 - 融合ブロック（Fusion Block）：コンテキストブランチと空間ブランチの特徴を融合させるために使用され、シグモイド乗算が最適な融合方法として採用されています。

3. マルチレゾリューション蒸留技術

推論遅延をさらに削減するために、著者らは特徴マップのアップサンプリングに基づくマルチレゾリューション蒸留フレームワークを提案しました： - 学生モデル：低解像度の入力を使用してトレーニングを行い、MobileNetV2モジュールを使用して特徴をアップサンプリングし、教師モデルの解像度に一致させます。 - 損失関数：分類損失、クロスモデル分類損失、特徴類似性損失、および出力類似性損失を含み、学生モデルが教師モデルの動作を効果的に模倣できるよう保証します。

4. 実験設定

  • データセット：ADE20K、Cityscapes、Pascal Context、COCO-Stuff。
  • 評価指標：mIoU（平均Intersection over Union）、パラメータ数（Params）、浮動小数点演算数（FLOPs）、推論遅延（Latency）。
  • ハードウェアプラットフォーム：すべての実験はQualcomm Snapdragon 865プロセッサ上で実行され、ARM CPUコアのみを使用してテストされました。

b) 主要結果

1. SEAFormerの性能

ADE20K検証セットでの実験結果は、SEAFormerが既存の手法を複数の指標で上回っていることを示しています： - 小型モデル（SEAFormer-Tiny）：mIoUは36.8%に達し、遅延はわずか41ms。 - 中型モデル（SEAFormer-Small）：mIoUは39.7%に向上し、遅延は68ms。 - 大型モデル（SEAFormer-Large）：mIoUは43.8%に達し、遅延は369ms。

TopFormer（現在最も先進的な軽量Transformer）と比較すると、SEAFormerはmIoUを最大+8.3%向上させると同時に、遅延を最小16%削減しました。

2. マルチレゾリューション蒸留の効果

マルチレゾリューション蒸留技術を導入したSEAFormer++（KD）バージョンは、さらなる性能最適化を実現しました： - ADE20K検証セットでは、SEAFormer-B++（KD）は39.5%のmIoUを達成し、遅延を55msに削減しました。 - 従来の低解像度蒸留法と比較すると、マルチレゾリューション蒸留のmIoUは3.4ポイント向上しました（35.5 vs. 32.1）。

3. その他のタスクにおける性能

セマンティックセグメンテーションに加えて、SEAFormerは画像分類や物体検出タスクでも優れた性能を示しました： - 画像分類：ImageNet-1Kデータセットでは、SEAFormer-L++はTop-1精度80.6%を達成し、遅延はわずか61ms。 - 物体検出：COCOデータセットでは、SEAFormer-L++のAP値は40.2%に達し、MobileNetV3などの基準モデルを大きく上回っています。

c) 結論と意義

科学的価値

SEAFormerはモバイルデバイス向けの効率的なTransformerの空白を埋め、革新的な注意機構設計とダブルブランチアーキテクチャを通じて、セマンティックセグメンテーションタスクで性能と効率の最適なバランスを実現しました。

応用価値

SEAFormerはセマンティックセグメンテーションだけでなく、画像分類や物体検出などさまざまなタスクにも拡張可能であり、汎用的なモバイルフレンドリーなバックボーンネットワークとしての可能性を示しています。さらに、マルチレゾリューション蒸留技術はリソース制約のある環境でのモデル最適化に新たな道を提供しました。

d) 研究のハイライト

  1. 革新的な注意機構：SEA Attentionは適応的な圧縮と畳み込み強化を通じて計算複雑性を大幅に削減し、グローバルなセマンティック情報と局所的な詳細を保持します。
  2. 効率的なダブルブランチアーキテクチャ：コンテキストブランチと空間ブランチの協調設計により、モデルは異なるスケールで豊富なセマンティック情報をキャプチャできます。
  3. マルチレゾリューション蒸留技術：特徴マップのアップサンプリングを通じて高低解像度モデル間の知識移転を実現し、推論遅延を大幅に削減しました。
  4. 幅広い応用シーン：SEAFormerはセマンティックセグメンテーション、画像分類、物体検出など複数のタスクで優れた性能を示し、その汎用性と堅牢性を証明しました。

e) その他の有益な情報

論文はコードとモデルを公開しており、GitHubで入手可能です。さらに、著者らは異なるアップサンプリングモジュールや損失関数設定の影響について詳細に分析しており、今後の研究に貴重な参考資料を提供しています。

まとめ

SEAFormer++の研究は、モバイルデバイス上での高解像度セマンティックセグメンテーションの性能ボトルネックを解決するだけでなく、マルチレゾリューション蒸留技術を通じてモデル効率をさらに最適化しました。その革新的な設計理念と幅広い適用性は、コンピュータビジョン分野における軽量化モデル開発の新しい基準を確立しました。