効率的なテンソル分解に基づくフィルタプルーニング

2024-05-31 Fri
ネットワーク圧縮テンソル分解フィルタ剪定畳み込みニューラルネットワーク低ランク近似
背景介紹ネットワークプルーニング（Network Pruning）は、効率的な畳み込みニューラルネットワーク（CNNs）モデルを設計するための重要な技術です。メモリ使用量と計算要求を削減しつつ、全体的なパフォーマンスを維持または向上させることで、リソース制限のあるデバイス（携帯電話や組み込みシステムなど）でのCNNsの展開が実現可能になります。現在の仮定は、多くのモデルパラメータが過剰であり、大量の不必要または冗長なパラメータを含んでいるというもので、これらの冗長パラメータを削除することで、より小さくて効率的なモデルを生成できます。これはリソース制限のあるデバイスにだけでなく、場合によってはモデルの汎化能力を向上させることもあります。
既存のプルーニング手法の中で、フィルタープルーニング（Filter Pruning）とウェイトプルーニング（Weight Pruning）は人気のある技術です。ウェイトプルーニングは、個々のウェイトの重要性に基づいて、特定の構造やパターンを考慮せずにプルーニングする非構造化プルーニングです。一方、フィルタープルーニングは、特定の基準に基づいてフィルター全体をプルーニングしつつ、ネットワーク全体の構造を維持する構造化プルーニング手法の一つです。
初期のフィルター選択方法は、単一のフィルター自身の情報を測定することによってその重要性を決定していましたが、フィルター間の相関性を無視していたため、高い冗長性がありました。最近のいくつかの進展は、フィルター/特徴マップ間の相関性や類似性を利用して冗長なフィルターを削除することで、顕著な利点をもたらすことを示しています。なぜなら、類似フィルターは重複する特徴を生成する可能性があり、この冗長性は後続の微調整プロセスで補償可能です。顕著な結果を得たにもかかわらず、多くの最先端手法にはいまだに完全に解決されていない限界があります。例えば、フィルターの類似性を計算する際、三階テンソルフィルターを二次元行列や一次元ベクトルに展開することがあり、これが空間または時間情報の損失につながる可能性があります。
文章来源この論文《Efficient Tensor Decomposition-Based Filter Pruning》は、Van Tien Pham、Yassine ZniyedおよびThanh Phuong Nguyenによって書かれたもので、彼らは全てフランスのUniversité de Toulon、Aix Marseille University、CNRS、LISに所属しています。論文は《Neural Networks》ジャーナルに掲載されています。論文の受理日は2023年10月12日、改訂日は2024年2月16日、受け入れ日は2024年5月15日です。
研究詳細ワークフロー本論文は、新しいフィルタープルーニング手法 CORING（Efficient Tensor Decomposition-Based Filter Pruning）を提案し、テンソル分解方法に基づいてフィルタープルーニングを行います。具体的なステップは以下の通りです：
フィルター分解：高次元特異値分解（HOSVD）を使用して各層のフィルターを低ランク表現に分解し、フィルターの多次元構造とその重要な情報を保持します。
類似性計測：2つのフィルターの低ランク表現間の距離を計算することで、類似性行列を構築します。このプロセスにより、完全なフィルターやその再構成バージョンを直接使用することを回避します。
フィルター選択：類似性行列に基づいて、集団の重要性を考慮したアルゴリズムを使用して、他のフィルターと最も類似しているフィルターを反復的に削除し、所定のスパース目標に到達するまで続けます。
プルーニング戦略：k-shotsプルーニング戦略を提案し、多回のプルーニングと微調整を通じて高精度の制御を達成します。
主な結果実験は、画像分類、対象検出、インスタンス分割、キーポイント検出など、さまざまなアーキテクチャとデータセットで広範囲にわたって検証されました。主な結果は以下の通りです：
CIFAR-10データセット上のVGG-16-BNモデルで、Coring方法はパラメータを81.6％、MAC操作を58.1％減少させた状態で、精度が93.96％から94.42％に向上しました。
ResNet-56モデルにおいて、Coring方法はパラメータを22.4％、MAC操作を27.3％減少させた状態で、精度が93.26％から94.76％に向上しました。
ImageNetデータセット上のResNet-50モデルで、Coringはパラメータを40.8%、MAC操作を44.8%減少させた状態で、精度が76.15%から76.78%に向上しました。
結論と意義Coring方法は、高次元テンソル分解と革新的なフィルター類似性の計測方法を導入することで、効率的なネットワーク構造化プルーニングを実現しました。その主要な貢献は以下の通りです：
フィルタープルーニングにテンソル分解（特にHOSVD）を導入：複雑さを大幅に減少させ、フィルターの多次元構造を維持します。
シンプルで効率的なフィルター選択方法を提供：HOSVD分解の表現に基づいて距離を計算し、完全なフィルターやその再構成バージョンを直接使用することを避けます。
多くのコンピュータビジョンタスクにおける有効性を実証：多数の実験を通じて、Coringが精度、パラメータ削減、MAC操作削減の面で優れていることを証明しました。
ハイライト革新的なテンソル分解方法：Coringは、フィルターの多次元構造を維持しつつ低ランク近似を提供し、複雑さを大幅に削減します。
効率的な類似性計算方法：HOSVDによって提供される低ランク近似を使用してフィルターの類似性を計算する新しい汎用的方法であり、完全なフィルターやその再構成バージョンを使用することに悩む必要はありません。
広範な検証と優れた成果：多くの異なるアーキテクチャやデータセットでの広範な実験により、本方法の有効性と優位性が確認されました。
まとめCoringは、テンソル分解に基づく効率的な新しいフィルタープルーニング手法として、フィルターの多次元構造とその重要な情報を保持することで、複数のコンピュータビジョンタスクにおいて優れたパフォーマンスを実現し、モデル圧縮の分野における顕著な潜在能力と広範な応用価値を示しました。同時に、新たに提案されたk-shots策略は、高精度を維持しながら模型剪定に対する柔軟な方法を提供しました。