効率的なテンソル分解に基づくフィルタプルーニング

背景介紹 ネットワークプルーニング(Network Pruning)は、効率的な畳み込みニューラルネットワーク(CNNs)モデルを設計するための重要な技術です。メモリ使用量と計算要求を削減しつつ、全体的なパフォーマンスを維持または向上させることで、リソース制限のあるデバイス(携帯電話や組み込みシステムなど)でのCNNsの展開が実現可能になります。現在の仮定は、多くのモデルパラメータが過剰であり、大量の不必要または冗長なパラメータを含んでいるというもので、これらの冗長パラメータを削除することで、より小さくて効率的なモデルを生成できます。これはリソース制限のあるデバイスにだけでなく、場合によってはモデルの汎化能力を向上させることもあります。 既存のプルーニング手法の中で、フィルタープルーニング(...

スライステンソル成分分析による神経サブスペース以上の次元削減

背景紹介: 大規模ニューロン記録データは通常、ニューロン同時活性化パターンで記述することができます。しかし、ニューロン活動の変動を固定された低次元部分空間に制限するという観点では、固定されたニューロンシーケンスや緩やかに進化する潜在空間などのより高次元の構造が見落とされる可能性があります。本研究では、ニューロンデータにおけるタスク関連の可変性も、試行やタイミングの上で共変動し、異なる「共変性クラス」(covariability classes)を定義することができ、これらのクラスが同一データセットに同時に存在する可能性があると考えています。 研究動機: 従来の次元削減手法(主成分分析(PCA)など)は通常、単一の共変性クラスしかキャプチャできません。混在する複数の共変性クラスを区別するために...