データフリー知識蒸留における自適応的なサンプル間関係の探求

近年来、プライバシー保護や大規模データ転送などのアプリケーションシナリオにおいて、データの不可アクセス性に対する厳しい課題が浮き彫りになっているため、研究者たちはデータフリー知識蒸留(Data-Free Knowledge Distillation、以下DFKD)という方法を提唱し、これらの問題を解決しようとしている。知識蒸留(Knowledge Distillation、以下KD)は、深層事前学習モデル(教師モデル)から知識を学習させることで軽量モデル(学生モデル)を訓練する手法である。しかし、従来の知識蒸留法は使用可能な訓練データを必要とし、これはプライバシー保護や大規模データ転送のシナリオでは現実的ではない。本論文では、新しいDFKD手法であるAdaptive Data-Free Kn...