AdaDFKD:探索数据无关知识蒸馏中的自适应样本间关系

近年来,隐私保护和大规模数据传输等应用场景对数据的不可访问性提出了严峻挑战,因此,研究人员通过提出数据无关知识蒸馏(Data-Free Knowledge Distillation,简称DFKD)方法,来解决这些问题。知识蒸馏(Knowledge Distillation,简称KD)是一种训练轻量级模型(学生模型)使其从深度预训练模型(教师模型)中学习知识的方法。然而,传统的知识蒸馏方法要求具有可用的训练数据,这在隐私保护和大规模数据传输场景下是不现实的。本文提出了一种新的DFKD方法——Adaptive Data-Free Knowledge Distillation(简称AdaDFKD),旨在解决现有DFKD方法中目标分布静态和实例级分布学习的局限性,通过建立和利用伪样本间的关系,实现对...