基于双提示的排练式持续学习方法:DUPT

学术背景 在机器学习和神经网络领域,持续学习(Continual Learning)是一个重要的研究方向。持续学习的目标是让模型能够在一系列任务中不断学习新知识,同时避免遗忘已经学到的旧知识。然而,现有的持续学习方法面临一个主要挑战:灾难性遗忘(Catastrophic Forgetting)。灾难性遗忘指的是模型在学习新任务时,会迅速遗忘之前学到的知识,导致旧任务的性能大幅下降。这一问题在现实应用中尤为突出,因为许多任务需要模型在不断变化的环境中持续学习和适应。 为了解决这一问题,研究者们提出了多种方法,其中基于回放的方法(Rehearsal-based Methods)是一种常见的解决方案。这类方法通过存储旧任务的代表性样本,并在学习新任务时回放这些样本来巩固旧知识。然而,现有的回放方法...