デュアルプロンプトを用いたリハーサルベースの継続学習
学術的背景 機械学習とニューラルネットワークの分野において、継続学習(Continual Learning)は重要な研究テーマです。継続学習の目標は、モデルが一連のタスクにおいて新たな知識を継続的に学習しつつ、既に学習した古い知識を忘れないようにすることです。しかし、既存の継続学習手法は主にカタストロフィックフォゲッティング(Catastrophic Forgetting)という課題に直面しています。カタストロフィックフォゲッティングとは、モデルが新しいタスクを学習する際に、以前に学習した知識を急速に忘れてしまい、古いタスクの性能が大幅に低下する現象です。この問題は現実のアプリケーションにおいて特に深刻で、多くのタスクが変化する環境下で継続的に学習し適応する必要があるためです。 この問題を解...