デュアルプロンプトを用いたリハーサルベースの継続学習

学術的背景 機械学習とニューラルネットワークの分野において、継続学習(Continual Learning)は重要な研究テーマです。継続学習の目標は、モデルが一連のタスクにおいて新たな知識を継続的に学習しつつ、既に学習した古い知識を忘れないようにすることです。しかし、既存の継続学習手法は主にカタストロフィックフォゲッティング(Catastrophic Forgetting)という課題に直面しています。カタストロフィックフォゲッティングとは、モデルが新しいタスクを学習する際に、以前に学習した知識を急速に忘れてしまい、古いタスクの性能が大幅に低下する現象です。この問題は現実のアプリケーションにおいて特に深刻で、多くのタスクが変化する環境下で継続的に学習し適応する必要があるためです。 この問題を解...

高次運動フローによる共役視覚表現の継続的学習

高次運動フローを利用した共役視覚表現の継続的学習:CMOSFETモデルの研究 学術的背景 人工知能とコンピュータビジョンの分野において、連続的な視覚データストリームからの継続的学習(Continual Learning)は長年の課題です。従来の機械学習手法は、独立同分布(i.i.d.)の仮定に依存しており、すべての訓練データが訓練時に静的かつ利用可能であることを前提としています。しかし、現実世界の視覚データは連続的で非独立同分布であることが多く、モデルの訓練に大きな困難をもたらします。さらに、既存の教師なし学習手法の多くは大規模なオフライン訓練データセットに依存しており、これは人間や動物が環境を連続的に体験しながら学習する方法とは大きく異なります。 これらの問題を解決するため、Simone ...