事前訓練された言語モデルの抑制適応
InA: 事前学習言語モデルにおける抑制適応方法 事前学習言語モデル(Language Models, LMs)は自然言語処理(Natural Language Processing, NLP)タスクにおいて顕著な効果をあげている。しかし、従来のファインチューニング方法には冗長なパラメータの問題があり、効率と効果に影響を与えている。この挑戦に対応するために、本論文では抑制適応(Inhibition Adaptation, INA)と呼ばれるファインチューニング方法を提案し、追加される調整可能な重みを減らし、事前学習言語モデルからの知識を適切に再重み付けする。 研究の背景と問題 現在、事前学習言語モデルのファインチューニングはNLPの下流タスクを解決する一般的な方法である。しかし、古典的なファ...