対比的自己脱偏と二重データ拡張による事前学習済み言語モデルの社会的バイアスの緩和
導入:
現在、事前学習済み言語モデル(PLM)は自然言語処理分野で広く応用されていますが、学習用データ中の社会的偏りを継承し、増幅する問題があります。社会的偏りがあると、PLMの実際の応用において予期せぬリスクが生じる可能性があります。例えば、自動求職選考システムでは性別による偏りのために、論理力が必要な仕事(医者、プログラマーなど)は男性に割り当てられ、介護力が必要な仕事(看護師、ベビーシッターなど)は女性に割り当てられる可能性があります。医療システムでは人種による偏りがある可能性があり、同じリスク水準でも黒人患者の方が白人患者より「虚弱」と評価される可能性があります。そのため、PLMに組み込まれた社会的偏りを除去することは、意義があり、チャレンジングな研究分野となっています。
論文の出所:
本論文は、権威ある学術誌「人工知能」(Artificial Intelligence)の2024年第332号に掲載されました。第一著者はLi Yingji、第二著者はMengnan Duで、他の著者はJilin University College of Computer Science and Technology、New Jersey Institute of Technology Department of Data Science、Jilin University Academy of Artificial Intelligence、そしてMinistry of Education Key Laboratory of Computer Aided Design and Graphics所属です。
研究内容および独創性:
本論文では、二重データ拡張とコントラスティブ・セルフデバイアシングの2段階からなるコントラスティブデュアルディバイアシングモデル(CD3)を提案し、PLMに組み込まれた社会的偏りを効果的に緩和することに成功しています。
二重データ拡張段階では、まず敏感な属性語(男性/女性など)を用いて元のコーパスに対して第1回目のデータ拡張を行い、正サンプルペアを得ます。次に、異なる人口グループ間でPLMの符号化の差を最大化するバイアスプロンプトを自動検索し、第1回目の拡張サンプルに連結して、第2回目のデータ拡張を行います。この方法により、従来の人手による経験に依存したデータ拡張の限界を打破しています。
コントラスティブ・セルフデバイアシング段階では、拡張後のコーパスを用いてコントラスティブ学習によりプラグイン可能なデバイアシングアダプターを学習し、PLMの文の表現を元の偏りの空間から偏りのない新しい空間に写像します。この際、PLMモデル自体のパラメータを更新する必要はありません。このアダプターはあらゆるPLMモデルに汎用的に適用可能で、計算リソースを大幅に節約しながら、PLMの言語モデル能力を維持することができます。
本論文では、性別と人種のデバイアシングについて、複数の実世界データセットと公平性指標を用いて評価を行っています。実験結果によれば、ベースラインモデルと比較して、CD3はBERT、ALBERT、ROBERTAのいずれにおいてもデバイアシングの優れた性能を示しながら、PLMの言語モデル能力を維持することができました。
研究の手順と方法:
- 二重データ拡張(Double Data Augmentation)
1) 敏感属性語を置換して元のコーパスに対して第1回目のデータ拡張を行い、正サンプルペアを得る。
2) バイアスプロンプトを自動検索する。各正サンプルペアに対して、与えられた検索空間内で2つの文の表現の距離を最大化するプロンプト系列をバイアスプロンプトとして探索する。具体的には、各イテレーションでそのプロンプト候補の文の表現のコサイン類似度を計算し、最小のTOP Kを次のイテレーションの候補に連結する。これを終了条件が満たされるまで繰り返す。
3) 得られたバイアスプロンプトを第1回目の拡張正サンプルペアに連結し、最終的な拡張コーパスを得る。
- コントラスティブ・セルフデバイアシング(Contrastive Self-Debiasing)
1) 拡張コーパスをPLMエンコーダに入力し、文の表現を得る。
2) 学習可能なアダプターGを用いて、元の空間から新しい空間に文の表現を写像し、デバイアシングされた文の表現を出力する。
3) 正サンプルペアのデバイアシングされた表現をコントラスト損失関数に入力する。コントラスト損失関数は、正サンプルペアの表現間の距離を最小化し、他のサンプルとの距離を最大化することを目的としている。
4) コントラスト学習により、アダプターGのパラメータを学習する。これによりGは、PLMの符号化空間から社会的偏りを取り除くことができるようになる。
5) 学習が終了すると、アダプターGはあらゆるPLMモデルに適用可能となり、ダウンストリームタスクの前に社会的偏りを除去することができる。
ハイライト:
1) 二重データ拡張戦略では、バイアスプロンプトの自動検索により、異なる人口グループ間の正サンプルペアのバイアスをさらに強化し、人手による先験的知識に依存する従来の手法の限界を打破した。
2) デバイアシングアダプターは、PLMの内部構造やパラメータにアクセスする必要がなく、軽量のアダプターパラメータのみを学習するだけでデバイアシングを実現できるため、多くの計算リソースを節約でき、PLMの言語モデル能力に影響を与えない。
3) 複数の実世界データセットと評価指標において、性別と人種のデバイアシングで優れた結果を示し、かつ安定した性能を示したため、高い一般化能力があることが示された。
本論文では、PLMにおける人種差別の課題を検討し、現在の敏感属性語では人種差別を十分にカバーできず、そのため多くの手法が性別差別に特化し、他の社会的偏りには一般化が難しいことを指摘しています。提案手法はある程度、人手による経験への依存を軽減し、人種差別の問題を解決するための新しいアプローチを提供しています。