神経メカニズムと関係学習：ニューラルネットワークにおける迅速な知識再構築

背景紹介

人間や動物は、限られた経験から項目間の関係（刺激、物体、イベントなど）を学ぶ驚異的な能力を持っており、構造化された一般化と迅速な情報統合を可能にします。この関係学習の基本となるのが順序学習で、推移的推論（例えば、a > b かつ b > c ならば a > c）やリストリンク（例えば、a > b > c と d > e > f が c > d を知ることで a > b > c > d > e > f に迅速に再構築される）を可能にします。この分野は長年研究されてきましたが、推移的推論と迅速な知識再構築の神経生物学的メカニズムは未だ不明確です。本論文では、神経変調を備えたシナプス可塑性（自己指向学習を可能にする）と人工メタ学習（学習の仕方を学ぶ）を通じて、ニューラルネットワークが推移的推論とリストリンクを実行し、さらに人間や動物で広く観察される行動パターンを表現する方法を紹介しています。

論文の出典

この論文は、Thomas Miconi と Kenneth Kay によって執筆され、それぞれML Collective（サンフランシスコ、米国）とColumbia University（ニューヨーク、米国）に所属しています。論文は2025年2月に『Nature Neuroscience』ジャーナルに掲載され、DOIは10.1038/s41593-024-01852-8です。

研究の流れ

1. タスクとモデルの設計

研究ではまず、推移的推論とリストリンクを含む古典的なタスクパラダイムを設計しました。タスクは複数の「エピソード」に分かれており、各エピソードは複数の試行で構成されています。各エピソードでは、ネットワークは一連の新しいランダムな刺激の順序を学ぶことを要求されます。刺激は高次元のバイナリベクトルで、各エピソードごとにランダムに生成されます。各エピソードは30回の試行で構成され、最初の20回の試行は隣接ペアのみを含み、最後の10回の試行はすべての可能なペア（aaやbbなどの同一ペアを除く）を含みます。

2. ネットワーク構造とメタトレーニング

研究では、シナプス可塑性と自己調節型神経変調を備えたリカレントニューラルネットワーク（RNN）を使用しました。ネットワークの入力には、現在のタイムステップの刺激、報酬信号、および前回の応答が含まれます。ネットワークの出力は、2つの可能な応答の確率分布です。各エピソードの開始時に、ネットワークの活性化とHebbian可塑性の痕跡はリセットされますが、シナプスの重みは保持されます。

3. シナプス可塑性

ネットワーク内のリカレント接続は、調整可能なHebbian可塑性を備えています。各接続はHebbian資格トレース（eligibility trace）を維持し、出力と入力の積の減衰する実行平均です。ネットワークはまた、Hebbianトレースを実際のシナプス重みの変化に変換するための神経変調信号m(t)を生成します。

4. メタトレーニングプロセス

メタトレーニングの目的は、ネットワークが複数のエピソードで任意の新しい順序を自律的に学習できるようにすることです。各エピソードの終了後、勾配降下法を適用してネットワークの構造パラメータ（基本重みや可塑性パラメータなど）を最適化し、エピソード内の可塑性ベースの学習を改善します。損失関数は、エピソード全体で得られた総報酬です。

主な結果

1. 推移的推論の行動パターン

研究ではまず、成功した学習ネットワークの行動パターンを評価しました。ネットワークはテスト試行において、古典的な行動パターンであるシンボリックディスタンス効果（symbolic distance effect）とエンドアンカー効果（end-anchor effect）を示しました。これらの行動パターンは、人間や動物の実験で観察された結果と一致しています。

2. リストリンク能力

ネットワークはまた、別々に学習したリストを迅速にリンクする能力も示しました。例えば、a > b > c > d と e > f > g > h という2つのサブリストを学習した後、ネットワークは d > e を知ることで、全体の結合リストの順序（例えば b > f）を迅速に推論することができました。この能力は、ネットワークが既存の知識を迅速に再構築できることを示しています。

3. 神経メカニズムの分析

主成分分析（PCA）を用いて、ネットワーク活動の第1主成分が出力重みベクトルと強く整列していることがわかりました。さらに分析すると、ネットワークは各刺激の表現に順序情報をエンコードしていることが示されました。ネットワークは、個々の刺激の表現を出力重みベクトルとの整列度合いによって順序を表現しています。

4. 表現学習と再活性化

研究ではまた、ネットワークが試行中に以前の刺激の表現を再活性化していることがわかりました。これらの表現は再コード化された形で存在し、この再活性化により、ネットワークは試行の遅延後に以前の刺激の表現を変更し、知識を迅速に再構築することができます。

結論

本研究では、シナプス可塑性と神経変調を備えたニューラルネットワークをメタトレーニングすることで、古典的な推移的推論タスクにおいて自律的な学習と知識の再構築を実現しました。研究では、ネットワークが以前の刺激の表現を再活性化することでモデル学習を行うメカニズムを発見し、このメカニズムは人間や動物の記憶再生（replay）現象に似ています。この研究は、関係学習の神経メカニズムを明らかにしただけでなく、将来の認知モデル研究に新しい視点を提供します。

研究のハイライト

1. 推移的推論とリストリンク：ネットワークは推移的推論とリストリンクを成功させ、人間や動物の古典的な行動パターンを再現しました。
2. 再活性化メカニズム：ネットワークは以前の刺激の表現を再活性化することで知識を再構築し、このメカニズムは記憶再生現象に似ています。
3. メタラーニング手法：本研究では、ネットワークをメタトレーニングすることで、自律的に学習しシナプス可塑性を最適化する方法を示し、将来の認知モデル研究に新しいツールを提供しました。

意義と価値

本研究は、関係学習の神経メカニズムを明らかにしただけでなく、将来の認知モデル研究に新しい視点を提供します。ニューラルネットワークをメタトレーニングすることで、複雑な認知タスクを自律的に学習しシナプス可塑性を最適化する方法を示しました。この研究は、人間や動物の学習メカニズムを理解するための新しい視点を提供し、人工知能分野の発展にも重要な理論的サポートを提供します。