異種ホップフィールド神経ネットワークの研究：適応型活性化関数とメモリスタの結合による動的挙動解析

本研究は神経ネットワークにおける非線形要素がシステム動的挙動に与える影響を探討するものである。特に活性化関数とメモリスタ（memristor）が非線形要素として、カオスシステムの構築やシナプス行動の模擬に用いられることが多い。ホップフィールド神経ネットワーク（Hopfield Neural Network, HNN）は、その独特なネットワーク構造と複雑な脳様動態を生成する能力から、広範な注目を集めている。また、現在の研究は多くが固定活性化関数を使用した神経細胞のシステム動態への影響に集中しているが、異種の活性化関数組み合わせの研究は少ない。

本文は中華 王、春輝 梁、権利 鄧が執筆し、それぞれ湖南大学計算機と電子工学学院および粤港澳大湾区研究院に所属している。2024年1月28日に提出され、2024年5月21日に「Neural Networks」誌に受理された。

研究プロセス

1. 研究モデル設計

1.1 メモリスタモデル設計

メモリスタは第4の基本回路要素と見なされ、定数関数適応パラメータの模擬に使用される。本文では、0から1の間に収まる導電関数値を持つメモリスタモデルを設計した。以下のように定義される：

[ \begin{aligned} &i = w(\phi)v = \sin^2(\phi + 1)v \ &\dot{\phi} = -a\phi + bv \end{aligned} ]

ここで、w(φ)は導電率、v、i、φはそれぞれ電圧、電流、メモリスタの状態変数、aとbはメモリスタの内部パラメータである。このメモリスタモデルの回路シミュレーションを行い、そのメモリスタ特性を確認した。

1.2 適応型活性化関数モデル

研究では、メモリスタに基づく適応型前活性化線形ユニット（PReLU, Parametric Rectified Linear Unit）活性化関数を設計した：

[ \text{mPReLU}(w(\phi), x) = \begin{cases} x & \text{if } x > 0 \ \sin^2(\phi + 1)x & \text{if } x \le 0 \end{cases} ]

ここでメモリスタがパラメータ値を決め、電流変化により自動的に活性化関数パラメータを調整し、神経細胞により複雑な非線形特性を表現させる。

1.3 異種ホップフィールド神経ネットワークモデル

古典的ホップフィールド神経ネットワークモデルに基づき、3つの異なる活性化関数を使用して異種モデルを構築した。これにはtanh、sigmoid、およびメモリスタに基づく適応型PReLUが含まれる。神経ネットワークの数学的表現は以下のように定義される：

[ \begin{aligned} &\dot{x}_i = -\frac{x_i}{Ri} + \sum{j=1}^n w_{ij}F_j(x_j) + Ii \ ここで、 &\ F{j1}(x_j) = \tanh(xj) &\quad F{j2}(x_j) = \frac{1}{1 + e^{-xj}} \ F{j3}(x_j) = \text{mPReLU}(w(\phi), x_j) \end{aligned} ]

3つの活性化関数を組み合わせ、それぞれ対応する神経細胞のトポロジー構造を使用して実験を行った。

2. 動的解析

2.1 平衡点および安定性解析

数値計算により、システムの平衡点およびその安定性を確定した。相図およびリアプノフ指数スペクトルを使用して、異なる内部パラメータ（a、b）およびシナプス重み（w12）の変化がシステム動的挙動に及ぼす影響を分析し、システムが異なるパラメータ下で多重安定状態および複雑な多巻吸引子を持つことを発見した。

2.2 多巻カオス吸引子

数値シミュレーションを通じて、MatlabR プラットフォームおよびode45アルゴリズムを用いて、システムの多巻吸引子を分析した。パラメータa、bおよびw12の変化が吸引子の層数および位置に及ぼす影響を研究し、異なるパラメータ条件下でシステムの多巻吸引子相図を得た。

2.3 一時的カオスと状態ジャンプ

システムが一定のパラメータ下で一時的カオス現象を示すことを観察した。すなわち、有限時間内にカオス挙動を示し、その後周期または別のカオス吸引子に入る。異なるパラメータ（a、b）および初期状態を設定して、時間ドメイン波形および吸引子相図を描写し、システムの複雑な動的過程を明らかにした。

2.4 多様な共存吸引子

異なる初期値を設定して、システムが多様な共存吸引子現象を持つことを発見した。同様に数値シミュレーションを通じて、異なる初期条件下でシステムが生成する点吸引子、周期吸引子および異なる位置のカオス吸引子を展示した。

3. 回路設計と実験

3.1 回路設計

数値シミュレーション結果を検証するために、異種ホップフィールド神経ネットワーク回路システムを構築した。異なる活性化関数を実現する回路システムを離散電子素子を用いて実装し、操作アンプの動的範囲内で比例圧縮変換を行った。

3.2 実験検証

異なるパラメータ条件下での振動器波形を実験により測定し、数値シミュレーション結果と比較検証した。結果は、実験波形と数値シミュレーション波形が一致し、モデルの有効性を証明した。

結論

本文は、新しい異種メモリスタホップフィールド神経ネットワークモデルを提案し、メモリスタに基づく適応型活性化関数を実現し、その複雑な動的挙動を研究した。数値シミュレーションと回路実験の両方が、適応型活性化関数が神経ネットワークの非線形特性と動的行動に与える顕著な向上を検証した。また、多巻カオス吸引子、一時的カオス、および多様な共存吸引子現象についても探討し、神経ネットワークシミュレーションと実際応用に新しい思考と実験基礎を提供した。

この研究は、脳模擬神経ネットワークの応用範囲を広げるだけでなく、将来、より大規模でより生物学的に現実に近い神経ネットワークモデルを構築するための道を拓くものである。今後の研究では、より多くの種類の活性化関数およびより大量の神経細胞を導入し、より複雑で生物的現実に近い神経ネットワークシステムを構築することを考慮する。