异构霍普菲尔德神经网络的研究：适应性激活函数与忆阻器结合的动态行为分析

2024-05-31 Fri
异构霍普菲尔德神经网络的研究：适应性激活函数与忆阻器结合的动态行为分析本研究背景探讨了神经网络中非线性因素对系统动态行为的影响。尤其是激活函数和忆阻器(memristor)做为非线性因素，常被用于构建混沌系统和模拟突触行为。霍普菲尔德神经网络(Hopfield Neural Network, HNN)因其独特的网络结构和生成复杂脑样动态的能力，而受到广泛关注。再者，当前研究多集中于使用固定激活函数的神经元对系统动态的影响，而对异构激活函数组合的研究较少。
本文由Chunhua Wang、Junhui Liang和Quanli Deng撰写，分别来自湖南大学计算机与电子工程学院和粤港澳大湾区研究院。文章在2024年1月28日提交，2024年5月21日被《Neural Networks》期刊接收。
研究流程1. 研究模型设计1.1 忆阻器模型设计忆阻器被视为第四种基本电路元件，用于模拟恒定函数适应性参数。在本文中设计了一个导电函数值限制在0到1之间的忆阻器模型，定义如下：
[
\begin{aligned}
&i = w(\phi)v = \sin^2(\phi + 1)v \
&\dot{\phi} = -a\phi + bv
\end{aligned}
]
其中，w(φ)为导电率，v、i、φ分别表示电压、电流和忆阻器的状态变量，a和b是忆阻器的内部参数。对该忆阻器模型进行了电路仿真研究，结果验证了其符合忆阻器特性。
1.2 适应性激活函数模型研究设计了一种基于忆阻器的适应性预激活线性单元(PReLU, Parametric Rectified Linear Unit)激活函数：
[
\text{mPReLU}(w(\phi), x) = \begin{cases}
x & \text{if } x > 0 \
\sin^2(\phi + 1)x & \text{if } x \le 0
\end{cases}
]
其中忆阻器决定参数值，通过电流变化自动调整激活函数参数，使神经元表现出更复杂的非线性特性。
1.3 异构霍普菲尔德神经网络模型根据经典霍普菲尔德神经网络模型，使用三个不同激活函数构建了一个异构模型，包括tanh、sigmoid和基于忆阻器的适应性PReLU。神经网络的数学表达式定义如下：
[
\begin{aligned}
&\dot{x}_i = -\frac{x_i}{Ri} + \sum{j=1}^n w_{ij}F_j(x_j) + Ii \
\text{其中 } &\
F{j1}(x_j) = \tanh(xj) &\quad F{j2}(x_j) = \frac{1}{1 + e^{-xj}} \
F{j3}(x_j) = \text{mPReLU}(w(\phi), x_j)
\end{aligned}
]
通过结合三种激活函数，分别使用对应的神经元拓扑结构进行实验。
2. 动态分析2.1 平衡点及稳定性分析通过数值计算，确定了系统的平衡点及其稳定性。使用相图和里雅普诺夫指数谱分析了不同内部参数(a，b)和突触权值(w12)变化对系统动态行为的影响，发现系统在不同参数下有多重稳定状态和复杂的多卷吸引子。
2.2 多卷混沌吸引子通过数值模拟，利用MatlabR 平台和ode45算法对系统的多卷吸引子进行了分析。研究了参数a、b和w12变化对吸引子层数和位置的影响，得到不同参数下系统的多卷吸引子相图。
2.3 瞬态混沌与状态跳跃观察到系统在一定参数下会出现瞬态混沌现象，即在有限时间内表现出混沌行为，随后进入周期或另一种混沌吸引子。通过设定不同参数(a，b)及初始状态，绘制了时间域波形和吸引子相图，揭示了系统的复杂动态过程。
2.4 多种共存吸引子通过设定不同初始值，研究发现系统存在多种共存吸引子现象。同样通过数值模拟展示了不同初始条件下，系统生成的点吸引子、周期吸引子和不同位置的混沌吸引子。
3. 电路设计与实验3.1 电路设计为了验证数值模拟结果，构建了异构霍普菲尔德神经网络电路系统。使用离散电子元件实现不同激活函数的电路系统，并进行了比例压缩变换，确保操作放大器的动态范围内。
3.2 实验验证通过实验测得了不同时参数条件下的振荡器波形，与数值模拟结果进行对比验证，结果显示实验波形与数值模拟波形一致，证明了模型的有效性。
结论本文提出了一种新的异构忆阻霍普菲尔德神经网络模型，并且通过实现基于忆阻器的适应性激活函数，研究了其复杂动态行为。数值模拟和电路实验都验证了适应性激活函数对神经网络非线性特性和动态行为的显著提升。此外，文章还探讨了多卷混沌吸引子、瞬态混沌及多种共存吸引子现象，为神经网络仿真和实际应用提供了新的思路和实验基础。
这项研究不仅拓展了脑模拟神经网络的应用范围，还为未来构建更大规模、更生物逼真的神经网络模型铺平了道路。未来研究中将考虑引入更多类型的激活函数和更大数量的神经元，以构建更复杂和更接近生物现实的神经网络系统。