Étude des réseaux de neurones de Hopfield hétérogènes : Analyse du comportement dynamique avec une fonction d’activation adaptative et des mémristors

Ce contexte de recherche explore l’impact des facteurs non linéaires sur le comportement dynamique des systèmes neuronaux. Plus particulièrement, la fonction d’activation et le mémristor, en tant que facteurs non linéaires, sont souvent utilisés pour construire des systèmes chaotiques et simuler le comportement synaptique. Les réseaux de neurones de Hopfield (Hopfield Neural Network, HNN) attirent une attention considérable en raison de leur structure unique et de leur capacité à générer des dynamiques complexes, similaires à celles du cerveau. De plus, les recherches actuelles se concentrent principalement sur l’effet des neurones avec une fonction d’activation fixe, alors que l’étude de combinaisons de fonctions d’activation hétérogènes est rare.

Ce document est rédigé par Chunhua Wang, Junhui Liang et Quanli Deng, respectivement de l’École d’informatique et d’ingénierie électronique de l’Université du Hunan et de l’Institut de recherche de la Grande Baie de Guangdong-Hong Kong-Macao. L’article a été soumis le 28 janvier 2024 et accepté le 21 mai 2024 par le journal « Neural Networks ».

Processus de recherche

1. Conception du modèle de recherche

1.1 Conception du modèle de mémristor

Le mémristor est considéré comme le quatrième élément de circuit fondamental, utilisé pour simuler des paramètres adaptatifs constants. Dans cet article, un modèle de mémristor avec une fonction de conductance limitée entre 0 et 1 a été conçu, défini comme suit :

[ \begin{aligned} &i = w(\phi)v = \sin^2(\phi + 1)v \ &\dot{\phi} = -a\phi + bv \end{aligned} ]

Où w(φ) est la conductance, v, i, et φ représentent respectivement la tension, le courant et la variable d’état du mémristor, et a et b sont des paramètres internes du mémristor. Une simulation de circuit du modèle de mémristor a été réalisée, vérifiant qu’il respecte les caractéristiques du mémristor.

1.2 Modélisation de la fonction d’activation adaptative

Une fonction d’activation linéaire rectifiée pré-adaptative (PReLU, Parametric Rectified Linear Unit) basée sur le mémristor a été conçue :

[ \text{mPReLU}(w(\phi), x) = \begin{cases} x & \text{if } x > 0 \ \sin^2(\phi + 1)x & \text{if } x \le 0 \end{cases} ]

Le mémristor décide de la valeur du paramètre, ajustant automatiquement le paramètre de la fonction d’activation via des variations de courant, ce qui permet aux neurones d’afficher des caractéristiques non linéaires plus complexes.

1.3 Modélisation du réseau de neurones de Hopfield hétérogène

Sur la base du modèle classique de réseau de neurones de Hopfield, un modèle hétérogène utilisant trois fonctions d’activation différentes a été construit, y compris tanh, sigmoid et PReLU adaptatif basé sur le mémristor. L’expression mathématique du réseau de neurones est définie comme suit :

[ \begin{aligned} &\dot{x}_i = -\frac{x_i}{Ri} + \sum{j=1}^n w_{ij}F_j(x_j) + Ii \ \text{où } &\ F{j1}(x_j) = \tanh(xj) &\quad F{j2}(x_j) = \frac{1}{1 + e^{-xj}} \ F{j3}(x_j) = \text{mPReLU}(w(\phi), x_j) \end{aligned} ]

En combinant les trois fonctions d’activation, des expériences ont été menées utilisant la structure topologique neuronale correspondante.

2. Analyse dynamique

2.1 Analyse du point d’équilibre et de la stabilité

À l’aide de calculs numériques, les points d’équilibre et leur stabilité ont été déterminés. Une analyse des diagrammes de phase et du spectre des exposants de Lyapunov a été réalisée pour étudier l’influence des variations des paramètres internes (a, b) et des poids synaptiques (w12) sur le comportement dynamique du système, révélant l’existence de multiples états stables et de complexes attracteurs multi-rouleau dans le système sous différents paramètres.

2.2 Attracteurs chaotiques multi-rouleau

Par des simulations numériques utilisant la plate-forme MatlabR et l’algorithme ode45, des analyses des attracteurs multi-rouleau du système ont été effectuées. L’étude a examiné l’effet des variations des paramètres a, b, et w12 sur le nombre et la position des rouleaux attracteurs, avec des diagrammes de phase pour différentes configurations de paramètres.

2.3 Chaos transitoire et sauts d’états

Le phénomène de chaos transitoire, c’est-à-dire des comportements chaotiques sur une période finie suivis par une transition vers un comportement périodique ou un autre attracteur chaotique, a été observé sous certains paramètres. En définissant différents paramètres (a, b) et états initiaux, des ondes temporelles et des diagrammes de phase attracteurs ont été tracés pour illustrer le processus dynamique complexe du système.

2.4 Coexistence de multiples attracteurs

En définissant différentes conditions initiales, l’existence de multiples attracteurs coexistants dans le système a été découverte. Des simulations numériques ont montré différents attracteurs ponctuels, périodiques et chaotiques sous différentes conditions initiales.

3. Conception de circuit et expérimentations

3.1 Conception de circuit

Pour valider les résultats des simulations numériques, un système de réseau de neurones de Hopfield hétérogène a été construit. En utilisant des composants électroniques discrets, plusieurs systèmes de fonction d’activation sur circuit ont été réalisés et une transformation de réduction proportionnelle a été mise en œuvre pour s’assurer que les amplificateurs opérationnels fonctionnent dans une plage dynamique appropriée.

3.2 Validation expérimentale

Les formes d’onde des oscillateurs sous différentes conditions de paramètres ont été mesurées expérimentalement et comparées aux résultats des simulations numériques, démontrant que les formes d’onde expérimentales concordent avec les formes d’onde simulées, prouvant ainsi l’efficacité du modèle.

Conclusion

Cet article propose un nouveau modèle de réseau de neurones de Hopfield utilisant des mémristors hétérogènes et, en réalisant une fonction d’activation adaptative basée sur des mémristors, étudie son comportement dynamique complexe. Les simulations numériques et les expérimentations sur circuit ont toutes deux validé l’amélioration significative des caractéristiques non linéaires et des comportements dynamiques des réseaux de neurones grâce à la fonction d’activation adaptative. De plus, l’article discute des phénomènes d’attracteurs chaotiques multi-rouleaux, de chaos transitoire et de coexistence de multiples attracteurs, offrant de nouvelles perspectives et une base expérimentale pour la simulation des réseaux de neurones et leurs applications pratiques.

Cette recherche élargit non seulement l’étendue des applications pour les réseaux neuronaux simulés, mais pave également la voie à la construction de modèles de réseaux de neurones plus vastes et plus réalistes à l’avenir. Les recherches futures envisageront l’introduction de types supplémentaires de fonctions d’activation et d’un plus grand nombre de neurones pour construire des systèmes de réseaux de neurones plus complexes et plus proches de la réalité biologique.