Nouveau système d’apprentissage multimodal d’événements à échantillon zéro piloté par une mémoire résistive : rapport de recherche sur la conception matérielle-logicielle conjointe

Contexte académique

Le cerveau humain est un réseau de neurones à impulsions (Spiking Neural Network, SNN) complexe, capable d’apprentissage à échantillon zéro (Zero-shot Learning) sur des signaux multimodaux avec une consommation d’énergie minimale, c’est-à-dire en généralisant les connaissances existantes pour traiter de nouvelles tâches. Cependant, la reproduction de cette capacité dans du matériel neuromorphique fait face à des défis à la fois matériels et logiciels. Sur le plan matériel, le ralentissement de la loi de Moore et le goulot d’étranglement de von Neumann (von Neumann bottleneck) limitent l’efficacité des ordinateurs numériques traditionnels. Sur le plan logiciel, la complexité de l’entraînement des réseaux de neurones à impulsions est très élevée. Pour résoudre ces problèmes, les chercheurs ont proposé une approche de conception matérielle-logicielle conjointe, combinant la mémoire résistive (Resistive Memory) et les réseaux de neurones artificiels (Artificial Neural Network, ANN), afin de réaliser un apprentissage multimodal d’événements efficace.

Source de l’article

Cet article a été rédigé par une équipe de recherche composée de Ning Lin, Shaocong Wang, Yi Li, entre autres, provenant de l’Université de Science et Technologie du Sud, l’Université de Hong Kong, l’Institut de Microélectronique de l’Académie Chinoise des Sciences, et d’autres institutions. Il a été publié en janvier 2025 dans la revue Nature Computational Science. L’article, intitulé “Resistive Memory-based Zero-shot Liquid State Machine for Multimodal Event Data Learning”, vise à réaliser l’apprentissage à échantillon zéro d’événements multimodaux en combinant la mémoire résistive et la machine à état liquide (Liquid State Machine, LSM).

Processus de recherche

1. Conception matérielle-logicielle conjointe

L’équipe de recherche a conçu un système hybride analogique-numérique, combinant la mémoire résistive et un ordinateur numérique. La mémoire résistive est utilisée pour implémenter les poids aléatoires de l’encodeur LSM, tandis que le matériel numérique est utilisé pour implémenter des couches de projection ANN entraînables. Plus précisément, la mémoire résistive génère des valeurs de résistance fixes et aléatoires grâce à sa stochastique intrinsèque, simulant ainsi les connexions synaptiques aléatoires de la LSM. Cette méthode surmonte naturellement le goulot d’étranglement de von Neumann et améliore l’efficacité du calcul.

2. Conception et mise en œuvre de l’encodeur LSM

L’encodeur LSM est un SNN fixe, aléatoire et avec des connexions récurrentes, utilisé pour traiter des données d’événements multimodaux (telles que des images et des sons). Son cœur repose sur le modèle de neurone biologique à intégration et fuite (Leaky Integrate-and-Fire, LIF), capable de mapper les signaux d’entrée sur des trajectoires dans un espace d’états de haute dimension, générant ainsi des représentations de caractéristiques distinctes. Les poids de la LSM restent inchangés pendant l’entraînement, implémentés par les valeurs de conductance aléatoires de la mémoire résistive.

3. Apprentissage contrastif et transfert à échantillon zéro

Pour aligner les données multimodales (telles que les images et l’audio, ou les signaux neuronaux et les images), l’équipe de recherche a utilisé l’apprentissage contrastif (Contrastive Learning) pour optimiser les poids des couches de projection ANN. Le cœur de l’apprentissage contrastif réside dans la maximisation de la similarité des paires correspondantes (comme des paires image-audio correspondantes) et la minimisation de la similarité des paires non correspondantes. Les recherches montrent que cette méthode permet de résoudre efficacement les difficultés d’entraînement des SNN et de réaliser un transfert d’apprentissage à échantillon zéro.

4. Validation expérimentale

L’équipe de recherche a validé l’efficacité du design sur plusieurs ensembles de données, notamment les ensembles de données N-MNIST (MNIST neuromorphique) et N-TIDIGITS (TIDIGITS neuromorphique). Les résultats expérimentaux montrent que le modèle LSM-ANN basé sur la mémoire résistive est comparable en précision de classification aux modèles logiciels entièrement optimisés, tout en réduisant les coûts d’entraînement de 152,83 à 393,07 fois et en améliorant l’efficacité énergétique de 23,34 à 160 fois.

Principaux résultats

1. Tâche de classification N-MNIST
   Sur l’ensemble de données N-MNIST, le modèle LSM-ANN a atteint une précision de classification de 89,16 %, proche de la simulation logicielle à 89,2 %. Par rapport au matériel numérique traditionnel, la consommation d’énergie du système hybride analogique-numérique a été réduite de 29,97 fois.

2. Tâche de classification N-TIDIGITS
   Sur l’ensemble de données N-TIDIGITS, le modèle LSM-ANN a atteint une précision de classification de 70,79 %, comparable aux modèles logiciels et aux modèles SNN entièrement entraînables. La consommation d’énergie a été réduite de 22,07 fois par rapport au matériel numérique.

3. Apprentissage multimodal à échantillon zéro
   Dans la tâche d’apprentissage à échantillon zéro, le modèle LSM-ANN a excellé sur des paires d’images et d’audio inconnues. Par exemple, lors de l’interrogation des chiffres inconnus “8” et “9”, la précision de classification à échantillon zéro a atteint 88 %. Cela montre que le modèle peut généraliser efficacement à de nouvelles tâches sans réentraîner les couches de projection.

4. Simulation d’interface cerveau-machine
   Dans la tâche simulée d’interface cerveau-machine, le modèle LSM-ANN a aligné les signaux neuronaux avec les événements d’images, réduisant considérablement la complexité de l’entraînement et améliorant l’efficacité énergétique de 160 fois.

Conclusion et valeur

Cette recherche démontre le potentiel énorme de la conception matérielle-logicielle conjointe dans l’apprentissage multimodal d’événements. En combinant la mémoire résistive et la LSM, les chercheurs ont réussi à réaliser un apprentissage à échantillon zéro efficace et à faible consommation d’énergie, ouvrant la voie à de nouveaux matériels neuromorphiques compacts. Ce design réduit non seulement de manière significative les coûts d’entraînement et la consommation d’énergie, mais offre également de nouvelles solutions pour des applications telles que les interfaces cerveau-machine et les capteurs de vision dynamique.

Points forts de la recherche

1. Conception matérielle-logicielle conjointe innovante : Utilisation de la stochastique de la mémoire résistive pour implémenter les poids aléatoires de l’encodeur LSM, surmontant les limites du matériel traditionnel.
2. Apprentissage à échantillon zéro efficace : Le modèle peut généraliser à de nouvelles tâches sans réentraînement, réduisant considérablement la complexité de l’apprentissage.
3. Amélioration significative de l’efficacité énergétique : Par rapport au matériel numérique traditionnel, le système hybride analogique-numérique améliore l’efficacité énergétique de 23,34 à 160 fois.
4. Perspectives d’application larges : Ce design peut être utilisé dans des domaines tels que les interfaces cerveau-machine et le traitement multimodaux d’événements, offrant des solutions efficaces pour les futurs dispositifs de calcul en périphérie.

Autres informations utiles

L’équipe de recherche a également exploré l’évolutivité et la robustesse du modèle LSM, et a proposé des directions pour des améliorations futures, telles que l’ajout de mécanismes d’attention (Attention Mechanism) et l’optimisation de la conception des circuits périphériques du matériel analogique. Ces améliorations permettront de renforcer davantage les performances du modèle sur des tâches complexes et de grands ensembles de données.