Rapport sur un article académique basé sur un réseau multi-phototransistor-un-mémristor pour le traitement reconfigurable dans le capteur : une nouvelle plateforme de calcul visuel intégrant l’apprentissage machine et les réseaux neuronaux bio-inspirés

Contexte académique et problématique

Les systèmes de vision artificielle, en tant que composants clés du calcul intelligent à la périphérie, sont limités par l’architecture traditionnelle Von Neumann basée sur la technologie CMOS (semi-conducteur métal-oxyde complémentaire). De tels systèmes sont affectés par la séparation physique entre les capteurs d’image, les modules de stockage et les processeurs. Cette séparation génère une redondance de données importante et des délais dans le traitement des signaux, tout en augmentant la complexité du circuit et la consommation d’énergie, ce qui limite la capacité de traitement en temps réel. Dans les environnements naturels, les systèmes de vision traditionnels doivent effectuer une série de processus complexes allant de la capture de signaux à l’analyse d’images, tout en affichant une efficacité limitée.

Récemment, une nouvelle architecture nommée traitement “in-sensor” (intégré au capteur) intégrant perception et calcul a gagné en popularité grâce à ses capacités combinées de mémoire embarquée et de calcul neuromorphique. Dans ce domaine, la combinaison de réseaux neuronaux optiques (optical neural networks, ONN) et de réseaux neuronaux bio-inspirés (spiking neural networks, SNN) pourrait révolutionner la vision artificielle en permettant de traiter des images complexes en temps réel avec une faible consommation d’énergie. Toutefois, les dispositifs basés sur des mémristors utilisés actuellement pour le calcul neural optique présentent des limitations fonctionnelles et ne peuvent pas s’adapter à une large variété d’architectures de réseaux neuronaux. Cela complique la conception de systèmes de calcul visuel polyvalents et reconfigurables.

Pour surmonter ces défis, cet article propose un réseau multi-phototransistor-un-mémristor (MP1R array) permettant de développer un système de calcul intégré au capteur capable de soutenir à la fois l’apprentissage machine et les réseaux neuronaux bio-inspirés. L’article se concentre sur la manière d’intégrer la perception, le stockage et le calcul dans une unique plateforme matérielle.

Source et contributeurs

L’article est le fruit d’une collaboration entre des chercheurs de l’École des circuits intégrés de l’Université de Pékin, l’Institut de Recherche en Intelligence Artificielle, le Laboratoire Clé Provincial de Guangdong pour les puces de calcul en mémoire, et l’Institut Chinois de Recherche sur le Cerveau. Le premier auteur est Bingjie Dang, et l’auteur correspondant est Yuchao Yang. L’article a été publié le 12 novembre 2024 dans Nature Electronics (volume 7, pages 991–1003).

Méthodologie et innovations techniques

Cet article présente la conception d’un nouveau système de calcul visuel neuromorphique, basé sur le réseau MP1R. Les principaux éléments du travail incluent :

1. Développement du réseau MP1R

(1) Conception et fabrication

Le réseau MP1R combine un réseau de 20x20 phototransistors IGZO (oxyde d’indium-gallium-zinc) à un réseau de 20 mémristors reconfigurables Ta/TaOx/NbOx/W. Les images obtenues via microscopie électronique à balayage (SEM) et microscopie électronique en transmission (TEM) montrent la structure globale et les détails des composants du réseau.

(2) Simulation et validation expérimentales

Les mémristors peuvent être configurés pour fonctionner dans trois modes : réponse linéaire en résistance, mémoire volatile, et commutation à seuil. La validation expérimentale a démontré une stabilité remarquable, même après des cycles répétés, garantissant un traitement efficace des signaux optiques.

2. Exploration des architectures de réseaux neuronaux optiques

Le réseau MP1R a été intégré dans un système complet de calcul visuel neuromorphique qui combine un réseau 1T1R (un transistor-un mémristor) pour des fonctions de classification. Les architectures neuronales suivantes ont été explorées :

(a) Réseaux neuronaux convolutifs optiques (OCNN)

Grâce aux fonctions de noyau convolutionnel du réseau MP1R, les images lumineuses statiques peuvent être converties en signaux électriques et traitées. Lors de tests sur des images de chiffres manuscrits (MNIST), l’OCNN a atteint un taux d’exactitude de 85,75 % lors d’expériences matérielles, rivalisant ainsi avec les simulations logicielles.

(b) Réseaux neuronaux récurrents optiques (ORNN)

Le réseau MP1R a également permis de traiter directement des images dynamiques d’événements optiques (par exemple, N-MNIST). Contrairement aux méthodes traditionnelles nécessitant un prétraitement des pixels, cette approche simplifie considérablement les tâches de reconnaissance en combinant perception directe et calcul intégré. Le taux d’exactitude enregistré est de 85,3 %.

© Réseaux neuronaux à impulsions optiques (OSNN)

Le réseau MP1R a été utilisé pour percevoir des images et les encoder sous forme d’impulsions. Contrairement aux réseaux conventionnels limités au traitement d’images monochromes, l’OSNN développé a pu distinguer des objets identiques (ex. chiffres “0” et “1”) en fonction de leurs couleurs (bleu et rouge).

3. Analyse des données et techniques de codage

Le travail s’est appuyé sur des algorithmes d’apprentissage spécifiques à chaque architecture. Les modèles OCNN et OSNN ont utilisé des poids quantifiés à 4 bits obtenus via apprentissage hors ligne, tandis que le modèle ORNN a adopté une formation en ligne pour les données d’événements optiques.

4. Intégration et démonstration

Le réseau MP1R et un réseau 1T1R ont été encapsulés ensemble dans une plateforme matérielle test unique. Cette plateforme offre un contrôle précis des impulsions de tension et permet de mesurer les performances des opérations de calcul et d’apprentissage.

Résultats et impact scientifique

1. Principales découvertes :

   • Première démonstration d’un mémristor pouvant être configuré pour fonctionner comme un dispositif à résistance linéaire, une mémoire volatile ou une commutation à seuil, ouvrant la voie à des applications multi-fonctionnelles.
   • Développement d’un dispositif innovant capable de connecter différentes architectures neuronales optiques, bio-inspirées et hybrides sur un matériel unique.

2. Impact scientifique :

   • L’intégration de systèmes de perception, de stockage et de calcul dans une seule plateforme constitue une avancée majeure pour les technologies de calcul visuel.
   • Offre un cadre matériel qui peut guider le développement de futurs appareils d’intelligence artificielle embarquée.

3. Applications potentielles :

   • Les solutions proposées peuvent être utilisées dans divers domaines tels que les véhicules autonomes, la surveillance de la santé, la reconnaissance dans des environnements complexes, et les applications en robotique.

4. Avantages et points forts :

   • Le réseau MP1R représente une solution peu gourmande en énergie, tout en offrant une perception et un traitement efficaces pour des tâches d’imagerie spatiale et spatio-temporelle.
   • Il permet de reconnaître des images statiques, dynamiques et couleur avec une complexité matérielle minimale.

Conclusion et perspectives

Cette étude a introduit une technologie révolutionnaire permettant une intégration complète des fonctions de détection et de calcul au sein d’un seul dispositif, le réseau MP1R. Les résultats expérimentaux valident la capacité du système à prendre en charge une grande variété d’architectures de réseaux neuronaux pour des tâches de traitement intensif des images.

Les perspectives futures incluent l’amélioration de la compatibilité des dispositifs et la mise à l’échelle pour une production industrielle. À plus long terme, cette technologie pourrait jouer un rôle clé dans les applications avancées de vision artificielle et d’intelligence périphérique.