Rapport académique : Étude d’un modèle de détection visuelle biomimétique basé sur les circuits neuraux à impulsions fractionnaires

Dans les domaines de la conduite intelligente autonome et des véhicules aériens sans pilote, la capacité de prédire rapidement et efficacement les collisions et de déclencher des actions d’évitement revêt une importance cruciale. Les détecteurs de mouvement géants (LGMDs) des sauterelles sont capables de prédire efficacement les collisions avant qu’elles ne se produisent et de déclencher des comportements d’évitement. Cette capacité fait des LGMD un modèle idéal pour concevoir des systèmes de vision artificielle pour l’évitement des collisions. Contrairement aux caméras CMOS traditionnelles, les caméras d’événements (DVS) peuvent simuler les photorécepteurs biologiques du système visuel, reproduisant les particularités des LGMD depuis les couches de base, tout en offrant une haute résolution temporelle, une large gamme dynamique et un minimum de flou de mouvement.

Contexte et signification

Les auteurs de cette étude, Yabin Deng, Haojie Ruan, Shan He, Tao Yang et Donghui Guo, sont respectivement affiliés à l’Université de Xiamen et à l’Université de Fuzhou. Leur recherche, intitulée “A Biomimetic Visual Detection Model: Event-Driven LGMDs Implemented with Fractional Spiking Neuron Circuits”, a été publiée dans la revue IEEE Transactions on Biomedical Engineering.

La motivation de cette recherche réside dans le fait que les études actuelles sur les LGMD se divisent en deux camps : l’un met l’accent sur les voies visuelles pré-synaptiques, tandis que l’autre souligne les caractéristiques propres des neurones LGMD. Les modèles computationnels actuels omettent souvent de décrire le comportement biophysique des seuls neurones LGMD, ce qui limite considérablement leur signification biologique et leur applicabilité pratique. En introduisant des circuits neuraux à impulsions fractionnaires (FSN), cette recherche vise à construire un modèle visuel biomimétique combinant ces deux caractéristiques pour expliquer et imiter les comportements des LGMD.

Méthode de recherche et processus

Conception et mise en œuvre des expériences :

La recherche se divise principalement en plusieurs étapes :

1. Couche d’entrée de la caméra d’événements : Utiliser une caméra d’événements au lieu d’une caméra CMOS traditionnelle pour prétraiter les images et générer un flux d’événements, reflet des variations de luminosité de chaque pixel, similaire aux dynamiques des impulsions.

2. Voie visuelle ON/OFF : Définir des voies ON et OFF traitant respectivement les événements de passage de la lumière à l’obscurité et vice-versa. La simulation des voies visuelles des sauterelles permet au modèle de réagir aux cibles dans des scènes complexes.

3. Circuit neural à impulsions fractionnaires (FSN) : Introduire le circuit FSN pour simuler la capacité des neurones LGMD à s’adapter à diverses échelles de fréquence d’impulsion. Le FSN modifie les paramètres morphologiques des dendrites pour simuler l’adaptabilité de la fréquence d’impulsion multiscalaire (SFA) des LGMD.

4. Réalisation du modèle piloté par événements : Combiner les inhibitions pré-synaptiques et post-synaptiques pour terminer la détection de collision dans des scènes complexes et la sélection d’objets s’approchant.

Analyse des données et algorithmes :

1. Calcul des voies ON/OFF : Pour chaque pixel à une position spatiale donnée, calculer les signaux positifs générés par la voie ON et les signaux négatifs générés par la voie OFF, représentant respectivement les signaux excitants et les signaux d’inhibition latérale.

2. Modèle de circuit neural des LGMD : En introduisant la SFA multiscalaire et les paramètres morphologiques des dendrites, valider les caractéristiques de réponse des neurones individuels LGMD sous différentes stimulations électriques dans les expériences.

3. Test systématique : Conduire des expériences simulant des scènes complexes et des vidéos réelles pour tester la capacité du modèle à détecter des collisions et à sélectionner des objets en approche rapide dans des environnements à forte dynamique et à bruit complexe.

Résultats expérimentaux

1. Simulation du comportement des neurones LGMD individuels :

   • Sous différentes stimulations par impulsions électriques, le circuit FSN peut imiter les réponses éclatantes et montrer des caractéristiques d’adaptabilité multiscalaire sous diverses conditions de courant injecté à différents moments.
   • Les expériences ont démontré que l’adaptabilité de la fréquence d’impulsion et la gamme de constantes de temps du circuit FSN concordaient avec celles des LGMD biologiques, validant ainsi sa compréhensibilité biologique.

2. Tests systématiques :

   • Dans les tests de sélection de collision pour des modèles de mouvement multi-objets, le circuit FSN peut sélectionner efficacement des objets en approche et produire des pics de réponse avant la collision. Les réponses du modèle s’accordaient hautement avec les données expérimentales des sauterelles.
   • Dans des expériences de stimuli physiques en situations réelles, le modèle a montré une excellente stabilité et robustesse dans des environnements complexes et dynamiques.

3. Tests en scénarios de faible contraste :

   • Les expériences ont confirmé que le circuit FSN peut reproduire les caractéristiques adaptatives des neurones LGMD, avec des effets d’inhibition forts dans des environnements à faible contraste et des arrière-plans complexes correspondant aux comportements observés des LGMD.

Résumé et valeur applicative de la recherche

En modélisant depuis les couches de base et en combinant la caméra pilotée par événements et le circuit FSN, cette recherche propose un modèle de détection visuelle biomimétique. Ce modèle peut non seulement montrer une robustesse et flexibilité extrêmement élevées face aux incertitudes visuelles, mais aussi répondre vite, offrant une valeur potentielle pour les futures applications dans la détection et la navigation de cibles en mouvement rapide dans des environnements complexes. Parallèlement, cette recherche ouvre une nouvelle voie de simulation computationnelle biomimétique basée sur l’intégration de multi-caractéristiques et jette les bases du calcul neuromorphique et du développement des robots intelligents à l’avenir.