Système de Pilotage Automatisé avec Vision et Contrôle Neuromorphiques Complètes

Contexte et Motivation de la Recherche

Au cours des dix dernières années, les réseaux de neurones artificiels profonds (ANNs) ont réalisé des progrès considérables dans le domaine de l’intelligence artificielle, notamment dans le traitement visuel. Toutefois, ces technologies avancées de traitement visuel, bien que très précises, nécessitent souvent des ressources informatiques considérables et consommatrices d’énergie, ce qui les rend difficiles à appliquer dans des appareils tels que les robots volants de petite taille, où les ressources sont limitées.

Pour répondre à ce problème, le matériel neuromorphique, qui imite les caractéristiques éparses et asynchrones du cerveau biologique, offre des capacités de perception et de traitement plus efficaces. Dans le domaine de la robotique, les caméras à événements et les réseaux de neurones impulsionnels (SNNs) sur le matériel neuromorphique possèdent un potentiel de faible latence et de faible consommation d’énergie. Cependant, les limitations actuelles des processeurs neuromorphiques embarqués et les défis de l’entraînement des réseaux de neurones impulsionnels limitent ces technologies principalement aux tâches de perception et d’action de basse dimension.

Pour résoudre ces problèmes, cet article présente une pipeline de traitement entièrement neuromorphique de la vision au contrôle pour la gestion d’un drone en vol. Plus précisément, nous avons entraîné un réseau de neurones impulsionnels qui reçoit directement des données brutes provenant d’une caméra à événements pour produire des actions de contrôle de bas niveau afin de réaliser un vol autonome basé sur la vision.

Origine de la Recherche

Cet article a été réalisé par F. Paredes-Vallés, J. J. Hagenaars, J. Dupeyroux, et al., affiliés au laboratoire de micro-véhicules aériens de la faculté d’ingénierie aéronautique de l’Université technique de Delft aux Pays-Bas. Il a été publié dans « Science Robotics » sous le numéro SCI. ROBOT. 9, EADI0591 (2024), avec une date de publication du 15 mai 2024.

Processus de Recherche

(a) Flux de Travail de la Recherche

La recherche comprend plusieurs étapes, décrites en détail comme suit :

1. Collecte de données et entraînement du réseau de neurones :

   • Utilisation de la caméra à événements DVS 240 pour capturer des données d’événements réels. La caméra filme une surface statique et riche en textures en dessous pour entraîner et évaluer le réseau de neurones.
   • Un réseau de neurones impulsionnels à cinq couches, comprenant 28 800 neurones, est entraîné selon une méthode d’apprentissage auto-supervisé, ajusté par le biais des algorithmes de rétropropagation et de rétropropagation temporelle, et évalué à l’aide d’un simulateur.
   • Le réseau est entraîné avec des données d’événements réelles même dans le simulateur afin de mapper les événements bruts à l’estimation du mouvement autonome.

2. Structure et implémentation du réseau de neurones :

   • La structure comprend une couche d’entrée, trois encodeurs auto-régressifs, une couche de pooling comptant 7 200 neurones et 506 400 synapses. Le réseau traite indépendamment les régions d’intérêt (ROI) de 16x16 pixels pour fournir une estimation du flux optique pour chaque ROI.
   • La partie de contrôle a été entraînée avec le simulateur, utilisant un algorithme évolutif pour l’apprentissage d’une couche de décodage linéaire, pour convertir l’information de flux optique du réseau de vision en commandes de vol.

3. Expérimentation et vérification :

   • Le réseau de neurones est implémenté sur le processeur neuromorphique Loihi d’Intel, fonctionnant à une fréquence de 200 Hz, avec une consommation d’énergie au repos de 0,94 W, augmentant de 7 à 12 mW en fonctionnement.
   • Les expériences montrent que le réseau peut contrôler avec précision le mouvement autonome du drone, réaliser des manœuvres telles que le vol stationnaire, l’atterrissage et les manœuvres latérales, même en cas de déviation.

(b) Résultats Essentiels des Expériences

1. Résultats de la partie visuelle :

   • Utilisant un cadre de maximisation de contraste auto-référentielle, l’estimation précise du flux optique a été réalisée en calibrant les événements de la caméra à événements.
   • Le réseau de neurones a capturé l’information de mouvement dans le flux d’événements entrants, maintenant une précision même lors de rotations rapides (environ 4 radians/sec).

2. Résultats de la partie contrôle :

   • La partie contrôle a été entraînée et validée dans le simulateur, et ses performances en environnement réel coïncidaient avec les résultats attendus.
   • Les expériences ont démontré que, malgré les limitations matérielles et la simplification du modèle, le réseau de neurones permettait au drone d’exécuter avec précision des opérations de mouvement autonome tels que le vol horizontal et l’atterrissage vertical.

3. Consommation d’énergie et efficacité :

   • Les tests de consommation d’énergie de Loihi sous diverses séquences ont montré que le matériel neuromorphique possède un avantage significatif en termes d’efficacité énergétique lors du traitement des entrées d’événements dispersés, consommant moins d’énergie que le Jetson Nano en mode 10 W.
   • Bien que la majeure partie de la consommation d’énergie de Loihi soit liée à sa consommation au repos, sa consommation totale reste largement inférieure à celle des plateformes GPU.

© Conclusions de la Recherche

Cet article a démontré une pipeline efficace de traitement de la vision au contrôle entièrement neuromorphique, illustrant le potentiel du matériel neuromorphique pour permettre un contrôle de vol autonome à faible latence et faible consommation d’énergie. Les expériences ont montré que les traitements neuromorphiques peuvent exécuter des réseaux de neurones profonds complexes sur de petits drones, leur permettant d’approcher l’agilité et la flexibilité des animaux volants tels que les insectes.

Les recherches futures pourraient optimiser davantage la bande passante et les interfaces d’entrée/sortie des processeurs neuromorphiques pour améliorer les performances de traitement visuel et de contrôle dans les applications pratiques. Finalement, la transition vers le matériel hybride pourrait apporter une plus grande efficacité, mais avec des défis accrus en termes de développement et de déploiement.

(d) Points Forts de la Recherche

• Innovation : Cette recherche présente pour la première fois une pipeline complète de traitement de la vision au contrôle neuromorphique, permettant le vol autonome de drones.
• Applicabilité : Les expériences ont démontré la réussite de la transition du simulateur à la réalité, prouvant le potentiel pratique de cette technologie.
• Efficacité énergétique : Comparée aux GPU embarqués traditionnels, le traitement neuromorphique a montré une performance supérieure en termes d’efficacité énergétique et de vitesse, particulièrement adapté aux petits appareils volants limités en ressources.

(e) Autres Informations Précieuses

En plus des résultats expérimentaux et des implications de la recherche, cet article décrit en détail chaque étape expérimental et méthodologique, fournissant une procédure claire et reproductible. Cela offre une référence précieux pour les recherches futures et les applications pratiques.

Grâce à une analyse détaillée des données et des résultats expérimentaux, cet article établit une base solide pour explorer le potentiel du matériel neuromorphique dans le domaine de la navigation autonome des petits robots, ouvrant la voie à des avancées technologiques et des applications concrètes !