具备完全神经形态视觉与控制的自动驾驶飞行器

具备完全神经形态视觉与控制的自动驾驶飞行器

具备完全神经形态视觉与控制的自动驾驶飞行器 背景与研究动机 过去十年间,深度人工神经网络(ANNs)在人工智能领域取得了巨大进步,特别是在视觉处理方面。然而,这些先进的视觉处理技术在实现高精确度的同时,往往需要大量且耗能的计算资源,这使得其在小型飞行机器人等资源受限的情况下难以应用。 针对这一问题,神经形态硬件通过模仿生物大脑的稀疏、异步特性,实现了更高效的感知与处理能力。在机器人领域,神经形态硬件中的事件驱动相机和脉冲神经网络(SNNs)具有低延迟、低能耗的潜力。然而,当前嵌入式神经形态处理器的限制和脉冲神经网络训练的挑战使得这些技术主要应用于低维度的感知和动作任务。 为解决这些问题,本文展示了一个全神经形态的视觉到控制的流水线,用于控制飞行中的无人机。具体而言,我们训练了一个脉冲神经网络...