自律型ドローンのための完全ニューロモルフィックビジョンおよび制御
完全なニューロモルフィックビジョンとコントロールを持つ自律飛行体
背景と研究動機
過去10年間で、ディープニューラルネットワーク（ANNs）は人工知能分野で大きな進展を遂げ、とりわけ視覚処理において顕著な成果を上げました。しかし、これらの高度な視覚処理技術は高精度を実現する一方で、多大な計算リソースとエネルギーを消費するため、小型飛行ロボットなどリソースが限られた場合には応用が難しいです。
この問題に対処するために、ニューロモルフィックハードウェアは生物の脳のスパースで非同期的な特性を模倣することで、より効率的な認識と処理能力を実現しました。ロボット分野では、ニューロモルフィックハードウェアに含まれるイベント駆動カメラとスパイキングニューラルネットワーク（SNNs）が低遅延・低エネルギー消費のポテンシャルを持っています。しかし、現在の組み込みニューロモルフィックプロセッサの制約とスパイキングニューラルネットワークの訓練の課題により、これらの技術は主に低次元の認識と動作タスクに応用されています。
これらの問題を解決するために、本研究では、飛行中のドローンを制御するための全ニューロモルフィックなビジュアルからコントロールへのパイプラインを紹介します。具体的には、イベント駆動カメラからの生データを直接処理し、視覚自律飛行を実現するための低レベルのコントロールアクションを出力するスパイキングニューラルネットワークを訓練しました。
研究の出典
本研究はF. Paredes-Vallés、J. J. Hagenaars、J. Dupeyrouxらによって共同で実施され、彼らはオランダのデルフト工科大学航空工学科のマイクロエアビークルラボに所属しています。本論文は《Science Robotics》に掲載され、番号はSCI. ROBOT. 9, EADI0591 (2024)、発行日は2024年5月15日です。
研究のプロセス
(a) 研究作業フロー
研究は以下のステップを含みます：
データ収集とニューラルネットワークの訓練：
- DVS 240イベント駆動カメラを使用して実際のイベントデータを取得。カメラは下方の静的でテクスチャの豊富な平面を撮影し、ニューラルネットワークの訓練と評価に使用されます。
- 自己教師あり学習方法を使用して、5層28,800ニューロンのスパイキングニューラルネットワークを訓練。逆伝播と時間逆伝播アルゴリズムを用いて調整し、シミュレーターでニューラルネットワークを評価します。
- ネットワークはシミュレーター内の実際のイベントデータを使用して訓練され、原始イベントをセルフモーション推定にマッピングします。
ニューラルネットワークの構造と実装：
- 構造には入力層、3つの自己回帰エンコーダ、プーリング層で合計7,200ニューロンと506,400シナプスが含まれます。ネットワークは16x16ピクセルの関心領域（ROI）ごとに独立して処理を行い、各ROIのオプティカルフロー推定を提供します。
- シミュレーターを使用して制御部分を訓練し、進化的アルゴリズムで学習した線形デコーダレイヤーを使用して視覚ネットワークからのオプティカルフロー情報を飛行制御コマンドにデコードします。
実験と検証：
- ニューラルネットワークはIntelのLoihiニューロモルフィックプロセッサ上で実装され、200Hzの頻度で動作し、アイドル時の消費電力は0.94ワット、動作時には7〜12ミリワットの増加となります。
- 実験では、このネットワークがドローンの自律運動を正確に制御し、ホバリング、着陸、横移動を実現できることが示され、ヨー軸のずれが起こっても安定した飛行が可能です。
(b) 主要な実験結果
視覚部分の結果：
- 自己コントラスト最大化フレームワークを使用し、イベントカメラのイベントを補正することで正確なオプティカルフロー推定を実現しました。
- ニューラルネットワークは入力イベントストリームの運動情報を捉え、急速な回転（約4ラジアン/秒）の状況でも正確さを維持しました。
制御部分の結果：
- シミュレーションで訓練し、制御部分を検証し、実環境に移植しても予期された結果と一致しました。
- 実験結果は、ハードウェアの制約とモデルの簡略化にもかかわらず、ドローンが水平飛行や垂直着陸などの自律運動操作を正確に実行できることを示しました。
エネルギー消費と効率：
- さまざまなシーケンスでのLoihiの動作消費電力試験は、ニューロモルフィックハードウェアがスパースイベント入力処理時に顕著なエネルギー効率の優位性を示しました。Jetson Nanoの10ワットモードよりも少ない消費電力です。
- Loihiの主要な消費電力はアイドル時にありますが、総消費電力はGPUプラットフォームよりもはるかに低いです。
© 研究結論
本研究は、全ニューロモルフィックなビジュアルからコントロールへのパイプラインを実証し、ニューロモルフィックハードウェアの低遅延・低エネルギー消費の自律飛行制御におけるポテンシャルを示しました。実験結果から、ニューロモルフィック処理が小型ドローン上で複雑なディープニューラルネットワークを稼働させ、飛行動物（例えば昆虫）の機敏さと柔軟性に近づくことができることが分かりました。
今後の研究では、ニューロモルフィックプロセッサの入力出力帯域幅とインターフェースをさらに最適化し、実際の応用における視覚処理と制御性能を向上させることができます。最終的には、ミックスシグナルハードウェアへの移行が効率のさらなる向上をもたらす可能性がありますが、それには開発と展開における大きな課題が伴います。
(d) 研究のハイライト
- 革新性： 本研究は、完全なニューロモルフィックビジュアルからコントロールへとつながるパイプラインを初めて実証し、ドローンの自律飛行を実現しました。
- 実用性： 実験は、実環境でのシミュレーションから実際の応用への移行が成功したことを示し、この技術の実用的なポテンシャルを証明しました。
- エネルギー効率の優位性： 伝統的な組み込みGPUに比べて、ニューロモルフィック処理はエネルギー効率と速度の面で優れた性能を示し、特にリソース制限のある小型飛行体に適しています。
(e) その他の有益な情報
上記の実験結果と研究意義に加え、本論文は各実験ステップと方法を詳述し、明確な実装フローと再現性を提供しています。これにより、後続研究および実際の応用において価値ある参考資料となります。
詳しいデータと実験結果の分析を通じ、本論文はニューロモルフィックハードウェアの小型ロボットの自律ナビゲーション分野でのポテンシャルを探るための堅実な基盤を提供し、さらなる技術進展と実際の応用への道を整えました。