マルチフォトトランジスタ-単一メモリスタアレイに基づく再構成可能なセンサー内処理
多フォトトランジスタ‐単メモリスタアレイを基盤とする再構成可能なインセンサー処理：機械学習と生体インスパイア型ニューラルネットワークの融合による新しい視覚計算プラットフォーム
学術背景と問題提起
人工ビジョンシステムは、インテリジェントエッジコンピューティングの重要な構成要素として長年認識されてきましたが、従来のCMOS（相補型金属酸化膜半導体）技術とノイマン型アーキテクチャに基づくシステムは、大きな制約を抱えていました。これらのシステムでは、独立した画像センサー、記憶モジュール、プロセッサ間の物理的分離により、大量のデータ冗長性や信号処理の遅延が生じます。これにより、回路設計の複雑化や消費電力の増加が引き起こされ、リアルタイム処理能力が著しく制限されています。自然環境において、従来型の視覚システムは、信号のキャプチャから画像処理までの一連の複雑なプロセスを完了する必要がありますが、その効率性には限界があります。
近年、「インセンサーコンピューティング」という新たなアーキテクチャが注目されています。これは感知と計算を融合させたもので、インメモリコンピューティング（in-memory computing）とニューロモルフィック（neuromorphic）な特性を持っています。この分野では、光ニューラルネットワーク（optical neural network）と生体インスパイア型ニューラルネットワーク（spiking neural network）の融合が、新たなビジョンソリューションの可能性を提供します。これにより、リアルタイムかつ低消費電力で、複雑な時空間画像を処理することが可能となります。しかし、既存のメモリスタ（memristor）を基盤とする光計算デバイスにおいて、多種多様なニューラルネットワークアーキテクチャをサポートする機能には限界があり、汎用性と再構成可能性を備えたビジョンコンピューティングシステムの構築が難しいという課題があります。
こうした課題を解決するため、本研究では多フォトトランジスタ‐単メモリスタアレイ（multi-phototransistor-one-memristor array、以下MP1R array）を基盤とし、機械学習と生体インスパイア型ニューラルネットワークを統合した汎用インセンサーコンピューティングシステムの開発を試みました。本研究では、単一のハードウェアプラットフォームで、光検出、記憶、計算機能を統合的に実現する方法に焦点を当てています。
論文の出典と寄稿者
本論文は、北京大学集成回路学院、人工知能研究所、広東省インメモリコンピューティングチップ重点研究室、中国脳科学研究所などの共同研究チームによって執筆されました。筆頭著者はBingjie Dang氏、対応著者はYuchao Yang氏であり、論文は2024年11月12日に『Nature Electronics』誌（第7巻、991-1003ページ）にオンラインで発表されました。
研究プロセスと技術的詳細
本研究では、MP1Rアレイを活用して新しい光感知およびニューロモルフィック視覚計算システムを設計しました。以下は、研究で行われた主要なステップと技術的詳細です。
1. MP1Rアレイの開発
(1) 構造設計と製造
MP1Rアレイは、20×20のフォトトランジスタアレイと20チャネルの再構成可能なタンタル酸化物ベースのメモリスタアレイで構成されています。フォトトランジスタはIGZO（酸化インジウムガリウム亜鉛）薄膜を基盤とし、メモリスタにはTa/TaOx/NbOx/Wの多層異質構造が採用されています。走査型電子顕微鏡と透過型電子顕微鏡を用いて、MP1Rアレイおよびそのコアセル構造が確認されました。
(2) シミュレーションと実験検証
メモリスタは、異なる電圧スキャンを介して3つの再構成可能な動作モード（線形抵抗応答、揮発性メモリ、閾値スイッチング）を実現します。異なる操作電圧を調整することで、閾値スイッチングおよびメモリスタの特性は非常に安定しており、複数回のサイクルにわたり一貫性を保つことが可能であることが確認されました。これらの特性は、複雑な光信号処理および記憶において重要な役割を果たします。
2. 光神経ネットワークアーキテクチャの探求
MP1Rアレイは、ハードウェアベースの視覚ニューロモルフィックシステムに統合され、1T1R（1トランジスタ‐1メモリスタ）非揮発性メモリアレイと連携して以下のニューラルネットワークアーキテクチャを実現しました。
(a) 光学畳み込みニューラルネットワーク（OCNN）
MP1Rアレイの畳み込みカーネル機能を使用して、静的な光学画像を電気信号へ変換・処理しました。MNIST手書き数字データセットを用いた試験の結果、OCNNのハードウェア実験における精度は85.75%に達し、ソフトウェアシミュレーションの結果と非常に近い値となりました。
(b) 光学リカレントニューラルネットワーク（ORNN）
MP1Rアレイは動的イベント画像のリアルタイム処理もサポートします。実験では、光学イベントデータセット（N-MNIST）の処理をリアルタイムで行い、時空間情報の統合を可能にしました。最終的なハードウェア実験での分類精度も85.3%に到達しました。
© 光学スパイキングニューラルネットワーク（OSNN）
柔軟な再構成可能性を活用することで、MP1Rアレイは画像を尖峰（スパイク）信号にエンコードできる光感知発射機能を備えています。このネットワークは、形状が一致していても異なる色を持つ複雑な画像ターゲット（例：赤い「0」と青い「1」）の識別を可能にします。
3. データ分析とコード化技術
異なるニューラルネットワークアーキテクチャに応じたカスタムハードウェアおよびソフトウェア学習アルゴリズムが開発されました。OCNNとOSNNはオフライン学習と4ビット量子化技術を採用し、ORNNはオンライン学習モードを基に動作します。
4. システム統合と応用デモンストレーション
MP1Rアレイと1T1R非揮発性メモリアレイは、一体型のハードウェアテストプラットフォームに統合されました。このテストプラットフォームはアナログおよびデジタル回路を備えており、パルス電圧の制御、電流測定、学習および計算タスクの実行が可能です。実験結果によって、このプラットフォームが複数の光学ニューラルネットワークを成功裏に実現できることが立証されました。
研究成果と科学的価値
重要な発見：
- メモリスタアレイにおいて、線形抵抗、揮発性メモリ、閾値スイッチングの3つのモードを同時に実現。これは柔軟で多機能な神経計算の実現に重要な意味を持ちます。
- MP1Rアレイを基盤にした新しい多モード視覚計算アーキテクチャを提案し、光学畳み込みニューラルネットワーク、リカレントニューラルネットワーク、スパイキングニューラルネットワークへの応用を成功させました。
科学的意義：
- 感知、記憶、計算を単一のハードウェアで統合する方法を提示し、従来の分離型視覚システムが抱えるデータ冗長性や高遅延の問題を解決しました。
- 機械学習と生体インスパイア型計算を統合する新しいハードウェアソリューションを提供。この成果は次世代AI計算機器の開発に向けた道を切り拓くものです。
応用可能性：
- 効率的な視神経計算システムは、自動運転、スマートホーム、医療モニタリング、ロボットビジョンなど、幅広い分野で応用可能です。また、MP1Rアレイのカラー画像処理能力により、実用範囲がさらに拡大します。
性能利点とイノベーションの要点：
- 本システムは低消費電力・高リアルタイム性で複雑なマルチモーダル画像認識を可能にし、既存技術に比べてアーキテクチャの互換性とハードウェア統合度で顕著な優位性を持ちます。
- 静止画像、イベントベース画像、カラー画像の認識を同時に可能にした点は、既存のメモリスタシステムにおける大きなマイルストーンです。
結論と展望
本論文では、再構成可能なTa/TaOx/NbOx/Wメモリスタを用いたMP1Rアレイを提案し、それを基盤とする汎用的なニューロモルフィック視覚計算プラットフォームを構築しました。このシステムは、機械学習型および生体インスパイア型の両方のニューラルネットワークに適合可能であり、様々な画像情報をアナログおよびスパイク形式で効率的にエンコードできます。
今後の研究では、デバイスの互換性や大規模生産の実現に向けたさらなる探求が求められます。この急速な進展を遂げる分野において、本研究は光学神経計算技術の実用化に重要な基盤を提供しました。さらに最適化を進めることで、より複雑な応用シナリオにも対応できる可能性を秘めています。