ADFCNN：運動イメージ脳コンピュータインターフェースのための注意ベースの二重スケール融合畳み込みニューラルネットワーク

情報科学 人工知能 自動化 神経内科学 生命科学 医学 バイオエンジニアリング
注意 二重スケール融合 畳み込みニューラルネットワーク 運動イメージ 脳コンピュータインターフェース EEG 自己注意メカニズム

双尺度融合卷积神经网络架构 ブレイン・コンピュータ・インターフェース（Brain-Computer Interface, BCI）は、新たなコミュニケーションと制御技術として近年注目を集めている。脳波（EEG）に基づくBCIの中でも、運動イメージ（Motor Imagery, MI）は重要な分野であり、ユーザーの運動意図をデコードすることで、臨床リハビリテーション、スマート車椅子の制御、およびカーソル制御などの分野に応用されている。しかしながら、EEG信号の低い信号対雑音比（Signal-to-Noise Ratio, SNR）、非定常性、低い空間分解能および高い時間分解能などの複雑な特性のため、運動意図の正確なデコードには依然として挑戦が残っている。現在のMI基BCIデコードには主に伝統的な機械学習と深層学習の手法が使用されている。従来の機械学習は通常、特徴抽出と特徴分類の2つの独立したステップに分かれており、手法には高速フーリエ変換（Fast Fourier Transform, FFT）、一般空間パターン（Common Spatial Pattern, CSP）、およびウェーブレット変換（Wavelet Transform, WT）などが含まれる。しかし、従来の方法では多くの専門知識が必要であり、分類性能が制限されている。それに対して、深層学習はその強力な表現学習能力により、BCI分野で顕著な成果を上げている。

近年、畳み込みニューラルネットワーク（Convolutional Neural Networks, CNNs）はMI基BCIにおいて重要な応用価値を示している。しかし、単一スケールのCNNはEEG信号の広範な周波数情報を抽出する際に限界があり、典型的なマルチスケールCNNも異なるスケール情報の融合において不十分である。これらの問題を解決するために、本研究は新しい注意力メカニズムに基づくデュアルスケール融合畳み込みニューラルネットワーク（Attention-Based Dual-Scale Fusion Convolutional Neural Network, ADFCNN）を提案し、異なるスケールのEEGスペクトルと空間情報を同時に抽出および融合し、自己注意メカニズムを介して効果的な情報融合を実現している。

研究の出典

本文は以下の著者および機関によって完成された：Wei Tao、Ze Wang、Chi Man Wong、Ziyu Jia、Chang Li、Xun Chen、C. L. Philip Chen、およびFeng Wan。主要な機関はマカオ大学、マカオ科技大学、中国科学院自動化研究所、合肥工業大学、中国科学技術大学、南中国理工大学である。本論文は2024年1月にIEEE Transactions on Neural Systems and Rehabilitation Engineering誌に掲載された。

研究の詳細プロセス

a) 研究のワークフロー

  1. データセットの説明と前処理：

    • データセットの説明： 本研究では3つの公開データセットを使用した：BCI Competition IV 2a、BCI Competition IV 2b、およびOpenBMIデータセット。これらのデータセットには異なる被験者数、サンプリングレート、および電極配置が含まれる。具体的には以下の通りである：
      1. BCI Competition IV 2a (BCI-IV2a)： 9人の健康な被験者からのデータで、それぞれ576試行、22電極、サンプリングレート250Hz。
      2. BCI Competition IV 2b (BCI-IV2b)： 9人の被験者からのデータで、それぞれ320試行以上、3電極、サンプリングレート250Hz。
      3. OpenBMIデータセット： 54人の被験者からのデータで、それぞれ200試行以上、62電極、サンプリングレート1000Hz。
    • 前処理：
      • まず、各EEG試行はx ∈ R^c×t（cは電極数、tはサンプリングポイント数）として記述される。
      • 次に、元のEEG信号は250Hzにダウンサンプリングされ、OpenBMIデータセットに対して0〜40Hzの帯域通過フィルタを適用して主要な脳波周波数帯を抽出。
      • 最後に、電極関連の指数移動標準化を使用してEEGデータを標準化。

  2. モデル構造：

    • デュアルスケール時空間畳み込みニューラルネットワーク：
      • Branch-I： 大スケールの時間畳み込み層、大スケールの空間分離畳み込み層、ポイント畳み込み層などを含み、広いスケールのスペクトルおよび全体の空間情報を抽出。
      • Branch-II： 小スケールの時間畳み込み層と標準空間畳み込み層などを含み、小スケールの高周波情報および詳細な空間情報を捕捉。
    • 注意力メカニズム： 2つのCNNによって抽出された特徴を融合し、適応的に融合特徴の柔軟性を強化。
    • Dense層およびSoftmax層： 最終的な分類結果の出力に使用。

  3. 実験設定：

    • 5つ折り交差検証法と複数の深層学習ベンチマークモデルを使用して比較。
    • Wilcoxon順位和検定を使用して結果を統計的に比較。

b) 主な結果

実験結果は、ADF-CNNが3つの公開データセット全てで優れた分類性能を達成したことを示している。BCI-IV2aデータセットでは平均分類精度が79.39%、9.14%の向上；BCI-IV2bデータセットでは87.81%、7.66%の向上；OpenBMIデータセットでは65.26%、7.2%の向上。さらに、アブレーション実験および可視化分析により、デュアルスケールの時空間CNNおよび自己注意メカニズムモジュールの有効性がさらに証明された。

c) 結論および意義

本研究は、注意力メカニズムに基づくデュアルスケール融合畳み込みニューラルネットワークを提案し、異なるスケールのEEGスペクトルおよび空間情報を同時に抽出および融合することで、MI分類性能を顕著に改善した。本手法は単一スケールのCNNがEEG信号を処理する際の限界を克服し、自己注意メカニズムを介して異なるスケールの情報を効果的に融合することにより、新しいデコード戦略を提供し、BCI応用において広範な前途を示した。将来的な研究は、本手法が主体横断タスクにおいてどれほど適応可能かを探ることができる。

d) 研究のハイライト

  1. 革新的な手法： 提案した注意力メカニズムに基づくデュアルスケール融合畳み込みニューラルネットワーク（ADFCNN）方法は、EEG信号処理および特徴融合の面で革新性を持っている。
  2. 性能向上の顕著な効果： ADFCNNはMI分類タスクにおいて顕著な性能向上を示し、既存のマルチスケールCNN手法と比較して顕著な優位性を持つ。
  3. 可視化分析： 畳み込みカーネルおよび自己注意メカニズムを可視化分析することで、モデル学習プロセスおよび特徴分布に対する理解が深まった。

e) その他の情報