跨主体脑机接口：基于卷积神经网络的领域对抗训练实现实时注意力解码

学术背景

注意解読は私たちの日常生活において極めて重要な役割を果たしており、それを脳波（EEG）に基づいて実現することが広く注目されています。しかし、EEG信号の個体間の顕著な差異により、各個人ごとに汎用モデルを訓練するのは実際には困難です。したがって、本論文では、この課題を解決するためのエンドツーエンドのブレイン・コンピュータ・インタフェース（BCI）フレームワークを提案します。特に、時間と空間の1次元畳み込みニューラルネットワーク（1D CNN）およびドメイン・アドバーサリアル・トレーニング（Domain-Adversarial Training）戦略を利用します。

従来の注意解読方法は、通常、線形判別分析（LDA）やサポートベクターマシン（SVM）などの事前に定義された特徴抽出およびパターン分類技術に依存していますが、これらの方法はクロスサブジェクトデータを処理する際に限界があります。また、ディープラーニングの方法は分類性能において優れていますが、EEG信号の著しい個体差をどのように処理するかが依然として課題です。

論文およびその出典

本論文は、Dichen、Haiyun Huang、Zijing Guan、Jiahui PanおよびYuanqing Liによって執筆され、著者は華南理工大学および華南師範大学のソフトウェア学院、ならびに広州医療大学附属脳病院の倫理委員会に所属しています。この論文はIEEE Transactions on Biomedical Engineeringに掲載されており、その具体的なdoiは10.1109/tbme.2024.3404131です。

研究フローと方法

研究フロー

研究には、原始EEGデータの表現から始まり、順に特徴抽出、タスクラベル予測、および領域分類器を経て最終的に解読結果を得るまでの複数のステップが含まれます。フレームワークに関与する方法とツールは以下の通りです：

1. EEG表現：原始EEGデータを入力し、各サンプルをチャネル数と時間サンプリングポイントを含む行列として表現します。
2. 特徴抽出器：時間畳み込みブロック、空間畳み込みブロック、および可分離畳み込みブロックを使用して、それぞれ時間領域、空間領域、および組み合わされた特徴を抽出します。
3. タスクラベル予測器：特徴ベクトルを全結合層に入力し、タスクラベル予測を実現します。
4. 領域分類器：訓練過程で特殊な勾配反転層（GRL）を使用して、勾配の反転を通じて異なる領域間の特徴の整合性を実現します。

特徴抽出ステップ

1. 時間畳み込みブロック：EEG信号に対して1D畳み込みおよびバッチ正規化を行い、時間領域の特徴を抽出します。
2. 空間畳み込みブロック：全チャネルに対して畳み込みを実行し、空間特徴の抽出を実現し、さらにバッチ正規化および平均プールを適用します。
3. 可分離畳み込みブロック：深層畳み込みと1D畳み込みを結合し、最も関連性の高い時間特徴を効果的に抽出し、平均プールレイヤーとフラットンレイヤーを通じて特徴圧縮を実現します。

最適化関数

この記事では、タスク損失および領域損失の組み合わせを使用してモデルパラメーターを最適化すると提案しています。具体的な式は以下の通りです：

[ L_i^y(\theta_f, \theta_y) = L_y(g_y(g_f(x_i; \theta_f); \theta_y), y_i) ]

[ L_i^d(\theta_f, \theta_d) = L_d(g_d(g_f(x_i; \theta_f); \theta_d), d_i) ]

[ E(\theta_f, \theta_y, \thetad) = \frac{1}{n} \sum{i=1}^n L_i^y(\theta_f, \thetay) - \lambda \left(\frac{1}{n} \sum{i=1}^n L_i^d(\theta_f, \thetad) + \frac{1}{n’} \sum{i=n+1}^{n+n’} L_i^d(\theta_f, \theta_d) \right) ]

最適化の目標は、$\theta_f, \theta_y$および$\theta_d$の鞍点を見つけることであり、勾配降下法を通じてモデル全体の訓練と最適化を実現します。

研究結果

オフライン実験

オフライン実験では、85人の被験者のデータを用いてクロスバリデーション分析を実施しました。研究結果は、DA-TSNetの正確性が89.40% ± 9.96%であり、他の5つのベースライン方法（例えばPSD-SVMは75.24%、TFN-SVMは80.83%、EEGNetは84.09%）よりも顕著に高いことを示しました。統計分析結果も混同行列を通じて示されており、DA-TSNetが注意認識タスクにおいて優れた性能を有することをさらに検証しています。

シミューションオンライン実験

シミューションオンライン実験では、異なる数の初試験区間（例えば20、40、60、80、100）を用いて新しい被験者のデータを分割し、訓練しました。結果は、多くの試験区間条件下でDA-TSNetの正確性が他の方法よりも高いことを示しました。例えば、60/60データ分割の条件下で、DA-TSNetの正確性は88.07% ± 11.22%でした。

リアルオンライン実験

リアルオンライン実験では、32チャネルのNeuroscanアンプおよび22人の被験者を使用してテストを実施しました。実験結果は、DA-TSNetが2つの実験での正確性（86.44% ± 13.28%および89.02% ± 9.58%）がTSNet（75.15% ± 13.04%）よりも顕著に高いことを示し、DA-TSNetがオンライン注意解読における実用的価値があることを示しています。

結論と展望

本論文で提案されたDA-TSNetフレームワークは、EEG信号における個体間の顕著な差異性を効果的に解決し、注意解読の正確性と効率を顕著に向上させました。オフラインおよびオンライン実験を通じてその性能および実用性が検証され、特にクロス主体の注意解読タスクにおいて強大な適応性および安定性を示しました。今後の研究では、領域分類器の構造をさらに最適化し、モデルサイズを縮小し、長期実験における時間間隔が結果に与える影響を探求する予定です。総じて、DA-TSNetは注意解読およびそのオンラインアプリケーションに対して革新的かつ効果的な方法を提供します。