トランスフォーマーベースのアプローチによるディープラーニングネットワークと時空間情報を組み合わせた生EEG分類
研究背景及目的
近年では、脳-コンピュータインタフェース（Brain-Computer Interface、BCI）システムが神経工学および神経科学の分野で広く応用され、脳波（Electroencephalogram、EEG）は中枢神経系の異なるニューロン集団の活動を反映するデータツールとして、これらの分野で重要な研究テーマとなっています。しかし、EEG信号は低空間分解能、高時間分解能、低信号対雑音比、および個体差が大きいという特徴があり、信号処理および正確な分類において大きな課題となっています。特に運動想像（Motor Imagery、MI）というEEG-BCIシステムの一般的なパラダイムにおいて、異なるMIタスクのEEG信号を正確に分類することは、BCIシステムの機能回復およびリハビリテーションにおいて重要です。
従来のMI-EEG分類方法は通常、手動で特徴を抽出し分類することに基づいていますが、これらの方法では特徴抽出段階で有用な情報が失われる可能性があります。近年、深層学習モデルはその自動特徴抽出および豊富な特徴表現能力により広く応用されています。しかし、既存の深層学習方法（例えば、畳み込みニューラルネットワークCNNやリカレントニューラルネットワークRNN）は、EEGデータを処理する際に全体の依存関係特徴の把握が限定的です。
Transformerモデルはその卓越した特徴抽出および関連能力により自然言語処理（NLP）などの分野で優れたパフォーマンスを示していますが、運動想像EEG分類および可視化の分野ではまだ広く研究されておらず、特に個体差を越えた一般モデルは不足しています。これらの問題を解決するために、本研究の著者はTransformerモデルを利用し、深層学習ネットワークおよび時空情報を組み合わせたEEG分類方法を提案しました。
作者与来源
本文はJin Xie、Jie Zhang、Jiayao Sun、Zheng Ma、Liuni Qin、Guanglin Li、Huihui Zhou、Yang Zhanにより執筆され、主な著者は中国科学院深圳先進技術研究院および深圳キーラボなどの機関に所属しています。論文は2022年に発表され、《IEEE Transactions on Neural Systems and Rehabilitation Engineering》期刊に収録されており、中国国家重点研发计划、国家自然科学基金などの複数のプロジェクトの支援を受けています。
研究流程
数据集及预处理
研究ではPhysionet EEG Motor Movement/Imageryデータセットを使用しました。このデータセットには109名の被験者の1500回以上の試行データが含まれており、データは64個の電極から記録され、サンプリング周波数は1秒あたり160回です。研究は運動想像の分類に焦点を当て、左拳、右拳、両拳、および両足の運動想像データを選択しました。前処理ステップには、Zスコア標準化および過適合防止のためのランダムノイズの追加が含まれます。
模型架构
研究では、5種類のTransformerベースのモデルを設計しました。これには、空间Transformer（S-Trans）、时间Transformer（T-Trans）、CNNを組み合わせた空間Transformer（S-CTrans）および時間Transformer（T-CTrans）、および融合モデル（F-CTrans）が含まれます。
Transformer模块
Transformer模块はエンコーダ・デコーダ構造を採用し、自己注意メカニズムおよびポイントごとの全結合層を重ねることで情報を抽出します。8つの並列注意層を使用し、EEGデータをクエリ、キー、および値ベクターに変換して加重値を計算します。
位置嵌入模块
相対位置符号、チャネル関連位置符号、および学習位置符号の3種類があります。相対位置符号は三角関数を使用して計算され、チャネル関連位置符号は中心電極との余弦距離に基づいて計算され、学習位置符号は訓練可能な行列に埋め込まれます。
CNN与Transformer结合模型
CNNを組み合わせたモデルは、それぞれ空間的および時間情報を処理します。CNN模块は特徴抽出に使用され、Transformerはこれらの特徴をさらに処理してEEG分類に使用します。また、融合モデルでは空間および時間情報が並行して処理され、CNNおよびTransformerのサブモジュールを経て、結合された特徴が分類に使用されます。
训练设置
研究ではAdamオプティマイザを使用し、トレーニングサイクルは50に設定され、5-折交差验证方法を使用してモデル性能をテストしました。個体間トレーニングでは、個体をトレーニングセットおよびテストセットに分け、よりよい適応性およびロバスト性を取得しました。
研究结果
分类准确率
研究結果は、Transformerベースのモデルが2クラス、3クラスおよび4クラスの分類タスクで優れた性能を示し、それぞれ83.31%、74.44%および64.22%の最高精度を達成し、他の代表的なモデルより優れていることを示しました。さらに、位置嵌入モジュールを組み込んだ後、分類精度がさらに向上しました。
可视化结果
マルチヘッド注意層の可視化により、その注意重みがセンサー運動領域で事象関連脱同期（ERD）と一致するパターンを示していることがわかりました。特に左拳および右拳の運動想像タスクにおいて、注意重みが対応する反対側の半球において顕著に増強されたことが確認され、これは先行研究の周波数スペクトル分析に基づくERDと一致しており、Transformerモデルが運動想像タスクにおいて脳神経メカニズムを明らかにする能力を持っていることを示しています。
研究结论与意义
本文では、時空情報および深層学習ネットワークを組み合わせたTransformerベースのEEG分類方法を提案し、運動想像タスクに対して5種類の異なるモデルを設計しました。研究結果は、TransformerモデルがEEG分類タスクで優れた性能を持っていることを示し、可視化結果を通じてEEGデータの神経メカニズムを明らかにする潜在能力を示しました。この方法はBCIシステムにおいて広範な応用前景を持つだけでなく、疾患診断および他のEEGデータを基にした分類タスクにも応用可能です。