EISATC-Fusion 模型用于运动想象EEG解码

工程学 电气工程 信息科学 人工智能 神经病学 医学
脑-机接口 运动想象 注意塌陷 时间卷积网络 迁移学习

研究背景

脑机接口技术（brain-computer interface, BCI）可以实现大脑与外部设备的直接通信，广泛应用于人机交互、运动康复、医疗等领域。BCI的常见范式包括稳态视觉诱发电位（steady-state visual evoked potentials, SSVEP）、P300、运动想象（motor imagery, MI）等。其中，MI-BCI因其广泛应用前景而备受关注。 EISATC-Fusion 模型

MI-BCI通常使用脑电图（electroencephalography, EEG）信号检测运动想象，使得用户能够通过想象运动来控制设备，如电动轮椅、光标和上肢机器人。然而，脑活动的不稳定性和低信噪比（signal-to-noise ratio, SNR），以及个体间信号的差异和EEG信道间的相关性，增加了脑信号分析和分类的复杂性。目前，MI EEG信号的解码主要依赖于传统的机器学习和深度学习技术，但由于EEG信号的多变性和个体差异性，解码精度仍有限，阻碍了MI-BCI的应用。

论文来源

本论文由Guangjin Liang, Dianguo Cao, Jinqiang Wang, Zhongcai Zhang, 和 Yuqiang Wu等研究人员撰写，他们均隶属于曲阜师范大学工程学院。论文发表于IEEE Transactions on Neural Systems and Rehabilitation Engineering, Vol. 32, 2024。

研究流程

本研究提出了一种高性能且轻量级的端到端MI EEG解码模型EISATC-Fusion，包括Inception块、多头自注意力机制（Multi-Head Self-Attention, MSA）、时间卷积网络（Temporal Convolutional Network, TCN）等模块，以及特征融合和决策融合。具体的研究流程及方法如下：

数据预处理

  • 输入表示和预处理：
    • 数据包括c个信道和t个采样点，无需滤波和去除伪影。
    • 使用z-分数标准化减少脑电信号的非平稳性，标准化公式为： [ X’ = \frac{X_i - \mu}{\sqrt{\sigma^2}} ]

模型结构

  • EISATC-Fusion模型结构：
    • EDSI模块：使用普通卷积和逐深卷积提取时间和空间特征，通过逐深可分卷积的Inception模块提取多尺度时间特征。
    • CNNCoS多头自注意力模块：基于CNN解决注意力崩溃问题，添加cos注意力提高模型可解释性。
    • TDScn模块：通过逐深分解卷积减少模型参数。
    • 融合模块：包括特征融合和决策融合，充分利用模型输出特征，提高模型鲁棒性。

特征提取

  • EDSI模块：

    • 核心组成是三层卷积层，第一层为时间卷积，第二层为信道卷积，第三层为Inception块。
    • 不同路径采用不同卷积核大小，最大池化层进行输入信息融合。
    • 每层卷积后进行批标准化和指数线性单元激活，池化层后添加dropout层。

  • CNNCoS多头自注意力模块：

    • 通过三部分：查询（query）、键（key）、值（value）模拟注意力机制。
    • 采用逐深卷积计算q、k、v向量，再通过余弦注意力机制计算注意力得分，改进原始注意力权重。

  • TDScn模块：

    • TCN无需显式维护序列数据状态，提高计算效率及时间依赖性。
    • 通过替换膨胀卷积为膨胀逐深卷积减少模型参数。

  • 融合模块：

    • 特征融合结合模型不同层的输出以提取输入数据的隐藏信息。
    • 决策融合通过融合多个分类器的输出降低不确定性与错误，提高模型信息整合能力。

主要结果

  • 在受试者内解码实验：

    • EISATC-Fusion在BCI-2a和BCI-2b数据集上均取得了最高的平均解码准确率。
    • 与CNN、MSA、以及多尺度结构的模型相比，提升明显，并且参数量显著减少。

  • 消融实验：

    • 通过对EISATC-Fusion的各模块进行消融实验表明，每个模块均对提升解码性能有贡献。
    • 特别是融合模块对模型性能贡献最大。

  • 比较不同训练策略：

    • 改进的二阶段训练策略显著提升了模型性能，验证了策略的普适性。

  • 受试者间解码实验：

    • EISATC-Fusion在受试者间实验中，同样表现优异，尤其是跨受试者解码性能显著提高。

  • 迁移学习实验：

    • 通过跨受试者迁移学习实验证明，EISATC-Fusion对新受试者显示了更好的泛化性能。
    • 在不同数据组和学习率的影响实验中，模型性能稳步提高。

  • 可解释性实验：

    • 通过特征可视化和卷积核权重可视化验证了模型的可解释性。
    • Cos注意力清晰地展示了每个注意头的具体物理意义，提高了模型的透明度。

研究结论

本文提出的EISATC-Fusion模型通过多模块协同工作实现了高性能且轻量级的MI EEG解码。改进的训练策略进一步增强了模型性能，并在跨受试者迁移学习中表现出色。本研究通过可视化方法展示了模型的可解释性，为未来实际应用和进一步优化提供了有力支持。然而本研究尚未进行在线实验和模型轻量化，在未来的工作中将进一步优化模型参数并进行在线实验验证。