基于Transformer的深度学习网络与时空信息结合的原始EEG分类方法

2024-06-13 Thu
研究背景及目的近年来，脑机接口（Brain-Computer Interface，BCI）系统在神经工程和神经科学领域广泛应用，而脑电图（Electroencephalogram，EEG）作为反映中枢神经系统不同神经元群体活动的数据工具，已经成为这些领域中核心的研究内容。然而，EEG信号具有低空间分辨率、高时间分辨率、低信噪比以及个体差异大等特征，这些都为信号处理和准确分类带来了极大的挑战。尤其在运动想象（Motor Imagery，MI）这一EEG-BCI系统常用范式中，准确分类不同MI任务的EEG信号对于BCI系统的功能恢复和康复具有重要意义。
传统的MI-EEG分类方法通常基于手工特征提取和分类，但这些方法可能在特征提取阶段丢失EEG的有用信息。近年来，深度学习模型因其自动特征提取和丰富特征表达能力，得到了广泛应用。然而，现有的深度学习方法（如卷积神经网络CNN和循环神经网络RNN）在处理EEG数据时对于全局依赖性特征的感知有限。
Transformer模型以其卓越的特征提取和关联能力在自然语言处理（NLP）等领域表现优异，但在运动想象EEG分类和可视化领域尚未得到广泛研究，特别是基于跨个体验证的通用模型较为缺乏。为了解决上述问题，本文作者提出了一种基于Transformer模型结合深度学习网络和时空信息的EEG分类方法。
作者与来源本文由Jin Xie、Jie Zhang、Jiayao Sun、Zheng Ma、Liuni Qin、Guanglin Li、Huihui Zhou和Yang Zhan撰写，主要作者隶属于中国科学院深圳先进技术研究院以及深圳关键实验室等机构。论文发表于2022年，由《IEEE Transactions on Neural Systems and Rehabilitation Engineering》期刊收录，并得到了中国国家重点研发计划、国家自然科学基金等多个项目的资助。
研究流程数据集及预处理研究使用了Physionet EEg Motor Movement/Imagery数据集，该数据集包含109名受试者的超过1500个试次数据，数据通过64个电极记录，每秒采样频率为160次。研究聚焦于运动想象分类，选取了左拳、右拳、两拳和双脚的运动想象数据。预处理步骤包括Z-score标准化和添加随机噪声以防止过拟合。
模型架构研究设计了五种基于Transformer的模型，包括空间Transformer（S-Trans）、时间Transformer（T-Trans）、结合CNN的空间Transformer（S-CTrans）和时间Transformer（T-CTrans）、以及融合模型（F-CTrans）。
Transformer模块Transformer模块采用编码器-解码器结构，通过堆叠自注意力机制和逐点全连接层提取信息。研究使用了八个并行注意力层，并将EEG数据输入变换为查询、键和值向量，以计算加权值。
位置嵌入模块包括相对位置编码、通道相关位置编码和学习位置编码三种方式。相对位置编码采用三角函数计算，通道相关位置编码则根据与中心电极之间的余弦距离计算，学习位置编码则嵌入可训练矩阵。
CNN与Transformer结合模型结合CNN的模型分别处理空间和时间信息。CNN模块用于特征提取，而Transformer则进一步处理这些特征用于EEG分类。在融合模型中，空间和时间信息并行处理，经过CNN和Transformer两个子模块后，结合特征用于分类。
训练设置研究使用Adam优化器，训练周期设置为50，采用5折交叉验证方法进行模型性能测试。在跨个体训练中，将个体分为训练集和测试集，以获得更好的适应性和鲁棒性。
研究结果分类准确率研究结果显示，基于Transformer的模型在两类、三类和四类分类任务中都表现出色，取得了分别为83.31%、74.44%和64.22%的最佳准确率，优于其它代表性模型。此外，结合位置嵌入模块后，分类准确率进一步提升。
可视化结果通过多头注意力层的可视化，研究发现其注意力权重在传感器运动区域显示出与事件相关去同步（ERD）一致的模式。尤其在左拳和右拳的运动想象任务中，注意力权重在对应的对侧半球上表现显著增强，这一发现与之前基于频谱分析的ERD一致，表明Transformer模型在运动想象任务中能够揭示脑神经机制。
研究结论与意义本文提出了一种结合时空信息和深度学习网络的基于Transformer的EEG分类方法，针对运动想象任务，设计了五种不同的模型。研究结果表明，Transformer模型在EEG分类任务中具有出色的性能，并且通过可视化结果展示了其在揭示EEG数据中的神经机制方面的潜力。该方法不仅在BCI系统中具有广阔的应用前景，也可以应用于疾病诊断和其他基于EEG数据的分类任务。