基于注意力的双尺度融合卷积神经网络用于运动想象脑机接口

2024-06-13 Thu
脑机接口（Brain-Computer Interface, BCI）作为一种新增强通信与控制技术近年来逐渐崭露头角。基于电生理特征（如脑电图，EEG）的BCI中，运动想象（Motor Imagery, MI）是一个重要分支，通过解码用户的运动意图用于临床康复、智能轮椅控制、及光标控制等领域。然而，由于EEG信号的复杂性，如低信噪比（Signal-to-Noise Ratio, SNR）、非平稳性、低空间分辨率和高时间分辨率等特点，准确解码运动意图仍具有挑战性。现有的MI基BCI解码主要使用传统机器学习和深度学习方法。传统机器学习通常分为特征提取和特征分类两个独立步骤，方法包括快速傅里叶变换（Fast Fourier Transform, FFT）、通用空间模式（Common Spatial Pattern, CSP）、小波变换（Wavelet Transform, WT）等。然而，传统方法需大量专家知识，限制了分类性能。相反，深度学习由于其强大的表示学习能力，已在BCI领域取得显著成效。
近年来，卷积神经网络（Convolutional Neural Networks, CNNs）在MI基BCI中显示出重要的应用价值。然而，单尺度的CNN在提取EEG信号的广泛频谱信息时存在局限，而典型的多尺度CNN在不同尺度信息的融合方面也存在不足。为了解决这些问题，该研究提出了一种新型基于注意力机制的双尺度融合卷积神经网络（Attention-Based Dual-Scale Fusion Convolutional Neural Network, ADFCNN），共同提取并融合不同尺度的EEG频谱和空间信息，同时通过自注意力机制实现有效的信息融合。
研究来源本文由以下作者与机构完成：Wei Tao, Ze Wang, Chi Man Wong, Ziyu Jia, Chang Li, Xun Chen, C. L. Philip Chen和Feng Wan，主要来自澳门大学、澳门科技大学、中国科学院自动化研究所、合肥工业大学、中国科学技术大学和华南理工大学。该论文于2024年1月发表在IEEE Transactions on Neural Systems and Rehabilitation Engineering期刊上。
研究详细流程a) 研究工作流程数据集描述与预处理：
数据集描述： 本研究使用了三个公开数据集：BCI Competition IV 2a、BCI Competition IV 2b和OpenBMI数据集。这些数据集包含不同受试者数目、采样率和电极配置，具体如下：
BCI Competition IV 2a (BCI-IV2a)： 采自9名健康受试者，每名受试者共有576个试验，22个电极，采样率250Hz。
BCI Competition IV 2b (BCI-IV2b)： 采自9名受试者，每名受试者至少320个试验，3个电极，采样率250Hz。
OpenBMI数据集： 采自54名受试者，每名受试者至少200个试验，62个电极，采样率1000Hz。
预处理：
首先，每个EEG试验被描述为x ∈ R^c×t，其中c为电极数，t为采样点数。
然后，原始EEG信号被下采样到250Hz，对于OpenBMI数据集，将0到40Hz的带通滤波应用于EEG信号，以提取脑电的主要频段。
最后，采用电极相关的指数移动标准化来标准化EEG数据。
模型结构：
双尺度时空卷积神经网络：
Branch-I： 包含大尺度时间卷积层、大尺度空间分离卷积层及点卷积层等，用于提取较大尺度的频谱和全局空间信息。
Branch-II： 包含小尺度时间卷积层和标准空间卷积层等，用于捕捉小尺度的高频信息和详细空间信息。
注意力机制： 用于融合由两支CNN提取的特征，适应性地增强融合特征的灵活性。
Dense层和Softmax层：用于最终的分类结果输出。
实验设置：
采用5折交叉验证法和多种深度学习基准模型进行对比。
使用Wilcoxon秩和检验对结果进行统计比较。
b) 主要结果实验结果表明，ADF-CNN在三个公共数据集上均获得了优异的分类性能。其中在BCI-IV2a数据集上的交叉特定平均分类准确率为79.39%，显著提升了9.14%；在BCI-IV2b数据集上为87.81%，提升了7.66%；在OpenBMI数据集上为65.26%，提升了7.2%。此外，消融实验和可视化分析进一步验证了双尺度联合时空CNN和自注意力机制模块的有效性。
c) 结论与意义本研究提出了一种基于注意力机制的双尺度融合卷积神经网络，通过同时提取和融合不同尺度的EEG频谱和空间信息，显著改善了MI分类性能。本方法不仅提升了单尺度CNN在处理EEG信号时的局限性，还通过自注意力机制有效融合不同尺度的信息，提供了一种创新的解码策略，在BCI应用中展现了广阔的前景。未来的研究可以探索本方法在跨主体任务中的适用性和适应性。
d) 研究亮点创新性方法： 提出的基于注意力机制的双尺度融合卷积神经网络（ADFCNN）方法在EEG信号处理和特征融合方面具有创新性。
显著提升性能： ADFCNN在MI分类任务中展示了显著提升的分类性能，与现有多尺度CNN方法相比，具有显著优势。
可视化分析： 通过对卷积核和自注意力机制进行可视化分析，加深了对模型学习过程和特征分布的理解。
e) 其他信息代码开源： 研究团队提供了开源代码(https://github.com/um-tao/adfcnn-mi)，以便进一步验证和使用。