基于领域对抗训练CNN实现在线注意力解码的脑机接口

2024-05-25 Sat
跨主体脑机接口：基于卷积神经网络的领域对抗训练实现实时注意力解码学术背景注意力解码在我们日常生活中扮演着至关重要的角色，其基于脑电图（EEG）的实现已经引起了广泛关注。然而，由于EEG信号在个体间的显著差异性，为每个人训练一个通用的模型在实践中是不可行的。因此，本文提出了一种端到端的脑机接口（BCI）框架，旨在解决这一挑战，特别是利用了时间和空间的一维卷积神经网络（1D CNN）及领域对抗训练策略（Domain-Adversarial Training）。
传统注意力解码方法通常依赖于预定义的特征提取和模式分类技术，如线性判别分析（LDA）和支持向量机（SVM），但这些方法在处理跨主体数据时表现出局限。另外，深度学习方法虽然在分类性能上表现出色，但如何处理EEG信号的显著个体差异性依旧是一个挑战。
论文及其来源本文由Dichen、Haiyun Huang、Zijing Guan、Jiahui Pan和Yuanqing Li撰写，作者来自华南理工大学和华南师范大学的软件学院，以及广州医疗大学附属脑医院的伦理委员会。该论文发表于IEEE Transactions on Biomedical Engineering，具体的doi为10.1109/tbme.2024.3404131。
研究流程和方法研究流程研究包含多个步骤，从原始EEG数据表示开始，依次经过特征提取、任务标签预测及领域分类器，最终得出解码结果。框架中涉及的方法和工具如下：
EEG表示：输入原始EEG数据，每个样本表示为一个矩阵，包含通道数和时间采样点。
特征提取器：使用时间卷积块、空间卷积块和可分离卷积块分别提取时间域、空间域和组合特征。
任务标签预测器：将特征向量输入一个全连接层，实现任务标签预测。
领域分类器：训练过程中使用一个特殊的梯度反转层（GRL），通过反转梯度实现不同领域间特征的对齐。
特征提取步骤时间卷积块：对EEG信号进行1D卷积和批归一化，提取时间域特征。
空间卷积块：对所有通道进行卷积，实现空间特征提取，并应用批归一化和平均池化。
可分离卷积块：结合深度卷积和1D卷积，有效提取最相关的时间特征，并通过平均池化层和Flatten层实现特征压缩。
优化函数文章提出使用任务损失和领域损失的结合来优化模型参数，具体公式如下：
[
L_i^y(\theta_f, \theta_y) = L_y(g_y(g_f(x_i; \theta_f); \theta_y), y_i)
]
[
L_i^d(\theta_f, \theta_d) = L_d(g_d(g_f(x_i; \theta_f); \theta_d), d_i)
]
[
E(\theta_f, \theta_y, \thetad) = \frac{1}{n} \sum{i=1}^n L_i^y(\theta_f, \thetay) - \lambda \left(\frac{1}{n} \sum{i=1}^n L_i^d(\theta_f, \thetad) + \frac{1}{n’} \sum{i=n+1}^{n+n’} L_i^d(\theta_f, \theta_d) \right)
]
优化目标是找到$\theta_f, \theta_y$和$\theta_d$的鞍点，通过梯度下降法实现整个模型的训练和优化。
研究结果离线实验在离线实验中，使用85个受试者的数据进行交叉验证分析。研究结果表明，DA-TSNet的准确性为89.40% ± 9.96%，显著高于其他五种基线方法（例如PSD-SVM为75.24%，TFN-SVM为80.83%，EEGNet为84.09%）。统计分析结果也通过混淆矩阵进行展示，进一步验证了DA-TSNet在注意力识别任务中的优越性能。
模拟在线实验在模拟在线实验中，通过不同数目的初试试验段（例如20、40、60、80和100）对新受试者的数据进行分割和训练。结果表明，在较多试验段条件下，DA-TSNet的准确性高于其他方法，例如在60/60数据分割条件下，DA-TSNet的准确性为88.07% ± 11.22%。
真实在线实验真实在线实验中，使用32通道Neuroscan放大器和22名受试者进行测试。实验结果显示DA-TSNet在两个实验中的准确性（86.44% ± 13.28% 和 89.02% ± 9.58%）显著高于TSNet（75.15% ± 13.04%），表明DA-TSNet在在线注意力解码中的实用价值。
结论与展望本文提出的DA-TSNet框架有效解决了EEG信号在个体间的显著差异性，并且显著提升了注意力解码的准确性和效率。通过离线和在线实验验证了其性能和实用性，尤其在跨主体注意力解码任务中展现了强大的适应性和稳定性。未来研究将进一步优化领域分类器结构，减少模型尺寸，并探讨长期实验中的时间间隔对结果的影响。总之，DA-TSNet为注意力解码及其在线应用提供了一种创新且有效的方法。