通过使用原型网络的单次迁移学习实现中风后手势识别

背景介绍

中风是全球死亡和致残的主要原因之一，随着人口老龄化和城镇化的发展，中风患者总数正在全球范围内增加。尽管治疗的进步降低了死亡率，但幸存者中需要康复治疗的人数却大幅增加。特别是在低收入和中低收入国家，这种情况尤其显著。这些国家的卫生资源有限，因此亟需一种适应性强、成本效益高的康复干预措施（Feigin et al. 2022）。

中风康复是一个漫长且负担沉重的过程，不仅耗费体力，还带来巨大的经济压力，因此自动化评估系统能够减轻康复费用和减少对物理治疗师访视需求的重要性愈发显著。这些系统通过传感器数据评估中风幸存者的运动功能，提供互动康复练习的低成本方法，尤其适合家庭康复（Chen et al. 2017）。此外，将游戏融入这些系统中可以增加中风幸存者的动机和参与度，通过使他们能够从事有趣、重复的运动或任务来促进康复（Proffitt et al. 2011）。

自动化康复评估系统的挑战

目前市场上已有的自动化康复评估系统通常使用肌电图（EMG）、力量肌电图（FMG）和惯性测量单元（IMU）等传感器收集数据，然而，传感器位移和佩戴者个体差异性会显著影响分类器性能。此外，中风幸存者的生理信号与健康个体存在显著差异，这使得数据解释更加复杂（Ao et al. 2013; Zhang et al. 2016; Raghavan 2015）。

与传统上由人为操作的评估系统不同，自动化系统需要考虑参与者的活动能力，开发能够容纳中风患者独特需求和特征的传感器设计和分析技术。因此，该研究提出使用原型网络进行一次性迁移学习，并通过优化特征选择和增加窗口大小来提高模型在家庭康复系统中的分类准确性和适用性。

论文来源

本文由Hussein Sarwat、Amr AlKhashab、Xinyu Song、Shuo Jiang、Jie Jia 和 Peter B. Shull 撰写，研究机构包括上海交通大学机械工程学院、复旦大学华山医院等，发表于2024年《Journal of NeuroEngineering and Rehabilitation》杂志，文章编号：21:100 (2024)。

研究设计与方法

研究对象与传感器配置

本次研究从20名中风患者中收集数据，这些患者手部Brunnstrom阶段在2到6之间。试验在中国上海的华山医院康复医学部门进行。在实验前获得了所有参与者的知情同意书，并得到了华山医院伦理审查委员会的批准。

两种可穿戴传感器用于采集参与者数据：一个配有一个IMU和八个气压传感器的腕带置于手腕，另一种配有六个EMG传感器的腕带置于前臂，距离肘部约10厘米。这些传感器用于收集手势数据（例如大规模屈曲、大规模伸展、腕部屈曲、腕部背屈、前臂旋前、前臂旋后、以及静止）。

数据处理与特征提取

数据使用Matlab和Python进行收集和处理。在数据过滤后，使用每次试验的均值和标准差对数据进行归一化处理，之后再使用重叠分段法对数据进行分段，窗口大小为222毫秒，步长为55.6毫秒。特征提取方面，从每个传感器信道中提取了总共394个特征，包括时间域、频率域和时频域特征，从而为分类模型提供足够多的信息。

分类器与模型评价

本研究中涉及两类主要模型：受试者独立模型和通过迁移学习训练的模型前者使用离开一受试者交叉验证法进行训练，后者使用少样本学习方法，将一个新参与者的数据用于模型的重新训练，采用原型网络，并对比其他几种传统机器学习方法（如SVM、LDA、LGBM等）和神经网络方法。

在这些模型中，原型网络用于少样本学习，通过一个新参与者的一次样本来提升模型的准确性。通过将样本分为查询集和支持集，计算其原型，并通过比较查询集的嵌入和支持集进行分类。

实验结果分析

研究结果显示，使用大窗口的单次样本原型网络（PN）方法显著提高了分类准确性（p < 0.05），达到了82.20%±10.85%，明显高于其他受试者独立的分类器和传统迁移学习方法。附图展示了不同手势的预测准确率。

特征选择与维度减少

不同的分类器对特征选择和维度减少的方法响应不同。使用K最佳特征选择（K-Best）显著提高了PN、TL和SVM的性能。而PCA尽管在LDA中表现较好，但在其他分类器中效果不佳。

窗口大小的影响

增加窗口大小能提升所有分类器的准确性，尽管减少了样本尺寸。最显著的改进出现在SVM和LGBM中，其准确性分别提高了6.48%和6.34%。平均而言，所有分类器表现出约4.28%的准确性增长。

样本数量的影响

在五次样本学习方法和一次样本大窗口方法的比较中，后者在更少样本的情况下性能更优。

受试者依赖模型的比较

与其他受试者依赖模型相比，本文提出的方法表现相似，这表明该方法在整合大规模模型到新参与者方面具有良好的稳健性。

研究意义与结论

本文提出了一种基于原型网络的一次性迁移学习方法，用于优化家用康复系统中的手势识别，这些改进能够在无需频繁监督的情况下提升设备性能。此外，本文还探讨了时间分段和特征选择的重要性。结果表明，扩展时间段虽然能提升性能但会损失实时性，而特征选择的效果视分类器当别，会显著改进或下降模型性能。因此，在输入模型前考虑去除噪声和保留必要信息的降维技术非常重要。

本研究为后续开发适应性强、准确性高的家用康复系统打下了坚实的基础，为中风患者提供了更好的康复支持。