分享自:

基于可穿戴振动传感器的多模态深度集成分类系统用于检测咽喉相关事件

期刊:npj digital medicineDOI:10.1038/s41746-024-01417-w

这篇文档属于类型a,即报告了一项原创性研究。以下是针对该研究的学术报告:


作者及机构
本研究由Yonghun Song(1,6)、Inyeol Yun(2,6)、Sandra Giovanoli(3)、Chris Awai Easthope(3)和Yoonyoung Chung(1,4,5)共同完成,分别来自韩国浦项科技大学(POSTECH)电气工程系、未来IT创新实验室、瑞士DART/LLUI/CeFIR康复技术研究中心等机构。研究发表于npj Digital Medicine期刊,2025年出版,DOI为10.1038/s41746-024-01417-w。

学术背景
研究聚焦于吞咽障碍(dysphagia)的实时监测领域。吞咽障碍由神经性疾病、手术并发症或肌肉损伤引发,可能导致营养不良、脱水或吸入性肺炎,严重影响患者生活质量。传统临床评估依赖医护人员,无法实现持续监测,且诊所环境与患者日常表现存在差异。因此,开发可穿戴设备对咽喉相关事件(如咳嗽、说话、吞咽、清嗓)进行连续监测具有重要意义。

研究目标
团队提出一种基于柔性皮肤附着式咽喉振动传感器(Soft Skin-Attachable Throat Vibration Sensor, STVS)的多模态深度学习分类系统,旨在实现高精度(>95%)的咽喉事件自动分类,并解决传统麦克风易受环境噪声干扰的问题。

研究流程
1. 传感器开发与硬件设计
- STVS结构:传感器分为贴合喉结的振动检测部分和位于颈部侧面的控制模块,通过蛇形互联结构连接,确保拉伸稳定性(拉伸100%时电阻仅增加0.19%)。
- 核心组件:包括惯性测量单元(IMU,采样率6400 Hz)、微控制器(STM32WB55CGU6)、蓝牙低功耗(BLE)传输模块,封装于柔性聚合物(Xinus Silicone)中。
- 创新点:传感器通过优化位置(喉结上方)和自适应滤波(截止频率20 Hz)提升信噪比,避免运动伪影。

  1. 数据采集与预处理

    • 受试者:32名受试者(年龄、性别、语言多样),分训练集(英语)和测试集(多语言)。
    • 协议:每位受试者重复咳嗽、说话、吞咽、清嗓各5次,间隔2秒,共采集9000段数据(每段625 ms)。
    • 预处理:包括最大绝对值归一化、自适应滤波、基于峰值阈值的分段(阈值=静息信号平均幅值的6倍)。
  2. 多模态深度学习模型开发

    • 数据增强:通过翻转、平移、加噪等操作将数据扩增13倍,缓解过拟合。
    • 特征提取
      • 时域特征:波形(Waveform)和基频(F0,通过RAPT算法提取)。
      • 时频域特征:频谱图(STFT生成)和梅尔频谱图(Mel Spectrogram)。
    • 网络架构
      • WaveNet:处理时域数据,采用残差连接和扩张卷积捕获长程依赖。
      • ResNet50EfficientNet:处理图像化时频特征,后者通过MBConv模块和通道注意力机制优化。
      • 集成方法:采用LightGBM算法堆叠上述网络的输出概率,提升分类鲁棒性。
  3. 性能评估

    • 测试集结果:整体准确率95.96%,AUC 0.99。各事件分类准确率:咳嗽93%、说话98%、吞咽100%、清嗓90%。
    • 多语言验证:模型在法语、德语、西班牙语等测试集中表现稳定,证明其泛化能力。
    • 抗干扰测试:在行走(4 km/h)和模拟汗液条件下,准确率保持95.16%,显著优于传统麦克风(易受环境噪声干扰)。

主要结果与逻辑关系
- 传感器性能:STVS的蛇形互联结构(补充图2)和喉结定位(补充图11)确保了信号稳定性,为高质量数据采集奠定基础。
- 模型优势:Grad-CAM可视化(图4)显示,咳嗽与清嗓的频谱特征相似,但集成模型通过多模态特征(如时域波形差异)实现区分。
- 临床意义:相比既往研究(表1),本系统首次实现四类事件的高精度分类,且硬件设计更适合日常使用。

结论与价值
1. 科学价值
- 提出“硬件双模块化+多模态集成学习”框架,为可穿戴医疗设备的信号处理提供新范式。
- 证明咽喉振动信号的语言无关性(补充图7),支持跨语言应用。
2. 应用价值
- 为吞咽障碍患者提供院外连续监测方案,助力个性化治疗。
- 传感器的小型化(0.7×0.9×0.3 cm)和低功耗(50 mAh电池续航5.2小时)适合长期佩戴。

研究亮点
1. 硬件创新:STVS的柔性封装和喉结定位解决传统传感器贴合难题。
2. 算法创新:首次将WaveNet与EfficientNet结合,通过LightGBM集成提升分类性能。
3. 跨学科贡献:融合材料科学(柔性电子)、信号处理(自适应滤波)和深度学习(多模态集成)。

其他价值
- 开源数据与代码(Zenodo和GitHub),促进领域内复现与改进。
- 提出运动伪影过滤方案(高通过滤),为动态场景下的生物信号监测提供参考。


(报告总字数:约1800字

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com