利用可解释人工智能进行脑肿瘤检测和分类的视觉Transformer、集成模型以及迁移学习

由于脑肿瘤的高发病率和致命性,快速且准确地检测和分类脑肿瘤变得尤为重要。脑肿瘤包括恶性和非恶性两种类型,其异常生长会对大脑造成长期损害。磁共振成像(MRI)是一种常用的脑肿瘤检测方法。然而,依赖于专家手工分析 MRI 影像存在结果不一致的风险,同时仅仅识别肿瘤是不够的,快速确定肿瘤类型以尽早开始治疗同样重要。 为了提高肿瘤检测的速度、可靠性和公正性,本研究探索了多种深度学习(Deep Learning, DL)架构,包括 VGG16、InceptionV3、VGG19、ResNet50、InceptionResNetV2 和 Xception,并提出了基于最佳三种传递学习(Transfer Learning, TL)模型的新模型 IVX16。本文的多类分类模型旨在解决当前主要集中在二分类问题...

多视角时空图卷积网络与域泛化在睡眠阶段分类中的应用

睡眠阶段分类在睡眠质量评估和疾病诊断中至关重要。然而,现有的分类方法在处理时间延变的多通道脑信号的空间和时间特征、应对个体生物信号差异以及模型的可解释性方面仍然面临诸多挑战。传统的机器学习方法依赖于复杂的特征工程,而深度学习方法尽管在特征表示学习上表现出色,但在空间-时间特征利用、跨个体泛化能力以及模型可解释性方面仍有待提升。 为了应对上述挑战,北京交通大学的Ziyu Jia等人以及麻省理工学院的Li-Wei H. Lehman提出了一种多视角时空图卷积网络(Multi-View Spatial-Temporal Graph Convolutional Networks, MSTGCN),并结合域泛化用于睡眠阶段分类。 论文来源 这篇论文由北京交通大学计算机与信息技术学院的Ziyu Jia,...

物理信息驱动深度学习用于肌肉骨骼建模:基于表面肌电图预测肌肉力量和关节运动

肌骨模型已经广泛用于生物力学分析,因为它们能够估计难以通过活体直接测量的运动变量(如肌肉力量和关节力矩)。传统的物理驱动计算肌骨模型可以解释神经驱动到肌肉、肌肉动力学、以及身体和关节运动学和动力学之间的动态交互。然而,这些模型由于其复杂性,运行速度较慢,难以实现实时应用。近年来,数据驱动方法以其实现速度快和操作简单的优点成为一种有前途的替代方案,但它们不能反映基础的神经机械过程。 本文提出了一种融合物理知识的深度学习框架,用以实现肌骨建模。在该框架中,将物理领域的知识引入数据驱动模型,作为软约束对其进行罚则/正则化处理。本文采用表面肌电图(SEMG)同步预测肌肉力量和关节运动学作为示例,使用卷积神经网络(CNN)实现该框架,并在两个数据集上进行了实验验证,展示了该框架的有效性和鲁棒性。 论文...

基于深度学习的实时视觉学习者识别模型

在如今的教育环境中,理解学生的学习风格对提高他们的学习效率至关重要。特别是视觉学习风格(visual learning style)的识别,有助于教师和学生在教学和学习过程中采取更有效的策略。目前,自动识别视觉学习风格主要依靠脑电图(Electroencephalogram, EEG)和机器学习技术。然而,这些技术通常需要离线处理来消除伪影和提取特征,从而限制了其在实时应用中的适用性。 这项由Soyiba Jawed、Ibrahima Faye和Aamir Saeed Malik在《IEEE Transactions on Neural Systems and Rehabilitation Engineering》上发表于2024年的研究,提出了一种基于深度学习技术的实时视觉学习者识别模型,...

基于Transformer的深度学习网络与时空信息结合的原始EEG分类方法

研究背景及目的 近年来,脑机接口(Brain-Computer Interface,BCI)系统在神经工程和神经科学领域广泛应用,而脑电图(Electroencephalogram,EEG)作为反映中枢神经系统不同神经元群体活动的数据工具,已经成为这些领域中核心的研究内容。然而,EEG信号具有低空间分辨率、高时间分辨率、低信噪比以及个体差异大等特征,这些都为信号处理和准确分类带来了极大的挑战。尤其在运动想象(Motor Imagery,MI)这一EEG-BCI系统常用范式中,准确分类不同MI任务的EEG信号对于BCI系统的功能恢复和康复具有重要意义。 传统的MI-EEG分类方法通常基于手工特征提取和分类,但这些方法可能在特征提取阶段丢失EEG的有用信息。近年来,深度学习模型因其自动特征提取和...

基于小波的时间-频谱-注意力相关系数用于运动想象EEG分类

脑机接口(Brain-Computer Interface, BCI)技术近年来发展迅速,被认为是一种无需通过外周神经和肌肉,仅通过大脑直接控制外部设备的前沿技术。特别是在运动想象(Motor Imagery, MI)脑电图(Electroencephalography, EEG)应用中,BCI 技术展现了巨大的潜力。通过分析MI-EEG信号,可以帮助患有物理障碍或神经肌肉退化的病人提高生活质量。然而,由于个体之间的差异以及大脑活动的稳定性、低信噪比(Signal-to-Noise Ratio, SNR)等因素,如何从复杂的EEG信号中提取有效特征以提高MI-EEG分类系统的准确性,仍然是一个巨大的挑战。 在MI-EEG分类中,特征提取与表示是决定分类性能的关键。当前广泛使用的特征提取方法,...

听觉记忆识别与预测编码的大脑时空层次结构

听觉记忆识别与预测编码的大脑时空层次结构

听觉记忆识别与预测编码的大脑时空层次结构 背景介绍 本研究旨在探索人类脑在识别之前记忆的音乐序列及其系统性变化时的层次性脑机制。虽然有关视空模式的神经处理已经进行了广泛研究,但对意识识别听觉序列及其关联的预测误差的理解依然不足。听觉系统从随时间发展形成的模式和序列中提取信息,为理解大脑的时间层次提供了独特的机会。相关研究推测大脑通过预测编码理论(Predictive Coding Theory,PCT)不断更新内部模型来预测外界信息和刺激。 研究来源 本文作者包括L. Bonetti, G. Fernández-Rubio, F. Carlomagno, M. Dietz, D. Pantazis, P. Vuust和M. L. Kringelbach,分别来自奥胡斯大学、牛津大学、波洛尼亚...

顽固性癫痫患者的癫痫发作起始区定位方法研究

近年来,难治性癫痫(refractory epilepsy)越来越受到医学界的关注。这种癫痫被定义为尽管经过两次适当的抗癫痫药物治疗,仍持续发生严重的癫痫发作。对于药物治疗无效的患者来说,如果能够准确定位癫痫发作起源区(seizure onset zone, SOZ),通过切除或消融该区域的治疗方法可能会具有治愈作用。然而,在美国,通过立体定向脑电图(stereoelectroencephalography, SEEG)电极监测不同脑区的癫痫活动是药物难治性癫痫患者常见的手术评估方法,但这种方法依赖于检测到足够数量的癫痫发作,患者需住院监测数日甚至数周。此外,即使完成SEEG监测,SOZ的精准定位也无法得到保证。因此,研究如何提高SOZ的定位准确性具有重要意义。 这篇论文的主要作者包括Ale...

基于深度学习放射组学模型结合临床放射特征检测胰腺导管腺癌患者隐匿性腹膜转移的研究与验证

深度学习放射组学模型结合临床放射学特征预测胰腺导管腺癌患者隐性腹膜转移的开发与验证 背景介绍 胰腺导管腺癌(Pancreatic Ductal Adenocarcinoma, PDAC),一种极为致命的恶性肿瘤,其5年生存率约为11%。其糟糕的预后部分是由于80-85%的患者在出现症状时,已经被诊断出为晚期疾病,不可切除或已经发生转移,包括隐性腹膜转移(Occult Peritoneal Metastases, OPM)。腹膜是PDAC转移的第二常见途径,约10-20%的患者在首次诊断时即表现为腹膜转移,对于这一部分患者来说,早期识别腹膜转移将极大地影响治疗选择以避免不必要的手术。 传统的腹膜转移诊断依赖于计算机断层扫描(CT),但是由于缺乏明显的标志,早期腹膜转移往往难以被发现。诊断性分期...

将手术室变成混合现实环境: 对颅内动脉瘤夹闭术的前瞻性临床研究

将手术室变成混合现实环境: 对颅内动脉瘤夹闭术的前瞻性临床研究

将手术室变成混合现实环境:前瞻性临床研究用于脑动脉瘤夹闭手术 对脑动脉瘤的手术处理是神经外科中一个高度复杂且精细的过程。为了改善手术效果,研究人员不断探索新的技术和方法。近年来,混合现实(Mixed Reality, MR)技术的发展为手术室(Operating Room, OR)带来了新的突破。尤其是在使用头戴显示器(Head-Mounted Display, HMD)的情况下,外科医生可以在患者的实际解剖结构上叠加虚拟的三维(3D)图像,从而提高空间定位和操作的直觉性。 研究背景和目标 本研究旨在评估一种新型的混合现实头戴显示器(MR-HMD)在脑动脉瘤夹闭手术中的应用潜力,特别是对外科医生空间定位的帮助。传统的手术导航系统通常依赖于二维(2D)显示器,而外科医生需要将其手部操作在3D现...