多模态解缠变分自编码器与博弈理论解释性在胶质瘤分级中的应用 背景介绍 在中枢神经系统中，胶质瘤是最常见的原发性脑肿瘤。根据细胞活动和侵袭性，世界卫生组织（WHO）将其分为I至IV级，其中I和II级称为低级别胶质瘤（LGG），III和IV级称为高级别胶质瘤（HGG）。在临床实践中，治疗决策通常需要针对不同的肿瘤级别进行个性化调整。因此，准确的胶质瘤分级对于治疗决策、个性化治疗以及患者预后的预测至关重要。目前，胶质瘤分级的金标准仍然是通过手术活检或组织病理学分析。然而，这种方法是侵入性的，并且不具有实时性，可能导致癫痫、感染甚至沿穿刺路线的肿瘤转移。因此，开发一种能够在术前无创且及时诊断胶质瘤级别的分级系统具有重要意义。 磁共振成像（MRI）广泛应用于胶质瘤患者的临床术前诊断、治疗决策和预后评估...

通过互相增强的跨模态图像生成与配准方法进行未对齐PAT和MRI图像的无监督融合 背景和研究目的 近年来，光声断层成像（Photoacoustic Tomography, PAT）和磁共振成像（Magnetic Resonance Imaging, MRI）作为前沿的生物医学成像技术在临床前研究中广泛应用。PAT能够提供高光学对比度和深层成像，但软组织对比度较差；而MRI具有优异的软组织成像能力，但时间分辨率较低。尽管多模态数据融合方面取得了一定进展，但由于图像未对准和空间失真的问题，PAT和MRI图像融合仍具有挑战性。 为了解决这些问题，本文作者提出了一种称为PAMRFuse的分阶段深度学习框架，重点在于未对准的PAT和MRI图像融合。该框架包括一个多模态到单模态的配准网络，用于准确对准输入...

TGFuse：基于Transformer和生成对抗网络的红外与可见光图像融合方法 背景介绍 随着成像设备和分析方法的发展，多模态视觉数据迅速涌现，具有许多实际应用。在这些应用中，图像融合在帮助人眼感知多模态数据的信息关联中起到了重要作用。尤其是红外和可见光图像的融合，在军事、安全和视觉追踪等领域具有重要应用，成为图像融合任务的重要一环。设计一个自然且高效的图像融合算法，能够提升整图级别的感知，从而适应复杂场景的融合需求。然而，现有基于卷积神经网络（CNN）的融合方法直接忽略了远程依赖性，这妨碍了对整幅图像的平衡感知。 传统的多尺度变换基础上的融合算法，通过提取源图像的多尺度表示并进行融合和还原，获得了初步的研究成果。然而，这些方法在复杂场景的融合方面能力有限，且容易引入噪声，操作效率低。随着...

基于信息感知的Transformer展开网络促进高光谱和多光谱图像融合 背景介绍 高光谱图像（Hyperspectral Image, HSI）由于其包含多个波段的光谱信息，在材料识别、图像分类、目标检测和环境监测等遥感应用中发挥着重要作用。然而，由于传感器硬件的限制，实际的成像过程中存在空间分辨率和光谱分辨率之间的权衡问题。具体来说，成像传感器只能提供丰富光谱信息的图像（低分辨率的HSI，LR-HSI），或者是高空间分辨率但光谱信息较少的图像（高分辨率的多光谱图像，HR-MSI）。为了获得高分辨率的HSI（HR-HSI），研究者们提出了将LR-HSI和HR-MSI融合的方法，称为MSI-HSI融合。MSI-HSI融合在遥感图像处理中引起了广泛关注。 论文来源 这篇论文《Advancing ...