通过互相增强的跨模态图像生成与配准方法进行未对齐PAT和MRI图像的无监督融合

通过互相增强的跨模态图像生成与配准方法进行未对齐PAT和MRI图像的无监督融合 背景和研究目的 近年来,光声断层成像(Photoacoustic Tomography, PAT)和磁共振成像(Magnetic Resonance Imaging, MRI)作为前沿的生物医学成像技术在临床前研究中广泛应用。PAT能够提供高光学对比度和深层成像,但软组织对比度较差;而MRI具有优异的软组织成像能力,但时间分辨率较低。尽管多模态数据融合方面取得了一定进展,但由于图像未对准和空间失真的问题,PAT和MRI图像融合仍具有挑战性。 为了解决这些问题,本文作者提出了一种称为PAMRFuse的分阶段深度学习框架,重点在于未对准的PAT和MRI图像融合。该框架包括一个多模态到单模态的配准网络,用于准确对准输入...