相互強化のクロスモダリティ画像生成および登録を介した、不整合のあるPATおよびMRI画像の無監督融合

2024-05-26 Sun
相互補完的クロスモーダル画像生成と登録方法による未アラインズPATとMRIの教師なし融合
背景と研究目的近年、光音響トモグラフィー（Photoacoustic Tomography, PAT）と磁気共鳴イメージング（Magnetic Resonance Imaging, MRI）が最先端の生物医学イメージング技術として臨床前研究で広く応用されています。PATは高い光学コントラストと深部イメージングを提供できる一方、軟組織コントラストが低い欠点があります。これに対し、MRIは優れた軟組織イメージング能力を持ちますが、時間分解能が低いです。多モーダルデータ融合に関して一定の進展は見られましたが、画像の未アラインと空間ゆがみの問題のため、PATとMRIの画像融合はなおも難題として残っています。

これらの問題を解決するため、本研究の著者はPAMRFuseと呼ばれる段階的なディープラーニングフレームワークを提案しました。このフレームワークは未アラインのPATとMRI画像の融合に焦点を当てており、モダリティ間の差分を減らすことを目的としています。フレームワークには、入力されたPATとMRI画像ペアを正確にアラインするためのマルチモーダルからシングルモーダルへの登録ネットワーク、および情報豊かな特徴を選択して融合するための自己注意融合ネットワークが含まれています。この研究の目的は、未アラインのPATとMRI画像間で情報の融合を達成し、研究者により完全かつ詳細なターゲット情報を提供することです。
論文の出典この論文はYutian Zhong、Shuangyang Zhang、Zhenyang Liu、Xiaoming Zhang、Zongxin Mo、Yizhe Zhang、Haoyu Hu、Wufan Chen（IEEE上級会員）、およびLi Qiによって完成され、皆Southern Medical Universityおよびその関連機関に属しています。論文は2024年5月の《IEEE Transactions on Medical Imaging》に掲載されました。
研究の流れと方法作業の流れPAMRFuseの作業の流れは、マルチモーダルからシングルモーダルへの登録ネットワークと自己注意融合ネットワークの2つの主要部分に分かれています。
マルチモーダルからシングルモーダルへの登録ネットワーク：
画像合成の戦略を通じて画像のアラインメントを簡素化し、スペースオフセットとゴーストイメージを減少させます。具体的には、生成対抗ネットワーク（GAN）構造を使用します。GANには生成器と識別器が含まれ、生成器は残差接続を通じて生成画像の多様性と品質を向上させます。
合成された疑似MRI画像を使用して、実際のMRI画像とPAT画像のアラインメントを支援し、両者間のアラインメントエラーを縮小します。
自己注意融合ネットワーク：
グローバルパス、ローカルパス、およびマージモジュールを含みます。グローバルパスは自己注意メカニズムを利用してグローバル特徴を抽出し、ローカルパスはディテールを保持します。最終的に、これらの特徴はマージモジュールを通じて融合され、融合画像が生成されます。
2つの対抗識別器を使用して、融合画像とシングルモーダル画像を区別し、融合品質を向上させます。
マルチモーダル画像合成ネットワークPATとMRIのイメージング環境の違いにより、画像間にアラインメントが存在しません。未アラインの画像を直接融合すると、ゴーストアーティファクトが発生します。したがって、研究者はGANを使用して疑似MRI画像を生成し、マルチモーダルアラインメントの問題をシングルモーダルアラインメントの問題に簡素化する方法を提案しました。生成器のアーキテクチャは残差接続を採用してトレーニングの安定性と画像生成の多様性を向上させます。識別器は複数の畳み込み層を使用して画像の特徴を抽出し、完全畳み込み層を通じて分類し、生成画像の真偽を判断します。
登録ネットワークこのネットワークは、画像合成ネットワークが生成した疑似MRI画像と実際のMRI画像を使用して画像変形フィールドを生成し、マルチモーダルアラインメントの計算複雑性を減少させます。こうしてタスクをシングルモーダルアラインメントの問題に変換します。登録ネットワークのアーキテクチャはU-Netモデルに類似しており、残差モジュールを統合してネットワーク性能を強化します。
自己注意融合ネットワーク融合ネットワークは、グローバルパス、ローカルパス、およびマージモジュールの3つのサブモジュールで構成されます。グローバルパスは長距離依存関係をモデル化するために自己注意メカニズムを利用し、ローカルパスを追加してディテールを保持します。マージモジュールは、これらの抽出された特徴を融合し、最終的な融合画像を生成します。さらに、融合画像の出所を区別するために、2つの対抗識別器がそれぞれ疑似MRIおよびPAT画像を処理します。
主要な研究結果定量および定性的分析研究者は、小動物PAT-MRI画像におけるPAMRFuseの優れた性能を検証するために大量の定量および定性実験を行いました。実験結果は、PAMRFuseが画像の未アラインメント問題を効果的に排除しつつ、MRIの軟組織ディテールとPATのコントラスト情報を保持できることを示しました。10種の最先端の融合方法と比較した結果、PAMRFuseは各種指標でより高い画像品質と優れた融合効果を示しました。
性能指標一連の指標（例えば、平均二乗誤差 MSE、ピーク信号対雑音比 PSNR、相関係数 CC など）を通じて、PAMRFuseの有効性をさらに検証しました。特に高強度のコントラスト情報領域において、PAMRFuseは元の画像のディテールを保ちながら情報の欠落と画像のぼかしを避けることができました。
モダリティ画像の変異性分析とアブレーション実験異なるモダリティ画像の合成と損失関数の影響を検証するため、研究者は複数のアブレーション実験を行いました。結果は、GANを使用して疑似MRI画像を生成し、グローバル相関損失（GCC）と二次変形フィールド勾配損失（LSmooth）と組み合わせることで、画像のアライン精度と全体の品質を大幅に向上させることができることを示しました。さらに、自己注意メカニズムとディープコネクションを追加することで、有意義な特徴を効果的に選択して融合し、画像のディテールを保持することができました。
結論PAMRFuseは未アラインのPATとMRI画像問題を情報融合を通じて解決する最初の試みであり、顕著な成果を上げました。この方法は、従来の方法や現行のディープラーニング方法よりも優れた画像融合性能を示し、複雑な画像融合タスクを処理する際の広範な適用性を実証しました。ハードウェア統合システムにおける課題は依然として存在しますが、PAMRFuseは多モーダル画像融合分野において革新的かつ実用的な方法を提供し、今後の研究の基礎を築きました。
研究の価値この研究は、多モーダル画像融合の応用範囲を拡大し、複雑な画像のアラインと融合タスクを処理するための効果的な新しい方法を提案しました。PAMRFuseは、画像のディテールと豊富な情報を保持しつつ、高品質な融合画像を提供し、臨床前研究や他の分野での応用において重要な意義を持っています。