ゲーム理論的解釈可能性を持つ多モーダル解きほぐされた変分オートエンコーダによる膠芽腫の分類

多模態解凍変分オートエンコーダとゲーム理論解釈性が膠質腫分類における応用 背景紹介 中枢神経系統で膠質腫は最も一般的な原発性脳腫瘍です。細胞活性と侵襲性に応じて、世界保健機関(WHO)はこれをIからIV級に分類しています。IおよびII級を低位膠質腫(LGG)、IIIおよびIV級を高位膠質腫(HGG)と呼びます。臨床実践において、治療決定は通常、腫瘍の異なる級に合わせて個別に調整する必要があります。そのため、正確な膠質腫分類は、治療決定、個別化治療、患者の予後予測にとって非常に重要です。現在、膠質腫分類のゴールドスタンダードは手術生検や組織病理学分析によって行われています。しかし、この方法は侵襲性があり、リアルタイム性を持っていないため、てんかん、感染症、さらには穿刺経路沿いの腫瘍転移によって...

相互強化のクロスモダリティ画像生成および登録を介した、不整合のあるPATおよびMRI画像の無監督融合

相互補完的クロスモーダル画像生成と登録方法による未アラインズPATとMRIの教師なし融合 背景と研究目的 近年、光音響トモグラフィー(Photoacoustic Tomography, PAT)と磁気共鳴イメージング(Magnetic Resonance Imaging, MRI)が最先端の生物医学イメージング技術として臨床前研究で広く応用されています。PATは高い光学コントラストと深部イメージングを提供できる一方、軟組織コントラストが低い欠点があります。これに対し、MRIは優れた軟組織イメージング能力を持ちますが、時間分解能が低いです。多モーダルデータ融合に関して一定の進展は見られましたが、画像の未アラインと空間ゆがみの問題のため、PATとMRIの画像融合はなおも難題として残っています。 ...

TGFuse:トランスフォーマと生成対向ネットワークに基づく赤外線および可視画像融合アプローチ

TGFuse:トランスフォーマと生成対向ネットワークに基づく赤外線および可視画像融合アプローチ

TGFuse:Transformerと生成対抗ネットワークに基づく赤外線と可視光画像の融合方法 背景紹介 イメージング機器と分析方法の発展に伴い、多環境ビジュアルデータが急速に出現し、多くの実際の応用を持っています。これらの応用の中で、画像融合は多環境データの情報関連を人間の目で理解するのに重要な役割を果たしています。特に赤外線と可視光画像の融合は、軍事、安全、視覚追跡などの分野で重要な応用があります。このため、画像融合任務の重要な一環となっています。自然かつ効果的な画像融合アルゴリズムを設計することができれば、全体的な画像の知覚を向上させ、複雑なシーンの融合要求に適応することができます。しかし、既存の畳み込みニューラルネットワーク(CNN)ベースの融合方法は、遠距離依存性を直接無視してしま...

ハイパースペクトルおよびマルチスペクトル画像融合の進展:情報認識トランスフォーマーに基づく展開ネットワーク

ハイパースペクトルおよびマルチスペクトル画像融合の進展:情報認識トランスフォーマーに基づく展開ネットワーク

情報認識に基づくTransformer展開ネットワークの高次元・多次元画像融合の促進 背景紹介 高次元画像(Hyperspectral Image, HSI)は、多くの波長帯のスペクトル情報を含むため、物質識別、画像分類、ターゲット検出、環境モニタリングなどのリモートセンシング用途で重要な役割を果たしています。しかし、センサーのハードウェアの制約により、実際のイメージングプロセスでは空間分解能とスペクトル分解能の間のトレードオフが存在します。具体的には、イメージングセンサーは豊富なスペクトル情報を提供する画像(低分解能のHSI、LR-HSI)か、空間分解能が高くスペクトル情報が少ない画像(高分解能の多次元画像、HR-MSI)のいずれかしか提供できません。高分解能のHSI(HR-HSI)を得る...