拡散に基づく深層学習法による超微細構造イメージングと体積電子顕微鏡の拡張
拡散モデルベースの深層学習アルゴリズムを用いた超解像度イメージングと体積電子顕微鏡の強化
背景紹介
電子顕微鏡(Electron Microscopy、略してEM)は高解像度のイメージングツールとして、細胞生物学の重大な突破口を開いた。従来のEM技術は主に2次元のイメージングに使用されていたが、ナノスケールの複雑な細胞構造を明らかにしてきた一方で、3次元(3D)構造の研究には一定の限界があった。より高度な技術である体積電子顕微鏡(Volume Electron Microscopy、略してVEM)は、連続切片と断層走査技術(透過電子顕微鏡TEMやスキャニング電子顕微鏡SEMなど)を用いて、細胞や組織の3Dイメージングを実現し、細胞、組織、さらには小型のモデル生物のナノスケールの3D構造を抽出することができる。
VEM技術は従来の2次元EMの限界を打ち破ったものの、イメージング速度と画質の間には本質的なトレードオフが存在し、イメージングエリアとボリュームに制限がある。さらに、等方性(等方向性)のデータを生成することもVEMにとって大きな課題である。現在、VEMで生成されるのは通常異方性のデータで、最先端の集束イオンビーム-走査電子顕微鏡(FIB-SEM)技術を使っても、比較的小さな体積(約300μm x 300μm x 300μm)でしか等方性のデータを生成できない。これらの技術的制限を克服するため、研究者らは近年、計算手法と深層学習技術を導入し、これらの手段を用いてイメージングプロセスを加速し、画質を向上させている。
論文の出所
この研究は、香港大学化学科、オーストラリアのウェスターンオーストラリア大学分子科学学院、香港大学電子・電気工学科の研究チームが共同で行い、2024年5月20日にNature Communicationsに掲載された。論文の著者は、Chixiang Lu、Kai Chen、Heng Qiu、Xiaojun Chen、Gu Chen、Xiaojuan Qi、Haibo Jiangである。
研究の詳細
ワークフロー
この研究では、emdiffuseと名付けられた拡散モデルベースの深層学習手法が提案され、電子顕微鏡とVEMの超解像度イメージング能力を高めることを目的としている。emdiffuseには一連のアルゴリズムが含まれており、ノイズ除去(denoising)、超解像度(super-resolution)、および等方性データセットの生成タスクに対応している。
ノイズ除去処理
emdiffuseのノイズ除去部分はemdiffuse-nと呼ばれ、データ収集、画像処理、拡散モデルの3つの部分から構成されている。まず研究チームは、異なる撮影時間の電子顕微鏡トレーニングペアを取得し、階層的手法を用いてノイズ画像と参照画像を正確に位置合わせおよび登録した。次に、udimと呼ばれる拡散モデルを訓練し、ノイズを除去した。
推論段階では、udimは入力画像から複数の可能なノイズなし予測を生成でき、予測の正確性と信頼性を高めることができる。研究チームは、emdiffuse-nと3つの広く使われているノイズ除去手法(care、rcan、pssr)および2つの自己教師付き手法(noise2noiseとnoise2void)を比較し、複雑な超構造情報を含む画像を生成する際のemdiffuse-nの優れた性能を検証した。
超解像度処理
超解像度タスクでは、emdiffuse-rが低解像度画像から高解像度画像を再構成する。研究チームは、ノイズ入力と基準データを含むマウス大脳皮質の超解像度データセットを取得し、emdiffuse-rおよびその他のベンチマークモデルの訓練とテストに使用した。実験結果は、emdiffuse-rが解像度の向上と詳細構造の識別能力において他の手法を上回り、近接したシナプス小胞やミトコンドリアの狭間を識別することに成功したことを示している。
等方性再構成
emdiffuseはさらに等方性再構成に拡張された。私たちはvemdiffuse-iとvemdiffuse-aモデルを開発し、それぞれ異方性ボリュームから等方性ボリュームを生成するために使用した。vemdiffuse-iは小ボリュームの等方性トレーニングデータから等方性データを生成するのに対し、vemdiffuse-aは等方性トレーニングデータを必要とせず、異方性トレーニングデータのみで再構成タスクを実行できる。
主な結果
emdiffuse-nのノイズ除去性能
実験において、emdiffuse-nは超高解像度のノイズ画像を生成できるだけでなく、予測の信頼性を自己評価する機能も備えている。研究チームは、訓練プロセスに予測困難度評価マップを導入し、困難なサンプルがモデル重みに負の影響を与えるのを防ぐことで、モデルの安定性とパフォーマンスを向上させることに成功した。
emdiffuse-rの超解像度能力
emdiffuse-rは、特に低ノイズレベルの入力を処理する際に優れた超解像度能力を示した。最適化された予測生成手法により、emdiffuse-rは画像の解像度を2倍に増やすことができ、さらに36倍の撮影速度の向上を実現した。
vemdiffuse-iとvemdiffuse-aによる等方性データの再構成
vemdiffuse-iは、異方性データから元の等方性ボリュームに近い高品質のデータを生成でき、ミトコンドリアや小胞体などの器官の構造を正確に再構成することができる。一方、vemdiffuse-aは等方性トレーニングデータを必要とせずに高品質の等方性データ生成を実現でき、既存の大規模データセットを3D細胞構造の研究に活用できるようになった。
結論と意義
本研究で提案されたemdiffuseは、従来のEMとVEMのイメージングプロセスを大幅に加速するだけでなく、画質も大きく改善した。特に、等方性トレーニングデータがない状況でも、異方性データから等方性データへの再構成を実現したことは、多くの研究分野で重要な実用的価値を持つ。emdiffuseは様々な生物サンプルにおいて、強力な一般化能力と転移能力を示し、1組のデータでモデルの微調整が可能である。異なる生物サンプルに対する実験結果から、本手法は広範な応用が期待でき、大規模な生物システム内部の複雑な細胞内ナノ構造の研究を促進し、新たな科学的探求の道を切り開くことができる。
研究の特徴
- 多機能性 : emdiffuseはノイズ除去、超解像度、等方性再構成の機能を統合しており、EMやVEMのさまざまな用途に対応できる。
- 高効率性 : 拡散モデルの適用により、高効率なトレーニングと推論プロセスを実現し、画像解像度と撮影速度を大幅に向上させた。
- 信頼性 : 自己評価機能を導入し、予測結果の信頼性を常時評価できるため、研究者がより正確な判断を下せるようになった。
- 汎用性 : 検証の結果、emdiffuseは異なるタイプやノイズレベルのデータに対して優れた性能を発揮し、新しい生物データセットにも容易に適応できることがわかった。
本研究で開発されたemdiffuseは、今後のEMおよびVEM技術の進歩を加速し、ライフサイエンス分野に強力なツールを提供し、より複雑な生物システムの内部構造を明らかにすることが期待される。