Amélioration de l’imagerie super-structurelle et de la microscopie électronique volumique via des algorithmes d’apprentissage profond basés sur les modèles de diffusion

Introduction

La microscopie électronique (Electron Microscopy, abrégée EM) en tant qu’outil d’imagerie à haute résolution a permis des percées majeures en biologie cellulaire. Les techniques EM traditionnelles étaient principalement utilisées pour l’imagerie 2D, révélant des structures cellulaires complexes à l’échelle nanométrique, mais présentaient certaines limitations pour l’étude des structures 3D. La microscopie électronique volumique (Volume Electron Microscopy, abrégée VEM), une technique plus avancée, a permis l’imagerie 3D de cellules et de tissus en combinant des techniques d’acquisition en série et de tomographie (comme la microscopie électronique à transmission TEM et la microscopie électronique à balayage SEM), permettant d’extraire des structures 3D nanométriques de cellules, de tissus et même de petits organismes modèles.

Bien que la VEM ait surmonté les limites de l’EM 2D conventionnelle, il existe un compromis inhérent entre la vitesse d’imagerie et la qualité, limitant la région et le volume d’imagerie. De plus, la génération de données isotropiques reste un défi majeur pour la VEM. Actuellement, la VEM produit généralement des données anisotropiques, et même avec les techniques de pointe de FIB-SEM (Focused Ion Beam-Scanning Electron Microscopy), elle ne peut générer des données isotropiques que dans de petits volumes (environ 300μm x 300μm x 300μm). Pour surmonter ces limitations techniques, les chercheurs ont récemment introduit des méthodes computationnelles et d’apprentissage profond pour accélérer le processus d’imagerie et améliorer la qualité des images.

Source de l’article

Cette recherche est le fruit d’une collaboration entre des équipes du Département de chimie de l’Université de Hong Kong, de l’École des sciences moléculaires de l’Université d’Australie-Occidentale et du Département de génie électrique et électronique de l’Université de Hong Kong. Elle a été publiée le 20 mai 2024 dans Nature Communications. Les auteurs sont Chixiang Lu, Kai Chen, Heng Qiu, Xiaojun Chen, Gu Chen, Xiaojuan Qi et Haibo Jiang.

Détails de la recherche

Flux de travail

Cette recherche propose une méthode d’apprentissage profond basée sur un modèle de diffusion, appelée emdiffuse, visant à améliorer les capacités d’imagerie super-structurelle de la microscopie électronique et de la microscopie électronique volumique. Emdiffuse comprend une série d’algorithmes pour le débruitage, la super-résolution et la génération de données isotropiques.

Traitement du débruitage

La partie débruitage d’emdiffuse, appelée emdiffuse-n, comprend l’acquisition de données, le traitement d’images et le modèle de diffusion. L’équipe a d’abord acquis des paires d’images bruitées et de référence à différents temps d’acquisition. Ensuite, une méthode hiérarchique a été utilisée pour aligner et enregistrer avec précision les images bruitées avec les images de référence. Un modèle de diffusion appelé udim a ensuite été entraîné pour supprimer le bruit.

Lors de l’inférence, udim peut générer plusieurs prédictions sans bruit possibles à partir d’une image d’entrée, améliorant la précision et la fiabilité des prédictions. L’équipe a comparé emdiffuse-n à trois méthodes de débruitage largement utilisées (care, rcan et pssr) et deux méthodes auto-supervisées (noise2noise et noise2void), validant ses performances supérieures pour générer des images contenant des informations super-structurelles complexes.

Traitement de la super-résolution

Pour la tâche de super-résolution, emdiffuse-r a été utilisé pour reconstruire des images haute résolution à partir d’images basse résolution. L’équipe a acquis un ensemble de données de super-résolution du cortex cérébral de souris comprenant des entrées bruitées et des données de référence, pour l’entraînement et le test d’emdiffuse-r et d’autres modèles de référence. Les résultats expérimentaux ont montré qu’emdiffuse-r surpassait les autres méthodes pour l’amélioration de la résolution et la résolution des détails structurels, permettant de distinguer les vésicules synaptiques proches et les crêtes mitochondriales.

Reconstruction isotropique

Emdiffuse a également été étendu à la reconstruction isotropique. Nous avons développé les modèles vemdiffuse-i et vemdiffuse-a pour générer des volumes isotropiques à partir de volumes anisotropiques. Vemdiffuse-i génère des données isotropiques à partir de petits volumes de données d’entraînement isotropiques, tandis que vemdiffuse-a n’a besoin que de données d’entraînement anisotropiques pour effectuer la reconstruction.

Principaux résultats

Performances de débruitage d’emdiffuse-n

Dans les expériences, emdiffuse-n a non seulement généré des images débruitées à très haute résolution, mais a également été capable d’auto-évaluer la fiabilité de ses prédictions. L’équipe a intégré une évaluation de la difficulté de prédiction dans le processus d’entraînement, empêchant les échantillons difficiles d’influencer négativement les poids du modèle, améliorant ainsi la stabilité et les performances.

Performances de super-résolution d’emdiffuse-r

Emdiffuse-r a démontré des capacités de super-résolution supérieures, en particulier pour les entrées à faible niveau de bruit. Grâce à une méthode de génération de prédictions optimisée, emdiffuse-r a pu doubler la résolution des images et offrir une accélération d’un facteur 36 de la vitesse d’imagerie.

Reconstruction isotropique avec vemdiffuse-i et vemdiffuse-a

Vemdiffuse-i a pu générer des données de haute qualité similaires aux volumes isotropiques originaux à partir de données anisotropiques, reconstruisant avec précision les structures d’organes tels que les mitochondries et le réticulum endoplasmique. Vemdiffuse-a, quant à lui, a pu réaliser une génération de haute qualité de données isotropiques sans avoir besoin de données d’entraînement isotropiques, permettant ainsi d’utiliser les grands ensembles de données existants pour l’étude des structures cellulaires 3D.

Conclusion et importance

La recherche proposée avec emdiffuse a non seulement grandement accéléré le processus d’imagerie de l’EM et de la VEM traditionnelles, mais a également considérablement amélioré la qualité des images. En particulier, la reconstruction de données anisotropiques en données isotropiques sans avoir besoin de données d’entraînement isotropiques a une valeur pratique importante pour de nombreux domaines de recherche. Emdiffuse a démontré de puissantes capacités de généralisation et de transfert sur divers échantillons biologiques, ne nécessitant qu’une paire de données pour l’ajustement fin du modèle. Les résultats expérimentaux sur différents échantillons biologiques ont montré que cette méthode a un vaste potentiel d’application, permettant d’étudier les structures nanocellulaires complexes à l’intérieur de grands systèmes biologiques volumiques et ouvrant de nouvelles voies d’exploration scientifique.

Points forts de la recherche

1. Multifonctionnel : emdiffuse intègre les fonctionnalités de débruitage, de super-résolution et de reconstruction isotropique, s’adaptant aux différents besoins des applications EM et VEM.
2. Efficace : L’utilisation des modèles de diffusion permet un entraînement et une inférence efficaces, augmentant considérablement la résolution des images et la vitesse d’imagerie.
3. Fiable : La fonction d’auto-évaluation permet d’évaluer en temps réel la fiabilité des prédictions, aidant les chercheurs à prendre des décisions plus précises.
4. Applicabilité étendue : Emdiffuse a prouvé ses performances supérieures sur différents types et niveaux de bruit de données, et peut facilement s’adapter à de nouveaux ensembles de données biologiques.

Cette recherche sur emdiffuse contribuera davantage au progrès des techniques EM et VEM à l’avenir, fournissant des outils plus puissants dans le domaine des sciences de la vie et révélant les structures internes complexes des systèmes biologiques.