Un pas supplémentaire vient d’être franchi dans cette révolution technologique en cours.
Découvrez NeuroVFM : un nouveau modèle de base en neuroimagerie entraîné avec Vol-JEPA sur des volumes d’IRM et de tomodensitométrie cliniques non triés
NeuroVFM apprend l’anatomie et la pathologie du cerveau directement à partir de données d’IRM et de tomodensitométrie hospitalières non triées, sans recourir aux descriptions des rapports radiologiques.
Dans le même temps, les modèles de pointe s’appuient principalement sur des éléments publiques issues d’Internet. Or, les images de neuroimagerie clinique y sont rarement présentes, car les IRM et les tomodensitométries contiennent des traits faciaux permettant d’identifier les personnes. Par conséquent, les modèles généraux affichent des performances insuffisantes pour les tâches liées à l’imagerie cérébrale. Une équipe de exploration de l’Université du Michigan comble cette lacune grâce à NeuroVFM, un article publié dans *Nature Medicine*.
À la base, NeuroVFM est un modèle de base visuel généraliste dédié à la neuroimagerie. Plus précisément, il a été entraîné sur 5,24 millions de volumes cliniques d’IRM et de tomodensitométrie. Ces données proviennent de 566 915 examens issus du jeu de données UM-NeuroImages. Ces données couvrent plus de deux décennies de soins courants dispensés au sein de Michigan Medicine.
Notons par ailleurs, l’équipe de recherche qualifie son approche d’« apprentissage du dispositif de santé ». En résumé, le modèle apprend à partir de données non triées générées dans le cadre des activités cliniques courantes. Il évite ainsi le goulot d’étranglement lié aux rapports radiologiques appariés. Il évite en outre le tri spécifique à une maladie utilisé dans les classificateurs étroits.
Il convient notamment de noter que le système de base s’appelle Vol-JEPA. Il étend les méthodes antérieures I-JEPA et V-JEPA aux images médicales volumétriques. Cela reflète une tendance plus générale : l’apprentissage de type JEPA s’étend au domaine de l’imagerie médicale.
Vol-JEPA est un algorithme auto-supervisé fonctionnant uniquement à partir d’images. Plutôt que de reconstruire des pixels, il prédit des représentations dans un espace latent appris. Il ne nécessite donc ni étiquettes, ni texte de description, ni décodeur de voxels.
Tout d’abord, chaque volume 3D est divisé en segments de 4 × 16 × 16 voxels qui ne se chevauchent pas. Ensuite, le volume est scindé en un petit contexte visible et une cible masquée plus grande. Un encodeur « étudiant » traite alors les segments du contexte.
Les points essentiels à retenir :
- Il convient notamment de noter que le système de base s’appelle Vol-JEPA.
- Il ne nécessite donc ni étiquettes, ni texte de description, ni décodeur de voxels.
- Tout d’abord, chaque volume 3D est divisé en segments de 4 × 16 × 16 voxels qui ne se chevauchent pas.
Un dossier qu’il faudra continuer à observer dans les mois à venir.
Sur le même sujet :
Tel que rapporté par MarkTechPost : MarkTechPost