Modelo de base de visión para segmentación, clasificación y registro de imágenes de resonancia magnética 3D

Área de la Ciencia:

• Inteligencia Artificial
• Imágenes Médicas
• Visión por Computadora

Sus antecedentes:

• Los modelos de base de visión (VFM) ofrecen representaciones generales para tareas posteriores.
• Los VFM existentes a menudo se preentrenan en modalidades que no son de RM, lo que limita el rendimiento de las aplicaciones de RM.
• Las diferencias en los principios de imagen y la distribución de datos dificultan la versatilidad de los VFM en RM.

Objetivo del estudio:

• Presentar Triad, un VFM diseñado específicamente para la segmentación, clasificación y registro de RM 3D.
• Aprovechar el conjunto de datos de preentrenamiento de RM 3D más grande (Triad-129K) para un aprendizaje de representaciones robusto.
• Mejorar el rendimiento y la versatilidad de los VFM en aplicaciones de RM 3D.

Principales métodos:

• Se desarrolló Triad utilizando el marco SimMIM en 129K volúmenes de RM 3D.
• Se restringió la distribución semántica utilizando descripciones textuales de la modalidad y los parámetros de imagen.
• Se evaluó Triad en 25 conjuntos de datos posteriores en tareas de segmentación, clasificación y registro.

Principales resultados:

• nnUNet-Triad-SimMIM mejoró la segmentación en un 2,13 % sobre nnUNet-Scratch en 17 conjuntos de datos.
• Swin-B-Triad-SimMIM logró una mejora del 4,38 % en la clasificación sobre Swin-B-Scratch en 5 conjuntos de datos.
• SwinUNETR-Triad-SimMIM mejoró el registro en un 3,84 % sobre SwinUNETR-Scratch en 2 conjuntos de datos.

Conclusiones:

• El preentrenamiento a gran escala en datos de RM 3D aumenta significativamente el rendimiento en tareas posteriores.
• Triad demuestra el valor de los VFM específicos de RM para aplicaciones de imágenes médicas.
• Las modalidades de datos y las características de los órganos consistentes entre el preentrenamiento y las tareas posteriores son clave para las ganancias de rendimiento.