Segmentación de vocabulario amplio para imágenes médicas con indicaciones de texto

Área de la Ciencia:

• Imágenes médicas
• Inteligencia artificial
• Visión por computadora

Sus antecedentes:

• La segmentación precisa de las imágenes médicas 3D es crucial para el diagnóstico y la planificación del tratamiento.
• Los modelos existentes a menudo carecen de la capacidad de generalizar a través de diversas estructuras anatómicas y modalidades de imagen.
• La segmentación basada en pronósticos utilizando el lenguaje natural es un área emergente con un potencial significativo.

Objetivo del estudio:

• Desarrollar un modelo versátil de segmentación de imágenes médicas en 3D (SAT) impulsado por terminologías médicas como indicaciones de texto.
• Construir un árbol integral de conocimiento multimodal de la anatomía humana y un conjunto de datos de segmentación a gran escala.
• Evaluar el rendimiento y las capacidades de generalización de los modelos SAT propuestos (SAT-Nano y SAT-Pro).

Principales métodos:

• Construcción de un árbol de conocimiento multimodal con 6502 terminologías anatómicas.
• Creación de un conjunto de datos de segmentación de imágenes médicas en 3D a gran escala (más de 22K escaneos, 497 clases).
• Desarrollo de un modelo de segmentación de vocabulario amplio que incorpore el conocimiento médico a través del aprendizaje contrastante y la segmentación impulsada por texto.

Principales resultados:

• SAT-Pro (447M parámetros) alcanza un rendimiento comparable a 72 redes especializadas de nnU (más de 2.2B parámetros combinados) en 497 categorías.
• SAT-Pro supera a MedSAM en +7.1% el promedio del coeficiente de similitud de dados (DSC) en 7 regiones del cuerpo humano.
• SAT-Pro muestra una generalización superior en conjuntos de datos externos, logrando una mejora promedio de DSC del 3,7% con respecto a las líneas de base.

Conclusiones:

• El modelo SAT propuesto, en particular SAT-Pro, ofrece una solución potente y escalable para la segmentación de imágenes médicas en 3D.
• La segmentación impulsada por texto utilizando terminologías médicas mejora el rendimiento, la robustez y la generalización del modelo.
• SAT representa un avance significativo en el análisis automatizado de imágenes médicas, facilitando flujos de trabajo clínicos más precisos y eficientes.