Adaptación de Modelos Preentrenados para Clasificación de Imágenes Médicas mediante Sugerencias Visuales Mejoradas...

Área de la Ciencia:

• Inteligencia Artificial
• Imágenes Médicas
• Visión por Computadora

Sus antecedentes:

• La adaptación de Vision Transformers (ViTs) para imágenes médicas enfrenta desafíos debido a la limitada cantidad de datos y anotaciones, lo que afecta el entrenamiento y la generalización.
• El aprendizaje de sugerencias visuales ofrece una adaptación de dominio eficiente en parámetros, pero requiere una guía semántica específica de la tarea, que a menudo no está disponible en entornos clínicos.
• Existe la necesidad de métodos automatizados para extraer señales semánticas confiables de los datos clínicos existentes para una generación de sugerencias efectiva.

Objetivo del estudio:

• Introducir Graph-Enhanced Visual Prompting (GEVP), un marco novedoso para generar sugerencias semánticamente ricas en imágenes médicas.
• Integrar el aprendizaje de grafos intermodal en la generación de sugerencias para Vision Transformers (ViTs) en aplicaciones médicas.
• Permitir un análisis robusto de imágenes médicas y clasificación de enfermedades, particularmente en entornos con escasez de datos.

Principales métodos:

• GEVP modela parches de imágenes y tokens de informes clínicos como nodos en una estructura de grafo.
• Se emplea una red neuronal de grafos para capturar las relaciones espaciales y semánticas entre estos nodos.
• Las sugerencias generadas se inyectan en una columna vertebral ViT congelada para guiar la atención hacia regiones de diagnóstico relevantes sin un ajuste fino extenso.

Principales resultados:

• GEVP demostró un rendimiento superior en comparación con los métodos existentes basados en sugerencias y adaptadores en seis conjuntos de datos públicos de imágenes médicas.
• El marco logró una mejora de hasta el +9.65% en la puntuación F1 en tareas desequilibradas.
• GEVP mostró capacidades mejoradas en la clasificación de enfermedades no vistas, destacando su potencial de generalización.

Conclusiones:

• Graph-Enhanced Visual Prompting (GEVP) supera eficazmente la escasez de datos en imágenes médicas al aprovechar el aprendizaje de grafos intermodal para la generación de sugerencias.
• El método propuesto permite la adaptación eficiente en parámetros de Vision Transformers (ViTs) para el análisis de imágenes médicas, mejorando la precisión diagnóstica.
• GEVP ofrece una solución robusta tanto para escenarios con informes disponibles como sin informes, allanando el camino para una adopción clínica más amplia.