DAMON: Respuesta a preguntas visuales médicas conscientes de las diferencias a través de un modelo multimodal de...

Área de la Ciencia:

• Análisis de imágenes médicas análisis de imágenes médicas.
• Inteligencia artificial en el cuidado de la salud.
• Aprendizaje automático multimodal de aprendizaje.

Sus antecedentes:

• La respuesta de preguntas médicas visuales conscientes de las diferencias (MVQA) es vital para el seguimiento de la progresión de la enfermedad y la planificación del tratamiento.
• Los actuales modelos médicos multimodales de lenguaje grande (MLLMs) luchan con la generalización en el MVQA consciente de la diferencia.
• Los conjuntos de datos existentes están limitados a enfermedades individuales, no logran capturar escenarios clínicos complejos con múltiples enfermedades.

Objetivo del estudio:

• Introducir un conjunto de datos a gran escala, DAMON-QA, para MVQA consciente de las diferencias en múltiples enfermedades.
• Proponer un nuevo modelo de respuesta de preguntas visuales médicas (DAMON) conscientes de las diferencias.
• Mejorar el rendimiento de los MLLM en el análisis de diferencias visuales en imágenes médicas.

Principales métodos:

• Desarrolló el conjunto de datos DAMON-QA para abordar las limitaciones de los conjuntos de datos existentes de una sola enfermedad.
• Propuso el modelo DAMON, entrenado en DAMON-QA, para MVQA consciente de las diferencias.
• Se introdujo un Disease-driven Prompt Module (DPM) para mejorar la identificación de enfermedades y el análisis de diferencias.

Principales resultados:

• El modelo DAMON logró un rendimiento de vanguardia (SOTA) en el índice de referencia MIMIC-Diff-VQA.
• El conjunto de datos DAMON-QA facilita un mejor modelado de la coexistencia de múltiples enfermedades y la superposición de síntomas.
• El DPM guía eficazmente el análisis de diferencias de enfermedad en entradas complejas de imágenes médicas.

Conclusiones:

• El modelo DAMON y el conjunto de datos DAMON-QA representan avances significativos en MVQA consciente de las diferencias.
• Este trabajo mejora la capacidad de los MLLM para manejar escenarios complejos de múltiples enfermedades en el análisis de imágenes médicas.
• Los hallazgos tienen implicaciones para mejorar la toma de decisiones clínicas a través de una evaluación más precisa de la progresión de la enfermedad.