HF-VLP: Un modelo multimodal preentrenado de visión y lenguaje para el diagnóstico de insuficiencia cardíaca

Área de la Ciencia:

• Inteligencia Artificial en Medicina
• Análisis de Imágenes Médicas
• Procesamiento del Lenguaje Natural para la Atención Médica

Sus antecedentes:

• La creciente incidencia de insuficiencia cardíaca (IC) requiere herramientas de diagnóstico avanzadas.
• El preentrenamiento multimodal de visión y lenguaje muestra una gran promesa para el diagnóstico médico.
• Los desafíos incluyen etiquetas ruidosas en los conjuntos de datos médicos y la necesidad de una adaptación eficiente del modelo.

Objetivo del estudio:

• Desarrollar un modelo preentrenado multimodal de visión y lenguaje (HF-VLP) para mejorar la detección de insuficiencia cardíaca.
• Abordar los desafíos de las etiquetas ruidosas y mejorar la eficiencia del modelo para la aplicación clínica.
• Fusionar datos de radiografías de tórax e informes de radiología para una evaluación integral del paciente.

Principales métodos:

• Desarrolló HF-VLP, un modelo preentrenado multimodal de visión y lenguaje para la insuficiencia cardíaca.
• Implementó una pérdida de calibración de etiquetas para mitigar las etiquetas ruidosas durante el preentrenamiento.
• Utilizó la adaptación de bajo rango descompuesta por valores singulares (PEFT) para un ajuste fino eficiente (<1% de parámetros).
• Integró características de radiografías de tórax e informes de radiología a través de un módulo de gráfico de fusión dinámico.

Principales resultados:

• Logró una AUC promedio del 83,67% en el conjunto de datos Open-I y del 91,28% en el conjunto de datos PPL-CXR para la predicción de múltiples síntomas.
• El método de ajuste fino eficiente en parámetros mejoró las tasas de diagnóstico en comparación con el zero-shot.
• El modelo demostró una clasificación precisa de los síntomas del paciente, lo que ayuda al diagnóstico clínico.

Conclusiones:

• HF-VLP integra eficazmente datos médicos multimodales para el diagnóstico de insuficiencia cardíaca.
• Los métodos desarrollados abordan desafíos clave en el preentrenamiento médico, incluidas las etiquetas ruidosas y la adaptación eficiente.
• Este modelo muestra un potencial significativo para ayudar a los médicos en el diagnóstico temprano y preciso de la insuficiencia cardíaca.