WoundcareVQA: Una pregunta visual multilingüe que responde a un conjunto de datos de referencia para el cuidado de...

Área de la Ciencia:

• La informática médica
• Inteligencia artificial en el cuidado de la salud
• Procesamiento del lenguaje natural

Sus antecedentes:

• Las preguntas de salud de los consumidores sobre el cuidado de las heridas prevalecen en línea.
• Los modelos de IA existentes carecen de capacidades especializadas para el VQA de cuidado de heridas multimodal y multilingüe.

Objetivo del estudio:

• Introducir y establecer la tarea de respuesta visual multilingüe multimodal para el cuidado de heridas.
• Para comparar el rendimiento de los modelos actuales de IA en esta nueva tarea.
• Identificar las áreas clave para la investigación y el desarrollo futuros en el cuidado de heridas VQA.

Principales métodos:

• Se creó un conjunto de datos de VQA para el cuidado de heridas utilizando preguntas de salud de los consumidores en línea.
• Los médicos proporcionaron metadatos expertos y etiquetas de respuesta para el conjunto de datos.
• Se evaluaron los modelos multilingües de AAV habilitados para instrucciones (GPT-4o, Gemini-1.5-Pro, Qwen-VL).
• Las métricas de evaluación automática se compararon con las calificaciones de expertos en el dominio.

Principales resultados:

• Se construyó un conjunto de datos que incluía 477 casos de cuidado de heridas, 768 respuestas, 748 imágenes y extensos metadatos.
• La precisión de la clasificación de los metadatos fue de entre 0,32 y 0,78.
• Se informaron métricas de rendimiento de generación de respuestas (BLEU, BERTScore, ROUGE-L) para el inglés y el chino.

Conclusiones:

• El estudio construyó y exploró con éxito la tarea de la EAC multimodales y multilingües para el cuidado de las heridas.
• Los hallazgos tienen como objetivo estimular una mayor investigación en la clasificación de metadatos de cuidado de heridas, la generación de respuestas VQA y las metodologías de evaluación.