Filtrado de alucinaciones en modelos de lenguaje visual de radiología mediante entropía semántica discreta

Área de la Ciencia:

• Inteligencia Artificial
• Imagen Médica
• Procesamiento del Lenguaje Natural

Sus antecedentes:

• Los modelos de lenguaje visual (VLM) de caja negra se utilizan cada vez más para el análisis de imágenes radiológicas.
• Las alucinaciones, o la generación de información inexacta, plantean un desafío importante para la fiabilidad de los VLM en entornos clínicos.
• Los métodos actuales para detectar alucinaciones de VLM son limitados, especialmente en escenarios de caja negra.

Objetivo del estudio:

• Evaluar la eficacia de la entropía semántica discreta (DSE) para identificar preguntas que pueden conducir a alucinaciones en los VLM.
• Determinar si el filtrado basado en DSE puede mejorar la precisión de los VLM en la respuesta visual (VQA) basada en imágenes radiológicas.

Principales métodos:

• Un estudio retrospectivo utilizó dos conjuntos de datos públicos (VQA-Med 2019 y un conjunto de datos de radiología de diagnóstico).
• Los modelos GPT-4o y GPT-4.1 respondieron preguntas, y la DSE se calculó a partir de clústeres de respuestas semánticas.
• La precisión se evaluó antes y después de filtrar las preguntas con DSE > 0,3.

Principales resultados:

• La precisión de referencia para GPT-4o fue del 51,7% y para GPT-4.1 fue del 54,8%.
• Después del filtrado DSE (DSE > 0,3), la precisión aumentó al 76,3% para GPT-4o y al 63,8% para GPT-4.1.
• Las ganancias de precisión fueron estadísticamente significativas en todos los conjuntos de datos, incluso después de la corrección de Bonferroni.

Conclusiones:

• La DSE detecta de forma fiable las alucinaciones en los VLM de caja negra cuantificando la inconsistencia semántica.
• Este método mejora significativamente la precisión de las respuestas diagnósticas en la VQA radiológica.
• La DSE proporciona una estrategia de filtrado práctica para mejorar la seguridad y la confiabilidad de las aplicaciones clínicas de VLM.