TGIAlign: Marco bidireccional de doble rama guiado por texto para la alineación semántica intermodal en...

Área de la Ciencia:

• Inteligencia Artificial
• Imágenes Médicas
• Procesamiento del Lenguaje Natural

Sus antecedentes:

• La alineación de imágenes y texto médicos es difícil debido a patrones sutiles y variaciones semánticas.
• Los métodos actuales condicionan de manera inadecuada las características visuales con la semántica diagnóstica.
• Esto dificulta la detección de anomalías de grano fino y la alineación estable en diferentes conjuntos de datos.

Objetivo del estudio:

• Desarrollar un marco novedoso para mejorar la alineación de imágenes y texto médicos.
• Mejorar la comprensión de las imágenes de rayos X de tórax utilizando la guía textual.
• Permitir la localización y recuperación de lesiones estable y precisa.

Principales métodos:

• Se propuso TGIAlign, un marco de alineación bidireccional de doble rama guiado por texto.
• Se utilizó un modelo de lenguaje grande (LLM) para la extracción de descripciones de lesiones.
• Se implementó la Ponderación de Características de Imagen Guiada por Texto (TGIF) y la Alineación Bidireccional de Doble Rama (DBBA) para el condicionamiento semántico multiescala.

Principales resultados:

• TGIAlign demostró un rendimiento estable de recuperación top-K en seis conjuntos de datos.
• Logró una localización de lesiones fiable guiada por texto.
• Mostró la eficacia del condicionamiento semántico temprano y la alineación de doble rama.

Conclusiones:

• El condicionamiento semántico temprano con señales centradas en lesiones mejora significativamente la correspondencia entre la visión y el lenguaje médicos.
• TGIAlign ofrece una solución robusta para el análisis y la alineación de radiografías de tórax.
• El marco propuesto mejora la capacidad de capturar anomalías de grano fino y mantener la alineación.