Aprovechar las ideas de texto con alineación visual para la segmentación de imágenes médicas

Área de la Ciencia:

• Visión por computadora
• Análisis de imágenes médicas
• Inteligencia artificial

Sus antecedentes:

• Los modelos de lenguaje visual (VLM) y los modelos de lenguaje (LM) son prometedores para la integración de datos de texto e imágenes en tareas de visión.
• Los métodos actuales de segmentación de imágenes médicas mejoradas con texto luchan con cambios semánticos y presentan desalineación entre los componentes de visión y texto.

Objetivo del estudio:

• Proponer TeViA, un nuevo enfoque para la integración perfecta de diversos modelos de visión y texto en la segmentación de imágenes médicas.
• Para abordar los cambios semánticos y mejorar la alineación de la visión del texto durante las tareas de segmentación.

Principales métodos:

• TeViA emplea una estrategia de alineación de texto a visión específica para la segmentación.
• Utiliza representaciones visuales de primer plano para supervisar las capas de proyección, refinando las características textuales para la segmentación.
• Un prototipo visual histórico, actualizado a través del impulso, mejora la representación de la instancia y refina las características textuales.

Principales resultados:

• TeViA demostró un rendimiento superior en cinco conjuntos de datos públicos de segmentación de imágenes médicas.
• El método logró una mejora de más del 6% en comparación con los enfoques de solo visión.
• El enfoque garantiza tanto la ganancia de información como la consistencia semántica en la segmentación mejorada por texto.

Conclusiones:

• TeViA ofrece una solución eficaz para la segmentación de imágenes médicas mejoradas con texto mediante la mejora de la alineación texto-visión.
• La flexibilidad del método permite la integración con varios modelos previamente entrenados, independientemente de sus relaciones iniciales.
• TeViA avanza significativamente el estado de la técnica en la precisión de segmentación de imágenes médicas.