Uso de modelos profundos de visión y lenguaje mejora el rendimiento multitarea en aplicaciones de asistencia para...

Área de la Ciencia:

• Inteligencia Artificial Médica
• Visión por Computadora
• Procesamiento del Lenguaje Natural

Sus antecedentes:

• Los modelos actuales de aprendizaje profundo para asistencia endoscópica utilizan principalmente tareas basadas en imágenes.
• La integración del procesamiento del lenguaje natural es limitada, lo que dificulta las capacidades de asistencia integral.

Objetivo del estudio:

• Desarrollar y evaluar un modelo de visión y lenguaje (VLM) para el aprendizaje multitarea en cirugías endoscópicas de ORL.
• El VLM tiene como objetivo realizar clasificación de imágenes, predicción de texto y generación de informes quirúrgicos.

Principales métodos:

• Se empleó una arquitectura VLM con codificadores sesgados al dominio para la incrustación de imágenes y texto.
• El modelo se entrenó con un nuevo conjunto de datos multitarea de 30 procedimientos endoscópicos (130 000 imágenes, informes).
• Se evaluaron dos variaciones de VLM frente a los modelos base, EndoVit y SurgicalGPT utilizando precisión, recuperación, puntuación F1, BLEU-2, ROUGE-L y similitud de coseno.

Principales resultados:

• El VLM mejoró las puntuaciones F1 de clasificación de imágenes hasta en un 12% y la generación de texto hasta en un 14%.
• El VLM específico del dominio superó ligeramente a EndoVit y SurgicalGPT.
• Los estudios de ablación mostraron que el componente de visión beneficia las tareas de lenguaje, mientras que el texto impacta mínimamente la detección de puntos de referencia.

Conclusiones:

• Se desarrolló un novedoso VLM para asistencia endoscópica de ORL, que integra datos de imágenes y texto.
• El VLM reemplaza tres modelos aislados, ofreciendo asistencia multitarea y superando las bases de referencia de propósito general anteriores.
• El trabajo futuro debe abordar las distribuciones de clases desequilibradas y mejorar la generación de texto estructurado.