Med3DVLM: Un modelo de lenguaje de visión eficiente para el análisis de imágenes médicas en 3D

Área de la Ciencia:

• Inteligencia artificial
• Imágenes médicas
• Procesamiento del lenguaje natural

Sus antecedentes:

• Los modelos de lenguaje visual (VLM) son prometedores en el análisis de imágenes médicas en 2D.
• La extensión de los VLM a las imágenes médicas en 3D es un desafío debido a las demandas computacionales y los problemas de alineación de características.

Objetivo del estudio:

• Introducir Med3DVLM, un VLM 3D eficiente diseñado para el razonamiento escalable y multitarea en aplicaciones clínicas.
• Abordar los desafíos de analizar datos médicos volumétricos y alinear las características espaciales 3D con el texto clínico.

Principales métodos:

• Desarrolló DCFormer, un codificador eficiente que utiliza convoluciones 3D descompuestas para capturar características espaciales de grano fino.
• Implementado SigLIP, una estrategia de aprendizaje contrastante con pérdida sigmoide en pares para una mejor alineación de imagen-texto.
• Utilizó un proyector MLP-Mixer de doble flujo para fusionar características de imagen de bajo y alto nivel con incorporaciones de texto.

Principales resultados:

• Med3DVLM logró 61.00% R@1 en la recuperación de imágenes y texto, superando significativamente a M3D-LaMed (19.10%).
• La generación de informes alcanzó una puntuación METEOR del 36,42% (frente al 14,38%).
• El VQA abierto obtuvo un 36,76% de METEOR (frente al 33,58%), y el VQA cerrado logró un 79,95% de precisión (frente al 75,78%).

Conclusiones:

• Med3DVLM cierra efectivamente la brecha entre las imágenes médicas en 3D y el lenguaje clínico.
• El modelo demuestra un rendimiento superior en múltiples puntos de referencia, lo que permite un razonamiento escalable y multitarea.
• Las innovaciones en Med3DVLM allanan el camino para aplicaciones clínicas avanzadas que aprovechan los datos multimodales.