Grandes modelos de lenguaje en el análisis de imágenes médicas: una encuesta sistemática y direcciones futuras

Área de la Ciencia:

• Inteligencia artificial
• Imágenes médicas
• Procesamiento del lenguaje natural

Sus antecedentes:

• Los modelos de lenguaje grande (LLM) se integran cada vez más en el análisis de imágenes médicas.
• Sus aplicaciones abarcan la generación de informes, la clasificación de enfermedades, la respuesta visual a preguntas y la segmentación.
• Los LLM ofrecen un enfoque novedoso para interpretar datos médicos multimodales complejos.

Objetivo del estudio:

• Estudiar y recopilar las aplicaciones conocidas de los LLM en el análisis de imágenes médicas.
• Resaltar los beneficios potenciales y los desafíos críticos asociados con la implementación de LLM.
• Esbozar las direcciones futuras de la investigación y proporcionar orientación estructurada para investigadores y profesionales.

Principales métodos:

• Introducción del marco de ajuste de etapas X para el ajuste fino de LLM (cero, uno y múltiples etapas).
• Revisión exhaustiva de la literatura existente sobre las LLM en el análisis de imágenes médicas.
• Discusión de los desafíos, incluida la escasez de datos, la alucinación de salida, la privacidad y la actualización del conocimiento.

Principales resultados:

• Los LLM demuestran diversas capacidades en tareas de análisis de imágenes médicas.
• El marco de ajuste de la etapa X proporciona un enfoque estructurado para ajustar los LLM basados en la complejidad de la tarea y la disponibilidad de datos.
• Los desafíos clave identificados requieren una mayor investigación y soluciones innovadoras.

Conclusiones:

• Los LLM presentan oportunidades significativas para avanzar en el análisis de imágenes médicas.
• Abordar desafíos como la escasez de datos y la privacidad es crucial para su adopción generalizada.
• Los trabajos futuros deben centrarse en la integración de las LLM con los sistemas de apoyo a la toma de decisiones, el aprendizaje multimodal y el aprendizaje federado.