Un marco de colaboración de agentes proactivos para el razonamiento médico multimodal de tiro cero

Área de la Ciencia:

• La inteligencia artificial en la medicina
• La informática médica
• Salud computacional

Sus antecedentes:

• Los grandes modelos lingüísticos (LLM) son prometedores en el ámbito de la asistencia sanitaria, pero carecen de conocimientos específicos y de capacidades multimodales.
• Los LLM actuales están limitados por entradas de solo texto y habilidades de razonamiento médico insuficientes.

Objetivo del estudio:

• Introducir MultiMedRes, un nuevo marco de razonamiento médico colaborativo multimodal.
• Mejorar el rendimiento del LLM en el cuidado de la salud simulando la comunicación y la adquisición de conocimientos de los médicos.

Principales métodos:

• MultiMedRes emplea un agente de aprendizaje que descompone problemas, interactúa con modelos expertos para el conocimiento específico del dominio e integra información.
• El marco utiliza un proceso de "pregunta, interacción e integración" para el razonamiento multimodal.
• La validación se realizó en tareas visuales de respuesta a preguntas basadas en imágenes de rayos X.

Principales resultados:

• MultiMedRes logró un rendimiento de tiro cero de última generación en la respuesta a preguntas visuales de diferencia para imágenes de rayos X.
• El marco superó el rendimiento de los métodos totalmente supervisados.
• Demostró el potencial de una asistencia confiable e interpretable de la IA en entornos clínicos.

Conclusiones:

• MultiMedRes aborda efectivamente las limitaciones de los LLM unimodal en el razonamiento médico.
• El marco facilita la colaboración entre humanos y IA para tareas como el monitoreo de la progresión del tratamiento del paciente.
• allana el camino para herramientas avanzadas de IA en apoyo a la toma de decisiones clínicas.