Hacia un modelo de base generalista para la radiología mediante el aprovechamiento de datos médicos 2D y 3D a escala...

Área de la Ciencia:

• La inteligencia artificial en la medicina
• Análisis de imágenes médicas
• Modelos de la fundación

Sus antecedentes:

• La integración de la inteligencia artificial en la radiología avanza rápidamente.
• Los modelos existentes a menudo carecen de las capacidades integrales requeridas para diversas tareas radiológicas.
• Se necesitan modelos sólidos basados en datos médicos multimodales y extensos.

Objetivo del estudio:

• Iniciar el desarrollo de un Modelo de Fundación de Radiología (RadFM).
• Establecer un marco global que abarque la construcción de conjuntos de datos, el diseño de modelos y la evaluación.
• Para crear una herramienta de IA versátil para una amplia gama de aplicaciones radiológicas.

Principales métodos:

• Construcción del conjunto de datos multimodal médico (MedMD), que incorpora 4 nuevos conjuntos de datos multimodal (13 millones de imágenes 2D, 615 mil escaneos 3D) y datos existentes.
• Propuesta de una arquitectura novedosa que integra el texto con escaneos médicos 2D/3D para diversas tareas.
• Desarrollo de RadBench, un nuevo punto de referencia para la evaluación integral del modelo de fundación, incluidas las evaluaciones automáticas y humanas.

Principales resultados:

• RadFM demostró un rendimiento superior en múltiples tareas radiológicas, incluido el diagnóstico, la respuesta visual a preguntas y la generación de informes.
• El modelo superó a los modelos existentes de fundación multimodal accesible, incluido el GPT-4V, en varios puntos de referencia.
• La adaptación de RadFM a los índices de referencia públicos dio lugar a la superación de varios modelos de última generación (SOTA).

Conclusiones:

• RadFM representa un avance significativo en el desarrollo de modelos de base para la radiología.
• La arquitectura propuesta y el conjunto de datos MedMD proporcionan una base sólida para la investigación y el desarrollo futuros.
• RadFM es prometedor para mejorar la precisión y la eficiencia del diagnóstico en la práctica de la radiología clínica.