Un modelo de base de lenguaje visual para la oncología de precisión

Área de la Ciencia:

• Inteligencia artificial en la medicina
• Patología computacional
• Informática médica

Sus antecedentes:

• La toma de decisiones clínicas se basa en la integración de diversos datos, como las notas clínicas y la patología.
• El desarrollo de modelos efectivos de inteligencia artificial (IA) es un desafío debido a la escasez de conjuntos de datos clínicos multimodales bien anotados.
• Los enfoques de IA existentes luchan por aprovechar plenamente la información complementaria presente tanto en los datos clínicos de imágenes como en los textuales.

Objetivo del estudio:

• Desarrollar un nuevo modelo de base de lenguaje de visión, transformador multimodal con modelado maSKed unificado (MUSK), capaz de integrar imágenes de patología y datos de texto a gran escala, sin etiquetar y sin emparejar.
• Pre-entrenar a MUSK en conjuntos de datos de imagen y texto de patología extensos para permitir la alineación efectiva de las características visuales y del lenguaje.
• Evaluar el rendimiento de MUSK en un amplio espectro de aplicaciones clínicas con una formación mínima o inexistente.

Principales métodos:

• Desarrolló MUSK, un modelo de base de lenguaje de visión que utiliza el modelado unificado enmascarado para el entrenamiento previo en 50 millones de imágenes de patología y mil millones de tokens de texto.
• Además, entrenó a MUSK en un millón de pares de imágenes y texto de patología para alinear las modalidades de visión y lenguaje.
• MUSK probado en 23 puntos de referencia a nivel de parche y diapositivas, incluidas las tareas de recuperación, respuesta visual a preguntas, clasificación y predicción de resultados.

Principales resultados:

• MUSK demostró un rendimiento superior en 23 puntos de referencia, sobresaliendo en la recuperación de imagen a texto y texto a imagen, respuesta visual a preguntas y clasificación de imágenes.
• Logró resultados sólidos en la predicción de biomarcadores moleculares y predicción de resultados, incluida la recaída del melanoma, el pronóstico del cáncer pancreático y la respuesta a la inmunoterapia en cánceres pulmonares y gastroesofágicos.
• Información eficazmente integrada de imágenes de patología e informes clínicos, que muestra su potencial para mejorar el diagnóstico y el tratamiento del cáncer.

Conclusiones:

• MUSK, un modelo de base de lenguaje visual previamente entrenado, integra con éxito datos de patología multimodal (imágenes y texto) para aplicaciones clínicas avanzadas.
• El modelo muestra una promesa significativa para mejorar la precisión del diagnóstico y la precisión en la terapia del cáncer a través de una mejor predicción de resultados.
• La capacidad de MUSK para aprovechar datos a gran escala, sin etiquetar y sin emparejar representa un avance significativo en la aplicación de la IA a la toma de decisiones clínicas.