Generalización del dominio multimodal guiada por el lenguaje para la predicción de resultados del cáncer de cabeza y...

Área de la Ciencia:

• Análisis de imágenes médicas
• Inteligencia Artificial en Oncología
• Generalización del dominio

Sus antecedentes:

• La predicción precisa de la recurrencia del cáncer de cabeza y cuello se ve obstaculizada por los cambios de dominio en los datos de imágenes médicas en las instituciones.
• Los métodos de generalización de dominio existentes a menudo descuidan la información clínica estructurada, que es crucial para la coherencia entre instituciones.

Objetivo del estudio:

• Proponer un método de generalización de dominio multimodal guiado por el lenguaje (LGMDG) de extremo a extremo para mejorar la predicción de la recurrencia del cáncer de cabeza y cuello.
• Aprovechar tanto la imagen como los datos clínicos para mejorar la generalización del modelo en diferentes instituciones médicas.

Principales métodos:

• Desarrolló un módulo de extracción de características invariables de dominio clínico guiado por el lenguaje utilizando indicaciones clínicas basadas en el lenguaje.
• Implementó una red de clasificación de multimodalidad de tres ramas mejorada de manera contrastiva y adversa.
• Utilizó el agrupamiento bilinear factorizado multimodal para la predicción de resultados, combinado con el aprendizaje adversarial de dominio y la alineación intermodal.

Principales resultados:

• Se obtuvo una precisión promedio del 81,04% y un AUC promedio del 76,91% en seis centros oncológicos utilizando validación con exclusión de un dominio.
• Demostró un rendimiento de generalización superior en comparación con once enfoques competidores con una complejidad de modelo comparable (24,83 millones de parámetros, 17,36 GFLOPs).

Conclusiones:

• El método LGMDG propuesto aborda eficazmente los cambios de dominio en la predicción de la recurrencia del cáncer de cabeza y cuello mediante la integración de datos multimodales.
• LGMDG ofrece un enfoque prometedor para el desarrollo de modelos de IA robustos y generalizables en oncología clínica, con código y modelos disponibles públicamente.