MCFL: Aprendizaje Colaborativo de Fusión Multimodal para el Reconocimiento de la Tiroiditis de Hashimoto | JoVE Visualize

Área de la Ciencia:

Imágenes médicas
Bioquímica
Inteligencia artificial en medicina

Sus antecedentes:

El diagnóstico de la tiroiditis de Hashimoto (HT) se basa en imágenes de ultrasonido y pruebas bioquímicas, pero ninguna es suficiente por sí sola.
Los modelos multimodales existentes luchan con el desequilibrio de la dimensionalidad de las características entre los datos de imágenes y texto.
El diagnóstico preciso de HT requiere la integración efectiva de diversas modalidades de datos.

Objetivo del estudio:

Proponer un novedoso enfoque de Aprendizaje Colaborativo de Fusión Multimodal (MCFL) para mejorar el diagnóstico de HT.
Mejorar la significancia y especificidad de los indicadores bioquímicos utilizando datos de imágenes de ultrasonido.
Superar las limitaciones de los modelos multimodales existentes en el manejo del desequilibrio de la dimensionalidad de las características.

Principales métodos:

Se desarrolló un novedoso INNet para convertir las características de las imágenes de ultrasonido en indicadores de inflamación focal prominente (Lpi) y lesión difusa global (Gdl).
Se empleó una estrategia de optimización basada en árboles de decisión para recalibrar los indicadores bioquímicos utilizando Lpi y Gdl.
Se utilizó un marco de aprendizaje por refuerzo profundo con repetición de experiencia y estrategia ϵ-greedy para la guía diagnóstica y la robustez del modelo.

Principales resultados:

MCFL mejora y recalibra eficazmente los indicadores bioquímicos con datos de imágenes de ultrasonido.
El enfoque unifica datos de imágenes y textuales en un único espacio de representación.
Logró un rendimiento de vanguardia en un conjunto de datos multimodal de múltiples centros médicos.

Conclusiones:

MCFL ofrece un avance significativo en el aprendizaje multimodal para el diagnóstico de HT.
El método propuesto establece un nuevo punto de referencia para la precisión y la robustez en el diagnóstico de la tiroiditis de Hashimoto.
La integración de imágenes y datos bioquímicos a través del aprendizaje colaborativo de fusión es crucial para el diagnóstico de enfermedades complejas.