Abordar la Incompletitud Modal Desequilibrada en la Segmentación Realista de Imágenes Médicas Multimodales mediante...

Área de la Ciencia:

• Análisis de Imágenes Médicas
• Aprendizaje Automático
• Visión por Computadora

Sus antecedentes:

• El aprendizaje multimodal es prometedor para la segmentación de imágenes médicas.
• Los datos del mundo real a menudo sufren de incompletitud modal debido a diversas fuentes.
• Los métodos existentes tienen dificultades con las limitaciones de los datos de entrenamiento y el desequilibrio del modelo.

Objetivo del estudio:

• Formular y abordar el desafío del aprendizaje multimodal incompleto en la segmentación de imágenes médicas.
• Proponer la Alineación Jerárquica de Gradientes (HGA) para equilibrar datos uni- y multimodales durante el entrenamiento.
• Mejorar la equidad, la robustez y el rendimiento del modelo en presencia de modalidades faltantes.

Principales métodos:

• Se propone la Alineación Jerárquica de Gradientes (HGA), que utiliza metaaprendizaje secuencial para combinaciones multimodales y autodistilación multinivel para datos unimodales.
• La alineación de la dirección del gradiente se logra a través de metaaprendizaje y autodistilación.
• La alineación de la magnitud del gradiente se realiza utilizando la estimación de preferencias relativas para equilibrar el dominio modal.

Principales resultados:

• HGA supera consistentemente a los métodos de vanguardia para el aprendizaje multimodal incompleto y desequilibrado.
• Los experimentos en cinco puntos de referencia públicos (BraTS, MyoPS, MSSEG) validan la efectividad de HGA.
• HGA funciona como un módulo plug-and-play, mejorando el rendimiento en varias arquitecturas de base.

Conclusiones:

• HGA aborda eficazmente el desafío del desequilibrio uni- y multimodal en la segmentación de imágenes médicas.
• El método propuesto ofrece una solución robusta para escenarios con datos multimodales incompletos.
• HGA proporciona mejoras consistentes en el rendimiento y es adaptable a diferentes arquitecturas de red.