Codificadores federados específicos de la modalidad y descodificadores de fusión parcialmente personalizados para la...

Área de la Ciencia:

• Inteligencia artificial
• Imágenes médicas
• Aprendizaje automático

Sus antecedentes:

• Los métodos de aprendizaje federado (FL) existentes a menudo fallan con las imágenes médicas multimodales debido a la falta de modalidades de datos entre los participantes.
• La heterogeneidad intermodal y la necesidad de modelos personalizados presentan desafíos significativos en el análisis colaborativo de imágenes médicas.

Objetivo del estudio:

• Proponer un nuevo marco de aprendizaje federado, FedMEPD, que aborde tanto la heterogeneidad intermodal como la personalización en el análisis multimodal de imágenes médicas.
• Desarrollar un sistema capaz de entrenar un modelo global incluso cuando los participantes tienen modalidades de imagen incompletas.

Principales métodos:

• FedMEPD utiliza codificadores específicos de la modalidad y descodificadores de fusión multimodal parcialmente personalizados.
• Un servidor central con datos modales completos fusiona las representaciones, mientras que los clientes con modalidades incompletas utilizan la atención cruzada para alinearse con los anclajes globales.
• La personalización se logra mediante el ajuste dinámico de los filtros de decodificación basados en las discrepancias de actualización de parámetros.

Principales resultados:

• FedMEPD demostró un rendimiento superior en los puntos de referencia de segmentación de tumores cerebrales multimodal de BraTS 2018 y 2020.
• El marco manejó eficazmente la heterogeneidad intermodal, superando a los métodos FL multimodales y personalizados existentes.
• Los componentes de diseño novedosos de FedMEPD fueron validados como eficaces para mejorar el entrenamiento y el rendimiento del modelo.

Conclusiones:

• FedMEPD ofrece una solución robusta para el aprendizaje federado en imágenes médicas multimodales, adaptándose a la heterogeneidad de los datos.
• El enfoque propuesto equilibra con éxito la necesidad de un modelo global con ideas personalizadas para los participantes individuales.
• Este marco avanza en la aplicabilidad del aprendizaje federado a escenarios complejos de imágenes médicas del mundo real.