MedAlmighty: mejora el diagnóstico de la enfermedad con la destilación del modelo de visión grande

Área de la Ciencia:

• Imágenes y diagnósticos médicos
• Inteligencia artificial en el cuidado de la salud
• Aprendizaje automático para la medicina

Sus antecedentes:

• El diagnóstico preciso de la enfermedad es crucial, pero es desafiado por los datos médicos limitados y heterogéneos.
• Los modelos ligeros carecen de una comprensión completa, mientras que los modelos grandes sufren un desajuste de dominio en tareas médicas especializadas.

Objetivo del estudio:

• Proponer MedAlmighty, un marco de destilación de conocimiento que une el rendimiento general y especializado del modelo de IA para el diagnóstico médico.
• Aprovechar las fortalezas de los grandes modelos de visión y las CNN ligeras para superar las limitaciones de datos en la IA médica.

Principales métodos:

• Utilizó DINOv2 (modelo de visión grande) como maestro congelado y una CNN ligera como estudiante entrenable.
• Destilación de conocimientos empleados con etiquetas duras y blancos blandos del maestro.
• Adoptó una función de pérdida híbrida que combina la entropía cruzada y la divergencia de Kullback-Leibler para un aprendizaje eficiente y consciente del dominio.

Principales resultados:

• MedAlmighty mejoró significativamente el rendimiento del diagnóstico de enfermedades en conjuntos de datos médicos escasos y diversos.
• El modelo superó a las líneas de base al integrar representaciones generalizables con conocimientos especializados.
• Se ha demostrado una mayor robustez y precisión en escenarios diagnósticos complejos.

Conclusiones:

• MedAlmighty mejora efectivamente los modelos médicos ligeros utilizando representaciones de dominio general de modelos de visión grandes congelados a través de la destilación.
• Este marco ofrece una solución para los problemas de escasez de datos y brecha de dominio en imágenes médicas.
• El trabajo futuro incluye la extensión de la destilación a datos médicos multimodales.