Hacia un diagnóstico asistido de retinopatía multi-vista y multi-modal más eficiente y mejor

Área de la Ciencia:

• Oftalmología
• Imagen Médica
• Inteligencia Artificial

Sus antecedentes:

• Las imágenes de fondo son cruciales para la detección temprana de la retinopatía para prevenir la pérdida de visión.
• El examen actual implica el análisis de imágenes multi-vista y multi-modal para obtener información completa y la detección de lesiones.
• La automatización de este proceso puede ayudar a los oftalmólogos en el diagnóstico y la generación de informes.

Objetivo del estudio:

• Desarrollar un marco eficiente para el diagnóstico auxiliar conjunto utilizando imágenes de fondo multi-vista y multi-modal.
• Simular el proceso clínico de examen de retinopatía para mejorar la precisión diagnóstica.
• Mejorar tanto la clasificación de patologías como la generación automatizada de informes para la retinopatía.

Principales métodos:

• Un marco novedoso que integra el análisis de imágenes de fondo multi-vista y multi-modal.
• Utilización de mecanismos de autoatención dentro de ventanas locales y globales para la extracción de información completa a través de vistas.
• Empleo de un transformador de fusión multimodal con atención cruzada multiescala con derivación para la modelización y fusión efectivas de lesiones.

Principales resultados:

• El marco propuesto logró una precisión de clasificación de retinopatía del 83,96 %.
• El sistema demostró un rendimiento superior en la generación de informes, logrando una puntuación CIDEr de 0,934.
• Los resultados experimentales indican que el método supera a los enfoques de referencia existentes.

Conclusiones:

• El marco multi-vista y multi-modal desarrollado simula eficazmente el examen clínico de imágenes de fondo.
• Los mecanismos de atención propuestos mejoran significativamente la extracción de información y el análisis de lesiones.
• Este enfoque ofrece un avance prometedor para el diagnóstico y la presentación de informes automatizados de retinopatía.