Segmentación y Clasificación de Lesiones Cutáneas Basada en Modelos Fundacionales Utilizando Adaptadores SAM y Transformers de Visión | JoVE Visualize

Área de la Ciencia:

Inteligencia Artificial en Imágenes Médicas
Dermatología Computacional
Aprendizaje Automático para la Atención Sanitaria

Sus antecedentes:

La evaluación automatizada del cáncer de piel enfrenta desafíos en la segmentación y clasificación de imágenes dermatoscópicas debido a la variabilidad de las lesiones, bajo contraste y artefactos.
Los modelos fundacionales como el Modelo de Segmentación de Cualquier Cosa (SAM) muestran potencial de generalización, pero necesitan adaptación específica del dominio para imágenes médicas.
Los Transformers de Visión (ViTs) ofrecen una identificación robusta pero carecen de los priors espaciales cruciales para el análisis de lesiones.

Objetivo del estudio:

Desarrollar un marco integrado basado en modelos fundacionales para mejorar el análisis de imágenes dermatoscópicas.
Mejorar la precisión y fiabilidad de la segmentación y clasificación automatizada de lesiones cutáneas.
Crear un sistema de análisis automatizado centrado en la lesión para el posible apoyo a la toma de decisiones clínicas en la detección del cáncer de piel.

Principales métodos:

Se utilizó el ajuste fino de SAM-Adapter para una segmentación precisa de la lesión, manteniendo congelado el codificador SAM y ajustando adaptadores ligeros para la adaptación a la superficie de la piel.
Se empleó un clasificador basado en Transformer de Visión (ViT) que incorpora el recorte específico de la lesión derivado de la segmentación y la fusión de atención cruzada.
Se integraron priors de segmentación con patch-embeddings para el razonamiento centrado en la lesión y se entrenó el pipeline mediante un enfoque conjunto de múltiples tareas en los conjuntos de datos ISIC 2018, HAM10000 y PH2.

Principales resultados:

El marco propuesto SAM-ViT logró un rendimiento de vanguardia, superando a los métodos existentes tanto en segmentación como en clasificación.
Se obtuvo una puntuación Dice del 94,27 % para la segmentación y una precisión del 95,88 % para la clasificación en el conjunto de datos ISIC 2018.
Se demostró un alto rendimiento en otros conjuntos de datos con una puntuación Dice del 95,62 % en PH2 y una precisión del 96,37 % en HAM10000, con mejoras estadísticamente significativas (p<0,01).

Conclusiones:

La combinación de la segmentación de modelos fundacionales con la clasificación basada en transformers mejora significativamente la calidad de los límites de la lesión y la precisión diagnóstica.
El marco SAM-ViT proporciona un enfoque robusto, generalizable y centrado en la lesión para el análisis dermatoscópico automatizado.
Esto representa un paso prometedor hacia sistemas de apoyo a la decisión clínicamente desplegables para la detección del cáncer de piel, con trabajos futuros centrados en la compresión del modelo y la validación clínica en el mundo real.