Aterrizaje DINO-US-SAM: Segmentación de múltiples órganos impulsada por texto en ultrasonido con modelos de lenguaje...

Área de la Ciencia:

• Imágenes médicas
• Visión por computadora
• Inteligencia artificial

Sus antecedentes:

• La segmentación de objetos por ultrasonido enfrenta desafíos debido a la variabilidad anatómica y los datos anotados limitados.
• Los métodos existentes a menudo requieren una formación específica para cada órgano, lo que dificulta su amplia aplicabilidad.

Objetivo del estudio:

• Desarrollar un modelo de lenguaje visual (VLM) impulsado por comandos para la segmentación generalizable de objetos en ultrasonido.
• Para integrar el DINO de conexión a tierra con el Modelo Segmento Cualquier cosa 2 (SAM2) para la segmentación de ultrasonido de múltiples órganos.

Principales métodos:

• Utilizó 18 conjuntos de datos de ultrasonido públicos que cubren el pecho, la tiroides, el hígado, la próstata, el riñón y el músculo paraspinal.
• DINO de puesta a tierra afinado utilizando la adaptación de bajo rango (LoRA) en 15 conjuntos de datos, de los cuales 3 se mantuvieron para pruebas.
• El rendimiento evaluado en comparación con los métodos más avanzados como UniverSeg, MedSAM y MedCLIP-SAM.

Principales resultados:

• El enfoque VLM propuesto demostró un rendimiento superior en la mayoría de los conjuntos de datos de ultrasonido probados.
• Logró fuertes capacidades de generalización en conjuntos de datos invisibles sin más ajustes.
• Superó a los métodos de segmentación establecidos, incluidos UniverSeg, MedSAM, MedCLIP-SAM, BiomedParse y SAMUS.

Conclusiones:

• Los modelos de lenguaje de visión muestran una promesa significativa para el análisis de imágenes de ultrasonido escalable y robusto.
• El método desarrollado reduce la dependencia de grandes conjuntos de datos anotados específicos de órganos.
• El código se pondrá a disposición del público en code.sonography.ai una vez aceptado.