DC-SAM: Segmentación en Contexto en Imágenes y Vídeos mediante Doble Consistencia

Área de la Ciencia:

• Visión por Computadora
• Aprendizaje Automático

Sus antecedentes:

• La segmentación en contexto, un subconjunto del aprendizaje de pocos disparos, requiere la segmentación de objetos a partir de un único ejemplo etiquetado.
• Los modelos existentes de Segmentación de Cualquier Cosa (SAM) destacan en la segmentación interactiva, pero no son adecuados directamente para tareas de segmentación en contexto.
• Adaptar los SAM para la segmentación en contexto es crucial para avanzar en las capacidades de generalización en visión por computadora.

Objetivo del estudio:

• Proponer Dual Consistency SAM (DC-SAM), un método novedoso para la segmentación en contexto en imágenes y vídeos.
• Mejorar la representación de características del codificador de prompts dentro de los SAM utilizando prompts visuales de alta calidad.
• Introducir el primer benchmark para la segmentación de objetos en vídeo en contexto (IC-VOS).

Principales métodos:

• DC-SAM emplea el ajuste de prompts (prompt-tuning) para adaptar SAM y SAM2 para la segmentación en contexto.
• Las técnicas clave incluyen la fusión de características SAM para una mejor alineación de prompts y la atención cruzada cíclicamente consistente para la consistencia de características y prompts visuales.
• Se utiliza un diseño de doble rama con prompts discriminatorios y una estrategia de entrenamiento de tubos de máscara (mask-tube).

Principales resultados:

• DC-SAM logra 55.5 mIoU en los conjuntos de datos COCO-2i y 73.0 mIoU en PASCAL-5i.
• El método alcanza una puntuación J&F de 71.52 en el benchmark IC-VOS, recientemente curado.
• Los experimentos validan la efectividad de DC-SAM tanto en la segmentación en contexto de imágenes como de vídeos.

Conclusiones:

• DC-SAM adapta con éxito los SAM para una segmentación en contexto efectiva en imágenes y vídeos.
• El método propuesto demuestra un rendimiento superior en benchmarks estándar de segmentación de pocos disparos y en el novedoso conjunto de datos IC-VOS.
• DC-SAM ofrece un avance significativo en el campo del aprendizaje de pocos disparos y la segmentación visual.