PMG-SAM: Impulso a la Autosegmentación de SAM con Guía de Pre-Máscara

Área de la Ciencia:

• Visión por Computadora
• Inteligencia Artificial
• Aprendizaje Automático

Sus antecedentes:

• Los modelos de visión fundamentales como Segment Anything Model (SAM) enfrentan desafíos en la segmentación automática y dirigida de objetos.
• El modo "segmentar todo" de SAM exhibe ceguera de localización e ineficiencia computacional, lo que dificulta el rendimiento en tareas como la segmentación de imágenes dicotómicas (DIS).

Objetivo del estudio:

• Desarrollar un marco eficiente y preciso, PMG-SAM, para la segmentación automática de objetos dirigida.
• Abordar el cuello de botella de localización en modelos de visión grandes para escenarios de segmentación sin indicaciones.

Principales métodos:

• Se propuso el marco PMG-SAM que utiliza un paradigma de Guía de Pre-Máscara para la segmentación automática dirigida.
• Se empleó un codificador de doble rama para generar una Pre-Máscara global, que sirve como indicación interna para el decodificador de segmentación.
• Se introdujo un Módulo de Fusión Densa Residual (DRFM) para la co-refinación iterativa y multiescala de características para mejorar la calidad de la Pre-Máscara.

Principales resultados:

• PMG-SAM mejoró significativamente el rendimiento en tareas desafiantes de segmentación de imágenes dicotómicas (DIS) y de objetos enmascarados (COS).
• Se logró una F-medida máxima de 0.815 en el benchmark DIS-TE2, un aumento sustancial respecto al 0.283 de SAM.
• Superó a SAM y SAM2 en modos con cuadros delimitadores de la verdad fundamental como indicación, a pesar de ser completamente automático y utilizar menos parámetros entrenables (22.9 M).

Conclusiones:

• PMG-SAM presenta una solución eficaz y eficiente para la segmentación automática de objetos dirigida.
• El paradigma de Guía de Pre-Máscara supera con éxito las limitaciones de localización de los modelos de visión grandes en entornos sin indicaciones.
• Este marco ofrece una dirección prometedora para avanzar en las capacidades de segmentación sin indicaciones en la visión por computadora.