UpGen: Desatar el potencial de los modelos de base para la detección de camuflaje sin entrenamiento a través de...

Área de la Ciencia:

• Visión por computadora
• Inteligencia artificial

Sus antecedentes:

• La detección de objetos camuflados (COD) se enfrenta a desafíos con anotaciones extensas y optimizaciones complejas en el aprendizaje supervisado.
• Los métodos actuales basados en señales que utilizan modelos de lenguaje de visión grande (LVLM) para el modelo de segmento de cualquier cosa (SAM) sufren de alucinaciones LVLM e insuficiente refinamiento de señales.

Objetivo del estudio:

• Para desarrollar una nueva tubería, UpGen, que genera indicaciones informativas para SAM sin necesidad de capacitación.
• Mejorar la precisión y eficacia de la detección de objetos camuflados mediante la mejora de la calidad inmediata.

Principales métodos:

• UpGen integra modelos generativos con los LVLM, introduciendo el marco Multi-Student-Single-Teacher (MSST) para mitigar las alucinaciones de LVLM.
• Aprovecha modelos generativos en imágenes de camuflaje reales para producir instrucciones de estilo SAM, mejorando las interacciones de instrucciones de imagen sin ajuste fino.

Principales resultados:

• UpGen supera a los modelos existentes de detección de objetos camuflados con supervisión débil y basados en SAM.
• La integración de UpGen en los métodos existentes para la generación de pseudoetiquetas produce ganancias de rendimiento consistentes.
• UpGen demuestra resultados prometedores en varias tareas de segmentación, incluido el COD de vocabulario abierto y la segmentación de objetos transparentes.

Conclusiones:

• UpGen ofrece un enfoque novedoso y sin entrenamiento para generar indicaciones de alta calidad para SAM, avanzando significativamente en la detección de objetos camuflados.
• El marco MSST propuesto aborda efectivamente las alucinaciones de LVLM, lo que lleva a indicaciones más confiables.
• La versatilidad y las ganancias de rendimiento de UpGen destacan su potencial en diversas tareas de segmentación de visión por computadora.