Red neuronal de coincidencia de características invariantes a la escala para segmentación semántica de pocos disparos...

Área de la Ciencia:

• Visión por Computadora
• Aprendizaje Automático
• Procesamiento de Imágenes

Sus antecedentes:

• La segmentación semántica de pocos disparos (FSS) requiere predicción densa a partir de muestras anotadas limitadas en múltiples modalidades de imagen.
• Los métodos existentes a menudo tratan las diversas modalidades (visible, profundidad, térmica) por igual, sin tener en cuenta sus diferencias inherentes.
• Los desafíos incluyen variaciones significativas en el tamaño de los objetos y conexiones ineficaces entre soporte y consulta en los paradigmas de coincidencia actuales.

Objetivo del estudio:

• Proponer una novedosa red de coincidencia de características invariantes a la escala (SFM-Net) para la segmentación semántica de pocos disparos visible-profundidad-térmica (V-D-T).
• Abordar las limitaciones en el manejo de diferencias multimodales y variaciones de escala en FSS.
• Mejorar la precisión y robustez de la segmentación semántica con pocas muestras anotadas.

Principales métodos:

• SFM-Net integra un codificador, un bloque de coincidencia de características, un bloque de elevación de características y un decodificador.
• Un módulo de atención cruzada de píxel a parche (PTPCA) con agrupación de píxel a parche (PTP-pool) establece relaciones invariantes a la escala.
• Un módulo de fusión relacionado con el prior (PF) y una unidad de atención inversa (RA) mejoran la integración de características y la segmentación final.

Principales resultados:

• El modelo fusiona eficazmente características de imágenes visibles, de profundidad y térmicas, teniendo en cuenta las diferencias de modalidad.
• Se establecen relaciones invariantes a la escala, mejorando la segmentación de objetos de diversos tamaños.
• Los experimentos en el conjunto de datos VDT-2048-5i demuestran un rendimiento superior en comparación con los métodos del estado del arte.

Conclusiones:

• La SFM-Net propuesta avanza significativamente la segmentación semántica de pocos disparos V-D-T.
• Los novedosos módulos manejan eficazmente la fusión multimodal y las variaciones de escala.
• El enfoque ofrece una solución robusta para tareas de predicción densa con datos limitados.