DMPFDet: Una red de aprendizaje de promoción mutua deformable de extremo a extremo para la detección de fusión...

Área de la Ciencia:

• Visión por Computadora
• Inteligencia Artificial
• Fusión de Sensores

Sus antecedentes:

• La fusión de imágenes multimodales y la detección de objetos son vitales para la conducción autónoma.
• Los métodos de fusión actuales a menudo priorizan el atractivo visual sobre el rendimiento de la tarea posterior.
• Los métodos de detección existentes luchan por aprovechar al máximo la información específica de la modalidad y la intermodal.

Objetivo del estudio:

• Proponer DMPFDet, una red de aprendizaje de promoción mutua deformable de extremo a extremo para la detección de fusión visible-infrarroja.
• Lograr una fusión de alta calidad y una detección precisa dentro de un pipeline de entrenamiento unificado.
• Abordar las limitaciones de los métodos de fusión y detección existentes permitiendo la guía mutua.

Principales métodos:

• Se introdujo un módulo Multimodal Deformable Detection Transformer (MDDT) basado en RT-DETR para la extracción de características.
• Se desarrolló un módulo Cross-Modal Attention Fusion (CMAF) para capturar información local y global detallada.
• Se implementó un mecanismo de guía mutua entre los módulos de fusión y detección para la optimización conjunta.

Principales resultados:

• DMPFDet demostró un rendimiento superior en comparación con los métodos de vanguardia en múltiples conjuntos de datos.
• El método logró resultados de fusión efectivos adaptados específicamente para tareas de detección de objetos.
• Se observaron mejoras significativas en la precisión y robustez de la detección en entornos complejos.

Conclusiones:

• DMPFDet ofrece un enfoque unificado para la fusión multiespectral de alta calidad y la detección de objetos precisa.
• El aprendizaje de promoción mutua propuesto mejora tanto las capacidades de fusión como de detección.
• Este método muestra un gran potencial para avanzar en los sistemas de percepción de conducción autónoma.