AMSRDet: Una Red Adaptativa Multi-Escala de Detección de Vehículos con Sensores Remotos Infrarrojos y Visibles de...

Área de la Ciencia:

• Visión por Computadora
• Inteligencia Artificial
• Teledetección

Sus antecedentes:

• Las plataformas de vehículos aéreos no tripulados (UAV) ofrecen una detección de vehículos rentable para sistemas de transporte inteligentes.
• La detección de vehículos pequeños en escenas aéreas complejas presenta desafíos debido a las variaciones de escala, la interferencia ambiental y las limitaciones de un solo sensor.

Objetivo del estudio:

• Desarrollar una red de detección adaptativa multiescala para una detección robusta de vehículos basada en UAV.
• Fusionar las modalidades infrarroja (IR) y visible (RGB) para mejorar el rendimiento de la detección.

Principales métodos:

• Se introdujo AMSRDet (Adaptive Multi-Scale Remote Sensing Detector) con cuatro componentes novedosos.
• Se empleó un codificador de doble flujo basado en MobileMamba con bloques Selective State-Space 2D (SS2D) para una extracción eficiente de características.
• Se integró un módulo de fusión global intermodal (CMGF) para capturar dependencias globales y suprimir el ruido.
• Se utilizó un módulo de fusión de atención escala-coordenada (SCAF) y un decodificador dinámico separable para mejorar la integración de características multiescala y las predicciones adaptativas a la escala.

Principales resultados:

• AMSRDet logró un 45,8% de mAP@0,5:0,95 y un 81,2% de mAP@0,5 en el conjunto de datos DroneVehicle.
• El sistema operó a 68,3 fotogramas por segundo (FPS) con 28,6 millones de parámetros y 47,2 GFLOPs.
• Superó a veinte detectores de última generación, incluidos YOLOv12, DEIM y Mamba-YOLO, con mejoras significativas en mAP.
• Demostró una fuerte generalización en el conjunto de datos Camera-vehicle, logrando un 52,3% de mAP sin ajuste fino.

Conclusiones:

• AMSRDet proporciona una solución robusta y eficiente para la detección de vehículos basada en UAV en escenarios complejos de teledetección.
• La fusión propuesta de modalidades IR y RGB, junto con componentes arquitectónicos novedosos, mejora significativamente la precisión de la detección y la generalización.
• El marco aborda los desafíos clave en la variación de escala y las limitaciones del sensor, allanando el camino para mejorar los sistemas de transporte inteligentes.