Un modelo híbrido de transformador de visión ResNet50 con un mecanismo de atención para la clasificación de imágenes...

Área de la Ciencia:

• Visión por ordenador Visión por ordenador Visión por ordenador Visión por ordenador Visión por ordenador
• Aprendizaje automático Aprendizaje automático.
• La detección remota con sensores.

Sus antecedentes:

• La clasificación de imágenes aéreas presenta desafíos significativos debido a la complejidad y variabilidad de las imágenes.
• Los métodos existentes luchan por manejar eficazmente las diversas características presentes en las imágenes aéreas.

Objetivo del estudio:

• Proponer y evaluar dos nuevos modelos híbridos de aprendizaje profundo para mejorar la clasificación de imágenes aéreas.
• Para abordar el desafío abierto de la clasificación de imágenes aéreas mediante el aprovechamiento de mecanismos avanzados de extracción de características y atención.

Principales métodos:

• Extracción de características utilizando ResNet-50 y el transformador de visión (ViT).
• Desarrollo de dos modelos híbridos: uno con atención multi-cabeza (MHA) y otro con atención cruzada.
• Evaluación sobre el conjunto de datos de imágenes aéreas de Sikkim para la detección de objetos (SAIOD) utilizando precisión, recuerdo, puntuación F1 y curva ROC.

Principales resultados:

• El modelo híbrido que incorpora ResNet-50, ViT y MHA logró una precisión superior del 95,80%.
• Ambos modelos híbridos propuestos demostraron un rendimiento superior al estado actual de los métodos de vanguardia.
• El modelo basado en MHA mostró capacidades particularmente fuertes en la identificación de características informativas para la clasificación.

Conclusiones:

• Los modelos híbridos que combinan las características de ResNet-50 y ViT con mecanismos de atención ofrecen una solución poderosa para la clasificación de imágenes aéreas.
• El enfoque basado en MHA es altamente efectivo para mejorar la precisión de la clasificación y la selección de características en imágenes aéreas complejas.
• Los modelos propuestos representan un avance significativo en el campo del análisis de imágenes aéreas y la detección de objetos.