Red Neuronal de Fusión de Autoatención Enmascarada para la Clasificación Conjunta de Datos Hiperspectrales y LiDAR

Área de la Ciencia:

• Teledetección
• Visión por Computadora
• Análisis Geoespacial

Sus antecedentes:

• La imagen hiperespectral (HSI) proporciona datos espectrales ricos, mientras que la Detección y Rango de Luz (LiDAR) ofrece información estructural y de elevación para el mapeo de la cobertura terrestre.
• Los métodos existentes de clasificación conjunta HSI-LiDAR a menudo utilizan redes profundas con estrategias de fusión simples, lo que lleva a una explotación subóptima de las características y a altos costos computacionales.

Objetivo del estudio:

• Desarrollar un marco de fusión multimodal eficiente y efectivo para la clasificación conjunta de datos HSI y LiDAR.
• Superar las limitaciones de los métodos existentes para aprovechar al máximo las propiedades únicas de los datos y reducir los requisitos de recursos computacionales.

Principales métodos:

• Una Red de Fusión de Autoatención Enmascarada (MSAF) que utiliza un marco de fusión de atención cruzada en cascada.
• Desarrollo de un bloque de convolución móvil para la extracción de características multimodales.
• Implementación de una incrustación de secuencia de vista múltiple para integrar datos espectrales-espaciales y de elevación.
• Aplicación de un mecanismo de autoatención enmascarada para la fusión de secuencias de tokens.

Principales resultados:

• El marco propuesto MSAF mejora significativamente el rendimiento de la clasificación de la cobertura terrestre en comparación con los métodos avanzados existentes de fusión multimodal.
• El método demuestra una eficiencia computacional superior, abordando las altas demandas de recursos de los enfoques anteriores.
• La validación experimental en múltiples conjuntos de datos confirma la efectividad de las estrategias de fusión de autoatención enmascarada y de atención cruzada en cascada.

Conclusiones:

• La red MSAF ofrece una solución potente y eficiente para la clasificación conjunta de cobertura terrestre HSI-LiDAR.
• Los mecanismos de atención cruzada en cascada y autoatención enmascarada fusionan eficazmente las características multimodales, mejorando la precisión de la clasificación.
• Esta investigación contribuye con un modelo computacionalmente eficiente y de alto rendimiento para la fusión de datos de teledetección.