面具自我注意的融合网络,用于对高光谱和LiDAR数据的联合分类

科学领域:

• 遥感 遥感 遥感 遥感
• 计算机视觉 计算机视觉
• 地理空间分析是什么

背景情况:

• 超光谱成像 (HSI) 提供了丰富的光谱数据,而光检测和测距 (LiDAR) 提供了用于土地覆盖地图的结构和高度信息.
• 现有的联合HSI-LiDAR分类方法往往使用简单的融合策略的深度网络,导致功能利用率低于最佳,计算成本高.

研究的目的:

• 开发一个高效和有效的多模式融合框架,用于联合HSI和LiDAR数据分类.
• 克服现有方法在充分利用独特的数据属性和减少计算资源需求方面的局限性.

主要方法:

• 一个蒙面的自我注意力融合网络 (MSAF) 使用级联交叉注意力融合框架.
• 开发一个移动卷积块用于多模特征提取.
• 实现多视图序列嵌入,以集成光谱空间和高度数据.
• 面具自我注意力机制用于令牌序列融合的应用.

主要成果:

• 拟议的MSAF框架与现有的先进的多模式融合方法相比,显著提高了土地覆盖分类性能.
• 该方法展示了卓越的计算效率,解决了以前方法的高资源需求.
• 跨多个数据集的实验验证证证了级联交叉注意力和蒙面自我注意力融合策略的有效性.

结论:

• 该MSAF网络提供了一个强大的和高效的解决方案,用于联合HSI-LiDAR土地覆盖分类.
• 级联交叉注意力和蒙面自我注意力机制有效地融合了多模式特征,提高了分类准确性.
• 这项研究为远程传感数据融合提供了一个计算效率高和高性能模型.