ELDGG:一个端到端的LiDAR动态引导的GAN,用于高光谱图像的层次重建和分类

科学领域:

• 遥感 遥感 遥感 遥感
• 计算机视觉 计算机视觉
• 人工智能的人工智能

背景情况:

• 超光谱图像 (HSI) 和光检测和距离 (LiDAR) 数据融合在动态特征交互和空间细节重建方面面临着挑战.
• 现有的融合方法往往在静态特征集成和高保真度空间细节保存方面扎.

研究的目的:

• 提出一个端到端的 LiDAR-动态引导的生成对抗网络 (ELDGG) 用于层次的 HSI 重建和分类.
• 改进跨模式特征的动态适应性相互作用和高保真度空间细节重建在HSI-LiDAR融合中.

主要方法:

• 该ELDGG框架使用一个指导层次重建生成器 (GHR-Generator) 和一个感知增强的光谱规范化歧视器 (PSR-Discriminator).
• 关键的创新包括用于动态特征适应的交叉模式参数适应融合模块 (CPAF模块) 和用于无文物空间细节重建的 LiDAR 引导的神经隐性场重建单元 (L-GNIF单元).
• 开发了一种感知增强的光谱规范化歧视仪 (PSR-Discriminator),具有多级特征匹配和光谱规范化约束.

主要成果:

• 拟议的CPAF模块有效地利用LiDAR全球环境,为HSI特征生成动态卷积运算符.
• 通过学习连续的坐标到特征映射,L-GNIF单元实现了高保真,无文物特征空间重建.
• PSR-Discriminator提供了全面的感知信号,跨越浅层,中层和深层的语义尺度.

结论:

• 在数据融合质量和土地覆盖分类准确性方面,ELDGG表现出优于最先进的方法的性能.
• 端到端的培训和联合多任务优化确保生成的融合特征具有真实性和类别可区分性.
• 空间光谱精细化分类器 (SSR-Classifier) 有效地解码了优化的特征地图,用于高精度的土地覆盖分类.