适应式图形对比学习与硬负挖矿用于多式联络超频谱和LiDAR分类

科学领域:

• 遥感 遥感 遥感 遥感
• 计算机视觉 计算机视觉
• 机器学习 机器学习

背景情况:

• 对高光谱图像 (HSI) 和光检测和距离测量 (LiDAR) 数据的联合分类至关重要,但由于数据异质性而具有挑战性.
• 现有的图形神经网络 (GNN) 方法通常需要大量的标记数据,这限制了它们在标签稀缺的遥感中的使用.

研究的目的:

• 提出一个自我监督的图形框架,自适应图形对比学习 (AGCL),用于强大的HSI和LiDAR分类.
• 在标签稀缺的场景中应对多式联通和特征建模的挑战.

主要方法:

• 开发了AGCL,这是一个自我监督的图形框架,利用输入条件的邻里选择来进行自适应图形构建.
• 实现了动态亲和矩阵以实现灵活的消息传递,以及硬负挖矿策略以实现有效的对比学习.
• 在自我监督的预训练期间,采用了对模式内一致性,模式间对齐和图形拓结构的联合优化.

主要成果:

• 拟议的AGCL框架在三个基准数据集中证明了HSI和LiDAR分类的有效性.
• 自主监督的预训可以从异质的多式联运数据中实现强大的特征学习,而无需标记样本.
• 通过监督微调,学习的表征成功地被转移到下游分类任务中.

结论:

• AGCL为联合HSI和LiDAR分类提供了一种强大的自我监督方法,克服了标签稀缺环境中监督方法的局限性.
• 适应式图形构造和对比式学习策略增强了多式联络融合和功能表示,用于遥感应用.