一个空间光谱融合卷积变压器网络,具有上下文多头自我注意力,用于高光谱图像分类
概括
本研究介绍了一种新的空间光谱融合卷积变压器 (SSFCT) 用于高光谱图像分类. SSFCT方法有效地增强了本地特征提取,在多个数据集上表现优于现有的技术.
科学领域:
- 遥感 遥感 遥感 遥感
- 计算机视觉 计算机视觉
- 人工智能的人工智能
背景情况:
- 超光谱图像 (HSI) 分类从将卷积神经网络 (CNN) 结合用于局部特征和视觉变换器用于全球特征的优势.
- 现有的融合方法往往引入了感应偏差,并没有通过卷积嵌入充分增强变压器通过卷积嵌入的本地上下文信息提取.
研究的目的:
- 提出一种新的空间光谱融合卷积变压器 (SSFCT) 方法,具有上下文多头自我注意力 (CMHSA),以改进HSI分类.
- 增强用于HSI分析的变压器架构内的局部上下文信息的提取.
主要方法:
- 一个局部特征聚合 (LFA) 模块,使用三分支卷积和注意层来提取和完善局部空间光谱特征.
- 一种上下文多头自我注意力 (CMHSA) 机制,集成了3D卷积和注意力的静态和动态本地上下文表示.
- 一个双分支空间光谱卷积变压器 (DSSCT) 模块和一个注意力特征融合 (AFF) 模块,用于全面的全球-本地特征提取.
主要成果:
- 拟议的SSFCT方法在五个不同的HSI数据集上实现了最先进的性能.
- 实现了高整体精度:98.03% (印度松树),99.68% (沙利纳斯山谷),98.65% (休斯顿2013),97.97% (博茨瓦纳) 和89.43% (黄河三角洲).
结论:
- 在SSFCT方法有效地捕获全球-本地协会在空间和光谱领域为HSI分类.
- 集成增强的本地特征提取和变压器功能显著提高了分类准确性.
