一种基于变压器的方法,通过自我注意技术来实现远程传感中的语义细分
Wadii Boulila1,2, Hamza Ghandorh3, Sharjeel Masood4
1Robotics and Internet-of-Things Laboratory, Prince Sultan University, Riyadh 12435, Saudi Arabia.
Heliyon
|April 26, 2024
概括
本研究引入了一种用于远程传感图像细分的新型深度学习方法,将卷积和变压器架构结合起来,以准确识别细节和小型对象,减少计算需求.
科学领域:
- 计算机视觉 计算机视觉
- 遥感 图像分析 图像分析
- 深度学习架构 深度学习架构
背景情况:
- 遥感 (RS) 图像的语义细分对于土地覆盖的分类和场景理解至关重要.
- 现有的深度学习方法在RS图像分析中难以处理细节和高计算成本.
- 在高分辨率的RS图像中处理细节,同时管理计算需求仍然是一个挑战.
研究的目的:
- 开发一种用于RS图像语义细分的新方法,有效处理细节和小物体.
- 为解决与高分辨率RS图像分析相关的计算需求.
- 在遥感应用中提高语义细分的准确性.
主要方法:
- 一种混合深度学习架构,它结合了卷积层来实现细粒度特征和变压器块来实现上下文信息.
- 使用具有低受感场的卷积层来生成小物体的详细特征图.
- 采用变压器块来捕获全球上下文信息,减少了大量下采样的需求,并实现了全分辨率的特征处理.
主要成果:
- 拟议的方法实现了80.41%的平均子得分,超过了UNet (78.57%),FCN (74.57%),PSP Net (73.45%) 和CvT (62.97%).
- 在生成本地和上下文特征方面表现出有效性,这对于准确的细分至关重要.
- 与纯粹基于变压器的网络相比,这种方法需要更少的数据集.
结论:
- 新的混合卷积变压器方法显著提高了远程传感图像的语义细分精度,特别是对于小物体.
- 该方法为处理高分辨率遥感数据提供了计算效率高的解决方案.
- 这些发现表明,在遥感中改善场景理解和土地覆盖的分类方面,这是一个有前途的方向.
