相关实验视频
Updated: Aug 7, 2026
10:25
Deep Learning-Based Segmentation of Cryo-Electron Tomograms
Published on: November 11, 2022
8.6K
STransU2Net:基于变压器的混合模型用于详细的卫星图像中的建筑细分
Guangjie Liu1, Kuo Diao1, Jinlong Zhu1
1College of Computer Science and Technology, Changchun Normal University, Changchun, Jiling, China.
PloS one
|September 12, 2024
概括
新的STransU2Net模型通过结合卷积神经网络 (CNN) 和变压器的优势,有效地从卫星图像中提取各种尺寸的建筑物. 这种混合方法在建筑提取任务中取得了最先进的结果.
科学领域:
- 计算机视觉 计算机视觉
- 遥感 遥感 遥感 遥感
- 人工智能的人工智能
背景情况:
- 卷积神经网络 (CNN) 在局部特征提取方面表现出色,但在卫星图像中与较大的建筑物作斗争.
- 变压器擅长在全球上下文,但对地方细节效果不佳,影响较小的建筑提取.
- 现有的方法在准确地在广泛的尺度上对建筑物进行细分方面面临挑战.
研究的目的:
- 开发一种混合深度学习模型,STransU2Net,用于从卫星图像中准确地提取建筑物.
- 解决CNN和变压器在捕捉本地和全球特征的局限性,以进行建筑细分.
- 为了提高各种尺寸物体的建筑提取性能.
主要方法:
- 设计了STransU2Net,这是一个混合模型,集成了变压器和CNN架构.
- 引入了瓶聚合区块 (BPB),以增强边缘信息在低采样过程中.
- 嵌入式通道和空间注意区块 (CSAB) 改进了目标定位.
- 在跳过连接上添加了Swin变压器块 (STB),以提高全球建模能力.
主要成果:
- 在航空图像 (91.04%) 和卫星II数据集 (59.09%) 上获得了最先进的交叉对欧盟 (IoU) 评分.
- 与现有模型相比,在建筑提取任务中表现出优越的性能.
- 验证了混合方法在处理不同尺寸的建筑物的有效性.
结论:
- STransU2Net模型提供了一个强大的解决方案,用于从高分辨率卫星数据中准确地提取建筑物.
- 混合CNN和变压器组件有效地捕捉了多个规模的建筑特征.
- 拟议的建筑修改显著提高了建筑细分性能.
