分布偏差嵌入调整视觉变压器的远程传感对象检测

科学领域:

• 计算机视觉 计算机视觉
• 遥感 遥感 遥感 遥感
• 机器学习 机器学习

背景情况:

• 由于遥感数据的可用性增加,在地球观测中对先进物体检测的需求日益增加.
• 视觉变压器 (ViT) 显示出希望,但面临的挑战是由于分布转移而适应遥感数据集.
• 微调特定下游任务的ViT需要大量的计算资源和时间.

研究的目的:

• 开发一种新的方法,使预先训练的视觉变换器适应遥感物体检测任务.
• 为了解决培训前和下游数据集之间的分布偏差.
• 为了提高计算效率并减少ViT微调的培训时间.

主要方法:

• 引入分布偏差嵌入式调整 (DBET) 方法.
• DBET使用了一个偏差嵌入令牌来动态调整特征表示.
• 该方法旨在调整分布,减少微调参数的数量,同时保持ViT结构.

主要成果:

• 在基准数据集上,DBET显著提高了准确性:EAGLE (56.94%),RarePlanes (80.56%) 和DOTA-v1.0 (70.68%).
• 减少可训练参数和加速微调过程.
• 与完整的微调相比,实现了平均培训时间减少58%.

结论:

• 通过有效地调整ViTs,DBET提供了一个可扩展的远程传感对象检测解决方案.
• 该方法提高了准确性,特别是对于类别有限的数据集.
• DBET提高了计算效率,使ViT适应在地球观测应用中变得更加实用.