在基于跨模态交叉注意力的多谱遥感图像中对象检测

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 传感器融合式传感器

背景情况:

• 单一的可见图像不足以在复杂的环境中进行感知.
• 在夜间和雾等极端条件下检测目标存在重大挑战.

研究的目的:

• 开发一种新的双流实时探测器,用于在极端环境中检测目标.
• 有效地利用可见和红外图像来增强环境传感.

主要方法:

• 将YOLOv8骨干扩展为平行双流架构,用于同时进行多模式处理.
• 引入了使用注意力机制的跨模式功能增强模块,以防止信息丢失和改善小目标检测.
• 提出了三阶段的融合策略 (空间,通道,整体维度) 以实现最佳的功能集成.

主要成果:

• 在两个数据集中检测小目标方面实现了最先进的性能.
• 在具有挑战性的环境条件下表现出卓越的稳定性和强大的检测能力.
• 验证了端到端训练的交叉模式特征融合模块的有效性.

结论:

• 拟议的快速全天候环境传感 (FAWDet) 探测器为在极端环境中检测目标提供了一个新的解决方案.
• FAWDet提供了稳定和强大的性能,优于现有方法,特别是在小目标上.
• 这种双流方法有效地将可见和红外数据融合在一起,以获得全面的环境感知.