INSANet:用于多光谱行人检测有效特征融合的INtra-INter光谱注意网络

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 对于安全系统来说,行人检测至关重要,但在低光和恶劣天气下很困难.
• 热成像为RGB图像提供补充数据,以提高强度.
• 现有的使用卷积的多模融合方法专注于局部特征,限制性能.

研究的目的:

• 提出一种基于注意力的新型融合网络,INSANet (INtra-INter光谱注意网络),用于改进行人检测.
• 为了更好的特征表示,捕获全球内部和跨光谱信息.
• 通过一种新的增强策略来解决多谱数据集不平衡,并改进模型通用化.

主要方法:

• 开发了INSANet,结合了内部和跨光谱的注意力块,以学习相互的光谱关系.
• 实施数据增强策略,以缓解数据集不平衡并增强对不同行人位置的学习.
• 对基准数据集 (KAIST,LLVIP) 进行了广泛的实验,并进行了区域性绩效评估.

主要成果:

• 在KAIST和LLVIP数据集上,INSANet实现了最先进的性能.
• 基于注意力的融合有效地捕获全球光谱信息,优于基于局部特征的方法.
• 拟议的增强策略提高了模型在各种场景中检测行人的能力.

结论:

• 拟议的INSANet网络显著提高了行人检测的准确性,特别是在具有挑战性的环境条件下.
• 整合内部和跨光谱注意力机制是捕捉全面光谱关系的关键.
• 该研究强调了数据增强对多谱数据集在改善模型稳定性和概括性的重要性.