多光谱深度神经网络融合方法用于低光物体检测

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 机器人技术 机器人技术 机器人技术

背景情况:

• 在低光条件下,自动驾驶汽车的感知很困难,这阻碍了安全性和可靠性.
• 当前的物体检测模型通常仅依赖视觉频谱数据,在黑暗中这种数据是有限的.
• 多光谱成像提供了补充数据,但对物体检测的有效融合仍未得到充分研究.

研究的目的:

• 调查融合红,绿,蓝 (RGB) 视觉和热红外数据的有效性,以提高夜间物体检测.
• 在自动驾驶场景中开发和评估用于多谱物体检测的深度学习框架.
• 分析不同聚变策略对检测性能的影响.

主要方法:

• 使用了基于Faster R-CNN架构的深度学习框架,并采用了特征金字塔网络.
• 来自RGB视觉和热红外图像的特征被提取并使用各种方法 (连锁,加法) 融合.
• 拟议的多谱模型在KAIST和FLIR数据集上进行了评估.

主要成果:

• 多光谱物体检测模型显著优于仅使用视觉 (RGB) 数据的模型.
• 热和视觉数据的融合提供了关键的补充信息,用于在低光照明下对象的区分.
• 拟议的核聚变框架与单模基线实验和现有的多谱探测器相比,表现优越.

结论:

• 融合视觉和热红外数据是提高夜间对象检测在自动驾驶中的高效策略.
• 开发的基于功能金字塔网络和战略融合的Faster R-CNN框架为低光感知挑战提供了强大的解决方案.
• 这项研究通过提高它们在不利的照明条件下感知环境的能力,提高了自主系统的能力.