隐式照明感知表示与交叉模态溢流对齐,用于通用多谱行人检测.
IEEE transactions on neural networks and learning systems
|January 12, 2026
概括
这项研究引入了通用多谱行人检测范式 (UMPDP),以改善全天行人检测. UMPDP有效地融合了红绿蓝 (RGB) 和热图像,克服了在不利的照明条件下存在的局限性.
科学领域:
- 计算机视觉 计算机视觉
- 机器学习 机器学习
- 人工智能的人工智能
背景情况:
- 传统的使用红绿蓝 (RGB) 图像的行人检测在不利的照明条件下是有限的,阻碍了安全和自动驾驶等关键应用.
- 多光谱行人检测,结合热成像,通过使检测独立于外部光源提供解决方案.
- 对RGB和热数据的有效融合策略仍然是一个未经探索的领域,在交叉模式交互和特征融合方面提出了挑战.
研究的目的:
- 开发一种先进的多光谱行人检测方法,能够进行全天检测.
- 解决现有方法的局限性,包括不充分的照明意识和模式之间的空间 misalignment.
- 提出一种新的融合范式,增强跨模式交互并优化功能融合.
主要方法:
- 提出了一种隐式的照明意识表示,以克服数据集中灯光特定标签的稀缺性.
- 引入了预注射特征对齐策略,以纠正RGB和热图像中的空间不对齐.
- 开发了一种通用多谱行人检测范式 (UMPDP),包括一种模式调整模块 (MAM),差分模式融合模块 (DMFM) 和任务调节照明模块 (TCIM).
主要成果:
- 在UMPDP中,跨基准数据集 (KAIST和CVC-14) 的多谱行人检测显著改善.
- 拟议的模块有效地解决了与照明变化和跨模式特征融合有关的挑战.
- 与现有的多光谱行人探测器相比,该方法实现了更高的性能.
结论:
- 开发的通用多谱行人检测模式 (UMPDP) 为全天行人检测提供了强大而有效的解决方案.
- 拟议的融合策略和照明感知模块显著提高了多光谱行人检测系统的性能.
- 这项工作为未来的多光谱物体检测研究提供了坚实的基础,特别是在具有挑战性的环境条件下.
相关概念视频
Light Acquisition
9.4K
In order to produce glucose, plants need to capture sufficient light energy. Many modern plants have evolved leaves specialized for light acquisition. Leaves can be only millimeters in width or tens of meters wide, depending on the environment. Due to competition for sunlight, evolution has driven the evolution of increasingly larger leaves and taller plants, to avoid shading by their neighbors with contaminant elaboration of root architecture and mechanisms to transport water and nutrients.
9.4K
Difference from Background: Limit of Detection
8.0K
The limit of detection (LOD) is the smallest amount of analyte that can be distinguished from the background noise. The LOD value corresponds to the concentration at which the analyte signal is three times larger than the standard deviation of the blank signal. Below this value, the analyte signal cannot be differentiated from the background noise. It is calculated by dividing the calibration slope by 3 times the standard deviation of the blank signals.
The LOD indicates the presence or absence...
The LOD indicates the presence or absence...
8.0K

