任务脱的知识转移用于跨模式对象检测
Chiheng Wei1, Lianfa Bai1, Xiaoyu Chen1
1The School of Electronic and Optical Engineering, Nanjing University of Science and Technology, Nanjing 210094, China.
Entropy (Basel, Switzerland)
|August 26, 2023
概括
这项研究引入了一种用于红外物体检测的新方法,这对于恶劣的天气条件至关重要. 它通过解任务和改进特征表示来提高跨模式对象检测性能,实现最先进的结果.
科学领域:
- 计算机视觉 计算机视觉
- 机器学习 机器学习
- 遥感 遥感 遥感 遥感
背景情况:
- 红外 (IR) 成像对于在恶劣天气中对象检测至关重要,它补充了可见光数据.
- 现有的红外物体检测方法通常依赖于可见光预训练,由于模式差异,这限制了性能.
- 大规模IR数据集的稀缺性阻碍了强大的预培训模型的开发.
研究的目的:
- 调查任务相关特征对跨模式物体检测的影响.
- 提出一种知识传输算法,以改善红外线物体检测中的特征表示.
- 为了提高对象检测在不同模式的性能.
主要方法:
- 开发了一个基于分类和本地化脱分析的知识传输算法.
- 引入了一种任务脱的预训练方法,以调整模型学习的特定任务属性.
- 提出了一种与任务相关的超参数演变方法,以提高在培训期间的网络适应性.
主要成果:
- 拟议的方法证明了在各种数据集中实现多模式对象检测的准确性提高.
- 在FLIR ADAS数据集上实现了最先进的性能.
- 这种方法超过了大多数现有的多光谱物体检测方法的性能.
结论:
- 开发的任务脱的预训练和知识转移方法有效地改善了跨模式的对象检测.
- 这些发现强调了定制特征表示对于在具有挑战性的环境条件下强大的性能的重要性.
- 这项研究为使用红外成像的可靠物体检测提供了重大进展.
