极端R-CNN:通过样本合成和知识蒸进行少数镜头对象检测
Shenyong Zhang1,2, Wenmin Wang1, Zhibing Wang1
1School of Computer Science and Engineering, Macau University of Science and Technology, Macau 999078, China.
Sensors (Basel, Switzerland)
|December 17, 2024
概括
极端R-CNN通过合成数据和使用知识蒸改进了少数镜头对象检测. 这种新的双阶段微调方法 (TFA) 提高了对有限训练样本的未知对象类别的准确性.
科学领域:
- 计算机视觉 计算机视觉
- 机器学习 机器学习
- 人工智能的人工智能
背景情况:
- 传统的物体探测器需要大量的注释.
- 少数射击物体探测器在基础类别偏差和样本变化方面扎.
- 对未知类的有限数据在对象检测中构成重大挑战.
研究的目的:
- 使用极其有限的原始样本,开发一种有效的短拍物体检测方法.
- 为了减轻偏差,并提高对新类别的物体检测的稳定性.
- 引入一种名为Extreme R-CNN的双阶段微调方法 (TFA).
主要方法:
- 通过实例剪切和数据增强实现了样本合成.
- 通过分离兴趣区域 (RoI) 的回归和分类组件来增强更快的R-CNN.
- 利用知识蒸来将学习从基础类别转移到新型类别.
主要成果:
- 在微软COCO和PASCAL VOC数据集上的基线方法上取得了显著的改进.
- 提高了新类别的平均精度,在PASCAL VOC上高达15%,在COCO上高达6.1%.
- 在一次射击场景中,模型AP50超过了PASCAL VOC.的基线10次射击AP50.
结论:
- 拟议的Extreme R-CNN有效地解决了在有限的数据下进行少数拍摄物体检测的挑战.
- 综合样本合成和知识蒸的TFA显示了新型类别的卓越性能.
- 该方法显示出显著的有效性,甚至在低射线场景中表现优于基线模型.
