先进的分离知识蒸用于对象检测
Chao Li1, Rugui Liu1, Zhe Quan1
1School of Artificial Intelligence and Computer Science, Jiangnan University, Wuxi, Jiangsu Province, China.
PeerJ. Computer science
|December 9, 2024
概括
深度学习模型压缩通过前景分离蒸 (FSD) 得到了改进. 这种方法通过减少噪音和更好地利用教师模型知识来提高对象检测的准确性,优于现有技术.
科学领域:
- 计算机视觉 计算机视觉
- 深度学习 (Deep Learning) 是一种深度学习.
- 机器学习 机器学习
背景情况:
- 深度学习模型对于计算机视觉至关重要,但资源密集型,阻碍在边缘设备上部署.
- 知识蒸 (KD) 是模型压缩的一个关键技术,但现有的方法在对象检测中与噪声作斗争.
- 目前用于对象检测的KD方法经常忽视噪声或不充分分离前景/背景,影响学生模型的准确性.
研究的目的:
- 引入一种新的前景分离蒸 (FSD) 方法,用于高效的物体检测模型压缩.
- 通过尽量减少不相关的信息和最大限度地从教师模型转移知识来提高学生模型的准确性.
- 在资源有限的设备上提高深度学习模型的部署性.
主要方法:
- 拟议的前景分离蒸 (FSD) 使用高斯热图进行前景背景区分.
- 通过将空间特征地图转换成概率形式来提取通道特征的方法.
- 将FSD应用于YOLOX对象检测框架.
主要成果:
- 用FSD增强的YOLOX探测器在摔倒检测和VOC2007数据集上表现出卓越的性能.
- 在落检测数据集上达到73.1%的平均平均精度 (mAP),比基线提高1.6%.
- 从教师模型来看,FSD有效地减少了不相关的信息,并改善了知识的利用.
结论:
- 前景分离蒸 (FSD) 在对象检测的知识蒸方面取得了重大进展.
- FSD提高了模型的准确性和效率,使深度学习模型更适合资源有限的环境.
- 拟议的方法提供了一个强大的解决方案,用于降低噪声和有效的知识转移在模型压缩.
