适应性位置指导:使用位置指导在微小数据集上初始化视觉转换器的学习
概括
适应性本地指导 (ALG) 通过与CNN指导初始化,然后允许独立学习来改进小型数据集上的视觉转换器 (VTs). 这种方法提高了准确性,同时降低了VTs的计算成本.
科学领域:
- 计算机视觉 计算机视觉
- 机器学习 机器学习
- 深度学习 (Deep Learning) 是一种深度学习.
背景情况:
- 视觉转换器 (VTs) 难以处理小数据集,通常只学习全球信息.
- 在没有广泛的训练数据的情况下,倾向于使用卷积神经网络 (CNN).
- 地方指导 (LG) 使用预训练CNN指导VTs学习当地特征.
研究的目的:
- 解决LG阻碍VTs全球特征学习的局限性.
- 提出一种改进的方法,即适应性LG (ALG),用于在小数据集上培训VTs.
- 为了提高VT的性能,并减少在培训期间的计算开销.
主要方法:
- 开发了自适应性LG (ALG),这是对LG的增强.
- ALG使用LG进行初始化,然后允许VTs独立学习.
- VT和指导CNN之间的特征距离决定了LG持续时间.
- ALG是一种适用于各种虚拟机和数据集的插件运行方法.
主要成果:
- ALG显著降低了LG的计算成本 (37%-64%).
- 通过ALG,VTs的验证准确度提高了6.71%,高达6.71%.
- 该方法在10个虚拟实验室和5个数据集中成功应用.
结论:
- 适应性LG有效地平衡了在VTs中的本地和全球特征学习.
- 在有限的数据上,ALG提供了一种更有效和更有效的方法来培训VTs.
- 拟议的方法可以提高VT的性能,而不会造成大量的计算损失.
