相关实验视频
Updated: Feb 9, 2026

Using Looming Visual Stimuli to Evaluate Mouse Vision
Published on: June 13, 2019
蒸结构知识从CNN到视觉转换器,以实现数据效率高的视觉识别
Dingyao Chen1, Xiao Teng2, Xingyu Shen1
1College of Computer Science and Technology, National University of Defense Technology, Changsha, 410073, Hunan, China.
本研究介绍了基于特征的结构知识蒸 (FSKD),通过转移CNN特征来改进视觉转换器 (ViTs). FSKD 增强了 ViT 在视觉识别方面的性能,尤其是在有限的数据的情况下.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 机器学习 机器学习
背景情况:
- 知识蒸 (KD) 转移模型表示,通常对准输出逻辑.
- 现有的CNN-to-ViT传输方法忽略了CNN特征中的丰富语义结构.
- 这限制了视觉转换器 (ViTs) 在继承卷积神经网络 (CNN) 的诱导偏差.
研究的目的:
- 提出基于特征的CNN-to-ViT结构知识蒸 (FSKD) 框架.
- 将CNN功能中的语义结构知识与ViT的远程依赖能力集成.
- 提高视觉识别中的ViT性能,特别是在低数据模式下.
主要方法:
- 开发一个功能调整模块,以弥合CNN和ViT的代表性差距.
- 整合一个全局特征对齐损失.
- 引入贴片智能和注意力智能蒸损失,以实现贴片间的相似性和注意力分布转移.
主要成果:
- FSKD有效地将语义结构知识从CNN转移到ViTs.
- 该框架显著提高了ViT在视觉识别任务中的性能.
- 在训练数据有限的场景中,绩效增长尤其显著.
结论:
- FSKD提供了一种从CNN到ViTs的知识蒸的新方法.
- 该方法成功地传输了丰富的结构信息,超出了简单的逻辑对齐.
- FSKD 展示了 ViT 通用化和效率提升的潜力,特别是在数据稀缺的环境中.
更多相关视频
09:29A Standardized Obstacle Course for Assessment of Visual Function in Ultra Low Vision and Artificial Vision
Published on: February 11, 2014
10:23Author Spotlight: A Machine-Vision Approach to Transmission Electron Microscopy Workflows, Results Analysis and Data Management
Published on: June 23, 2023
相关概念视频
Vision
Color Vision
Distillation: Vapor–Liquid Equilibria
Bacterial Transformation
Griffith made an unexpected discovery when he killed the pathogenic strain and mixed its remains with the live, non-pathogenic strain. Not only did the mixture kill host mice, but it also contained living pathogenic bacteria that...
Depth Perception and Spatial Vision
Transformers
The iron core has a substantial relative permeability. Therefore, the magnetic field lines generated due to the current in one winding are almost entirely confined within the core, such that the same magnetic flux permeates each turn of both...