使用多层双向蒸来增强行动识别的本地和全球特征.
Shilu Kang1, Hua Huo1, Jiaxin Xu1
1College of Information Engineering and Artificial Intelligence, Henan University of Science and Technology, Luoyang 471000, China.
Sensors (Basel, Switzerland)
|November 27, 2025
概括
本研究介绍了一种多层双向蒸模型 (MBD),用于动作识别. MBD模型有效地平衡了本地和全球特征,提高了短视频和长视频的准确性.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 机器学习 机器学习
背景情况:
- 动作识别的准确性取决于平衡本地和全球视频功能.
- 长视频理解在动态整合这些功能方面存在挑战.
研究的目的:
- 提出一个多层双向蒸模型 (MBD) 以提高动作识别.
- 使用双流架构探索本地和全球特征之间的协同增强.
主要方法:
- 利用3D CNN用于本地和视频变压器用于全球时空特征.
- 在中间层和最后层实施双向知识蒸.
- 采用了基于特征优势的自适应融合策略,用于动态加权总和.
主要成果:
- 在四个经典的动作识别基准中,MBD模型表现出卓越的性能.
- 在短视频识别和复杂的长视频场景中实现了更高的准确性.
- 有效地抑制来自非主导特征的噪音,同时最大限度地提高主导特征的优势.
结论:
- MBD模型通过有效地整合本地和全球特征,为行动识别提供了一种新的方法.
- 双向蒸和自适应融合策略克服了传统方法的局限性.
- 该模型显示了对现实世界视频理解应用的巨大潜力.
