禾中的针:用于从大规模视频收藏中检索时刻的粗细对齐网络
Lingwen Meng1, Fangyuan Liu1, Mingyong Xin1
1Electric Power Research Institute of Guizhou Power Grid Co. Ltd, Guiyang, China.
PloS one
|May 15, 2025
概括
这项研究引入了一种用于在大型视频收藏中检索时刻的新方法. 粗细对齐网络 (CFAN) 通过结合视频和时刻检索子任务来提高搜索准确性.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 机器学习 机器学习
背景情况:
- 从大规模的视频集合中检索时刻是具有挑战性的,因为现有的单个视频方法的计算需求.
- 将复杂的网络架构扩展到庞大的视频数据集对于精确的时间边界定位是低效的.
研究的目的:
- 开发一种高效和有效的方法,用于在大规模的视频收藏中检索时刻.
- 通过将问题分解成可管理的子任务来解决现有方法的局限性.
主要方法:
- 提出粗细对齐网络 (CFAN),这是一个新的时刻检索架构.
- 将任务分解为两个相互增强的子任务:从集合中检索视频和在单个视频中检索时刻.
- 采用视频对齐模块,交叉模式交互模块和多层次对齐信息流.
主要成果:
- 该CFAN方法有效地利用全球视频上下文和细粒度查询-视频对齐.
- 在ActivityNet Captions,Charades-STA和DiDeMo数据集上的实验表明了显著的改进.
- 拟议的方法在搜索和定位视频时刻方面表现出卓越的性能.
结论:
- 粗细对齐网络 (CFAN) 为大型视频集中的时刻检索提供了有效的解决方案.
- 分解成子任务和多层次信息交互提高了检索准确性和效率.
- CFAN代表了视频理解和检索技术的重大进步.
