费拉尔:一种视频理解系统,用于直接将视频映射到行为
Peter Skovorodnikov1, Janet Zhao2, Friederike Buck3
1Data Science Platform, The Rockefeller University, New York, NY, USA.
bioRxiv : the preprint server for biology
|December 3, 2025
概括
FERAL是一种新的工具包,可以直接从原始视频中分析动物行为,而无需对姿势进行估计. 这种方法为各种研究应用提供了可扩展的跨物种行为量化方法.
科学领域:
- 伦理学 伦理学 伦理学
- 计算机视觉 计算机视觉
- 机器学习 机器学习
背景情况:
- 量化动物行为分析需要将连续的行为细分成离散的状态.
- 手动注释是耗时的,主观的,并且不能扩展.
- 现有的自动化方法依赖于姿势估计,可通过跟踪精度来限制,并丢弃视觉数据.
研究的目的:
- 引入FERAL (用于识别动物运动的特征提取),一个监督的视频理解工具包.
- 为了使原始视频直接映射到级行为标签,绕过姿势估计.
- 为可扩展的行为量化提供一个用户友好的,开源的解决方案.
主要方法:
- 费拉尔使用监督学习方法来处理原始视频数据.
- 它直接从视频中提取特征,以预测行为标签.
- 该工具包绕过了中间姿势估计步骤的需要.
主要成果:
- 在基准数据集上,FERAL的性能优于基于最先进的图像和视频的方法.
- 与现有工具相比,它使用的培训数据要少得多,实现了卓越的性能.
- 该系统展示了跨不同物种,记录条件和行为复杂性的概括性.
结论:
- 费拉尔为动物行为量化提供了一个强大的,可扩展的解决方案.
- 它降低了复杂的行为分析的进入障碍.
- 该工具包在实验室和实地研究中促进了更广泛的应用.
