超级动物预训练的姿势估计模型用于行为分析
Shaokai Ye1, Anastasiia Filippova1, Jessy Lauer1
1École Polytechnique Fédérale de Lausanne (EPFL), Brain Mind Institute & Neuro-X Institute, Geneva, Switzerland.
Nature communications
|June 21, 2024
概括
超级动物能够在45多个物种中准确地估计动物的姿势,而无需手动标签. 这种基础模型显著提高了行为分析和动力学研究的数据效率.
科学领域:
- 计算生物学是一种计算生物学.
- 伦理学 伦理学 伦理学
- 机器学习 机器学习
背景情况:
- 准确量化动物行为对于神经科学,兽医和自然保护至关重要.
- 目前的姿势估计方法依赖于广泛的手动标签和领域专业知识,限制了可扩展性.
研究的目的:
- 开发一种统一的基础模型,用于对超过45个物种的动物姿势估计.
- 减少手动标签的需要,提高行为分析中的数据效率.
主要方法:
- 开发了SuperAnimal,这是多种动物姿势估计的基础模型.
- 利用无监督的视频适应来提高性能和减少动.
- 在各种标记数据集上展示了微调能力.
主要成果:
- 在六个姿势估计基准中取得了出色的表现.
- 与之前的转移学习方法相比,数据效率提高了10-100倍.
- 在行为分类和运动分析中得到验证的实用性.
结论:
- 超级动物为动物姿势估计提供了数据效率高,统一的解决方案.
- 该方法显著降低了许多物种行为分析的进入障碍.
- 在没有广泛的手动注释的情况下,能够在行为分类和动力学中实现高级应用.


