研究动物行动细分算法跨监督,无监督和半监督学习模式的研究
Ari Blau1, Evan S Schaffer2, Neeli Mishra3
1Department of Statistics, Columbia University.
ArXiv
|August 7, 2024
概括
行为视频中的动作细分使用各种算法来标记. 完全监督的时间卷积网络在多种物种数据集中表现最好.
科学领域:
- 伦理学和计算神经科学
- 机器学习用于行为分析.
背景情况:
- 动作细分对于分析视频数据中的动物行为至关重要.
- 现有的算法包括监督,无监督和半监督的方法,如深度神经网络和图形模型.
- 这些算法在结构和数据假设上有所不同.
研究的目的:
- 系统地比较各种行动细分算法的性能.
- 为了评估算法对齐与手动注释行为跨多个物种.
- 引入一种新的半监督模型,将深度学习和图形模型相结合.
主要方法:
- 利用了四个不同的数据集:,老鼠和人类行为视频.
- 系统评估监督,无监督和半监督的行动细分算法.
- 引入并评估了一种新的半监督行动细分模型.
主要成果:
- 完全监督的时间卷积网络在监督的指标上表现出卓越的表现.
- 在所有测试物种数据集 (,老鼠,人类) 中,性能一致.
- 拟议的半监督模型在弥合现有的算法差距方面表现出有希望.
结论:
- 带有时间信息的监督时间卷积网络对于行动细分非常有效.
- 在不同的物种和行为数据集中,算法性能是稳定的.
- 这项研究为行为科学中的行动细分提供了全面的基准.


