概括
我们开发了BEAST (通过自主监督变形金刚的预训练进行行为分析),这是一个分析视频中的动物行为的新框架. 它使用未标记的数据来改善神经科学研究,即使标签有限.
科学领域:
- 神经科学是一个神经科学.
- 计算机视觉 计算机视觉
- 机器学习 机器学习
背景情况:
- 了解大脑需要研究行为,但当前的视频分析方法需要大量的标记数据.
- 这限制了神经科学研究中的行为分析,特别是当标记数据集稀缺时.
研究的目的:
- 介绍 BEAST (通过自主监督变形金刚的预训练进行行为分析),这是分析神经行为数据的可扩展框架.
- 为了利用未标记的视频数据预训练视觉转换器,进行各种行为分析.
主要方法:
- 野兽利用蒙面自动编码和时间对比学习在未标记的视频数据.
- 它为行为分析任务预训练实验特定的视觉转换器.
主要成果:
- 在三个关键任务中,BEAST在多种物种中表现得更好:行为特征提取,姿势估计和动作细分.
- 该框架在单个和多个动物环境中都表现出有效性.
- 在数据稀缺的情况下,BEAST加速行为分析.
结论:
- BEAST为神经科学中的行为分析提供了一个强大而通用的骨干模型.
- 该框架有效地解决了基于视频的行为研究中有限的标记数据的挑战.
- 这种方法提高了与特定行为关联神经活动的能力.
