改进了3D无标记鼠标使用时间半监视的姿势估计
Tianqing Li1, Kyle S Severson2, Fan Wang2
1Duke University, Pratt School of Engineering, Department of Biomedical Engineering, Durham, 27708, NC, USA.
International journal of computer vision
|January 26, 2024
概括
本研究引入了一种半监督学习方法,用于3D动物姿势估计,提高了使用多视图视频追踪自由移动动物的准确性和稳定性. 该技术利用未标记的视频数据来提高超越当前最先进的方法的性能.
科学领域:
- 量化动物行为量化动物行为.
- 计算机视觉 计算机视觉 计算机视觉
- 机器学习用于生物研究.
背景情况:
- 从多视图视频中估计无标记的三维 (3D) 姿势是量化动物行为的有希望的技术.
- 目前的方法面临挑战,因为训练数据有限,算法没有针对动物特定的身体计划进行优化.
- 完全监督的卷积神经网络 (CNN) 需要广泛的标记数据集来进行准确的3D跟踪.
研究的目的:
- 开发一种更有效,更准确的3D动物姿势估计方法.
- 在监督学习方法中克服数据稀缺的局限性.
- 为了提高动物追踪的时间稳定性和骨一致性.
主要方法:
- 开发了一种半监督学习策略,将未标记的视频纳入培训过程.
- 在培训期间应用了一个简单的时间约束,以利用未标记的数据.
- 该方法在自由移动的小鼠上使用多视图视频录制进行了评估.
主要成果:
- 拟议的半监督方法显著改善了多视图体积3D姿势估计的最先进性能.
- 在3D跟踪结果中观察到增强的时间稳定性和骨一致性.
- 该方法在量化自由移动动物的行为方面表现出有效性.
结论:
- 半监督学习提供了一个可行的解决方案,以改善3D动物姿势估计,减少对标记数据的依赖.
- 开发的技术提高了无标记动物追踪系统的准确性和可靠性.
- 这种方法有可能通过提供更强大的姿势估计工具来加速行为研究.
