DAMM用于在复杂的社会和环境环境中检测和跟踪多种动物

科学领域:

• 神经科学和行为科学.
• 计算机视觉和机器学习
• 动物行为研究研究动物行为研究

背景情况:

• 准确的动物检测和跟踪对于大脑和行为研究至关重要.
• 计算机视觉辅助高通量行为分析,但与复杂的环境和闭塞作斗争.
• 现有的工具需要艰苦的,设置特定的培训,限制了它们的应用.

研究的目的:

• 开发一个物体检测模型,以最小的训练在具有挑战性的环境中定位小鼠.
• 创建适用于多样化和自然主义动物研究环境的多功能工具.
• 为推进行为研究提供可访问的资源.

主要方法:

• 在复杂的住房设置中收集并注释了一组多样化的小鼠数据集.
• 训练了一个面具R-CNN模型用于例如细分,称为检测任何鼠标模型 (DAMM).
• 在下游数据集上使用零射击和少数射击推理验证了DAMM,并使用SORT进行跟踪.

主要成果:

• DAMM在零射击推断方面表现出强的表现,在未见的场景中检测出小鼠和老鼠.
• 用最少的额外训练提高了性能.
• 使用SORT算法的追踪是强大的,并且与现有的方法具有竞争力.

结论:

• DAMM有效地将小鼠定位在复杂的环境中,培训要求最低.
• 该模型显示,在多种不同的研究环境中,对强大的动物跟踪有很大的希望.
• 发布了代码,模型权重,数据和一个用户友好的API,以促进行为研究.