AnimalRTPose:更快的跨物种实时动物姿势估计

科学领域:

• 计算机视觉 计算机视觉
• 动物行为分析.
• 机器学习 机器学习

背景情况:

• 分析复杂的动物行为是至关重要的,但由于不同的形态和环境,具有挑战性.
• 现有的计算机视觉工具在不同物种的实时姿势估计方面扎.

研究的目的:

• 介绍AnimalRTPose,这是一个跨物种,实时动物姿势估计的单阶段模型.
• 解决当前对各种动物受试者和条件的定位估计方法的局限性.

主要方法:

• 开发了AnimalRTPose,这是一个使用CSPNeXt骨干进行特征提取的单阶段模型.
• 集成的道注意力机制 (CAM) 和空间金字塔聚合 (SPP) 提供了强大的特征表示.
• 采用高效的多尺度功能融合模块,用于动态平衡本地和全球信息.

主要成果:

• 动物RTPose在实时动物姿势估计方面表现出卓越的性能,超过了现有的单阶段模型.
• 实现了高速率 (例如,NVIDIA A800上的1111 FPS) 和边缘设备上的高效吞吐量 (例如,NVIDIA Jetson AGX Orin上的196 FPS).
• 该模型支持单个动物,多个动物,跨物种和几次拍摄的场景,具有高精度和稳定性.

结论:

• AnimalRTPose为实时动物姿势估计提供了一个可扩展和多功能解决方案.
• 它的高性能使其适用于各种场景,包括实时监测动物行为.
• 该模型的架构有效地处理各种动物形态和环境复杂性.