MBT3D:基于深度学习的多对象追踪器,用于大黄蜂3D飞行路径估计
Luc Nicolas Stiemer1, Andreas Thoma1,2, Carsten Braun1
1Department of Aerospace Engineering, FH Aachen, Aachen, North Rhine-Westphalia, Germany.
PloS one
|September 22, 2023
概括
多蜂追踪器 (MBT3D) 算法准确地追踪社会群体中的熊蜂飞行路径,克服了诸如遮蔽和外观变化等挑战. 这种深度学习框架通过最小的身份切换实现了高精度,从而提升了动物跟踪能力.
科学领域:
- 计算机视觉 计算机视觉
- 动物行为 动物行为
- 机器人技术 机器人技术 机器人技术
背景情况:
- 在社会群体中追踪大黄蜂的飞行路径是复杂的,因为它们的快速移动,外观变化和个体相似性.
- 现有的跟踪算法往往有局限性,包括严格的照明要求,高对比度需求和易受阻塞.
研究的目的:
- 开发和评估Multi-Bees-Tracker (MBT3D),这是一个Python框架,用于在社交环境中强大的熊蜂跟踪.
- 将不同的深度学习检测架构 (YOLOv5,更快的R-CNN,RetinaNet) 进行比较,以优化大黄蜂检测性能.
- 使用立体摄像头数据重建熊蜂的三维 (3D) 飞行路径.
主要方法:
- 实现了基于跟踪算法的深度关联追踪器 (MBT3D),结合了离线训练外观描述器和卡尔曼波器.
- 训练了11359张标记的熊蜂图像上的检测模型,并评估了YOLOv5,Faster R-CNN和RetinaNet的性能.
- 利用2000张图像的验证数据集来评估追踪器的准确性 (MOTA,MOTP) 和身份切换率.
主要成果:
- 在大黄蜂检测中,YOLOv5获得了最高的平均精度 (AP) 53.8%,超过了Faster R-CNN (45.3%) 和RetinaNet (38.4%).
- 使用更快的R-CNN检测,MBT3D追踪器达到93.5%的多重对象追踪精度 (MOTA) 和75.6%的MOTP.
- 与其他最先进的动物追踪算法相比,MBT3D的身份切换和假阳性率明显较低.
结论:
- 该MBT3D框架提供可靠的追踪在一个群体内的单个大黄蜂,最大限度地减少身份开关.
- 该研究强调了深度学习方法在复杂的动物追踪任务中的有效性.
- MBT3D为重建3D大黄蜂飞行路径提供了有价值的工具,推动了行为生态学的研究.
更多相关视频
08:04Fully Automated Leg Tracking in Freely Moving Insects using Feature Learning Leg Segmentation and Tracking FLLIT
Published on: April 23, 2020
6.9K
08:13SwarmSight: Real-time Tracking of Insect Antenna Movements and Proboscis Extension Reflex Using a Common Preparation and Conventional Hardware
Published on: December 25, 2017
8.2K
