一个评估空中野生动物图像观察者注释可靠性的框架,为深度学习应用提供了洞察力
Rowan L Converse1,2, Christopher D Lippitt1,2, Steven E Sesnie3
1Center for the Advancement of Spatial Informatics Research and Education, University of New Mexico, Albuquerque, New Mexico, United States of America.
PloS one
|January 15, 2025
概括
人类对野生动物检测模型的注释显示了可变的可靠性. 简化鸟类类别改善了协议,表明志愿者可以为深度学习培训的专家提供可比数据.
科学领域:
- 生态监测 生态监测
- 计算机视觉 计算机视觉 计算机视觉
- 机器学习是机器学习.
背景情况:
- 深度学习模型在空中调查中自动检测野生动物,但需要人类注释.
- 观察者在解释复杂的空中图像中的变化可能会破坏模型性能.
研究的目的:
- 制定一个框架来评估野生动物检测模型的注释可靠性.
- 评估图像属性对观察者共识的影响.
- 比较专家和志愿者的注释表现.
主要方法:
- 针对个人观察者的计算协议指标与聚合注释 (集群和模式分类) 相比.
- 分析了专家和志愿者对移徙水鸟的无人机图像的注释.
- 研究了空间分辨率和纹理对协议的影响.
主要成果:
- 对于特定的物种的专家协议低 (43-56%).
- 对于广泛的类别:起重机 (99%的专家,95%的志愿者) 和 (93%的专家,92%的志愿者) 的高度一致.
- 志愿者数量与专家数量相当 (91%的专家数量,p=0.20).
结论:
- 在物种级别的空中野生动物调查中存在分类学限制.
- 广泛的形态类别产生了更高的共识.
- 志愿者可以生成与深度学习专家可比的汇总数据.
- 框架有助于评估野生动物输入数据的可靠性.
