在果园的果实检测和计数基于改进的Yolov7和多对象跟踪方法
Jing Hu1, Chuang Fan1, Zhoupu Wang1
1School of Mathematics and Computer Science, Wuhan Polytechnic University, Wuhan 430024, China.
Sensors (Basel, Switzerland)
|July 14, 2023
概括
这项研究引入了结合Vision Transformer和Yolov7的改进水果产量计数模型,提高了复杂农业环境中的准确性. 新模型显著提高了检测和跟踪水果的性能,有助于物流和存储优化.
科学领域:
- 计算机视觉 计算机视觉
- 农业技术 农业技术
- 机器学习 机器学习
背景情况:
- 准确的水果产量预测对于优化物流和储存至关重要,特别是随着在线水果销售的增加.
- 现有的手动,传感器和基于CNN的方法在计算水果产量方面面临局限性,原因是诸如作物重叠,可变照明,遮蔽和水果不相似等问题.
- 需要先进的计算机视觉模型来克服农业环境中的这些挑战.
研究的目的:
- 开发一种新的物体检测模型,用于在复杂的农业环境中准确计算水果产量.
- 通过整合注意力机制和多对象跟踪来提高现有的物体检测模型的有效性.
- 为了更好地评估产量,提高视频中果实计数的精度.
主要方法:
- 提出了一种新型变体模型,将视觉变压器的自我注意机制与Yolov7物体检测模型相结合.
- 该模型包含两个注意力机制:卷积块注意力模块 (CBAM) 和坐标注意力 (CA).
- 多目标跟踪方法,SORT和Cascade-SORT被整合用于视频序列中的跨果计数.
主要成果:
- 约洛夫7-CA模型实现了91.3%的平均平均精度 (mAP) 和0.85的F1得分,在mAP和0.02的F1得分上表现比标准Yolov7高4%.
- 综合多对象跟踪方法显示,在测试视频中,对跨计数的平均绝对误差 (MAE) 显著改善.
- 使用建议的多对象跟踪方法,与单独使用Yolov7相比,MAE的改善值为0.642.
结论:
- 拟议的模型,将视觉变压器的注意力与Yolov7集成在一起,显著提高了果实产量计数的准确性.
- 整合多对象跟踪增强了模型在动态视频序列中连续计数水果的能力.
- 这些进展有可能改善水果产量评估和水果行业的决策.
