集群细分和基于立体视觉的果定位算法用于机器人收获

科学领域:

• 农业机器人农业机器人
• 计算机视觉 计算机视觉
• 机器学习 机器学习

背景情况:

• 自动化果收获面临诸如水果聚类,可变照明和果园深度感知等挑战.
• 深度学习模型 (更快的R-CNN,YOLO) 提供2D检测,但需要大量数据集,高计算能力,并且缺乏精确的3D定位来进行机器人挑选.

研究的目的:

• 开发一个增强的K-Means集群细分算法,与立体视觉集成,用于准确的3D果定位.
• 通过使用多特征融合 (颜色,形态,纹理) 来提高细分的稳定性,并通过区块匹配立体模型计算3D坐标.

主要方法:

• 提出了一个增强的K-Means集群细分算法与多功能融合.
• 集成了一个区块匹配的立体模型用于差异计算和3D坐标导出.
• 与使用RA,mAP,MCD,CRR,FPS和深度定位错误的快速R-CNN,YOLOv7,口罩R-CNN,SSD,DBSCAN,MISA和HCA进行了评估.

主要成果:

• 在具有挑战性的果园条件下实现了>91%的检测准确度和<1%的定位误差.
• 在高果重叠和可变照明下,表现出更高的识别精度 (RA) 和更低的平均坐标偏差 (MCD) 比更快的R-CNN.
• 在复杂的照明,遮蔽,风和密集的水果分布期间超过YOLOv7,SSD,FCN和Mask R-CNN的F1分数,mAP和FPS.

结论:

• 基于集群的立体视觉框架提供稳定的3D本地化和强大的细分,无需大型训练数据集或高性能硬件.
• 低计算需求和在各种果园条件下强大的性能使其适合实时机器人收获.
• 未来的工作包括大规模部署,并行优化和适应其他水果类型.