FF3D:一个快速而准确的3D水果检测器用于机器人收获
Tianhao Liu1, Xing Wang2, Kewei Hu3
1Faculty of Engineering, Monash University, Clayton, VIC 3800, Australia.
Sensors (Basel, Switzerland)
|June 27, 2024
概括
快速水果3D检测器 (FF3D) 使用一种新的3D神经网络来精确检测果园中的水果. 这种先进的系统提高了准确性,并减少了机器人收获的碰撞风险.
科学领域:
- 机器人和计算机视觉 机器人和计算机视觉
- 农业技术 农业技术
- 机器学习 机器学习
背景情况:
- 传统的二维果实检测方法在复杂的果园环境中难以获得准确性和稳定性.
- 准确的3D水果定位对于实现高效和精确的机器人收获操作至关重要.
研究的目的:
- 引入快速水果3D探测器 (FF3D),这是一个用于实时3D水果检测和定位的新框架.
- 开发一种基于高斯的异构的下一个最佳视图估计器,以提高抓取精度并最大限度地降低碰撞风险.
主要方法:
- 利用基于3D卷积神经网络 (3D CNN) 的单阶段,端到端的3D物体检测网络.
- 集成了一个点云功能提取模块与3D检测网络.
- 开发了一种基于Gaussian的异型模块,用于下一个最佳视图估计.
主要成果:
- 与传统的2D方法相比,在果实检测方面取得了更高的准确性和稳定性.
- 实时显示果实定位,平均精度 (AP) 为76.3%,平均回忆率 (AR) 为92.3%.
- 下一个最佳视图估计器将平均欧几里德距离误差降低到不到6.2毫米,提高了抓取安全性.
结论:
- 该FF3D框架有效地克服了果园环境中的果实检测和机器人抓取的挑战.
- 拟议的3D检测和视图估计模块显示了推进自动化农业系统的巨大潜力.
