CRLNet:一个基于合作性异构增强和粒度精细化融合的多模态桃子检测网络
Jiahao Liu1, Chaoying He1, Mingfang Wang1
1College of Electronic Information and Physics, Central South University of Forestry and Technology, Changsha 410004, China.
Plants (Basel, Switzerland)
|July 27, 2024
概括
本研究介绍了CRLNet,CRLNet是一个使用RGB和深度图像进行准确的桃子检测的多式检测器,克服了自动收获中的遮蔽和照明挑战. 该模型实现了高精度,展示了强大的果实检测概括能力.
科学领域:
- 计算机视觉 计算机视觉
- 农业技术 农业技术
- 机器学习 机器学习
背景情况:
- 准确的桃子检测对于自动化农业管理至关重要,包括机械收获.
- 挑战包括对象遮蔽,复杂的背景和由于照明和噪音造成的图像质量差,特别是对于密集的小目标.
- 现有的方法在从单个RGB图像中提取细粒度特征方面扎.
研究的目的:
- 提出一种新的多式联通探测器,CRLNet,用于使用RGB和深度图像增强桃子检测.
- 解决信息融合偏差,并在具有挑战性的农业场景中改进特征提取.
- 提高自动化水果检测系统的准确性和概括能力.
主要方法:
- 开发了CRLNet,这是一个扩展YOLOv9的多式检测器,可并行提取RGB和深度特征.
- 引入了粗细混合注意力融合模块 (RFAM) 来融合多式联网信息并抑制噪音.
- 实施了基于变压器的本地-全球联合增强模块 (LGEM) 以共同增强本地-全球特征.
主要成果:
- 在桃花数据集中,CRLNet的平均平均精度 (mAP50) 为97.1%.
- 该模型表现出强大的概括性,在一般化实验中实现了92.4%的mAP50.
- CRLNet有效地解决了桃子检测中的遮蔽和照明问题.
结论:
- CRLNet提供了一个可靠的解决方案,用于准确的多式联运水果检测,特别是在具有挑战性的农业环境中.
- 拟议的融合和增强模块显著提高了检测性能.
- 这项研究为推进农业自动检测提供了有价值的见解.
