一个轻量级的三种模式的少数拍摄检测框架,用于识别水果多样性,用于数字果园存档

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习
• 农业技术 农业技术

背景情况:

• 短拍物体检测 (FSOD) 对智能农业至关重要,因为标记各种水果品种的成本很高.
• 果园环境存在重大挑战,包括遮蔽,微妙的视觉差异和密集的树叶,使物体识别复杂化.

研究的目的:

• 开发一个轻量级的三模融合框架,用于在复杂的农业环境中有效地检测少数射击物体.
• 提高水果品种识别和农业监测的准确性和效率.

主要方法:

• 一个基于CLIP的语义提示符编码器提取类别感知线索,以指导分段任何模型 (SAM) 生成结构保存面具.
• 一个语义融合模块 (SFM),包括一个面具度适配器 (MSA) 和特征增强复合器 (FER),将面具与特征地图集成在一起.
• 一个注意力意识重量估计器 (AWE) 适应地平衡语义和视觉流,从YOLOv12检测头的最终预测.

主要成果:

• 拟议的框架在四个水果检测基准 (西瓜.v2,桃子.v3,西瓜.v2,子.v8) 中始终优于五个代表性的FSOD基线.
• 观察到显著的性能增长,包括 +7.9% AP@0.5 在西兰花v2, +5.4% 精度在桃花v3, +7.4% 精度在西瓜v2,和 +5.9% AP@0.75 在子v8.

结论:

• 开发的三模融合框架在果园特定的物体检测任务中表现出高效.
• 该方法显示了在智能农业中推进品种识别,数字记录和成本效益监测的巨大潜力.