基于图像-文本多式融合和知识援助的复杂背景中检测类疾病

科学领域:

• 农业科学 农业科学
• 计算机视觉 计算机视觉
• 机器学习 机器学习

背景情况:

• 类病对农业行业构成重大威胁,需要准确和早期检测才能有效管理.
• 现有的诊断方法,通常以图像为基础,受到单一背景的限制,在现实世界条件下缺乏稳定性.
• 对于保护作物产量而言,需要多功能和准确的类疾病分类模型至关重要.

研究的目的:

• 开发一个更准确,更强大,更通用的类病疾病分类模型.
• 通过专注于数据多样性,农业领域知识整合和多式联接来提高模型性能.
• 提高类植物疾病检测系统的适应性和泛化能力.

主要方法:

• 构建了三个数据集 (白色,自然,混合背景) 来评估数据多样性对模型性能的影响.
• 利用农业领域的知识来创建结构化的类病特征词汇表,以改进数据准备.
• 采用多模式学习,将视觉特征 (VGG16,ResNet50,MobileNetV2,ShuffleNetV2) 与文本特征 (TextCNN,fastText) 融合在一起,以全面识别疾病.

主要成果:

• 数据多样化显著提高了模型适应自然环境的适应性.
• 最优的多式模式 (ShuffleNetV2 + TextCNN) 在混合背景上实现了98.33%的分类准确性,优于单式模式模型.
• 拟议的模型显示了更快的融合,更高的分类平衡,以及增强的概括能力.

结论:

• 图像-文本多式特征融合网络有效地识别和分类类植物疾病,即使采用有限的样本和背景噪声.
• 整合领域知识提高了类植物疾病识别的可靠性.
• 该模型为生产中精确的疾病控制策略提供了可靠的决策基础.