CECS-CLIP:将域名知识融合为罕见野生动物检测模型.

科学领域:

• 生态生态学 生态生态学
• 计算机科学 计算机科学
• 人工智能的人工智能

背景情况:

• 传统的野生动物监测依赖于基于图像的方法,这些方法在复杂的环境中仅限于检测小,封闭或伪装的动物.
• 准确和高效的野生动物监测对于有效的保护战略至关重要.

研究的目的:

• 开发一个创新的多式联运目标检测框架,将来自动物知识库的文本信息与图像功能相结合.
• 提高野生动物检测的性能,特别是对于具有挑战性的目标,如小动物或伪装动物.

主要方法:

• 一个概念增强模块,使用交叉注意力机制来融合文本和图像特征,创建增强的图像表示.
• 一个特征规范化模块来放大等号相似性,并引入可学习的特征转换参数,提高特征表达性.
• 使用来自西北A&F大学的专用数据集进行验证.

主要成果:

• 与单一模式方法相比,多式模式模型的精度提高了0.3%.
• 与现有的多式联络算法相比,在平均精度 (AP) 中至少有25%的改进.
• 在检测特定物种的小目标方面表现出卓越的表现,超过了当前的基准.

结论:

• 拟议的多式联运目标检测模型有效地集成文本和图像数据,以改善野生动物监测.
• 这种方法为保护稀有和危野生动物提供了显著的进步.
• 为保护生物学中的多式联络检测研究提供了新的视角和有力的证据.