层次的多模式知识匹配用于免费培训的开放词汇对象检测

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 开放词汇对象检测 (OVOD) 旨在通过使用预训练的视觉语言模型来检测超出预定义类别的对象.
• 目前的OVOD方法通常依赖于监督学习,这对于数据有限的新型类别来说效果不佳.
• 需要改进的方法来表示和检测OVOD中的新型对象类别.

研究的目的:

• 为改进开放词汇对象检测 (OVOD) 引入一种新的层次多模式知识匹配 (HMKM) 方法.
• 通过对象和细粒度的属性知识来增强新型类别的表示.
• 为现有OVOD模型提供无需培训的,可插即用的模块.

主要方法:

• HMKM利用从有限的图像中获得的对象原型知识来进行类别表示.
• 属性原型知识被纳入以捕捉细粒度的类别区别.
• 在推断过程中,对象和属性知识被适应性地结合在一起,以匹配区域特征与类别.

主要成果:

• 拟议的HMKM方法显著提高了检测新类别的性能.
• 实验表明,在各种骨干架构和数据集中有效.
• 在数据有限的新型类别检测中,HMKM与现有方法相比表现优越.

结论:

• HMKM为开放词汇对象检测提供了一种有效的方法,特别是在新类别数据有限的场景中.
• 该方法集成对象和属性知识的能力增强了类别表示和匹配.
• HMKM提供了一种多功能且易于集成的解决方案,用于推进OVOD功能.