MQADet:一个插即用范式,通过多模式问答来增强开放词汇对象检测
Caixiong Li1,2,3, Xiongwei Zhao4, Jinhang Zhang5
1School of Computer and Information Science, Qinghai Institute of Technology, Xining, 810016, China.
这项研究介绍了多模式问题答案检测 (MQADet),这是一种改善复杂对象查询的开放词汇检测 (OVD) 的新方法. 通过使用大型语言模型,MQADet增强了现有的探测器,提高了未见类别的准确性.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 机器学习 机器学习
背景情况:
- 开放词汇检测 (OVD) 旨在识别来自无限类别的对象,包括在训练中未见过的对象.
- 目前的OVD方法与视觉文本错位和不平衡的数据作斗争,阻碍了复杂查询的性能.
- 这导致了通过长尾文本描述描述的对象的准确检测的挑战.
研究的目的:
- 解决现有的开放词汇检测器的局限性,特别是它们对复杂和长尾文本查询的性能.
- 提出一种新的,插即用的模式,多模式问题答案检测 (MQADet),以增强当前的OVD系统.
- 利用多式大型语言模型 (MLLMs) 的交叉模式推理来提高对象检测的准确性.
主要方法:
- 开发了多模式问题答案检测 (MQADet),这是一个与预先训练的对象检测器集成的通用范式.
- 设计了一个三阶段的多模式问题解答 (MQA) 管道,以指导MLLM进行准确的对象本地化.
- 改进了现有探测器的重点,使用MLLM指导在没有额外的培训或微调的情况下对语义上相关的区域进行重点调整.
主要成果:
- MQADet在各种不同的和具有挑战性的场景中显示了检测准确性的持续改进.
- 提出的方法在检测看不见的和语言复杂的对象类别方面表现特别有效.
- 在四个数据集的综合基准上进行评估,将三个最先进的探测器作为基线整合在一起.
结论:
- 通过有效地解决视觉文本错位和类别不平衡,MQADet在开放词汇检测方面取得了重大进展.
- MQADet的插即用性质允许无集成,增强现有探测器而不需要进一步培训.
- 这种方法显示了未来研究开放词汇对象检测的强大潜力,代码将公开发布.
更多相关视频
06:43The Crossmodal Congruency Task as a Means to Obtain an Objective Behavioral Measure in the Rubber Hand Illusion Paradigm
Published on: July 26, 2013
12:51A 'Plug and Play' Method to Create Water-dispersible Nanoassemblies Containing an Amphiphilic Polymer, Organic Dyes and Upconverting Nanoparticles
Published on: November 14, 2015
相关概念视频
Formation of the Platelet Plug
As the injured blood vessel contracts, endothelial cells undergo contraction, revealing collagen fibers in the basement membrane and underlying connective tissue. Furthermore, the plasma membrane of endothelial cells becomes adhesive, preparing the site for platelet adhesion. Platelets...
Social Foundations of Self I: Play and Game
Velocity of an Object
Potential Due to a Polarized Object
Potential Due to a Magnetized Object
The vector...
Self-Evaluation: Self-Enhancement and Self-Verification
