FGAHOI:用于人与物体互动检测的细粒度

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习
• 人工智能的人工智能

背景情况:

• 人物对象交互 (HOI) 检测至关重要,但由于空间复杂性和杂的背景而受到挑战.
• 现有的方法在HOI实例的特征提取和语义对齐方面扎.
• HOI实例检测比个人物体检测更容易受到杂的背景的影响.

研究的目的:

• 提出一种基于端到端变压器的新型框架,FGAHOI,以改进HOI检测.
• 在复杂的背景中解决关键特征提取和语义对齐方面的挑战.
• 引入一个新的数据集,HOI-SDC,用于特定的HOI检测挑战.

主要方法:

• 开发了FGAHOI框架,包括多尺度采样 (MSS),层次空间意识合并 (HSAM) 和任务意识合并 (TAM).
• 实施了阶段性培训战略,以减少培训压力.
• 为HOI检测困难提出了新的指标,并引入了HOI-SDC数据集.

主要成果:

• 在HICO-DET,HOI-SDC和V-COCO基准指标上,FGAHOI在最先进的方法上表现优越.
• 废弃性研究证实了拟议的组件和培训战略的有效性.
• HOI-SDC数据集有助于研究诸如分布不均和远距离视觉建模等挑战.

结论:

• FGAHOI有效地减轻了背景噪声,并提高了HOI检测的准确性.
• 拟议的框架为复杂的HOI实例检测任务提供了强大的解决方案.
• 新的数据集和方法推进了人与物体交互识别领域.