配对CNN-变压器功能用于人与物体交互检测

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 人物对象交互 (HOI) 检测对于计算机理解场景语义至关重要.
• 现有的两阶段HOI方法在功能质量方面表现出色,但缺乏上下文.
• 基于一级变压器的方法捕捉了全球背景,但错过了对象检测的好处.

研究的目的:

• 提出一种新的两阶段方法,将CNN和变压器方法的优势整合在一起,用于HOI检测.
• 通过合并CNN和变压器功能来增强人物对对象的表现.
• 改进HOI检测模型中的上下文理解.

主要方法:

• 双向卷积神经网络 (CNN) - 变压器 (PCT) 模型被提出作为一个两阶段的方法.
• 配对CNN功能是从CNN的骨干中提取出来的,并与配对变压器功能融合在一起.
• 来自变压器的全球特征被用来提供上下文线索.

主要成果:

• "CNN"和"变压器"特征的结合,使得对对对比的表现优于单个特征类型.
• 实验性比较表明,CNN功能在HOI检测中保持着显著的优势.
• 与HICO-DET和V-COCO数据集上最先进的方法相比,PCT模型实现了竞争性性能.

结论:

• 拟议的PCT模型有效地将对象检测功能与丰富的上下文信息相结合,用于HOI检测.
• 整合CNN和变压器功能为HOI检测任务提供了协同优势.
• 该研究强调了CNN功能在先进HOI检测架构中的持续相关性.