PPDM++:并行点检测和匹配用于快速准确的HOI检测

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 人与物互动 (HOI) 检测对于理解人类活动至关重要.
• 现有的双阶段,实例驱动的HOI方法由于众多的非交互式人对对象对而导致效率低下.
• 这种低效率阻碍了HOI检测的性能和速度.

研究的目的:

• 为HOI检测提出一种新的交互驱动范式.
• 开发一个框架,优先考虑交互检测,而不是实例检测.
• 为了提高HOI检测系统的效率和性能.

主要方法:

• 引入了一个自上而下,交互驱动的范式,与以前的自下而上,实例驱动的方法形成鲜明对比.
• 制定HOI检测作为一个点三重组:人点,交互点,对象点.
• 开发了并行点检测和匹配 (PPDM) 框架及其扩展PPDM++用于HOI检测.

主要成果:

• PPDM框架成功地将范式从实例驱动转换为交互驱动,减少计算开销.
• PPDM-DLA-34在42 FPS实现了19.94 mAP,建立了第一个实时HOI探测器.
• 在HICO-DET数据集中,PPDM++-SwinB在17FPS时达到30.1 mAP.
• 推出了HOI-A,这是一个新的以应用为导向的HOI研究数据库.

结论:

• 拟议的交互驱动模式显著提高了HOI检测效率和性能.
• PPDM和PPDM++为实时和高精度的HOI检测提供了有效的解决方案.
• HOI-A的发展为推进HOI研究提供了宝贵的资源.