引用两次:为少数镜头实例分割提供简单和统一的基线

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习

背景情况:

• 少数镜头实例分割 (FSIS) 旨在通过使用最小标记的示例检测和细分新型对象类.
• 现有的基于区域提案网络 (RPN) 的方法存在过度匹配和复杂的空间相关策略.
• 在FSIS中的双分支模型在原型生成过程中经常会丢失空间信息.

研究的目的:

• 引入一个统一的框架,Reference Twice (RefT),用于少数镜头实例分割 (FSIS).
• 解决现有的FSIS方法中的过度填充和空间信息丢失问题.
• 提高FSIS模型的性能和可扩展性,特别是在增量设置中.

主要方法:

• 开发了一种基于变压器的新型基线,以减轻FSIS的过.
• 在功能和查询两级使用交叉注意力实现了查询特征的双增强策略.
• 引入了一类增强的基础知识蒸损失,以增加FSIS扩展.

主要成果:

• 参考两次 (RefT) 框架显示了COCO数据集在各种短时间设置中的性能改善.
• 与最先进的方法相比,实现了显著的性能提升,包括10次射击的8.2%,30次射击的9.4%.
• 拟议的基于变压器的方法有效地避免了过,并简化了空间相关机制.

结论:

• 参考两次 (RefT) 框架为少数镜头实例分割提供了一个有希望的新方向.
• 该方法成功地增强了特征表示和查询理解,而不需要复杂的空间交互.
• RefT为标准和增量FSIS任务提供了灵活有效的解决方案.