学习交叉注意点变压器与全球多孔采样
概括
本研究介绍了CrossPoints,CrossPoints是一个新的基于点的变压器,使用参数全球孔径采样 (GPS) 来获得更多样化的点云令牌. 这种方法增强了关系信息的捕获,提高了3D任务的性能.
科学领域:
- 计算机视觉 计算机视觉
- 机器学习 机器学习
- 3D数据处理 3D数据处理
背景情况:
- 变压器对于在点云处理中捕获令牌相关性至关重要.
- 现有的方法,如最远点采样 (FPS),通过生成整体子云来限制代币多样性.
- 这种限制阻碍了充分利用注意力机制的点云灵活性.
研究的目的:
- 介绍CrossPoints,一个基于点的交叉注意力变压器.
- 提出参数全球孔隙采样 (GPS) 和互补GPS (C-GPS) 策略,用于生成多种不同的代币.
- 为了增强点云转换器中的关系信息捕获.
主要方法:
- 开发了一个使用参数GPS和C-GPS策略的交叉注意模块.
- 采用均采样点作为查询和GPS/C-GPS采样点作为键和值.
- 整合了一个可变形操作,用于自适应点调整,以改善代币多样性.
主要成果:
- 证明FPS是GPS的一种退化的情况.
- 通过连续的交叉注意力,展示了结构和几何关系信息的改进学习.
- 在形状分类和室内场景细分任务中实现了显著的性能增长.
结论:
- 拟议的CrossPoints与GPS战略显著提高了点云任务的性能.
- GPS和C-GPS策略有效地产生多元化的代币,增强变压器的能力.
- 可变形操作进一步提高了令牌多样性和模型适应性.
