三流融合网络带有颜色感知变压器,用于图像到点云注册
Muyao Peng1, Pei An1, Zichen Wan1
1School of Electronic Information and Communications, Huazhong University of Science and Technology, Wuhan, 430071, China.
Scientific reports
|November 29, 2025
概括
本研究介绍了TFCT-I2P,这是一种用于图像到点云注册的新方法. 它有效地调整了这两种模式的特征,在具有挑战性的数据集中表现优于现有技术.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 机器人技术 机器人技术 机器人技术
背景情况:
- 图像到点云 (I2P) 注册面临挑战,原因是图像和点云数据之间的维度差异.
- 从一种模式中利用特征来增强另一种模式是困难的,这使得隐藏空间中的特征对齐变得复杂.
研究的目的:
- 提出一种新的I2P注册方法,TFCT-I2P,以解决特征对齐的挑战.
- 增强图像和点云功能的集成,以提高注册准确度.
主要方法:
- 引入了三流融合网络 (TFN) 来整合图像颜色和点云结构信息.
- 开发了一种颜色感知变压器 (CAT),以减轻由颜色信息集成引起的补丁级失调.
主要成果:
- 与最先进的方法相比,TFCT-I2P在多个基准数据集 (7Scenes,RGB-D Scenes V2,ScanNet V2) 上显示出更高的性能.
- 拟议的方法有效地处理图像和点云数据之间的维度差异.
结论:
- TFCT-I2P方法代表了图像到点云注册的重大进步.
- 色彩和结构信息的整合,以及基于变压器的方法,提高了注册的准确性和稳定性.


