端到端的Fusion3DGS:基于高斯斯喷涂的标签效率高的多模 3D 实例细分
Zhiyuan Wang1,2, Chuang Luo1,2, Jianping Zhang3,4
1School of Transportation and Logistics, Southwest Jiaotong University, Chengdu, 610031, China.
Scientific reports
|January 6, 2026
概括
Fusion3DGS只使用2D面具实现了高效的3D实例细分,减少了对昂贵3D数据的需求. 这种新的框架通过利用易于获得的RGB图像来增强嵌入式系统中的感知.
科学领域:
- 计算机视觉 计算机视觉
- 机器人技术 机器人技术 机器人技术
- 机器学习 机器学习
背景情况:
- 准确的3D实例细分对于嵌入式系统至关重要,但依赖于昂贵的3D点云注释.
- 由于数据采集成本,目前的方法在不同传感器和环境的可扩展性方面面临挑战.
研究的目的:
- 使用易于获得的2D数据开发一个标签效率高的框架来对3D实例进行细分.
- 解决当前感知系统中密集3D注释的瓶问题.
主要方法:
- 介绍了Fusion3DGS,这是一个端到端的框架,将3D高斯斯裂纹与2D-3D神经处理相结合.
- 利用多视图RGB图像与2D实例面具来优化一个紧的异构的高斯场景表示.
- 采用了闭塞意识的交叉注意力融合堆,例如推理,结合了重量共享锁定和染一致性目标.
主要成果:
- 从2D实例面具实现了标签效率高的3D实例细分,大大降低了注释要求.
- 通过染一致性,在遮蔽和不同视角下展示了改进的边界保真性.
- 通过使用广泛可用的RGB数据验证了该框架在大规模部署中的实用性.
结论:
- 通过克服密集3D数据的局限性,Fusion3DGS为3D实例细分提供了一个实用的解决方案.
- 该框架能够从二维监督中学习,这使得它可以扩展和适应各种嵌入式AI应用程序.


