NIS-SLAM:神经隐含语义RGB-DSLAM用于3D一致场景理解
IEEE transactions on visualization and computer graphics
|September 10, 2024
概括
本研究介绍了NIS-SLAM,一个神经隐性语义RGB-D SLAM系统,通过整合2D细分来实现一致的语义映射来增强场景理解. 该系统实现了强大的摄像头跟踪和用于增强现实应用的高保真重建.
科学领域:
- 计算机视觉 计算机视觉
- 机器人技术 机器人技术 机器人技术
- 人工智能的人工智能
背景情况:
- 神经隐含表示正在同时定位和映射 (SLAM) 中获得吸引力.
- 现有的SLAM方法往往缺乏强大的场景理解能力.
- 在密集的RGB-DSLAM中,语义信息集成仍然是一个挑战.
研究的目的:
- 开发一个高效的神经隐性语义RGB-DSLAM系统 (NIS-SLAM) 以提高场景理解.
- 为了利用预先训练的2D细分网络,在SLAM中实现一致的语义表示.
- 通过使用新的隐性场景表示来增强表面重建和空间理解.
主要方法:
- 结合了基于高频多分辨率四面体的特征和低频定位编码,以实现隐式场景表示.
- 提出了跨非关键框架和关键框架的语义概率融合策略,以实现一致的语义学习.
- 实现基于信任的像素采样和逐步优化,以实现强大的摄像头跟踪.
主要成果:
- 与现有的神经密集隐性RGB-DSLAM方法相比,NIS-SLAM显示出具有竞争力或优异的性能.
- 实现高保真表面重建和空间一致的场景理解.
- 通过对各种数据集进行广泛的实验来验证.
结论:
- NIS-SLAM有效地将语义理解集成到神经隐性SLAM中.
- 拟议的融合策略增强了语义的一致性.
- 该系统显示了增强现实等现实应用的潜力.


