基于NeRF的多3D集成用于使用主动立体声的3D内镜

科学领域:

• 医疗成像医学成像
• 计算机视觉 计算机视觉
• 机器人技术 机器人技术 机器人技术

背景情况:

• 在内镜中精确的3D测量对于癌症诊断,计算机辅助干预和训练深度神经网络至关重要.
• 带有微型图案投影仪的活跃立体声系统为内镜3D测量提供了一个有前途的方法.
• 现有的多优化方法依赖于精确的初始3D三角网格,这限制了它们在现实世界内镜系统中的实用性.

研究的目的:

• 开发一种新的3D场景表示和优化方法,用于内镜主动立体声系统.
• 为了克服现有方法中对准确初始3D三角形网格的依赖.
• 为了提高3D内镜测量的准确性和稳定性.

主要方法:

• 神经辐射场 (NeRF) 适应在主动立体内镜框架内的3D场景表示.
• 使用多数据同时优化3D场景和摄像机/投影机姿势.
• 集成差分染以优化姿势和场景,而不需要初始的3D网格.

主要成果:

• 使用合成和真实内镜图像进行成功的3D重建.
• 证明了3D场景和相机/投影机姿势的同时优化.
• 消除了对准确的初始3D三角网的需求,提高了实际应用性.

结论:

• 拟议的基于NeRF的方法可以实现准确和强大的3D内镜测量,而不依赖初始形状信息.
• 这种方法显著提高了活跃立体声系统的实用性,用于癌症诊断和人工智能培训数据生成等临床应用.
• 一次性内镜深度信息测量是各种医疗应用的可行解决方案.