在任意摄像机运动下进行4D单眼手术重建

科学领域:

• 计算机视觉 计算机视觉
• 医疗成像医学成像
• 手术机器人手术机器人手术机器人手术机器人

背景情况:

• 从内镜视频中重建可变形的手术场景对于临床应用至关重要.
• 目前的方法在单眼序列和显著的摄像机运动方面扎,因为它们依赖于立体声深度或精确的结构-从-运动.
• 现有的方法仅限于固定的内镜视角,限制了现实世界的临床实用性.

研究的目的:

• 开发一个高质量的4D重建框架,用于单眼内镜序列与任意的摄像机运动.
• 为了解决现有方法在处理大型摄像机移动和缺乏立体声深度的局限性.
• 为了使可变形的手术场景能够进行可扩展和强大的重建.

主要方法:

• 提出了Local-EndoGS,一个渐进的,基于窗口的全球场景表示框架.
• 引入了一个从粗到细的初始化策略,整合了多视图几何,交叉窗口信息和单眼深度先验.
• 整合了远程2D像素轨迹约束和物理运动先验,以提高变形的可信性.

主要成果:

• 在可变形的内镜数据集上,Local-EndoGS在外观质量和几何精度方面取得了卓越的性能.
• 在重建不同摄像头运动的场景时,始终超越了最先进的方法.
• 废弃性研究验证了拟议框架的关键组件的有效性.

结论:

• 局部-EndoGS提供了一个强大的和可扩展的解决方案,用于从单眼内镜视频中4D重建可变形的手术场景.
• 该框架有效地处理任意的摄像机运动,并克服初始化挑战.
• 这一进步具有改善外科手术规划和导航的巨大潜力.