WS-SfMLearner:在未知摄像头参数的手术视频上进行自我监督的单眼深度和自我运动估计
1Vanderbilt University, Department of Electrical and Computer Engineering, Nashville, Tennessee, United States.
Journal of medical imaging (Bellingham, Wash.)
|May 2, 2025
概括
本研究引入了一种自我监督的系统,用于估计手术视频中的深度,摄像头姿势和内在参数. 这种新的方法提高了准确性,而不需要已知的相机内在特性,改进了图像引导手术.
科学领域:
- 计算机视觉 计算机视觉
- 医疗成像医学成像
- 机器人技术 机器人技术 机器人技术
背景情况:
- 准确的深度估计对于图像引导手术至关重要.
- 为手术视频创建地面真实深度地图是具有挑战性的,因为照明和传感器噪声.
- 目前的自我监督方法需要已知的相机内在参数,通常在手术环境中无法使用.
研究的目的:
- 在手术视频中开发一个自我监督的系统,用于关节深度,自我运动和内在参数估计.
- 为了克服在外科环境中未知或缺失相机内在参数的限制.
- 为复杂的外科视频场景提供深度估计的综合解决方案.
主要方法:
- 开发了一个自我监督的深度和自我运动估计框架.
- 整合了基于成本量的辅助监督模块,用于内在参数预测.
- 在公共数据集上评估系统,同时预测深度,摄像头姿势和内在参数.
主要成果:
- 与使用已知的内在特征的方法相比,自我运动和深度预测的准确性显著提高.
- 通过基于成本体积的监督,提高了摄像机参数估计的准确性,包括内部参数.
- 即使在未知相机内在参数的情况下,也表现出强大的性能.
结论:
- 拟议的自我监督系统有效地估计了深度,自我运动和内在参数,而无需先前了解内在参数.
- 在复杂的外科视频场景中超越基线技术.
- 为推进图像引导手术系统提供了一个强大的解决方案,具有更广泛的意义.
